Ste vývojárom tejto aplikácie? Overte vlastníctvo a spravujte tento záznam.
RunInfra je platforma infraštruktúry AI na vytváranie a nasadzovanie produkčných koncových bodov AI odvodených z obyčajnej angličtiny. Je navrhnutý tak, aby pomohol vývojárom a tímom premeniť opísaný prípad použitia na živé rozhranie API bez správy YAML, manuálnej konfigurácie GPU alebo pracovných postupov DevOps.
Aplikácia podporuje celý rad úloh AI vrátane veľkých jazykových modelov, prevodu reči na text, prevodu textu na reč, vloženia a kanálov s viacerými modelmi. Môže vyberať modely, porovnávať GPU, aplikovať optimalizačné kroky a nasadzovať koncové body HTTP kompatibilné s OpenAI na použitie v produkčných aplikáciách. RunInfra tiež podporuje chatboty s nízkou latenciou, dávkové sumarizačné kanály a smerovanie modelov pre rôzne potreby výkonu a nákladov.
Medzi kľúčové funkcie patrí riadená inferencia GPU, automatické nasadenie modelu, optimalizácia výkonu, možnosti škálovania, ako je škálovanie na nulu alebo trvalé nasadenia, a podpora modelov s otvoreným zdrojovým kódom od Hugging Face. Platforma je zameraná na používateľov, ktorí potrebujú jednoduchší spôsob spúšťania modelov AI ako produkčných rozhraní API s menšou réžiou infraštruktúry.
Upozornenie: WebCatalog nie je nijako prepojený, spojený, autorizovaný, schválený alebo oficiálne spojený s RunInfra. Všetky názvy produktov, logá a značky sú majetkom svojich príslušných vlastníkov.
