LLMOps: najlepšie aplikácie a softvér

Flutch

Flutch je platforma na nasadenie a testovanie AI agentov: sleduje kroky a rozhodnutia, meria kvalitu a náklady, spúšťa testy, verzovanie a nasadenie chatov a služieb.

PromptWaveAI

PromptWaveAI ukladá, organizuje a zdieľa používateľské prompty, umožňuje ich tvorbu, úpravu, testovanie a hodnotenie pre lepšie vstupy do AI modelov.

AcruxCore

AcruxCore pomáha tímom spravovať a vyhodnocovať prompty, smerovať volania LLM a sledovať ich výkon a náklady bez opätovného nasadenia.

Spanlens

Spanlens monitoruje požiadavky na LLM, náklady, latenciu a chyby, zaznamenáva behy AI agentov a umožňuje spravovať prompty a evaluácie. Dá sa prevádzkovať vo vlastnej réžii.

Vigil

Vigil smeruje volania AI API cez proxy a umožňuje sledovať ich náklady, chyby, latenciu a bezpečnostné riziká.

Tensorant

Tensorant umožňuje pripravovať a verzovať dátové súbory, dolaďovať a vyhodnocovať modely s otvorenými váhami a nasadzovať ich cez API vo vlastnom cloudovom účte.

Promptic

Promptic pomáha porovnávať modely, optimalizovať prompty a agentov a vyhodnocovať kvalitu, náklady a latenciu na vlastných dátach.

ReasonBlocks

Platforma a SDK na analýzu behov AI agentov, odhaľovanie neefektívnych postupov, opätovné využitie riešení a optimalizáciu modelov, kontextu a nákladov.

Mentlio

Mentlio analyzuje používanie AI v inžinierskych tímoch, sleduje náklady, produktivitu a tokeny a pomáha optimalizovať smerovanie modelov, kontext a prompty.

Belvedir

Belvedir zhromažďuje dáta z AI agentov a využíva ich na školenie, hodnotenie, nasadzovanie a priebežné zlepšovanie vlastných modelov v súkromnom prostredí.

Experiential Labs

Experiential Labs je open source brána na jednotný prístup, smerovanie a správu AI modelov, kľúčov, oprávnení, limitov a nákladov cez jedno API.

qRaptor

qRaptor umožňuje vytvárať, nasadzovať a spravovať aplikácie a AI agentov z požiadaviek v prirodzenom jazyku vrátane integrácií, pracovných postupov a monitorovania.

Bursora

Bursora spravuje a obmedzuje výdavky na AI volania podľa zákazníka, agenta a workflow a blokuje požiadavky pred odoslaním.

Syrin AI

Syrin AI je platforma na monitorovanie, ladenie a riadenie AI agentov v produkcii s detekciou posunu a vzdialenou zmenou konfigurácie.

Polarity

Polarity je platforma na testovanie, monitorovanie a ladenie AI agentov v produkcii; sleduje rozhodnutia, odhaľuje chyby a pomáha hodnotiť spoľahlivosť.

Plurai

Plurai je platforma na testovanie, monitorovanie a ochranu AI agentov; vytvára syntetické evaly, kontroluje pravidlá a znižuje zlyhania v produkcii.

Tracium.ai

Nástroj pre vývojárov na sledovanie nákladov, trasovanie požiadaviek, ladenie chýb, porovnávanie promptov a modelov a detekciu driftu AI systémov.

Respan

Respan je platforma pre pozorovateľnosť a hodnotenie LLM agentov; zaznamenáva stopy vykonávania, monitoruje správanie, automatizuje hodnotenia a pomáha lokalizovať príčiny chýb.

Hicap

Hicap poskytuje podnikovú AI infraštruktúru s rezervovanou GPU kapacitou, prepínaním medzi modelmi (OpenAI, Anthropic, Gemini), sledovaním nákladov a výkonu a znížením nákladov na inference.

GTWY.AI

GTWY.AI poskytuje jednotné API na prístup, správu a prepínanie medzi viacerými AI modelmi a poskytovateľmi s monitorovaním, vyvažovaním záťaže a kontrolou požiadaviek.

ZeroEval

Nástroj na analýzu chýb agentov: zisťuje príčiny zlyhaní, vyhľadáva v trasách, spúšťa experimenty na produkčných dátach a testuje pred nasadením.

EvalsOne

EvalSone je platforma na hodnotenie a porovnávanie výziev pre veľké jazykové modely (LLM). Poskytuje kvantitatívne metriky, A/B testovanie a nástroje na iteratívne zlepšovanie modelov.

Langwatch

Langwatch spravuje a monitoruje životný cyklus aplikácií založených na veľkých jazykových modeloch: testovanie, hodnotenie, ladenie, nasadenie, bezpečnosť a audit výstupov.

Weave

Weave pomocou strojového učenia meria inžiniersku prácu: skenuje každé PR a zobrazuje očakávaný čas dokončenia, kvalitu revízie a typ práce.