AcruxCore

Pre technické tímy, ktoré vytvárajú a udržiavajú funkcie využívajúce LLM, AcruxCore prepája zmeny promptov so správaním v produkcii. Tímy tak môžu skúmať nekvalitné odpovede a upravovať prompty bez opätovného nasadenia aplikácie. Môžu spravovať šablóny promptov a ich verzie a po príprave novej verzie prepnúť na ňu produkčný alias. Záznamy trás zobrazujú podrobnosti o modeli, tokenoch, latencii a nákladoch jednotlivých volaní. Relácie a spätná väzba k spanom pomáhajú lokalizovať problémy. AcruxCore poskytuje aj bránu kompatibilnú s OpenAI na smerovanie volaní k pripojeným poskytovateľom modelov, s možnosťami záložného smerovania, rozpočtov, limitov požiadaviek a ukladania do vyrovnávacej pamäte. Tímy môžu spravovať verzované nástroje, vyhodnocovať prompty a modely na základe dátových súborov a viesť auditnú stopu zmien. K dispozícii sú súpravy SDK pre TypeScript a Python, ako aj rozhranie REST API. Používajte hostovanú platformu alebo si ju hostujte sami; projekt je open source pod licenciou Apache 2.0.

Upozornenie: WebCatalog nie je pridružený k spoločnosti AcruxCore, nie je s ňou spojený, autorizovaný ani schválený spoločnosťou AcruxCore a nemá s ňou žiadne oficiálne prepojenie. Všetky názvy produktov, logá a značky sú majetkom ich príslušných vlastníkov.