LLMOps | Topp apper og programvare

Dify

Dify er en åpen kildekode-plattform for å bygge, teste og drifte AI-applikasjoner med store språkmodeller, inkludert RAG, agenter og modellhåndtering.

LangSmith

LangSmith er en plattform for utvikling og optimalisering av LLM-applikasjoner, som tilbyr verktøy for sporings-, overvåknings- og evalueringsprosesser.

Wordware

Wordware er et IDE for samarbeidende utvikling av AI-agenter og applikasjoner, tilpasset både tekniske og ikke-tekniske brukere.

Langfuse

Langfuse er en plattform for utvikling, overvåkning og evaluering av AI-applikasjoner, spesielt for store språkmodeller.

Klu.ai

Klu.ai er en plattform for utvikling og optimalisering av AI-applikasjoner, med støtte for store språkmodeller og samarbeid mellom team.

Promptly

Promptly er en plattform for lavkode som gjør det enkelt for bedrifter å lage, teste og administrere spørsmål for språklige AI-modeller.

Humanloop

Humanloop er en plattform for utvikling og evaluering av AI-applikasjoner, som integrerer menneskelig tilbakemelding for å optimalisere store språkmodeller.

Agenta

Agenta er en åpen kildekode-plattform for utvikling, overvåking og evaluering av LLM-applikasjoner, med samarbeid, versjonering, A/B-testing og observasjon.

Laminar AI

Laminar AI er en åpen kildekode-plattform for observabilitet og analyse av LLM-applikasjoner, som hjelper utviklere med sporing, evaluering og datahåndtering.

LLM Gateway

LLM Gateway er en plattform som administrerer forespørselene til store språkmodeller fra ulike leverandører via et enkelt API.

Promptmonitor

Promptmonitor hjelper markedsførere med å overvåke og optimalisere merkenes synlighet på ulike AI/LLM-plattformer for å øke trafikk, leads og salg.

Traceloop

Traceloop overvåker LLM-applikasjoner og gir innsikt, varsler og muligheter for rullering av endringer for å optimalisere ytelse og pålitelighet.

Inworld

Inworld er en plattform for å bygge, drifte og skalere AI-drevne forbrukerapplikasjoner med runtime, automatisert drift, eksperimentering og sanntids tale.

Maxim AI

Maxim AI er en plattform for evaluering og overvåking av AI-modeller, som støtter utvikling, testing og datasettstyring for AI-team.

Arkor

Arkor lar utviklere trene og distribuere åpne AI-modeller med TypeScript, administrert GPU-infrastruktur og et OpenAI-kompatibelt API.

Vellum

Vellum er en utviklingsplattform for AI-applikasjoner som støtter oppretting, distribusjon og overvåking av LLM-drevne funksjoner.

Galileo

Galileo er en plattform for å evaluere, overvåke og sikre generative AI- og agentapplikasjoner, med målinger, logging og sanntidsbeskyttelse.

Helicone

Helicone er en plattform for observasjon av språkmodeller, som gir utviklere verktøy for å overvåke, feilsøke og optimalisere LLM-applikasjoner.

Confident AI

Selvsikker AI er en plattform for evaluering, testing og overvåking av store språkmodeller (LLM), bygget på DeepEval-rammeverket.

Mastra

Mastra er et TypeScript-basert rammeverk for å bygge og distribuere produksjonsklare AI-applikasjoner. Det tilbyr agenter, arbeidsflyter, RAG, evalvering og skyutrulling.

Lamini

Lamini er en plattform som hjelper bedrifter med å utvikle tilpassede språkmodeller ved hjelp av proprietære data, for bedre ytelse og sikkerhet.

GradientJ

GradientJ er en plattform for distribusjon og styring av store språkmodeller, som hjelper team med å bygge, overvåke og optimalisere LLM-applikasjoner.

AI Monitor

AI Monitor overvåker og analyserer resultater fra AI-plattformer (f.eks. ChatGPT, Google AI) for å hjelpe merkevarer med å forstå og forbedre sin digitale synlighet.

TrueFoundry

TrueFoundry er en skybasert plattform for maskinlæring som forenkler utviklingen, distribusjonen og skaleringen av AI-applikasjoner.

Test AI Models

Tester dine faktiske prompts mot flere AI-modeller samtidig uten oppsett. Viser sammenligning av kvalitet, hastighet og kostnad i sanntid; lim inn prompt og få svar på ~30 sekunder.

Deepchecks

Deepchecks er en plattform for evaluering og validering av språkmodeller og maskinlæringssystemer, som tilbyr automatiserte tester og innsikter for ytelsesanalyse.

Orq.ai

Orq.ai er en plattform for samarbeid om generativ AI som hjelper team med å utvikle, distribuere og optimalisere AI-applikasjoner skalerbart og trygt.

FinetuneDB

FinetuneDB er en plattform for finjustering av språkmodeller som muliggjør samarbeid om oppretting og styring av datasett for AI-modeller.

Weavel

Weavel er en plattform for ytelsesanalyse og testing av LLM-applikasjoner med datasettopprettelse, batchtesting og overvåking av produksjonsbruk.

Patronus AI

Patronus AI er en plattform for automatisk evaluering av store språkmodeller som hjelper bedrifter med å identifisere feil og overvåke LLM-arbeidsflyter.

SiliconFlow

SiliconFlow er en skybasert AI-infrastruktur for utviklere som akselererer inferens, finjustering og distribusjon av språk- og multimodale modeller via en OpenAI-kompatibel API.

Braintrust

Braintrust er en plattform for utvikling og evaluering av AI-modeller og applikasjoner med verktøy for samarbeid og sanntidsovervåking.

CoreCtic AI

AI-proxy og analyseplattform som samler flere språkmodell-API-er, med ruting, semantisk caching, kostnads- og bruksoversikt samt administrasjon av flere kunder.

Not Diamond

Not Diamond ruter og tilpasser forespørsler mellom flere LLM-er, velger prediktivt beste modell per input for bedre nøyaktighet, tilgjengelighet og kostnadskontroll.

LLMTest

LLMTest proxyer OpenAI/Anthropic-kall, sporer kostnader, tester 340+ modeller og optimaliserer prompts mot reell trafikk.

Entry Point AI

Entry Point AI er en plattform for finjustering og forvaltning av store språkmodeller, som gjør det enklere å trene og evaluere modeller effektivt.

Augento

Augento er en plattform for finjustering av AI-modeller. Den lar brukere gi tilbakemelding for å forbedre modeller med forsterkende læring.

Ultra AI

Ultra AI er en alles i ett AI-kontrollsenter som forenkler tilgang til flere AI-leverandører, forbedrer ytelse og gir omfattende analyser for utviklere.

AgentOps

AgentOps er et verktøy for utvikling av AI-agenter som gir innsikt, registrering og analyse av deres ytelse og interaksjoner, og muliggjør optimalisering.

Fiddler

Fiddler er en plattform for å overvåke, forklare og sikre AI-modeller og LLM-apper i utvikling og produksjon.

MosaicML

MosaicML er en plattform for utvikling og distribusjon av spesifikke AI-modeller, som støtter komplekse arbeidsflyter og sikrer datasikkerhet.

Gentrace

Gentrace er en plattform for testing og overvåking av AI-applikasjoner, som forbedrer utviklingsprosessen og sikrer robusthet og pålitelighet.

AnyApiAI

AnyApiAI er en API-plattform for å bruke, teste og styre 400+ AI-modeller fra flere leverandører via ett enhetlig grensesnitt.

Bellaire AI

Bellaire AI er en plattform for å utvikle og implementere kunstige intelligensagenter og modeller for automatisering og datadrevet beslutningstaking.

Parea

Parea AI hjelper utviklere med å bygge produksjonsklare LLM-produkter raskere, ved å eksperimentere med prompts og kjeder, og administrere hele LLM-arbeidsflyten.

Relyable

Relyable lar deg raskt sette i drift AI-stemmeagenter, kjøre simulerte samtaler mellom agenter og evaluere liveanrop. Integrasjon med Vapi og Retell AI.

Toolhouse

Toolhouse er en plattform for utvikling og distribusjon av AI-agenter, som tilbyr REST API-er og verktøy for å automatisere oppgaver og integrere med eksisterende systemer.

LaminarFlow

LaminarFlow er en plattform for automatisering av innholdsproduksjon og publisering, som forenkler arbeidsprosesser ved å automatisere rutineoppgaver.

Pioneer

Pioneer er en plattform for å finjustere og distribuere åpne språkmodeller, med automatisk trening, evaluering og oppdatering basert på inferensdata.

Lang.ai EU

Lang.ai er en plattform for automatisering av tjenester uten koding, som lar kundesupportteam bygge og kontrollere AI-modeller for å forbedre arbeidsprosessene.

Athina AI

Athina hjelper utviklere med å overvåke og evaluere LLM-applikasjoner i produksjon, samt gir oversikt over RAG-pipelinen og evalueringsmetoder.

Mosaic

Mosaic er en AI-agent for videoredigering som gjør det mulig å beskrive redigeringer med naturlig språk og få dem utført umiddelbart.

PromptPilot

PromptPilot er en plattform for å utvikle, teste og forbedre promter for store språkmodeller, med API-integrasjon og løpende optimalisering.

Parlance

Parlance er en app som bruker konversasjonell AI for å forbedre kundeopplevelsen gjennom naturlig talesøk ved telefonsamtaler til organisasjoner.

Tracer

Tracer kombinerer og ruter åpne AI-modeller for ulike oppgaver via ett OpenAI-kompatibelt endepunkt, med støtte for adaptiv inferens, modellensembler og analyse av AI-ytelse.

OrcaRouter

OrcaRouter er en OpenAI-kompatibel AI-rutings­tjeneste som sender forespørsler til riktig modell blant 200+ modeller via ett API.

Nirixa AI

Verktøy for å overvåke LLM-kall på tvers av leverandører, med kostnader, promptdrift, hallusinasjonsrisiko og latens i sanntid.

ModelRiver

ModelRiver er en felles API-gateway for flere LLM-leverandører som tilbyr streaming, tilpassede konfigurasjoner, innebygde pakker, ruting, ratebegrensning, failover og analyse.

Draft'n run

Draft'n run er en åpen kildekodeplattform for å bygge, distribuere og overvåke AI-agenter og automatiseringer med innebygde DevOps- og styringsverktøy.

Flutch

Flutch sporer og tester AI-arbeidsflyter, måler kvalitet og kostnad, hindrer regresjoner, og distribuerer agenter og chat‑UIer via CLI uavhengig av rammeverk.