LLMOps - Top-Apps & Software

Dify

Dify ist eine Open‑Source‑Plattform zur Entwicklung, Bereitstellung und Überwachung von KI‑Anwendungen mit visuellen Workflows, RAG und Modellverwaltung.

LangSmith

LangSmith ist eine Plattform zur Entwicklung und Optimierung von LLM-Anwendungen, die Debugging, Überwachung und Leistungsbewertung bietet.

Wordware

Wordware ist eine integrierte Entwicklungsumgebung zur Zusammenarbeit bei der Erstellung von KI-Agenten und -Anwendungen für Unternehmen.

Langfuse

Langfuse ist eine offene Plattform zur Verwaltung und Überwachung von Großsprachmodellen, die Entwicklern und Teams hilft, KI-Anwendungen zu analysieren und zu verbessern.

Humanloop

Humanloop ist eine Plattform zur Entwicklung und Evaluierung von LLM-Anwendungen mit Feedbackintegration für verbesserte Genauigkeit und Anpassungsfähigkeit.

Klu.ai

KLU.AI ist eine Plattform zur Entwicklung und Optimierung von KI-Anwendungen, die Großsprachmodelle nutzt, und bietet Funktionen wie Zusammenarbeit und Leistungsanalysen.

Agenta

Agenta ist eine Open‑Source‑Plattform zur Entwicklung, Überwachung und Evaluation von LLM‑Anwendungen: gemeinsame Prompt‑Entwicklung, Versionierung, A/B‑Tests, Beobachtbarkeit und Feedback‑Integration.

LLM Gateway

LLM Gateway ist eine Plattform, die die Verwaltung und Analyse von LLM-Anfragen über eine einheitliche API-Schnittstelle verschiedener Anbieter ermöglicht.

Laminar AI

Laminar AI ist eine Open-Source-Plattform zur Überwachung und Analyse von LLM-Anwendungen, die Entwicklern Tools zur Leistungsbewertung und Datenverwaltung bietet.

Promptly

Promptly ist eine Low-Code-Plattform, die die Erstellung und Verwaltung von Eingabeaufforderungen für KI-Modelle erleichtert und die Zusammenarbeit fördert.

Arkor

Arkor erstellt Trainingsprojekte für offene KI-Modelle, führt das Training auf verwalteter GPU-Infrastruktur aus und stellt die Modelle über eine OpenAI-kompatible API bereit.

Promptmonitor

Promptmonitor hilft Marketern dabei, die Sichtbarkeit ihrer Marke in verschiedenen KI- und LLM-Plattformen zu verfolgen und zu optimieren.

Inworld

Inworld ist eine Laufzeitplattform zur Entwicklung, Skalierung und Verwaltung von KI-Verbraucheranwendungen mit automatisierter Betriebsverwaltung, Experimentfunktionen und Echtzeit-Sprachintegration.

Traceloop

Traceloop überwacht LLM-Anwendungen in der Produktion, bietet Einblicke, Warnungen und ermöglicht die Optimierung von Eingabeaufforderungen und Konfigurationen.

Vellum

Vellum ist eine Plattform zur Entwicklung und Bereitstellung von KI-Anwendungen, die Zusammenarbeit und Integration in Unternehmen unterstützt.

Helicone

Helicone ist ein Open-Source-Framework zur Beobachtbarkeit von LLM-Anwendungen, das Entwicklern hilft, Leistung zu verfolgen und Fehler zu beheben.

Galileo

Galileo ist eine Plattform zur Bewertung und Überwachung von GenAI- und Agentenanwendungen mit Metriken, Tests, Monitoring und Schutz für Entwicklung und Produktion.

Maxim AI

Maxim AI ist eine Plattform zur Bewertung und Beobachtbarkeit von KI, die Teams bei der Entwicklung und Überwachung von KI-Modellen unterstützt.

Confident AI

Confident AI ist eine Plattform zur Bewertung und Überwachung von Großsprachenmodellen (LLMs) mit Tools für Tests, Analysen und Echtzeitüberwachung.

Mastra

Mastra ist ein Open‑Source‑TypeScript‑Framework zum Entwickeln und Bereitstellen produktiver KI‑Anwendungen mit autonomen Agenten, langlebigen Workflows, RAG und Monitoring.

Lamini

Lamini ermöglicht es Unternehmen, eigene großsprachige Modelle (LLMs) mit proprietären Daten zu entwickeln und zu verwalten, sowohl lokal als auch in der Cloud.

GradientJ

GradientJ hilft Produktteams, große Sprachmodelle effizient zu erstellen, zu verwalten und in der Produktion zu überwachen.

AI Monitor

Überwacht KI-generierte Antworten (z. B. ChatGPT, Google AI) und hilft Marken, ihre Sichtbarkeit in diesen Ergebnissen zu analysieren und zu verbessern.

TrueFoundry

TrueFoundry ist eine Cloud-native PaaS für ML-Teams zur schnellen Entwicklung und Bereitstellung von KI-Anwendungen auf eigenen Infrastrukturen.

Test AI Models

Test AI Models erlaubt, eigene Prompts gleichzeitig über mehrere KI‑Modelle ohne Einrichtung zu testen und liefert direkte Vergleichswerte zu Qualität, Geschwindigkeit und Kosten in ~30 Sekunden.

Deepchecks

DeepChecks ist eine Plattform zur Bewertung und Validierung von LLMs und ML-Systemen, die automatisierte Schecks und Berichte für Modelle bietet.

Orq.ai

Orq.ai ist eine Plattform für die Entwicklung und Bereitstellung von KI-Anwendungen, die nahtlose Integration, Tests und Leistungsbewertung von KI-Modellen ermöglicht.

FinetuneDB

FinetuneDB ist eine Plattform zur Erstellung und Verwaltung von Datensätzen für die Feinabstimmung von KI-Modellen, um die Leistung und Anpassung zu optimieren.

Weavel

Weavel ist eine Plattform zur Leistungsanalyse und -prüfung von LLM-Anwendungen, die den Aufbau von Datensätzen, Batch-Tests und Leistungsanalysen ermöglicht.

Patronus AI

Patronus AI ist eine automatisierte Plattform zur Bewertung und Überwachung von großen Sprachmodellen, die Unternehmen unterstützt, generative KI sicher zu nutzen.

SiliconFlow

SiliconFlow stellt Entwicklern eine OpenAI‑kompatible Cloud‑API für Inferenz, Fine‑Tuning und Bereitstellung von Sprach‑ und multimodalen Modellen bereit, mit niedriger Latenz und ohne Speicherung von Nutzerdaten.

Braintrust

Braintrust ist eine Plattform zur Entwicklung und Evaluation von KI-Anwendungen, die Zusammenarbeit, Echtzeitüberwachung und Datensatzmanagement unterstützt.

CoreCtic AI

CoreCtic AI bündelt mehrere KI-APIs, reduziert Kosten durch semantisches Caching und überwacht Nutzung, Leistung sowie Abrechnung für mehrere Kunden.

Not Diamond

Not Diamond leitet Anfragen automatisch an das jeweils beste KI‑Modell, passt Prompts modellgerecht an und bietet Routing, Fallbacks sowie API‑Integrationen.

LLMTest

LLMTest proxyt OpenAI-/Anthropic-Aufrufe, misst Kosten, testet viele Modelle und optimiert Prompts sowie Fallback-Routing im Live-Betrieb.

Entry Point AI

Entry Point AI ist eine Plattform zur Feinabstimmung, mit der Benutzer große Sprachmodelle verwalten, trainieren und bewerten können, um deren Leistung zu optimieren.

Augento

Augento ist eine Plattform für die Feinabstimmung von KI-Modellen. Nutzer geben Feedback zu Agenten und Augento verbessert die Leistung durch Verstärkungslernen.

Ultra AI

Ultra AI ist ein zentrales KI-Tool, das Entwicklern ermöglicht, verschiedene KI-Anbieter über eine einheitliche API zu nutzen und KI-Anwendungen effizient zu erstellen.

AgentOps

AgentOps ist ein Tool zur Verwaltung und Überwachung von AI-Agenten. Es bietet Funktionen zur Analyse von Eingaben, Abschlüssen und zur Integration in bestehende Systeme.

Fiddler

Fiddler überwacht, erklärt und steuert KI-, LLM- und ML-Anwendungen in Entwicklung und Produktion und prüft Qualität, Sicherheit und Fairness.

MosaicML

MosaicML ist eine Plattform zur Entwicklung, Bereitstellung und Verwaltung von KI-Modellen, die speziell auf Unternehmensdaten abgestimmt sind.

Gentrace

Gentrace ist eine Plattform zum Testen und Überwachen von KI-Anwendungen, die Entwicklung, Integration und Optimierung von Modellen unterstützt.

AnyApiAI

API-Plattform für den Zugriff auf über 400 KI-Modelle über eine einheitliche, OpenAI-kompatible Schnittstelle mit Routing, Fallbacks, Tests und Monitoring.

Bellaire AI

Bellaire AI ist eine Plattform zur Entwicklung intelligenter KI-Agenten, die Automatisierung und datengestützte Entscheidungen in Unternehmen unterstützt.

Parea

Die Parea-App unterstützt Entwickler beim schnellen Aufbau produktionsbereiter LLM-Produkte. Sie ermöglicht das Experimentieren mit Prompts, Versionierung und Leistungsbewertung.

Toolhouse

Toolhouse ist eine Backend-Plattform zur Erstellung, Bereitstellung und Verwaltung von KI-Agenten als APIs, unterstützt von robusten Funktionen für Automatisierung und Optimierung.

LaminarFlow

LaminarFlow ist eine Plattform zur Automatisierung von Inhaltserstellung und -veröffentlichung, die komplexe Aufgaben in effiziente Arbeitsabläufe umwandelt.

Pioneer

Plattform zur Feinabstimmung von Open-Source-Sprachmodellen mit automatisierter Datengenerierung, Training, Bewertung, Deployment und laufender Verbesserung aus Inferenzdaten.

Lang.ai EU

Lang.ai ist eine No-Code-Plattform zur Automatisierung von Kundenservice-Prozessen, die in Zendesk und Salesforce integriert und Aufgaben für Agenten erleichtert.

Athina AI

Athina hilft Entwicklern, ihre LLM-Anwendungen in der Produktion zu überwachen und zu bewerten. Es bietet Einblick in den RAG-Workflow und 40+ vorgestellte Evaluierungsmetriken.

Mosaic

Mosaic ist eine KI-Anwendung für die Videobearbeitung, die den Bearbeitungsprozess von Stunden auf Sekunden verkürzt, indem Nutzer ihre Wünsche in natürlicher Sprache beschreiben.

PromptPilot

PromptPilot ist eine Plattform zur Erstellung, Optimierung und fortlaufenden Verbesserung von Prompts für KI-Modelle, mit API-Anbindung und Feedbackdaten.

Relyable

Ermöglicht schnellen Einsatz von KI‑Sprachagenten, führt simulierte Gespräche zwischen KI‑Agenten durch und bewertet Live‑Anrufe. Integriert Vapi und Retell AI.

Parlance

Parlance verbessert die telefonische Kommunikation durch konversationsbasierte KI, die Kunden einen natürlichen und schnellen Zugriff auf Organisationen ermöglicht.

OrcaRouter

OrcaRouter leitet KI-Anfragen über eine OpenAI-kompatible API an das passende Modell weiter und unterstützt Routing, Fallbacks und über 200 Modelle.

Tracer

Tracer kombiniert offene KI-Modelle, steuert Anfragen je nach Aufgabe an passende Modelle und analysiert deren Leistung über einen OpenAI-kompatiblen Endpunkt.

Ramp Router

Ramp Router bietet über einen API-Endpunkt Zugriff auf mehrere KI-Modelle und leitet Anfragen nach Kosten, Leistung und Verfügbarkeit weiter.

Nirixa AI

Nirixa AI ist eine Beobachtungsplattform für LLM-Apps, die Aufrufe, Token-Kosten, Prompt-Drift, Halluzinationsrisiko und Latenz überwacht.

ModelRiver

ModelRiver ist ein einheitliches API-Gateway für mehrere KI-Modelanbieter mit Streaming, individuellen Konfigurationen, Paketen, Routing, Ratenbegrenzung, Failover und Analysen.

Draft'n run

Draft'n run ist eine Open‑Source‑Plattform zum schnellen Erstellen, Bereitstellen und Überwachen von KI‑Agenten und -Funktionen; unterstützt Low‑Code, Automatisierung, Tracing und Produktionsbetrieb.