LLMOps : les meilleures applications et logiciels

Flutch

Flutch apporte observabilité et contrôle qualité aux workflows IA : trace étapes et décisions, teste (acceptance/A/B), mesure qualité et coût, et déploie agents et chat UIs.

PromptWaveAI

PromptWaveAI permet de sauvegarder, organiser et partager des invites pour l'IA, tout en offrant des outils pour les créer et les évaluer efficacement.

AcruxCore

AcruxCore permet aux équipes de gérer et d’évaluer des prompts LLM, d’acheminer les appels aux modèles et d’analyser leurs traces sans redéployer leur application.

Spanlens

Spanlens surveille les requêtes LLM et suit les coûts, la latence, les erreurs et les traces d’agents. Open source et auto-hébergeable.

Vigil

Vigil surveille les appels aux API d’IA via un proxy et permet de suivre les coûts, les erreurs, la latence et l’utilisation des jetons.

Tensorant

Tensorant permet de créer des jeux de données, d’affiner et d’évaluer des modèles à poids ouverts, puis de les déployer sur votre cloud GPU.

Promptic

Promptic compare et optimise modèles, prompts, agents et outils d’IA générative selon la qualité, le coût et la latence, à partir de vos données.

ReasonBlocks

ReasonBlocks analyse les traces d’agents IA, détecte les inefficacités et réutilise les raisonnements utiles pour réduire les coûts d’inférence sans dégrader les performances.

Mentlio

Mentlio analyse l’usage et les coûts de l’IA dans les équipes d’ingénierie, puis optimise les modèles, le contexte et les jetons pour réduire les dépenses et suivre la productivité.

Belvedir

Belvedir collecte les traces d’agents IA pour entraîner, évaluer, déployer et améliorer des modèles personnalisés, avec hébergement privé et routage des modèles.

Experiential Labs

Passerelle open source pour accéder, acheminer et gérer des modèles d’IA via une API unique, avec contrôle des accès, suivi de l’utilisation et gestion des coûts.

qRaptor

qRaptor permet de créer, déployer et superviser des applications et agents d’IA à partir d’exigences en langage naturel, avec intégrations, workflows, sécurité et gouvernance.

Bursora

Application de contrôle budgétaire pour l’IA : elle limite ou bloque les appels selon des budgets par client, agent, flux et espace de travail.

Syrin AI

Syrin AI surveille et débogue des agents IA en production, avec traces en temps réel, détection de dérive et changements de configuration à distance.

Polarity

Polarity évalue, surveille et débogue des agents d’IA en production, en détectant les échecs, en analysant les traces et en transformant les parcours en évaluations.

Plurai

Plurai aide à évaluer, valider et encadrer des agents IA avec des tests, des garde-fous et une surveillance continue.

Tracium.ai

Outil d’observabilité pour systèmes IA : suivi des coûts, traçage des requêtes, débogage, comparaison de prompts et modèles, détection de dérive.

Respan

Respan est une plateforme d'ingénierie LLM pour observer, évaluer et optimiser prompts, permettant de surveiller le comportement, diagnostiquer échecs et améliorer des applications IA en production.

Hicap

Infrastructure d'IA pour entreprises offrant accès multi‑fournisseurs (OpenAI, Anthropic, Google), GPU réservé, surveillance et facturation des coûts et performances, jusqu'à 25% d'économie.

GTWY.AI

GTWY.AI fournit une API unifiée pour accéder, gérer et basculer entre plusieurs modèles et fournisseurs d'IA, avec suivi d'utilisation, routage et tolérance aux pannes.

ZeroEval

Plateforme expliquant pourquoi vos agents échouent et comment les améliorer : recherche dans les traces, exécution d’expériences sur données de production et tests avant déploiement.

EvalsOne

EvalsOne évalue et compare des invites pour modèles de langage, exécute des tests A/B, mesure les performances et facilite l'itération des améliorations.

Langwatch

Langwatch est une plateforme d'optimisation pour les modèles de langue, offrant des outils d'évaluation, d'analyse et d'intégration afin d'améliorer les performances et la sécurité des IA.

Weave

Weave utilise l'intelligence artificielle pour évaluer le travail des ingénieurs. Il analyse chaque demande de tirage (PR) et fournit des informations sur la durée, la qualité et le type de travail.