LLMOps: las mejores aplicaciones y software

Flutch

Plataforma para desplegar y probar agentes de IA: trazabilidad de decisiones, pruebas y versiones, control de calidad y costes, y despliegue en Web/Slack/Telegram.

PromptWaveAI

PromptWaveAI permite guardar, organizar y compartir indicaciones, facilitando la creación y optimización de entradas para modelos de IA.

AcruxCore

AcruxCore permite gestionar y evaluar prompts de LLM, enrutar llamadas a modelos y analizar trazas de producción, con opción de alojarlo por cuenta propia.

Spanlens

Spanlens registra y supervisa solicitudes, costes y trazas de agentes para OpenAI, Anthropic y Gemini; es de código abierto, autohospedable y con licencia MIT.

Vigil

Vigil supervisa llamadas a API de IA desde un proxy único y muestra costos, errores, latencia, uso de tokens y posibles problemas.

Tensorant

Tensorant permite crear conjuntos de datos, ajustar y evaluar modelos de pesos abiertos e implementarlos en la nube mediante una API.

Promptic

Promptic compara y optimiza modelos, prompts, agentes y herramientas de IA generativa usando datos y métricas propias de calidad, costo y latencia.

ReasonBlocks

Plataforma y SDK que analizan trazas de agentes de IA, reutilizan patrones de razonamiento y optimizan el enrutamiento, el contexto y el uso de tokens.

Mentlio

Mentlio analiza el uso y costo de la IA en equipos de ingeniería, mide productividad y adopción, y optimiza modelos, contexto y tokens mediante paneles e informes.

Belvedir

Belvedir conecta agentes de IA mediante un SDK para recopilar datos, entrenar modelos personalizados, evaluarlos, implementarlos y mejorarlos de forma privada.

Experiential Labs

Puerta de enlace y gestión de modelos de IA que unifica proveedores, claves y GPUs propias, con enrutamiento, permisos, límites y seguimiento del uso.

qRaptor

Plataforma visual para crear, desplegar y supervisar aplicaciones y agentes de IA mediante lenguaje natural, con integraciones, automatización, seguridad y controles de gobernanza.

Bursora

Bursora controla y limita el gasto de IA por cliente, agente y flujo de trabajo, bloqueando solicitudes antes de superar el presupuesto, con conexión directa al proveedor.

Syrin AI

Plataforma para monitorear, depurar y controlar agentes de IA en producción, con detección de deriva, seguimiento en tiempo real y cambios de configuración remotos.

Polarity

Plataforma para monitorear, evaluar y depurar agentes de IA en producción, con seguimientos, alertas de fallos y reproducción de errores.

Plurai

Plurai ayuda a evaluar y proteger agentes de IA, generando datos de entrenamiento y validando su comportamiento antes y durante producción.

Tracium.ai

Tracium.ai permite a desarrolladores supervisar sistemas de IA: costos, trazas, fallos, comparación de prompts y modelos, y detección de deriva en tiempo real.

Respan

Respan es una plataforma para desarrollar, supervisar, evaluar y optimizar aplicaciones de IA basadas en LLM, con seguimiento detallado de ejecuciones y automatización de evaluaciones.

Hicap

Infraestructura empresarial de IA para ejecutar apps en producción con GPU reservada, conmutación entre OpenAI/Anthropic/Gemini, optimización de costes (hasta 25%), monitorización y control de gasto.

GTWY.AI

API unificada para acceder y gestionar múltiples modelos y proveedores de IA, con enrutamiento, monitorización y conmutación entre servicios.

ZeroEval

Plataforma que analiza por qué fallan tus agentes y sugiere mejoras. Busca en trazas, ejecuta experimentos con datos de producción y prueba antes de desplegar.

EvalsOne

Plataforma para evaluar y optimizar iterativamente indicaciones y versiones de modelos de lenguaje mediante métricas, pruebas A/B y análisis comparativo.

Langwatch

Langwatch es una plataforma para gestionar y optimizar aplicaciones de modelos de lenguaje, facilitando su evaluación y mejora sin alterar el código de producción.

Weave

Weave utiliza ML para medir el trabajo en ingeniería, analiza cada PR y muestra el tiempo estimado de revisión, calidad y tipo de trabajo.