大语言模型运维：最佳应用与软件

Flutch

Flutch 是一个 AI 代理部署与测试平台，提供全程决策追踪、验收测试、质量与成本监控、版本管理和多渠道部署，支持框架无关的 CLI 导入模型/图。

PromptWaveAI

PromptWaveAI是一款用于创建、组织和分享AI提示的应用，帮助用户提高提示的效果和质量。

AcruxCore

AcruxCore 为工程团队提供 LLM 运维工具，可管理提示词版本、路由模型调用、追踪调用表现，并评估提示词和模型。

Spanlens

Spanlens 是开源的 LLM 监控平台，可追踪模型请求、用量、成本、延迟、错误及智能体调用，并支持提示词评估、告警和自托管。

Vigil

Vigil 通过单一代理监控 AI 应用和智能体的 API 调用，记录费用、Token 用量、延迟和错误，并检测异常、提示词注入及可能的个人信息泄露。

Tensorant

Tensorant 可在自有云 GPU 上创建和管理数据集、微调开放权重模型、评估效果，并通过兼容 OpenAI 的 API 部署模型。

Promptic

Promptic 可用自有数据评测和比较模型、提示词、智能体及工具调用，并追踪质量、成本和延迟，帮助团队优化生成式 AI 应用。

ReasonBlocks

ReasonBlocks 是一个 AI 代理优化平台和 Python SDK，可分析代理运行轨迹，复用推理模式，压缩上下文，检测循环，并优化模型路由以降低推理成本。

Mentlio

Mentlio 是一个 AI 使用分析与优化平台，帮助工程团队跟踪 AI 成本、令牌使用、生产力和采用率，并通过模型路由、上下文优化等功能降低支出。

Belvedir

Belvedir 是一个私有 AI 基础设施平台，通过 SDK 收集代理运行数据，用于训练、评估、部署和持续改进自定义模型、记忆系统与模型路由。

Experiential Labs

Experiential Labs 是开源 AI 网关和模型管理平台，通过统一 API 管理多家模型、密钥、权限、路由、使用限制、请求监控和成本跟踪。

qRaptor

qRaptor 是一个 AI 原生应用开发与执行平台，可通过自然语言和可视化工具构建应用、AI 代理及多代理工作流，并提供集成、部署、监控、审计和治理功能。

Bursora

Bursora 是一款 AI 支出管理应用，可在请求发送前按客户、代理、工作流和工作区设置预算并拦截超支调用，同时提供实时费用可见性和告警，且直连模型提供商。

Syrin AI

Syrin AI 是一个用于监控和管理 AI 代理的控制平面，支持实时监控、调试、漂移检测和远程配置修改，帮助团队发现并处理生产中的代理问题。

Polarity

Polarity 是一个 AI 代理评估与可观察性平台，用于在生产环境中监控代理决策、发现故障模式，并通过追踪、回放和评估提升可靠性。

Plurai

Plurai 是一个用于评估和保护 AI 代理的平台，可生成训练数据、验证行为并部署定制模型，帮助减少故障、违规和幻觉，并提供实时护栏与持续监控。

Tracium.ai

Tracium.ai 是面向开发者的 AI 可观测平台，可在一个地方跟踪成本、追踪请求、排查故障、比较提示词和模型，并实时检测漂移，适用于模型、工具和代理。

Respan

Respan 是面向生产环境的 LLM 工程平台，提供可观察性、评估与提示优化，采集执行跟踪并帮助定位故障与改进模型与流程。

Hicap

Hicap 提供企业级 AI 基础设施，支持 OpenAI、Anthropic 与 Google 模型切换，按需或预留吞吐、可预测成本与细化使用/成本监控，助力降低推理成本（最多25%）。

GTWY.AI

GTWY.AI 提供统一 API，整合多家 AI 模型与服务，简化接入、路由、监控与供应商切换，便于部署和管理跨供应商的 AI 应用。

ZeroEval

ZeroEval 是一个平台，帮助分析智能代理故障原因并提供改进建议。可检索跟踪记录、用生产数据运行实验并在部署前进行测试。

EvalsOne

EvalsOne 是一个评估平台，帮助系统评估并迭代优化基于大型语言模型的提示与响应，提供量化指标、A/B 测试与版本比较以改进模型性能。

Langwatch

Langwatch是一个综合平台，管理和优化大型语言模型的生命周期，提供工具监控和改进模型性能，确保数据安全和合规。

Weave

Weave使用机器学习来衡量工程效率，它扫描每个拉取请求，显示每个请求的预期耗时、评审质量和工作类型。