大语言模型运维 | 热门应用与软件

Dify

Dify 是开源的 LLM 应用开发平台，提供可视化工作流、RAG 管道、代理与模型管理、API 与部署及可观测性，用于构建与运行生成式 AI 应用。

LangSmith

LangSmith 是一个开发平台，支持大型语言模型(LLM)应用的开发、监控与评估，集成了调试与反馈功能。

Wordware

Wordware是一个协作式提示工程集成开发环境，简化AI代理和应用的创建与部署，支持用户轻松连接API并进行高效协作。

Langfuse

Langfuse是一款开源LLMOps平台，帮助团队开发、监控和评估AI应用，支持自托管，提供详细的性能分析和调试工具。

Klu.ai

Klu.ai是一个平台，支持AI应用的设计、部署和优化，特别是利用大型语言模型的应用。

Promptly

迅速是一款低代码生成式AI平台，帮助企业创建和优化系统提示，支持技术与非技术用户参与及时工程。

Humanloop

Humanloop是一个企业平台，用于开发和评估大语言模型（LLM）应用，整合人类反馈以优化AI模型，支持实时监控与分析。

Agenta

Agenta 是开源平台，帮助团队开发、监控和评估基于大模型的应用。支持多模型比对、提示工程、版本管理、A/B 测试、成本与性能监控及调试。

Laminar AI

Laminar AI是一个开源平台，提供工具用于观察、分析大型语言模型（LLM）应用程序，支持跟踪、评估和数据集创建。

LLM Gateway

LLM Gateway是一个集中式平台，通过统一API接口管理与多个大型语言模型（LLM）提供商的交互，支持灵活使用和监控。

Promptmonitor

Promptmonitor 是一款帮助市场营销人员跟踪和优化品牌在 ChatGPT、Claude、Gemini 等 AI 平台上的曝光度的应用。

Traceloop

Traceloop监控LLM应用程序的质量，提供跟踪、调试和优化工具，确保生产环境中的性能和可靠性。

Arkor

Arkor 是面向开发者的 AI 模型训练与部署平台，可准备数据、运行微调训练，并通过兼容 OpenAI 的 API 部署模型，无需自行配置 GPU 或编写 Python 训练代码。

Inworld

Inworld 是一个用于开发、运行和扩展面向消费者 AI 应用的平台，提供运行时、MLOps、遥测与实时实验，并支持实时语音与灵活部署。

Maxim AI

Maxim AI是一个企业级AI评估和可观察性平台，帮助团队高效开发、测试和监控AI应用，确保质量和可靠性。

Vellum

Vellum是一个AI开发平台，支持AI应用程序的创建、部署和监视，适用于各类团队，简化AI模型开发过程。

Galileo

Galileo 是用于生成式 AI 和代理应用的评估与可观测性平台，可帮助团队测试、监控和保护模型输出，支持离线/在线评估、调试和性能分析。

Helicone

Helicone是一个开源框架，专为大型语言模型的可观察性和监视而设计，提供追踪、调试和优化工具。

Confident AI

自信AI是大型语言模型（LLM）的评估平台，提供测试、监控和优化工具，确保LLM应用程序的可靠性和安全性。

Mastra

Mastra 是一个以 TypeScript 为主的开源框架，用于构建与部署生产级 AI 应用，提供代理、持久工作流、RAG 检索、评估与多厂商模型接入。

Lamini

Lamini是一个企业平台，帮助软件团队使用专有数据开发和管理定制的大型语言模型，支持本地和云安装。

GradientJ

GradientJ帮助产品团队大规模部署大型语言模型，提供构建、比较提示和监控模型性能的工具。

AI Monitor

监控AI平台（如ChatGPT、Google AI Overview等）上的品牌相关结果，分析趋势并提供优化建议，帮助品牌了解并改进在AI生成内容与回答中的表现。

TrueFoundry

TrueFoundry是一个云原生PaaS平台，帮助机器学习团队在自己的云或本地基础设施上快速构建、部署和管理AI应用。

Test AI Models

Test AI Models 让你无需设置、无需API密钥，直接粘贴自定义提示，一次并行在多个AI模型上测试并实时比较输出质量、速度和成本，30秒内得结果。

Deepchecks

Deepchecks是一个平台，用于简化大型语言模型的评估和验证，提供自动检查、性能监测和数据验证，确保模型的准确性和公平性。

Orq.ai

Orq.ai是一个生成式人工智能协作平台，帮助团队开发、部署和优化AI应用，支持150多种大型语言模型的集成与测试。

FinetuneDB

FinetuneDB是一个AI微调平台，简化数据集创建和管理，支持优化大型语言模型，提高性能和降低成本。

Weavel

Weavel是一个用于LLM应用的性能分析和测试平台，可以构建数据集、进行批量测试、分析性能并监控生产使用情况。

Patronus AI

Patronus AI是一个自动评估平台，帮助企业检测大型语言模型的错误，确保其准确性和可靠性，支持安全使用生成AI。

SiliconFlow

SiliconFlow 是面向开发者的云端 AI 基础设施平台，通过统一 API 加速语言与多模态模型的推理、微调与部署，支持可定制部署、SDK、监控和多供应商模型，不存储用户数据。

Braintrust

Braintrust是一个开发和优化AI应用的平台，支持实时监控、比较实验和团队协作，以提升模型性能和可靠性。

CoreCtic AI

CoreCtic AI 是统一管理多家大语言模型 API 的代理与分析平台，提供请求路由、语义缓存、成本与用量监控、多客户管理及报告功能。

Not Diamond

Not Diamond 是一个多模型 AI 路由与提示适配平台，自动将输入分配到最合适的模型、适配提示并提供回退与负载均衡，支持 Python/TypeScript/REST 集成。

LLMTest

LLMTest 代理 OpenAI/Anthropic 调用，跟踪成本，支持 340+ 模型基准测试，并基于真实流量自动优化提示和故障转移路由。

Entry Point AI

Entry Point AI 是一个针对大语言模型的微调平台，用于管理、训练和评估，支持数据导入导出和团队协作功能。

Augento

Augento 是一个深度学习微调服务平台，用户提供反馈并改进模型，以提升AI代理的表现和准确性，适合各种应用场景。

Ultra AI

Ultra AI 是一个综合的人工智能指挥中心，通过统一接口访问多个AI服务，提升开发效率和应用性能。

AgentOps

AgentOps是一款工具，专注于测试和调试AI代理，提供录制提示、事件跟踪和性能可视化，方便用户管理AI操作。

Fiddler

Fiddler 是一个用于监控、分析和管理 AI/机器学习模型、LLM 应用和代理系统的平台，可帮助团队跟踪性能、发现偏差并评估安全与信任指标。

MosaicML

MosaiCML是一个机器学习平台，提供模型开发、部署和管理工具，支持定制AI模型和数据安全。

Gentrace

Gentrace是一个平台，帮助开发者测试和监控AI应用，提升开发效率，确保质量与可靠性。通过自动化优化测试流程，适应现代开发需求。

AnyApiAI

AnyApiAI 是一个统一的 AI 模型 API 平台，可通过单一接口访问和管理 400+ 模型，支持在不同提供商间切换，并提供测试、路由、监控和使用分析功能。

Bellaire AI

Bellaire AI是一个高级人工智能平台，支持定制AI代理的设计、开发和部署，促进自动化与跨团队协作。

Parea

Parea AI帮助开发者更快地构建生产就绪的LLM产品，可以进行提示和链的实验、版本管理、性能评估以及整个工作流程管理。

Relyable

Relyable 可快速部署 AI 语音代理，运行代理间模拟对话并评估实时通话，原生支持与 Vapi 和 Retell AI 集成。

Toolhouse

Toolhouse是一个云基础设施，简化AI代理的创建和管理，支持通过API集成和自动化任务。

LaminarFlow

LaminarFlow 是一个自动化内容创建和发布的工具，利用先进的 AI 技术简化工作流程，提高效率、准确性和一致性。

Pioneer

Pioneer 是一个用于微调和部署开源语言模型的平台，可自动生成数据、训练、评估，并基于实时推理数据持续更新模型。

Lang.ai EU

Lang.ai 是一款无代码服务自动化平台，帮助客服团队构建可自动化管理的 AI 模型，集成 Zendesk 和 Salesforce，提高支持流程效率。

Athina AI

Athina AI帮助开发者监控和评估其生产环境中的LLM应用，提供对RAG管道的全面视图和40多种评估指标，以检测幻觉和衡量AI性能。

Mosaic

Mosaic 是一款视频编辑 AI 应用，用户通过自然语言描述编辑内容，能够将视频编辑从数小时缩短至数秒。

PromptPilot

PromptPilot 是面向大模型开发的提示词优化平台，支持提示词生成、基于用户意图和评测数据的调优，以及通过 API 接入获取反馈并持续迭代优化。

Parlance

Parlance是一个语音驱动的应用，通过对话式AI改善来电者体验，帮助企业提供无摩擦的沟通方式。

Tracer

Tracer 是一个 AI 模型协调平台，通过统一的 OpenAI 兼容接口路由和组合不同模型，根据任务复杂度选择合适的模型，并提供推理、工作流与生产性能跟踪。

OrcaRouter

OrcaRouter 是一个兼容 OpenAI 的 AI 路由网关，通过单一 API 在 200+ 模型间自动选择、路由和故障转移请求，并支持成本跟踪与预算控制。

Nirixa AI

Nirixa AI 是一个用于监控 LLM 调用的可观测平台，可跟踪各模型的成本、延迟、提示漂移和幻觉风险，并通过单个 SDK 和仪表板快速接入。

ModelRiver

ModelRiver 是一个统一的 AI 接口网关，连接多家大模型提供商，支持流式响应、自定义配置、内置包、请求路由、速率限制、故障转移与使用分析。

Draft'n run

Draft'n run 是开源平台，帮助团队可视化创建、部署与监控 AI 代理与自动化工作流，支持可扩展的生产部署与追踪。

Flutch

Flutch 是一个 AI 代理部署与测试平台，提供全程决策追踪、验收测试、质量与成本监控、版本管理和多渠道部署，支持框架无关的 CLI 导入模型/图。