替代项 - Test AI Models

Dify

Dify 是开源的 LLM 应用开发平台，提供可视化工作流、RAG 管道、代理与模型管理、API 与部署及可观测性，用于构建与运行生成式 AI 应用。

LangSmith

LangSmith 是一个开发平台，支持大型语言模型(LLM)应用的开发、监控与评估，集成了调试与反馈功能。

Wordware

Wordware是一个协作式提示工程集成开发环境，简化AI代理和应用的创建与部署，支持用户轻松连接API并进行高效协作。

Klu.ai

Klu.ai是一个平台，支持AI应用的设计、部署和优化，特别是利用大型语言模型的应用。

Langfuse

Langfuse是一款开源LLMOps平台，帮助团队开发、监控和评估AI应用，支持自托管，提供详细的性能分析和调试工具。

Promptly

迅速是一款低代码生成式AI平台，帮助企业创建和优化系统提示，支持技术与非技术用户参与及时工程。

Agenta

Agenta 是开源平台，帮助团队开发、监控和评估基于大模型的应用。支持多模型比对、提示工程、版本管理、A/B 测试、成本与性能监控及调试。

Laminar AI

Laminar AI是一个开源平台，提供工具用于观察、分析大型语言模型（LLM）应用程序，支持跟踪、评估和数据集创建。

Arkor

Arkor 是面向开发者的 AI 模型训练与部署平台，可准备数据、运行微调训练，并通过兼容 OpenAI 的 API 部署模型，无需自行配置 GPU 或编写 Python 训练代码。

Humanloop

Humanloop是一个企业平台，用于开发和评估大语言模型（LLM）应用，整合人类反馈以优化AI模型，支持实时监控与分析。

Galileo

Galileo 是用于生成式 AI 和代理应用的评估与可观测性平台，可帮助团队测试、监控和保护模型输出，支持离线/在线评估、调试和性能分析。

Promptmonitor

Promptmonitor 是一款帮助市场营销人员跟踪和优化品牌在 ChatGPT、Claude、Gemini 等 AI 平台上的曝光度的应用。

Maxim AI

Maxim AI是一个企业级AI评估和可观察性平台，帮助团队高效开发、测试和监控AI应用，确保质量和可靠性。

Traceloop

Traceloop监控LLM应用程序的质量，提供跟踪、调试和优化工具，确保生产环境中的性能和可靠性。

Confident AI

自信AI是大型语言模型（LLM）的评估平台，提供测试、监控和优化工具，确保LLM应用程序的可靠性和安全性。

Inworld

Inworld 是一个用于开发、运行和扩展面向消费者 AI 应用的平台，提供运行时、MLOps、遥测与实时实验，并支持实时语音与灵活部署。

LLM Gateway

LLM Gateway是一个集中式平台，通过统一API接口管理与多个大型语言模型（LLM）提供商的交互，支持灵活使用和监控。

Helicone

Helicone是一个开源框架，专为大型语言模型的可观察性和监视而设计，提供追踪、调试和优化工具。

Vellum

Vellum是一个AI开发平台，支持AI应用程序的创建、部署和监视，适用于各类团队，简化AI模型开发过程。

LLMTest

LLMTest 代理 OpenAI/Anthropic 调用，跟踪成本，支持 340+ 模型基准测试，并基于真实流量自动优化提示和故障转移路由。

GradientJ

GradientJ帮助产品团队大规模部署大型语言模型，提供构建、比较提示和监控模型性能的工具。

Deepchecks

Deepchecks是一个平台，用于简化大型语言模型的评估和验证，提供自动检查、性能监测和数据验证，确保模型的准确性和公平性。

Orq.ai

Orq.ai是一个生成式人工智能协作平台，帮助团队开发、部署和优化AI应用，支持150多种大型语言模型的集成与测试。

AI Monitor

监控AI平台（如ChatGPT、Google AI Overview等）上的品牌相关结果，分析趋势并提供优化建议，帮助品牌了解并改进在AI生成内容与回答中的表现。

Braintrust

Braintrust是一个开发和优化AI应用的平台，支持实时监控、比较实验和团队协作，以提升模型性能和可靠性。

Mastra

Mastra 是一个以 TypeScript 为主的开源框架，用于构建与部署生产级 AI 应用，提供代理、持久工作流、RAG 检索、评估与多厂商模型接入。

Patronus AI

Patronus AI是一个自动评估平台，帮助企业检测大型语言模型的错误，确保其准确性和可靠性，支持安全使用生成AI。

CoreCtic AI

CoreCtic AI 是统一管理多家大语言模型 API 的代理与分析平台，提供请求路由、语义缓存、成本与用量监控、多客户管理及报告功能。

Not Diamond

Not Diamond 是一个多模型 AI 路由与提示适配平台，自动将输入分配到最合适的模型、适配提示并提供回退与负载均衡，支持 Python/TypeScript/REST 集成。

TrueFoundry

TrueFoundry是一个云原生PaaS平台，帮助机器学习团队在自己的云或本地基础设施上快速构建、部署和管理AI应用。