大型語言模型維運（LLMOps）：最佳應用程式與軟體

Dify

Dify 是開源的 LLM 應用開發平台，提供可視化工作流、RAG、代理與模型管理，支援多種模型、部署與觀測工具。

LangSmith

LangSmith是一個整合開發平台，提供大型語言模型LLM應用的開發、監控和評估工具，幫助開發者優化應用性能。

Wordware

Wordware是一個協作的提示工程IDE，簡化AI代理與應用程式的構建和部署，支援API連接與生成管理。

Langfuse

Langfuse是一個開源LLMOps平台，幫助團隊共同開發、監控和評估AI應用，支持自我部署和多種模型集成。

Humanloop

Humanloop是一個企業平台，用於開發和評估大型語言模型（LLM）應用，並通過人類反饋改進模型性能。

Agenta

Agenta 是開源平台，用於開發、監控與評估基於大型語言模型的應用，提供提示協作、版本管理、A/B 測試、可觀察性、成本與效能追蹤，並支援多種 LLM 與框架。

Klu.ai

Klu.ai是一個綜合平台，支持開發和優化使用大型語言模型的AI應用，促進團隊協作和性能分析。

Promptly

迅速是一個低代碼生成AI平台，簡化大型語言模型的提示創建與管理，支持用戶進行提示優化與實驗。

Laminar AI

Laminar AI是一個開源平台，幫助開發人員監控和優化大型語言模型應用，提供追踪、分析和數據管理工具。

LLM Gateway

LLM Gateway是一個集中式平台，通過單一API管理和分析多個AI模型提供商的請求，簡化開發者的集成和操作工作流程。

Arkor

Arkor 是 AI 模型訓練與部署平台，協助開發者準備資料、執行微調，並將模型部署為相容 OpenAI 的 API，無需自行管理 GPU 或 Python 訓練環境。

Inworld

Inworld 是一個為消費者應用提供 AI 運行時與工具的平台，支援大規模部署、降低維運、提供機器學習運維 (MLOps)、實時語音 (TTS) 與實驗管理。

Traceloop

Traceloop監控LLM應用程式的質量，提供警報、洞察及逐步推出功能，幫助開發人員調試和優化應用。

Promptmonitor

Promptmonitor 是一款應用程式，讓行銷人員追蹤並優化品牌在各種AI平台的可見性，以增加流量、潛在客戶和銷售。

Vellum

Vellum是一個支持AI驅動應用程序開發的端到端平台，提供協作工具以便於創建、部署和監控AI應用。

Helicone

Helicone是一個開源框架，專為大型語言模型的可觀察性和監控而設，幫助開發人員跟踪和優化LLM應用程式。

Galileo

Galileo 是一個用於評估、監控與保護企業 AI／代理應用程式的平台，可測試提示、RAG 與模型表現，並提供即時監控、除錯與指標分析。

Maxim AI

Maxim AI是一個AI評估和可觀察性平台，幫助團隊開發、測試和部署高質量的AI產品，提供數據管理和實時監控功能。

Confident AI

自信AI是一個大型語言模型（LLM）評估平台，提供測試、優化和監控工具，以確保LLM應用的可靠性和安全性。

Mastra

Mastra 是一個 TypeScript 為主的開源 AI 框架，提供代理、持久工作流程、RAG 檢索、評估與部署工具，幫助開發與監控生產級 AI 應用。

Lamini

Lamini是一個企業級平台，幫助團隊構建和管理自有大型語言模型，支持定制化和高效集成，適用於多種環境。

GradientJ

GradientJ是一個AI平台，幫助產品團隊開發、部署和管理大型語言模型，支持可擴展應用和性能監控。

TrueFoundry

TrueFoundry是一個雲原生PaaS平台，協助機器學習團隊快速構建、部署和管理AI應用程序，提升效率和降低成本。

Test AI Models

Test AI Models 讓你在無需設定與 API 金鑰的情況下，同步以相同提示測試多個 AI 模型，並即時比較回應品質、速度與成本，30 秒內取得結果。

Deepchecks

Deepchecks是一個評估平台，簡化大型語言模型和機器學習系統的驗證，提供性能監測和偏見檢測功能。

Orq.ai

Orq.ai是一個生成式AI協作平台，幫助團隊開發、部署和優化大型AI應用，並支持多種模型集成與實時性能監控。

AI Monitor

AI Monitor 監控並分析 ChatGPT、Google AI 等平台產生的內容與搜尋結果，為品牌提供具體建議以優化線上曝光與內容策略。

FinetuneDB

FinetuneDB是一個AI微調平台，簡化數據集的創建與管理，以提高大型語言模型的性能和應用效果。

Weavel

Weavel是一個針對LLM應用的性能分析與測試平台，可以輕鬆建立數據集、執行批量測試並分析性能。

Patronus AI

Patronus AI是一個自動評估平台，檢測大型語言模型的錯誤，幫助企業自信地使用生成AI，確保準確性與可靠性。

SiliconFlow

SiliconFlow 提供雲端 API 與開發工具，讓開發者部署、微調與推理語言與多模式模型，支援影像/影片輸入、可觀察性與多供應商接入，並不儲存用戶數據。

Braintrust

Braintrust是一個平台，幫助團隊開發、評估和優化AI應用，提供實時監控和數據管理功能以提高模型性能和可靠性。

CoreCtic AI

CoreCtic AI 是統一管理多個大型語言模型 API 的代理與分析平台，提供語義緩存、成本與用量監控、多客戶管理、模型路由及報告功能。

Not Diamond

Not Diamond 是一個多模型 AI 基礎設施平台，能自動將提示適配到不同模型並根據輸入預測選擇最適合的 LLM，支援路由、回退與 Python/TypeScript/REST API。

LLMTest

LLMTest 代理 OpenAI/Anthropic 呼叫，追蹤成本，支援 340+ 模型基準測試，並可根據真實流量自動優化提示與故障轉移路由。

Entry Point AI

Entry Point AI 是一個微調平台，管理、訓練和評估大型語言模型，並提升模型性能及協作效率。

Augento

Augento是一個深度學習微調平台，允許用戶提供反饋以改善代理表現，並透過強化學習優化模型。

Ultra AI

Ultra AI 是一個整合多個 AI 服務的指令中心，提供統一 API 接口、快取機制及使用分析，幫助開發者高效建置 AI 應用。

AgentOps

AgentOps是一款增強AI代理管理的工具，提供錄製提示、事件記錄和性能視覺化，支持與AI平台如OpenAI整合。

Fiddler

Fiddler 是一個 AI 監控與安全平台，用於追蹤、分析並管理機器學習、LLM 和代理式 AI 應用的表現、偏差與風險。

MosaicML

MosaiCML是一個平台，提供工具以開發、部署和管理機器學習模型，並支持數據安全和治理。

Gentrace

Gentrace是一個開發平台，用於測試與監控AI應用，提升測試效率與可靠性，支持AI模型的創建和優化。

AnyApiAI

AnyApiAI 是一個統一的 AI 模型 API 平台，可透過單一介面存取 400 多個模型，支援模型切換、RAG、代理、測試、路由與監控。

Bellaire AI

Bellaire AI是一個平台，允許用戶構建和整合智能AI代理，支持自動化任務和數據驅動決策。

Parea

Parea AI 幫助開發者更快地構建可生產的 LLM 產品。用於提示和流程的實驗、版本管理、性能評估及 LLM 工作流程的全過程管理。

Toolhouse

Toolhouse是一個雲端平台，簡化AI代理的創建、部署與管理，用戶可用少量代碼迅速開發並整合智能API。

LaminarFlow

LaminarFlow是一款自動化內容創作和發布的平臺，透過先進AI技術簡化工作流程，提高準確性和一致性。

OrcaRouter

OrcaRouter 是相容 OpenAI 的 AI API 網關，可透過單一端點在 200+ 個模型間路由請求，支援模型選擇、後備、成本追蹤與自動故障轉移。

Ramp Router

Ramp Router 提供單一 API 端點，讓應用程式存取多家 AI 模型，並依成本、效能、品質與可用性自動分配請求，降低對單一供應商的依賴。

Pioneer

Pioneer 是一個用於微調與部署開源語言模型的平台，能自動生成資料、訓練、評估並持續用即時推理資料更新模型。

Lang.ai EU

Lang.ai 是一個無需編碼的服務自動化平台，幫助客服團隊建立可控制的 AI 模型，以改善和自動化客服流程，支持 Zendesk 和 Salesforce。

Athina AI

Athina AI 幫助開發者監控和評估其 LLM 應用，提供完整的 RAG 管道可視化，以及 40 多項預設評估指標以測量 AI 性能和偵測幻覺。

Mosaic

Mosaic 是一款 AI 視頻編輯應用，使用者可用自然語言描述編輯內容，並在幾秒鐘內完成編輯，節省大量時間。

PromptPilot

PromptPilot 是一個面向大模型應用的提示詞優化平台，提供從提示詞生成、調整到持續迭代的全流程支援，並可透過 API 蒐集回饋資料以提升輸出品質。

Relyable

Relyable 讓你快速部署語音 AI 代理，模擬 AI 代理間對話並評估實際通話，原生整合 Vapi 與 Retell AI。

Parlance

Parlance 提供語音驅動的客戶服務解決方案，利用對話式人工智慧改善來電者體驗，幫助組織有效連接客戶。

Nirixa AI

Nirixa AI 是一個 LLM 可觀測平台，可追蹤 OpenAI、Anthropic、Gemini、Groq 等模型呼叫的成本、延遲、提示漂移與幻覺風險，並支援即時監控。

Tracer

Tracer 是人工智慧協調平台，整合並路由多個開放模型，透過自適應推理、工作流程配置與生產追蹤，為不同任務選擇合適的模型。

ModelRiver

ModelRiver 是一個統一的 AI API 閘道，整合多家大型語言模型供應商，支援串流回傳、自訂設定、內建套件、路由、速率限制、故障切換及使用分析。

Draft'n run

Draft'n run 是開源平台，讓開發者與團隊以低代碼方式設計、部署與監控 AI 代理、聊天機器人與自動化流程，並整合 DevOps、可觀測性與治理工具。