大型語言模型維運（LLMOps） - 熱門應用程式與軟體

Flutch

Flutch 是部署與測試 AI 代理的平台，提供步驟與決策追蹤、品質測試、版本與成本控管，支援多框架與 CLI、快速部署與多通路上線。

PromptWaveAI

PromptWaveAI是一款多功能應用，幫助用戶創建、整理和分享提示，以優化AI生成的結果。

Promptic

Promptic 可用自有資料比較模型、提示詞與代理程式，評估品質、成本和延遲，並追蹤 AI 工作流程，協助團隊找出合適的設定。

ReasonBlocks

ReasonBlocks 是 AI 代理優化平台與 Python SDK，可分析代理運行、重複使用推理模式、壓縮上下文並進行模型路由，以降低令牌與推理成本。

Mentlio

Mentlio 是 AI 使用分析與優化平台，協助工程團隊追蹤 AI 支出、令牌使用、生產力與採用率，並透過模型路由、內容優化及壓縮降低成本。

Belvedir

Belvedir 是私人 AI 基礎設施平台，透過 SDK 收集代理程式追蹤資料，協助團隊訓練、評估、部署及持續改進自訂模型與代理程式。

Experiential Labs

Experiential Labs 是開源 AI 閘道與模型管理平台，透過單一 API 統一存取、路由及管理託管、自訂金鑰與自託管模型，並提供權限、監控與用量控制。

qRaptor

qRaptor 是一個 AI 原生應用程式平台，可透過自然語言與無程式碼工具建立應用程式和 AI 代理，整合 API、部署至不同環境，並提供監控與治理功能。

Bursora

Bursora 是一款 AI 支出與預算管理工具，可在請求送出前檢查並限制 OpenAI、Anthropic、Google 等模型供應商的使用費用，支援按客戶、代理、工作流程與工作區設定預算。

Syrin AI

Syrin AI 是 AI 代理的監控與控制平台，提供即時監測、漂移偵測、調試追蹤與遠端設定更新，協助團隊在生產環境中管理代理行為並及早發現問題。

Polarity

Polarity 是一個 AI 代理評估與可觀察平台，用於在生產環境中監控、測試與除錯代理行為，分析追蹤、評分結果並在異常時發出警報。

Plurai

Plurai 是一個用於 AI 代理評估與防護的平台，可生成訓練資料、驗證行為、部署客製模型，並提供即時護欄與持續監控，以降低失敗與違規。

Tracium.ai

Tracium.ai 是一個供開發者使用的 AI 可觀測性工具，可追蹤成本、記錄請求、除錯失敗、比較提示與模型，並即時偵測漂移，集中管理模型、工具與代理。

Respan

Respan 是 LLM 工程與可觀察性平台，提供監控、評估及提示優化，協助開發、部署與排查生產環境中的 AI 應用之行為與效能。

Hicap

Hicap 提供企業級 AI 基礎設施，支援預留 GPU、OpenAI/Anthropic/Google 模型切換、精確成本與使用量監控，協助部署可預測成本與效能的生產工作負載，可降低最多 25% 推理成本。

GTWY.AI

GTWY.AI 提供統一 API 存取多家 AI 模型與服務，簡化認證、流量路由、監控與故障備援，便於供應商切換、集中管理請求、配額與使用情況。

ZeroEval

提供代理失敗原因與改進建議；可搜尋執行紀錄、以生產資料進行實驗並在部署前測試。

EvalsOne

EvalsOne 是一個評估平台，系統化測試與比較大型語言模型提示與回應，提供量化指標、A/B 測試與版本比較，協助快速驗證並改進模型表現。

Langwatch

Langwatch是一個綜合平台，用於管理和優化大型語言模型的性能，支持數據控制和安全性，並便於整合各種LLM供應商。

Weave

Weave 使用機器學習分析程式碼變更，每次檢查 PR，提供預估所需時間、檢閱質量及工作類型。