AI治理軟件包括一套工具和框架，旨在監督AI系統的負責任開發，部署和操作。它的主要目標是確保AI技術保持道德，透明，安全和符合適用的法律和法規標準。 該軟件通常由數據科學和AI開發團隊，法律和合規部門，IT和安全專業人員使用。它支持關鍵過程，例如數據收集和模型部署，同時促進透明度和問責制。通過自動化合規檢查並不斷監控潛在的違規行為，它有助於降低監管違規和法律曝光的風險。 AI治理軟件的核心功能是生成審計跟踪，使得在內部評估或外部監管審核期間更容易證明合規性。這樣可以確保AI系統與不斷發展的標準和要求保持一致。 關鍵功能通常包括偏見檢測，風險管理，模型解釋性，合規性監控和AI生命週期管理。這些能力使組織有能力確定和減輕風險，執行問責制，並保持對其AI系統的控制，從開發到部署以及其他部署。 儘管AI治理平台可能與MLOPS工具或數據隱私管理軟件重疊，但它們的獨特價值在於他們重點關注人工智能的道德，法律和法規維度。
LangSmith
LangSmith是一個整合開發平台，提供大型語言模型LLM應用的開發、監控和評估工具，幫助開發者優化應用性能。
Weights & Biases
權重與偏見是一個人工智能開發平台，幫助用戶跟踪模型的可再現性，管理超參數，並支持團隊協作與模型優化。
Copyleaks
Copyleaks是一個檢測抄襲及AI生成內容的平台，支持多語言，提供詳細報告並確保用戶數據安全。
Holistic AI
整體AI是一個專為企業設計的AI治理平台，幫助負責任地管理AI系統並確保符合監管要求。
Mine
Mine應用程式是一個平台，幫助企業自動化數據隱私操作，快速有效地達成合規，並提供適合特定處理需求的隱私計畫。
Galileo
Galileo 是一個用於評估、監控與保護企業 AI／代理應用程式的平台，可測試提示、RAG 與模型表現，並提供即時監控、除錯與指標分析。
Serenity Star
Serenity Star是一個企業級生成式人工智慧生態系統，幫助各類組織在工作場域、產品及流程中推廣和擴展生成式AI。
WhyLabs
WhyLabs是一個監控和管理大型語言模型的工具，可以實時檢測異常，優化數據質量，並提高AI系統的可靠性。
TrustWorks
TrustWorks 是一個隱私和人工智慧治理平台，幫助隱私專業人士簡化操作，促進組織內部的合作與文化。
CalypsoAI
CalypsoAI是一個平台，提供AI系統的安全掃描、風險保護及性能見解，幫助企業在使用AI時保持安全與合規。
Credo.ai
Credo.ai是一個AI治理平台，幫助企業自動化AI監督、風險管理和合規性，確保AI系統的透明度和可信度。
Fiddler
Fiddler 是一個 AI 監控與安全平台，用於追蹤、分析並管理機器學習、LLM 和代理式 AI 應用的表現、偏差與風險。
ValidMind
有效性Mind是一個專門為AI和模型風險管理團隊設計的平台，旨在快速測試、文檔化、驗證和治理生成AI及統計模型。