AI治理软件包括一套工具和框架，旨在监督AI系统的负责任开发，部署和操作。它的主要目标是确保AI技术保持道德，透明，安全和符合适用的法律和法规标准。 该软件通常由数据科学和AI开发团队，法律和合规部门，IT和安全专业人员使用。它支持关键过程，例如数据收集和模型部署，同时促进透明度和问责制。通过自动化合规检查并不断监控潜在的违规行为，它有助于降低监管违规和法律曝光的风险。 AI治理软件的核心功能是生成审计跟踪，使得在内部评估或外部监管审核期间更容易证明合规性。这样可以确保AI系统与不断发展的标准和要求保持一致。 关键功能通常包括偏见检测，风险管理，模型解释性，合规性监控和AI生命周期管理。这些能力使组织有能力确定和减轻风险，执行问责制，并保持对其AI系统的控制，从开发到部署以及其他部署。 尽管AI治理平台可能与MLOPS工具或数据隐私管理软件重叠，但它们的独特价值在于他们重点关注人工智能的道德，法律和法规维度。
LangSmith
LangSmith 是一个开发平台，支持大型语言模型(LLM)应用的开发、监控与评估，集成了调试与反馈功能。
Weights & Biases
Weights & Biases是一个AI开发平台，帮助开发者跟踪实验、管理模型和数据，促进团队协作，提高模型的可复现性。
Copyleaks
Copyleaks 是一个检测文本中抄袭和 AI 生成内容的工具，支持多种语言，并为教育者和企业提供详细分析和定制设置。
Holistic AI
整体AI是一个AI治理平台，帮助组织评估、管理和遵循AI系统的监管要求，确保负责任地实施人工智能。
Mine
Mine应用是一个帮助企业实现自动化数据隐私操作的平台，快速高效地满足合规要求，适应企业的独特数据处理需求。
Galileo
Galileo 是用于生成式 AI 和代理应用的评估与可观测性平台，可帮助团队测试、监控和保护模型输出，支持离线/在线评估、调试和性能分析。
Serenity Star
Serenity Star 是一个企业级生成性人工智能生态系统，旨在帮助各类组织实施和扩展生成性人工智能，提高员工生产力和工作流程自动化。
TrustWorks
TrustWorks是一个隐私和人工智能治理平台，帮助隐私专业人员简化操作，促进组织内部协作，支持有效的隐私管理。
WhyLabs
WhyLabs是一款用于实时监控和管理大型语言模型应用的工具，旨在提高AI系统的可靠性和透明度。
CalypsoAI
CalypsoAI是一个安全平台，提供AI系统的实时漏洞扫描、风险保护和性能分析，帮助组织管理AI安全风险。
Credo.ai
Credo.ai是一个AI治理平台，自动化监督和风险管理，确保AI合规并支持透明、公正的AI实践。
Fiddler
Fiddler 是一个用于监控、分析和管理 AI/机器学习模型、LLM 应用和代理系统的平台，可帮助团队跟踪性能、发现偏差并评估安全与信任指标。
ValidMind
有效性Mind是一个平台，用于AI和模型风险管理，提供模型测试、验证、文档和监视，确保合规性和降低风险。