BenchSpan

BenchSpan は、AI エージェントを構築する開発者向けに設計された エージェント ベンチマーク プラットフォーム で、ベンチマークを数時間ではなく数分で完了できるようにします。[1]分離された Docker コンテナで評価を並行して実行し、最小限のセットアップで 14 時間の SWE ベンチのようなワークロードをサポートします。[1]

ユーザーは、フレームワークのロックインや特定のインターフェイスの変更を必要とせずに、エージェントを起動するための単純な bash スクリプトを提供します。[1]このプラットフォームは、SWE-bench Verified、SWE-bench Lite、** Terminal-Bench**、HumanEval、MBPP、MATH、GPQA などの標準ベンチマークのライブラリを提供するか、カスタム ベンチマークを使用できます。[1]並列インスタンスの数を構成し、インターフェイスから直接実行を開始します。[1]

結果には、スコア、軌跡、トークン使用状況、レイテンシー、カスタム データなどの詳細なメトリクスがキャプチャされ、すべて検索可能なチーム ダッシュボードに一元化されます。[1]実行は、再現性とバージョン間の比較を容易にするためにコミット ハッシュによってタグ付けされます。[1]この設定により、AI エージェントの評価、ベンチマーク ワークフロー、エンジニアリング チームのパフォーマンス追跡が合理化されます。[1][9]

免責事項：WebCatalogはBenchSpanによって提携、関連、認可、承認されたものではなく、また何らかの方法で公式に接続されたものでもありません。すべての製品名、ロゴ、ブランドはそれぞれの所有者の所有物です。