BenchSpan

BenchSpan ialah **platform penanda aras ejen** yang direka untuk pembangun membina ejen AI, membolehkan penanda aras selesai dalam beberapa minit berbanding jam.[1] Ia menjalankan penilaian dalam bekas Docker terpencil secara selari, menyokong beban kerja seperti bangku SWE 14 jam dengan persediaan minimum.[1] Pengguna menyediakan skrip bash mudah untuk melancarkan ejen mereka, tanpa memerlukan penguncian rangka kerja atau perubahan antara muka tertentu.[1] Platform ini menawarkan perpustakaan penanda aras standard, termasuk **SWE-bench Verified**, **SWE-bench Lite**, **Terminal-Bench**, **HumanEval**, **MBPP**, **MATH** dan **GPQA**, atau membenarkan penanda aras tersuai.[1] Konfigurasikan bilangan kejadian selari dan mulakan larian terus daripada antara muka.[1] Keputusan menangkap metrik terperinci seperti skor, trajektori, penggunaan token, kependaman dan data tersuai, semuanya dipusatkan dalam papan pemuka pasukan yang boleh dicari.[1] Larian ditandakan oleh cincang komit untuk kebolehulangan dan perbandingan yang mudah merentas versi.[1] Persediaan ini memperkemas **penilaian ejen AI**, **aliran kerja penanda aras** dan penjejakan prestasi untuk pasukan kejuruteraan.[1][9]

Penafian: WebCatalog tidak berafiliasi, berkaitan, diberi kuasa, disokong oleh atau dalam apa-apa cara berkaitan secara rasmi dengan BenchSpan. Semua nama produk, logo dan jenama adalah milik pemilik masing-masing.