Lisää selaimeen ChromeOletko tämän sovelluksen kehittäjä? Vahvista omistajuus hallitaksesi tätä listausta.
BenchSpan on **agentin benchmarking-alusta**, joka on suunniteltu tekoälyagentteja rakentaville kehittäjille ja mahdollistaa vertailujen suorittamisen minuuteissa tuntien sijaan.[1] Se suorittaa arviointeja eristetyissä Docker-säiliöissä rinnakkain ja tukee työkuormia, kuten 14 tunnin SWE-penkki minimaalisella asennuksella.[1] Käyttäjät tarjoavat yksinkertaisen bash-skriptin käynnistääkseen agenttinsa ilman kehyksen lukitusta tai erityisiä käyttöliittymämuutoksia.[1] Alusta tarjoaa kirjaston vakiovertailuarvoja, mukaan lukien **SWE-bench Verified**, **SWE-bench Lite**, **Terminal-Bench**, **HumanEval**, **MBPP**, **MATH** ja **GPQA**, tai sallii mukautetut vertailuarvot.[1] Määritä rinnakkaisten esiintymien lukumäärä ja käynnistä suoritukset suoraan käyttöliittymästä.[1] Tulokset keräävät yksityiskohtaisia mittareita, kuten pisteet, liikeradat, tunnuksen käyttö, viive ja mukautetut tiedot, jotka kaikki on keskitetty haettavaan tiimin hallintapaneeliin.[1] Ajot on merkitty commit hashilla helpon toistettavuuden ja versioiden vertailun vuoksi.[1] Tämä kokoonpano virtaviivaistaa **AI-agentin arvioinnin**, **vertailutyönkulkuja** ja suorituskyvyn seurantaa suunnittelutiimille.[1][9]
Vastuuvapauslauseke: WebCatalog ei ole sidoksissa BenchSpan:en, siihen liittyvä, sen valtuuttama, sen hyväksymä eikä millään tavalla virallisesti yhteydessä siihen. Kaikki tuotenimet, logot ja tuotemerkit ovat omistajiensa omaisuutta.
