SciArena

A Scirena egy kísérleti platform, amelynek célja az alapvető nyelvmodellek értékelésére és összehasonlítására, annak alapján, hogy képesek irodalmi áttekintéseket készíteni a tudományos cikk -adatbázisokból. Használ egy nagyszabású korpuszt a Semantic Scholar-tól, amely több mint 200 millió tudományos cikket tárol több tudományágban. A platform lehetővé teszi a kutatási kérdésekre adott modell által generált válaszok névtelen összehasonlítását, a felhasználói szavazatok hozzájárulnak a folyamatban lévő ranglistán rangsoroláshoz.

Az eszköz kihasználja a Scholar QA-ból adaptált információ-visszakeresési mechanizmust, és a visszakeresett adatokat véletlenszerűen kiválasztott modellekhez adja meg, amelyek irodalmi áttekintési stílusú válaszokat adnak. Ez a beállítás lehetővé teszi a különböző modellek teljesítményének értékelését a tudományos irodalom szintetizálásában és összefoglalásában. Míg a Scirena betekintést nyújt a modell képességeibe a jól megalapozott tudományos adatok felhasználásával, ezt korlátozza a legfrissebb kiadványok indexelésének késedelme, amely nagyjából évente frissül.

A legfontosabb jellemzők közé tartozik az elfogulatlan értékelés anonim modell -összehasonlítása, a Semantic Scholar átfogó tudományos tárolójával való integráció és egy olyan szavazási rendszer, amely a minőségi megítéléseket közeli. A Scirena támogatja a kutatást és az AI fejlesztését azáltal, hogy átlátható benchmarking környezetet biztosít az akadémiai tartalomgenerációs és felülvizsgálati feladatokkal foglalkozó nyelvmodellek számára. Ingyenes, nyitott platformként működik, amely megkönnyíti az alapvető modell értékelését a tudományos területeken.

Ezt a leírást AI (mesterséges intelligencia) generálta. Az AI hibázhat. Ellenőrizd a fontos információkat.

Weboldal: sciarena.allen.ai

Jogi nyilatkozat: A WebCatalog nincs kapcsolatban, társítva, felhatalmazva, támogatva vagy hivatalosan jóváhagyva a következővel: SciArena. Minden termék-, logó- és márkanév a tulajdonosaik tulajdona.