SciArena

Sciarena este o platformă experimentală concepută pentru evaluarea și compararea modelelor de limbaj de fundație bazate pe capacitatea lor de a genera recenzii de literatură din bazele de date științifice. Utilizează un corpus pe scară largă de la Semantic Scholar, care găzduiește peste 200 de milioane de articole științifice pe mai multe discipline. Platforma permite o comparație anonimă cot la cot a răspunsurilor generate de model la întrebările de cercetare, voturile utilizatorilor contribuind la un clasament în curs de clasament în curs de desfășurare. Instrumentul folosește un mecanism de regăsire a informațiilor adaptat de la Scholar QA, alimentând datele preluate la modele selectate aleatoriu, care produc răspunsuri în stil de revizuire a literaturii. Această configurație permite evaluarea performanței diferitelor modele în sinteza și rezumarea literaturii științifice. În timp ce Sciarena oferă informații despre capacitățile modelului folosind date savante bine stabilite, aceasta este limitată de o întârziere în indexarea publicațiilor foarte recente, actualizând aproximativ anual. Caracteristicile cheie includ comparația anonimă a modelului pentru evaluarea nepărtinitoare, integrarea cu depozitul științific complet al Scholarului Semantic și un sistem de vot care aglomerează judecăți de calitate. Sciarena susține cercetarea și dezvoltarea AI prin furnizarea unui mediu de evaluare comparativă transparentă pentru modelele de limbă angajate în sarcinile academice de generare și revizuire a conținutului academic. Funcționează ca o platformă gratuită, deschisă, care facilitează evaluarea modelelor fundamentale în curs de desfășurare în domeniile științifice.

Declinare a răspunderii: WebCatalog nu este afiliat, asociat, autorizat, aprobat de sau conectat oficial în niciun fel cu SciArena. Toate numele produselor, siglele și mărcile sunt proprietatea deținătorilor respectivi.