SciArena

SciaRena è una piattaforma sperimentale progettata per la valutazione e il confronto dei modelli di lingua di base in base alla loro capacità di generare revisioni della letteratura dai database di articoli scientifici. Utilizza un corpus su larga scala di Semantic Scholar, che ospita oltre 200 milioni di articoli scientifici in più discipline. La piattaforma consente un confronto anonimo fianco a fianco delle risposte generate dal modello alle domande di ricerca, con i voti degli utenti che contribuiscono a una classifica in corso.

Lo strumento sfrutta un meccanismo di recupero delle informazioni adattato dallo studioso QA, alimentando i dati recuperati a modelli selezionati casualmente che producono risposte in stile revisione della letteratura. Questa configurazione consente la valutazione delle prestazioni dei diversi modelli nella sintesi e sintetizzando la letteratura scientifica. Mentre SciaRena fornisce approfondimenti sulle capacità del modello utilizzando dati accademici ben consolidati, è limitato da un ritardo nell'indicizzazione di pubblicazioni molto recenti, aggiornando approssimativamente ogni anno.

Le caratteristiche chiave includono il confronto anonimo dei modelli per la valutazione imparziale, l'integrazione con il deposito scientifico completo di Sessantic Scholar e un sistema di voto che crowdsources di qualità. SciaRena supporta la ricerca e lo sviluppo dell'intelligenza artificiale fornendo un ambiente di benchmarking trasparente per i modelli linguistici impegnati nella generazione di contenuti accademici e le attività di revisione. Funziona come una piattaforma aperta e aperta che facilita la valutazione del modello di base in corso in settori scientifici.

Questa descrizione è stata generata dall'IA (intelligenza artificiale). L'IA può commettere errori. Controlla le informazioni importanti.

Sito web: sciarena.allen.ai

Liberatoria: WebCatalog non è affiliato, associato, autorizzato, approvato da o in qualsiasi modo ufficialmente collegato a SciArena. Tutti i nomi dei prodotti, logo e marchi sono di proprietà dei rispettivi proprietari.