SciArena

Non hai ancora installato WebCatalog Desktop? Scarica WebCatalog Desktop.

SciArena valuta e confronta modelli di linguaggio nella generazione di recensioni scientifiche da un corpus Semantic Scholar, con confronto anonimo e voti degli utenti.

Ottimizza l'esperienza utente con l'app desktop per SciArena su WebCatalog Desktop per Mac, Windows.

Esegui le app in finestre prive di distrazioni e arricchite con varie opzioni.
Gestisci più account e app e passa facilmente dall'uno all'altro senza cambiare browser.

Scarica WebCatalog Desktop

AI2 lancia SciaRena, una piattaforma ispirata all'arena di Chatbot per confrontare l'IA per la scienza. Risultati iniziali Crown Opens’s O3 come miglior interprete, in particolare in campi tecnici come l'ingegneria.

SciaRena è una piattaforma sperimentale progettata per la valutazione e il confronto dei modelli di lingua di base in base alla loro capacità di generare revisioni della letteratura dai database di articoli scientifici. Utilizza un corpus su larga scala di Semantic Scholar, che ospita oltre 200 milioni di articoli scientifici in più discipline. La piattaforma consente un confronto anonimo fianco a fianco delle risposte generate dal modello alle domande di ricerca, con i voti degli utenti che contribuiscono a una classifica in corso.

Lo strumento sfrutta un meccanismo di recupero delle informazioni adattato dallo studioso QA, alimentando i dati recuperati a modelli selezionati casualmente che producono risposte in stile revisione della letteratura. Questa configurazione consente la valutazione delle prestazioni dei diversi modelli nella sintesi e sintetizzando la letteratura scientifica. Mentre SciaRena fornisce approfondimenti sulle capacità del modello utilizzando dati accademici ben consolidati, è limitato da un ritardo nell'indicizzazione di pubblicazioni molto recenti, aggiornando approssimativamente ogni anno.

Le caratteristiche chiave includono il confronto anonimo dei modelli per la valutazione imparziale, l'integrazione con il deposito scientifico completo di Sessantic Scholar e un sistema di voto che crowdsources di qualità. SciaRena supporta la ricerca e lo sviluppo dell'intelligenza artificiale fornendo un ambiente di benchmarking trasparente per i modelli linguistici impegnati nella generazione di contenuti accademici e le attività di revisione. Funziona come una piattaforma aperta e aperta che facilita la valutazione del modello di base in corso in settori scientifici.

Questa descrizione è stata generata dall'IA (intelligenza artificiale). L'IA può commettere errori. Controlla le informazioni importanti.

Sito web: sciarena.allen.ai

Liberatoria: WebCatalog non è affiliato, associato, autorizzato, approvato da o in qualsiasi modo ufficialmente collegato a SciArena. Tutti i nomi dei prodotti, logo e marchi sono di proprietà dei rispettivi proprietari.

SciArena

Potrebbe interessarti anche