SciArena

Sciarena est une plate-forme expérimentale conçue pour évaluer et comparer des modèles de langue de base en fonction de leur capacité à générer des revues de littérature à partir de bases de données d'articles scientifiques. Il utilise un corpus à grande échelle du savant sémantique, qui accueille plus de 200 millions d'articles scientifiques dans plusieurs disciplines. La plate-forme permet une comparaison côte à côte anonyme des réponses générées par le modèle aux questions de recherche, les votes des utilisateurs contribuant à un classement de classement en cours.

L'outil exploite un mécanisme de récupération d'informations adapté de la QA Scholar, l'alimentation des données récupérées à des modèles sélectionnés au hasard qui produisent des réponses de style revue de la littérature. Cette configuration permet d’évaluer les performances de différents modèles dans la synthèse et le résumé de la littérature scientifique. Alors que Sciarena fournit un aperçu des capacités du modèle en utilisant des données universitaires bien établies, elle est limitée par un retard dans l'indexation des publications très récentes, à la mise à jour à peu près chaque année.

Les caractéristiques clés incluent la comparaison anonyme du modèle pour l'évaluation impartiale, l'intégration avec le référentiel scientifique complet de Semantic Scholar et un système de vote qui croît des jugements de qualité. Sciarena soutient la recherche et le développement de l'IA en fournissant un environnement d'analyse comparative transparente pour les modèles de langage engagés dans des tâches de génération de contenu académique et de revue. Il fonctionne comme une plate-forme ouverte gratuite facilitant l'évaluation des modèles fondamentaux en cours dans les domaines scientifiques.

Cette description a été générée par une IA (intelligence artificielle). L'IA peut faire des erreurs. Vérifiez les informations importantes.

Site Web : sciarena.allen.ai

Clause de non-responsabilité : WebCatalog n'est ni affilié, ni associé, ni autorisé, ni soutenu par, ni officiellement lié de quelque manière que ce soit à SciArena. Tous les noms de produits, logos et marques sont la propriété de leurs détenteurs respectifs.