SciArena

Não tem o WebCatalog Desktop instalado? Baixar o WebCatalog Desktop.

Plataforma experimental que avalia e compara modelos de linguagem gerando revisões de literatura a partir do corpus do Semantic Scholar, com comparação anônima e votação de usuários.

Melhore a sua experiência com o aplicativo de computador de SciArena no WebCatalog Desktop para Mac, Windows.

Execute aplicativos em janelas sem distrações, com muitas melhorias.
Gerencie e alterne entre várias contas e aplicativos facilmente, sem trocar de navegadores.

Baixar o WebCatalog Desktop

A AI2 lança Sciarena, uma plataforma inspirada em arena de chatbot para comparar a IA da ciência. As descobertas iniciais Crown Openai O3 como o melhor desempenho, especialmente em campos técnicos como a engenharia.

Sciarena é uma plataforma experimental projetada para avaliar e comparar modelos de linguagem de fundação com base em sua capacidade de gerar revisões de literatura a partir de bancos de dados de artigos científicos. Utiliza um corpus em larga escala da Semântica Scholar, que hospeda mais de 200 milhões de artigos científicos em várias disciplinas. A plataforma permite a comparação anônima de respostas geradas por modelos para perguntas de pesquisa, com os votos do usuário contribuindo para uma classificação em andamento.

A ferramenta utiliza um mecanismo de recuperação de informações adaptadas do controle de qualidade do estudioso, alimentando dados recuperados para modelos selecionados aleatoriamente que produzem respostas ao estilo de revisão da literatura. Essa configuração permite a avaliação do desempenho dos diferentes modelos na sintetização e resumo da literatura científica. Embora a Sciarena forneça informações sobre os recursos do modelo usando dados acadêmicos bem estabelecidos, ele é limitado por um atraso na indexação de publicações muito recentes, atualizando aproximadamente anualmente.

As principais características incluem comparação de modelo anônimo para avaliação imparcial, integração com o abrangente repositório científico do Scholar semântico e um sistema de votação que os julgamentos de qualidade de crowdsources. A Scierena apóia a pesquisa e o desenvolvimento da IA, fornecendo um ambiente de benchmarking transparente para modelos de idiomas envolvidos em geração de conteúdo acadêmico e nas tarefas de revisão. Opera como uma plataforma aberta e gratuita, facilitando a avaliação contínua do modelo fundamental em domínios científicos.

Esta descrição foi gerada por IA (inteligência artificial). A IA pode cometer erros. Verifique as informações importantes.

Site: sciarena.allen.ai

Aviso: o WebCatalog não é afiliado, associado, autorizado, endossado, nem tem qualquer relação oficial com SciArena. Todos os nomes de produtos, logotipos e marcas pertencem aos seus respectivos proprietários.

SciArena

Talvez você também goste de