SciArena

Scirena er en eksperimentel platform designet til evaluering og sammenligning af grundlæggende sprogmodeller baseret på deres evne til at generere litteraturanmeldelser fra videnskabelige artikeldatabaser. Den bruger et storskala korpus fra Semantic Scholar, der er vært for over 200 millioner videnskabelige artikler på tværs af flere discipliner. Platformen tillader anonym sammenligning side om side af modelgenererede svar på forskningsspørgsmål, med brugerstemmer, der bidrager til en løbende rangering af leaderboard.

Værktøjet udnytter en information om indhentning af information, der er tilpasset fra lærde QA, der foder hentede data til tilfældigt valgte modeller, der producerer svar på litteraturanmeldelse-stil. Denne opsætning muliggør vurdering af forskellige modellers ydelse i syntese og opsummering af videnskabelig litteratur. Mens Scirena giver indsigt i modelfunktioner, der bruger veletablerede videnskabelige data, er de begrænset af en forsinkelse i indeksering af meget nylige publikationer og opdaterer groft årligt.

Nøglefunktioner inkluderer anonym modellens sammenligning til uvildig evaluering, integration med semantisk lærde omfattende videnskabelig depot og et afstemningssystem, der mængder kvalitetsvurderinger. Scirena støtter forskning og AI -udvikling ved at tilvejebringe et gennemsigtigt benchmarkingmiljø for sprogmodeller, der beskæftiger sig med akademisk indholdsgenerering og gennemgangsopgaver. Det fungerer som en gratis, åben platform, der letter den igangværende grundlæggende modelvurdering inden for videnskabelige domæner.

Denne beskrivelse blev genereret af AI (kunstig intelligens). AI kan lave fejl. Tjek vigtige oplysninger.

Websted: sciarena.allen.ai

Ansvarsfraskrivelse: WebCatalog er ikke tilknyttet, associeret med, autoriseret af, godkendt af eller på nogen måde officielt forbundet med SciArena. Alle produktnavne, logoer og mærker tilhører deres respektive ejere.