SciArena

Sciarena is een experimenteel platform dat is ontworpen voor het evalueren en vergelijken van de taalmodellen op basis van hun vermogen om literatuurrecensies uit wetenschappelijke artikeldatabases te genereren. Het maakt gebruik van een grootschalig corpus van Semantic Scholar, dat meer dan 200 miljoen wetenschappelijke artikelen in meerdere disciplines herbergt. Het platform maakt een anonieme vergelijking mogelijk van door model gegenereerde antwoorden op onderzoeksvragen, met gebruikersstemmen die bijdragen aan een lopende ranglijst van het klassement.

De tool maakt gebruik van een mechanisme voor het ophalen van informatie aangepast van Scholar QA, die opgehaalde gegevens voeden met willekeurig geselecteerde modellen die antwoorden in literatuuroverzichtstijl produceren. Deze opstelling maakt de prestaties van verschillende modellen mogelijk bij het synthetiseren en samenvatten van wetenschappelijke literatuur. Hoewel Sciarena inzichten biedt in modelmogelijkheden met behulp van gevestigde wetenschappelijke gegevens, wordt het beperkt door een vertraging bij het indexeren van zeer recente publicaties, waarbij ruwweg jaarlijks wordt bijgewerkt.

Belangrijkste kenmerken zijn onder meer anonieme modelvergelijking voor onpartijdige evaluatie, integratie met de uitgebreide wetenschappelijke repository van Semantic Scholar en een stemsysteem dat kwaliteitsoordeel over het crowdsources. Sciarena ondersteunt onderzoek en AI -ontwikkeling door een transparante benchmarking -omgeving te bieden voor taalmodellen die zich bezighouden met het genereren van academische inhoud en beoordelingstaken. Het werkt als een gratis, open platform dat de lopende fundamentele modelbeoordeling in wetenschappelijke domeinen vergemakkelijkt.

Deze beschrijving is gegenereerd door AI (kunstmatige intelligentie). AI kan fouten maken. Controleer belangrijke informatie.

Website: sciarena.allen.ai

Disclaimer: WebCatalog is niet gelieerd, geassocieerd, gemachtigd, ondersteund door of op enigerlei wijze officieel verbonden aan SciArena. Alle productnamen, logo's en merken zijn eigendom van hun desbetreffende eigenaren.