SciArena

Sciana е експериментална платформа, предназначена за оценка и сравняване на езиковите модели на основата въз основа на способността им да генерират прегледи на литературата от бази данни на научните статии. Той използва мащабен корпус от Semantic Scholar, който е домакин на над 200 милиона научни статии в множество дисциплини. Платформата позволява анонимно сравнение на анонимните отговори на генерирани от модела отговори на изследователски въпроси, като гласовете на потребителите допринасят за текущо класиране на класацията.

Инструментът използва механизъм за извличане на информация, адаптиран от Scholar QA, като подаде извлечени данни към произволно избрани модели, които дават отговори на литературен преглед в стил. Тази настройка позволява оценка на ефективността на различни модели при синтезиране и обобщаване на научната литература. Въпреки че Sciana предоставя представа за възможностите на модела, използвайки добре установени научни данни, тя е ограничена от забавяне на индексирането на много скорошни публикации, като се актуализира приблизително годишно.

Основните характеристики включват анонимно сравнение на модела за безпристрастна оценка, интеграция с всеобхватното научно хранилище на семантичния учен и система за гласуване, която пренасочва качествените преценки. Sciana подкрепя изследвания и разработката на AI, като предоставя прозрачна среда за сравнителен анализ за езикови модели, ангажирани с академично генериране на съдържание и преглеждане. Той работи като безплатна, отворена платформа, улесняваща текущата оценка на основополагащите модели в научните домейни.

Това описание е генерирано от AI (изкуствен интелект). AI може да допусне грешки. Проверете важната информация.

Уебсайт: sciarena.allen.ai

Отказ от отговорност: WebCatalog не е свързан, асоцииран, одобрен или официално свързан с SciArena. Всички имена на продукти, лога и марки са собственост на съответните им притежатели.