SciArena

Sciarena는 과학 기사 데이터베이스에서 문헌 검토를 생성하는 능력을 기반으로 기초 언어 모델을 평가하고 비교하도록 설계된 실험 플랫폼입니다. Semantic Scholar의 대규모 코퍼스를 활용하여 여러 분야에서 2 억 명이 넘는 과학 기사를 주최합니다. 이 플랫폼은 연구 질문에 대한 모델 생성 답변을 익명으로 비교할 수 있으며, 사용자 투표는 진행중인 리더 보드 순위에 기여합니다.

이 도구는 학술 QA에서 채택 된 정보 검색 메커니즘을 활용하여 문헌 검토 스타일의 답변을 생성하는 무작위로 선택된 모델에 검색된 데이터를 공급합니다. 이 설정을 통해 과학 문헌 합성 및 요약에서 다양한 모델의 성능을 평가할 수 있습니다. Sciarena는 잘 확립 된 학술 데이터를 사용하여 모델 기능에 대한 통찰력을 제공하지만, 최근 출판물을 인덱싱하는 데 거의 매년 업데이트됩니다.

주요 기능에는 편견없는 평가를위한 익명 모델 비교, Semantic Scholar의 포괄적 인 과학 저장소와의 통합 및 품질 판단을 크라우드 소싱하는 투표 시스템이 포함됩니다. Sciarena는 학업 콘텐츠 생성 및 검토 작업에 참여하는 언어 모델에 투명한 벤치마킹 환경을 제공하여 연구 및 AI 개발을 지원합니다. 과학 영역에서 진행중인 기초 모델 평가를 촉진하는 무료 개방형 플랫폼으로 작동합니다.

이 설명은 AI(인공지능)에 의해 생성되었습니다. AI는 실수를 저지를 수 있습니다. 중요한 정보를 확인하세요.

웹사이트: sciarena.allen.ai

면책 조항: WebCatalog는 SciArena에 의해 제휴, 연관, 승인, 보증된 것이 아니며, 어떤 방식으로도 공식적으로 연결되어 있지 않습니다. 모든 제품 이름, 로고, 브랜드는 각 소유자의 자산입니다.