SciArena

Sciarena adalah platform eksperimental yang dirancang untuk mengevaluasi dan membandingkan model bahasa yayasan berdasarkan kemampuan mereka untuk menghasilkan ulasan literatur dari database artikel ilmiah. Ini menggunakan korpus skala besar dari Semantic Scholar, yang menampung lebih dari 200 juta artikel ilmiah di berbagai disiplin ilmu. Platform ini memungkinkan perbandingan anonim dari jawaban yang dihasilkan model untuk pertanyaan penelitian, dengan suara pengguna berkontribusi pada peringkat papan peringkat yang sedang berlangsung.

Alat ini memanfaatkan mekanisme pengambilan informasi yang diadaptasi dari Cendekia QA, memberi makan data yang diambil ke model yang dipilih secara acak yang menghasilkan jawaban gaya tinjauan literatur. Pengaturan ini memungkinkan penilaian kinerja model yang berbeda dalam mensintesis dan merangkum literatur ilmiah. Sementara Sciarena memberikan wawasan tentang kemampuan model menggunakan data ilmiah yang mapan, itu dibatasi oleh keterlambatan dalam mengindeks publikasi yang sangat baru, memperbarui kira-kira setiap tahun.

Fitur utama termasuk perbandingan model anonim untuk evaluasi yang tidak memihak, integrasi dengan repositori ilmiah komprehensif Semantic Scholar, dan sistem pemungutan suara yang crowdsources menilai kualitas. Sciarena mendukung penelitian dan pengembangan AI dengan menyediakan lingkungan pembandingan transparan untuk model bahasa yang terlibat dalam pembuatan konten akademik dan tugas -tugas ulasan. Ini beroperasi sebagai platform gratis dan terbuka yang memfasilitasi penilaian model dasar yang sedang berlangsung di domain ilmiah.

Deskripsi ini dibuat oleh AI (kecerdasan buatan). AI bisa membuat kesalahan. Periksa informasi penting.

Situs web: sciarena.allen.ai

Penafian: WebCatalog tidak berafiliasi, berasosiasi, diotorisasi, didukung oleh atau dengan cara apa pun secara resmi berhubungan dengan SciArena. Semua produk, logo, dan merek adalah hak kekayaan masing-masing pemiliknya.