Cactus

WebCatalog Desktop belum diinstal? Unduh WebCatalog Desktop.

Menjalankan model AI lokal dan offline pada ponsel (CPU ARM), hemat energi, mendukung INT4/INT8, latensi rendah, untuk inferensi tanpa bergantung pada GPU/NPU.

App desktop untuk Mac, Windows (PC)

Gunakan Cactus di jendela khusus yang bebas gangguan dengan WebCatalog Desktop untuk macOS dan Windows. Tingkatkan produktivitas Anda dengan perpindahan aplikasi yang lebih cepat dan multitasking yang lebih lancar. Kelola dan beralih antar beberapa akun dengan mudah tanpa harus menggunakan beberapa peramban.

Jalankan app di jendela bebas gangguan dengan banyak peningkatan.
Kelola dan beralih di antara beberapa akun dan app dengan mudah tanpa beralih peramban.

Unduh WebCatalog Desktop

Cactus adalah kerangka komputasi numerik dan mesin inferensi AI yang dioptimalkan secara khusus untuk ponsel, dengan fokus pada kinerja hemat energi pada berbagai perangkat. Hal ini memungkinkan menjalankan model pembelajaran mesin khusus dan komputasi ilmiah secara efisien pada CPU ARM, mendukung ponsel lama dan baru tanpa terlalu bergantung pada GPU atau NPU khusus, yang tidak dimiliki banyak perangkat seluler.

Aplikasi ini menawarkan implementasi kernel yang cepat dan berdaya rendah yang mengurangi pengurasan baterai dan pemanasan perangkat, sehingga cocok untuk aplikasi AI pada ponsel yang konsumsi daya dan manajemen termalnya sangat penting. Cactus mendukung perhitungan presisi bilangan bulat INT4 dan INT8 untuk meningkatkan kecepatan dan efisiensi energi. Desainnya menekankan kompatibilitas dengan beragam perangkat keras ponsel, termasuk CPU ARM dan rencana dukungan NPU, DSP, dan ISP, meningkatkan inferensi AI dengan memanfaatkan akselerator perangkat keras yang tersedia tanpa mengorbankan masa pakai baterai.

Dikembangkan terutama dalam C++, dengan tambahan Python dan komponen shell, Cactus bertujuan untuk menyediakan komputasi numerik yang dapat diskalakan dan kemampuan inferensi AI yang dapat disesuaikan untuk lingkungan seluler. Hal ini memungkinkan pengembang untuk menerapkan dan menerapkan model AI yang efisien pada ponsel pintar konsumen dengan lancar, dengan menekankan optimalisasi kinerja dan sumber daya.

Kemampuan utama meliputi:

Inferensi AI hemat energi yang dioptimalkan untuk CPU ponsel berbasis ARM
Dukungan untuk model komputasi numerik khusus yang mirip dengan kerangka kerja seperti JAX
Kompatibilitas dengan spektrum perangkat seluler yang luas, termasuk perangkat tanpa unit pemrosesan saraf
Optimalisasi presisi bilangan bulat (INT4, INT8) untuk menyeimbangkan kecepatan dan konsumsi daya
Mengurangi ketergantungan GPU untuk meminimalkan pengurasan baterai dan pemanasan perangkat

Cactus cocok bagi pengembang yang ingin mengintegrasikan inferensi AI pada perangkat seluler dengan daya terbatas dan anggaran termal, menawarkan alternatif terhadap kerangka kerja GPU dan NPU-sentris dengan memprioritaskan kinerja dan efisiensi berbasis CPU.

Deskripsi ini dibuat oleh AI (kecerdasan buatan). AI bisa membuat kesalahan. Periksa informasi penting.

Pengembang aplikasi kini dapat menerapkan model AI pribadi, lokal, offline di aplikasi seluler mereka, mencapai hingga 150 token/detik dan waktu <50 ms untuk token pertama. Cactus digunakan oleh lebih dari 3 ribu pengembang dan menyelesaikan 500 ribu+ tugas inferensi mingguan di ponsel saat ini. Ini adalah sumber terbuka! Lihat reponya: https://github.com/cactus-compute/cactus.

Situs web: cactuscompute.com

Penafian: WebCatalog tidak berafiliasi, berasosiasi, diotorisasi, didukung oleh atau dengan cara apa pun secara resmi berhubungan dengan Cactus. Semua produk, logo, dan merek adalah hak kekayaan masing-masing pemiliknya.