Cactus

ไม่ได้ติดตั้ง WebCatalog ใช่หรือไม่? ดาวน์โหลด WebCatalog Desktop

Cactus ช่วยนักพัฒนานำโมเดล AI แบบส่วนตัวและออฟไลน์ไปรันบนมือถือ (CPU ARM) ได้เร็วถึง 150 tokens/s และเวลาเริ่มแรก <50ms เป็นโอเพ่นซอร์ส

แอปเดสก์ท็อปสำหรับ Mac, Windows (PC)

ใช้ Cactus ในหน้าต่างเฉพาะที่ปราศจากสิ่งรบกวนด้วย WebCatalog Desktop สำหรับ macOS และ Windows เพิ่มประสิทธิภาพการทำงานของคุณด้วยการสลับแอปที่เร็วขึ้นและการทำงานหลายอย่างพร้อมกันที่ราบรื่น จัดการและสลับระหว่างหลายบัญชีได้ง่ายโดยไม่ต้องใช้หลายเบราว์เซอร์

เรียกใช้แอปในหน้าต่างที่ไร้สิ่งที่มาทำให้วอกแวก พร้อมการเสริมคุณภาพมากมาย
จัดการและสลับไปมาระหว่างหลายบัญชีและแอปอย่างง่ายดาย โดยไม่ต้องสลับเบราว์เซอร์

ดาวน์โหลด WebCatalog Desktop

Cactus คือเฟรมเวิร์กการคำนวณเชิงตัวเลขและกลไกการอนุมาน AI ที่ได้รับการปรับแต่งมาโดยเฉพาะสำหรับโทรศัพท์มือถือ โดยมุ่งเน้นที่ประสิทธิภาพการประหยัดพลังงานบนอุปกรณ์หลากหลายประเภท ช่วยให้สามารถรันโมเดลการเรียนรู้ของเครื่องที่กำหนดเองและการคำนวณทางวิทยาศาสตร์ได้อย่างมีประสิทธิภาพบน CPU ARM โดยรองรับโทรศัพท์รุ่นเก่าและใหม่กว่าโดยไม่ต้องพึ่งพา GPU หรือ NPU เฉพาะทางมากนัก ซึ่งอุปกรณ์เคลื่อนที่จำนวนมากยังขาดอยู่

แอปนำเสนอการใช้งานเคอร์เนลที่รวดเร็วและใช้พลังงานต่ำ ซึ่งช่วยลดการใช้แบตเตอรี่และความร้อนของอุปกรณ์ ทำให้เหมาะสำหรับแอปพลิเคชัน AI บนโทรศัพท์ที่การใช้พลังงานและการจัดการความร้อนเป็นสิ่งสำคัญ Cactus รองรับการคำนวณความแม่นยำจำนวนเต็ม INT4 และ INT8 เพื่อปรับปรุงความเร็วและประสิทธิภาพการใช้พลังงาน การออกแบบเน้นความเข้ากันได้กับฮาร์ดแวร์โทรศัพท์ที่หลากหลาย รวมถึง ARM CPU และแผนการรองรับ NPU, DSP และ ISP ปรับปรุงการอนุมาน AI โดยใช้ประโยชน์จากตัวเร่งฮาร์ดแวร์ที่มีอยู่โดยไม่กระทบต่ออายุการใช้งานแบตเตอรี่

Cactus ได้รับการพัฒนาโดยใช้ภาษา C++ เป็นหลัก โดยมี Python และส่วนประกอบเชลล์เสริม โดยมีเป้าหมายเพื่อให้การคำนวณเชิงตัวเลขที่ปรับขนาดได้ และความสามารถในการอนุมาน AI ที่สามารถปรับให้เข้ากับสภาพแวดล้อมแบบเคลื่อนที่ได้ ช่วยให้นักพัฒนาสามารถนำไปใช้และปรับใช้โมเดล AI ที่มีประสิทธิภาพบนสมาร์ทโฟนผู้บริโภคได้อย่างราบรื่น โดยเน้นประสิทธิภาพและการเพิ่มประสิทธิภาพทรัพยากร

ความสามารถที่สำคัญ ได้แก่ :

การอนุมาน AI แบบประหยัดพลังงานปรับให้เหมาะสมสำหรับ CPU โทรศัพท์ที่ใช้ ARM
รองรับโมเดลการคำนวณเชิงตัวเลขแบบกำหนดเองที่คล้ายกับเฟรมเวิร์กเช่น JAX
ความเข้ากันได้กับอุปกรณ์เคลื่อนที่หลากหลายประเภท รวมถึงอุปกรณ์ที่ไม่มีหน่วยประมวลผลประสาท
การเพิ่มประสิทธิภาพความแม่นยำจำนวนเต็ม (INT4, INT8) เพื่อความสมดุลของความเร็วและการใช้พลังงาน
ลดการพึ่งพา GPU เพื่อลดการใช้แบตเตอรี่และความร้อนของอุปกรณ์

Cactus เหมาะสำหรับนักพัฒนาที่ต้องการรวมการอนุมาน AI บนอุปกรณ์เคลื่อนที่ด้วยพลังงานและงบประมาณด้านความร้อนที่จำกัด โดยเสนอทางเลือกแทน GPU และเฟรมเวิร์กที่เน้น NPU โดยจัดลำดับความสำคัญของประสิทธิภาพและประสิทธิผลที่ใช้ CPU

คำอธิบายนี้สร้างโดย AI (ปัญญาประดิษฐ์) AI อาจทำข้อผิดพลาดได้ โปรดตรวจสอบข้อมูลสำคัญ

ขณะนี้นักพัฒนาแอปสามารถปรับใช้โมเดล AI ส่วนตัว แบบท้องถิ่น และแบบออฟไลน์ในแอปมือถือของตนได้ โดยได้รับโทเค็นสูงสุด 150 โทเค็น/วินาที และมีเวลาน้อยกว่า 50 มิลลิวินาทีในโทเค็นแรก ปัจจุบัน Cactus ถูกใช้โดยนักพัฒนากว่า 3,000 คน และทำงานการอนุมานรายสัปดาห์บนโทรศัพท์สำเร็จมากกว่า 500,000 งาน มันเป็นโอเพ่นซอร์ส! ตรวจสอบ repo: https://github.com/cactus-compute/cactus

เว็บไซต์: cactuscompute.com

ข้อความปฏิเสธความรับผิดชอบ: WebCatalog ไม่ได้ประกอบกิจการร่วม ไม่ได้รับอนุญาต ไม่ได้รับการรับรองโดยหรือเชื่อมโยงกับ Cactus อย่างเป็นทางการไม่ว่าในทางหนึ่งทางใด ชื่อผลิตภัณฑ์ โลโก้ และแบรนด์ทั้งหมด เป็นทรัพย์สินของเจ้าของที่เกี่ยวข้อง