Cactus

Nemáte nainstalovaný WebCatalog Desktop? Stáhněte si WebCatalog Desktop.

Cactus umožňuje vývojářům spouštět lokální offline AI modely a numerické výpočty na mobilních telefonech (ARM), s důrazem na nízkou spotřebu energie a INT4/INT8 přesnost.

Desktopová aplikace pro Mac, Windows (PC)

Používejte Cactus v samostatném, nerušeném okně s WebCatalog Desktop pro macOS a Windows. Zvyšte svou produktivitu díky rychlejšímu přepínání mezi aplikacemi a plynulejšímu multitaskingu. Jednoduše spravujte a přepínejte mezi více účty bez nutnosti používání více prohlížečů.

Spouštějte aplikace v rušivě prostých oknech s mnoha vylepšeními.
Snadno spravujte a přepínejte mezi více účty a aplikacemi bez nutnosti měnit prohlížeč.

Stáhnout WebCatalog Desktop

Cactus je numerický výpočetní framework a AI inference engine optimalizovaný speciálně pro mobilní telefony, se zaměřením na energeticky účinný výkon na široké škále zařízení. Umožňuje efektivně provozovat vlastní modely strojového učení a vědecké výpočty na procesorech ARM, podporuje starší i novější telefony bez velkého spoléhání na GPU nebo specializované NPU, které mnoho mobilních zařízení postrádá.

Aplikace nabízí rychlé implementace jádra s nízkou spotřebou, které snižují vybíjení baterie a zahřívání zařízení, díky čemuž je vhodná pro aplikace umělé inteligence na telefonech, kde je kritická spotřeba energie a řízení teploty. Cactus podporuje celočíselné přesné výpočty INT4 a INT8 pro vyšší rychlost a energetickou účinnost. Jeho design klade důraz na kompatibilitu s různorodým hardwarem telefonu, včetně procesorů ARM a plánů na podporu NPU, DSP a ISP, což zlepšuje inferenci AI využitím dostupných hardwarových akcelerátorů, aniž by byla ohrožena výdrž baterie.

Cactus, vyvinutý primárně v C++, s doplňkovými komponenty Python a shell, si klade za cíl poskytovat škálovatelné numerické výpočty a schopnosti inference AI adaptovatelné pro mobilní prostředí. To vývojářům umožňuje bezproblémově implementovat a nasazovat efektivní modely umělé inteligence na spotřebitelské smartphony s důrazem na výkon a optimalizaci zdrojů.

Mezi klíčové schopnosti patří:

Energeticky efektivní odvození umělé inteligence optimalizované pro procesory telefonů na bázi ARM
Podpora pro vlastní numerické výpočetní modely podobné frameworkům jako JAX
Kompatibilita se širokým spektrem mobilních zařízení, včetně těch bez neuronových procesorových jednotek
Celočíselná přesnost optimalizace (INT4, INT8) pro vyvážení rychlosti a spotřeby energie
Snížená závislost na GPU pro minimalizaci vybíjení baterie a zahřívání zařízení

Cactus je vhodný pro vývojáře, kteří chtějí integrovat AI inference do mobilních zařízení s omezenými rozpočty na napájení a teplo, a nabízí alternativu k rámcům zaměřeným na GPU a NPU tím, že upřednostňuje výkon a efektivitu na základě CPU.

Tento popis byl vygenerován umělou inteligencí (AI). AI může udělat chyby. Důležitá fakta si ověřte.

Vývojáři aplikací nyní mohou do svých mobilních aplikací nasazovat soukromé, místní, offline modely umělé inteligence, čímž dosahují až 150 tokenů/s a <50 ms času do prvního tokenu. Cactus používá více než 3 000 vývojářů a dnes na telefonech dokončuje více než 500 000 týdenních inferenčních úloh. Je to open source! Podívejte se na repo: https://github.com/cactus-compute/cactus.

Webová stránka: cactuscompute.com

Prohlášení: WebCatalog není nijak spojen, spolupracující, autorizován, schválen ani jinak oficiálně propojen s Cactus. Všechny názvy produktů, loga a značky jsou majetkem jejich příslušných vlastníků.