Cactus

未安装 WebCatalog Desktop？下载 WebCatalog Desktop。

使用 Web 应用

了解更多信息

Cactus 在手机上本地离线运行优化的 AI 推理与数值计算，支持 ARM CPU、INT4/INT8 整数精度，低功耗并兼容无 NPU 设备。

Mac、Windows (PC) 版桌面应用

在 macOS 和 Windows 上，通过 WebCatalog Desktop 在专用、无干扰的窗口中使用 Cactus。通过更快的应用切换和更流畅的多任务处理提升您的工作效率。轻松管理并切换多个账户，无需使用多个浏览器。

在提供多种增强功能的无干扰窗口中运行应用。
无需切换浏览器即可轻松管理和切换多个帐户和应用。

下载 WebCatalog Desktop

Cactus是一款专为手机优化的数值计算框架和AI推理引擎，专注于多种设备的节能性能。它能够在 ARM CPU 上高效运行自定义机器学习模型和科学计算，支持较旧和较新的手机，而无需严重依赖许多移动设备所缺乏的 GPU 或专用 NPU。

该应用程序提供快速、低功耗的内核实现，可减少电池消耗和设备发热，使其适合功耗和热管理至关重要的手机上的人工智能应用。 Cactus 支持 INT4 和 INT8 整数精度计算，以提高速度和能源效率。其设计强调与各种手机硬件的兼容性，包括 ARM CPU 以及支持 NPU、DSP 和 ISP 的计划，通过利用可用的硬件加速器来增强人工智能推理，而不会影响电池寿命。

Cactus 主要使用 C++ 开发，并辅以 Python 和 shell 组件，旨在提供适用于移动环境的可扩展数值计算和人工智能推理功能。这使得开发人员能够在消费智能手机上无缝实施和部署高效的人工智能模型，强调性能和资源优化。

主要能力包括：

针对基于 ARM 的手机 CPU 优化的节能 AI 推理
支持类似于 JAX 等框架的自定义数值计算模型
与多种移动设备兼容，包括那些没有神经处理单元的设备
整数精度优化（INT4、INT8）以平衡速度和功耗
减少对 GPU 的依赖，以最大限度地减少电池消耗和设备发热

Cactus 适合希望在功耗和热预算有限的移动设备上集成 AI 推理的开发人员，通过优先考虑基于 CPU 的性能和效率，为以 GPU 和 NPU 为中心的框架提供替代方案。

此描述由 AI（人工智能）生成。AI 可能会犯错。请检查重要信息。

应用程序开发人员现在可以在其移动应用程序中部署私有、本地、离线 AI 模型，实现高达 150 个令牌/秒和 <50 毫秒的第一个令牌时间。目前，Cactus 已被超过 3000 名开发人员使用，每周在手机上完成超过 500k 次推理任务。它是开源的！查看存储库：https://github.com/cactus-compute/cactus。

网站： cactuscompute.com

免责声明：WebCatalog 与“Cactus”没有任何附属、关联、授权、认可关系，也没有以任何方式正式关联。所有产品名称、徽标和品牌均为其各自所有者的财产。