Ternary Bonsai 2 系列 AI 模型登场:苹果 iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元

AI 公司 PrismML 昨日(10 月 15 日)发布博文,宣布推出 Ternary Bonsai 2 系列模型,共有 2B、4B 和 9B 三种规模,目标在手机、PC 以及可穿戴设备上本地运行 AI 智能体,执行推理、识图、调用工具等能力。

Written by
故渊
Published by
IT之家
Published
Length
230 words · 1 min

IT之家 10 月 16 日消息,AI 公司 PrismML 昨日(10 月 15 日)发布博文,宣布推出 Ternary Bonsai 2 系列模型,共有 2B、4B 和 9B 三种规模,目标在手机、PC 以及可穿戴设备上本地运行 AI 智能体,执行推理、识图、调用工具等能力。

Ternary Bonsai 2 系列模型基于阿里的 Qwen 3.5 基座构建,采用“三元”权重表示法,即仅用 -1、0、+1 三种数值编码模型参数。官方称,2B、4B、9B 模型的存储占用分别约为 0.43GB、0.95GB 和 2GB。

在能力上,Bonsai 2 系列强调本地智能体的实用性:遵循指令、完成日常任务、在移动设备上调用工具、避免重复输出等。官方在 19 项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力;其中 9B 模型在标准指令执行和日常数学任务中,所需 token 数量约减少 40%。

性能方面,PrismML 表示,在 RTX 4090 和 M5 Pro 等硬件上,新模型相较对应全精度模型可实现最高 5 倍吞吐量和 3 倍能效;在 iPhone 18 Pro Max 上,9B 模型最高可达每秒 34 个词元,2B 模型最高可达每秒 120 个词元。IT之家附上相关截图如下:

该系列可与已有的 Bonsai 2 27B 组成从轻量任务到复杂工作流的完整产品线。开发者可通过 llama.cpp 在 NVIDIA GPU 上运行,也可通过 MLX 在 Mac、iPhone 和 iPad 上部署;模型权重以 Apache 2.0 许可证开放。

Where this came from

This story was reported by 故渊 and first published by IT之家 on 16 October 2026. HUE Legacy Ventures did not write it.

Rights reserved by the publisher. Carried with attribution and a link back, removal on request, on the same footing as the other commercial publishers on the wire.

Read it at ithome.com →