淘宝 MNN 团队开源 0.3B 手机模型，iPhone 18 Pro 离线解码达 350 token/s

淘宝 MNN 团队从零训练并开源了约 3 亿参数的端侧语言模型 MNN-Pocket-0.3B，在 iPhone 18 Pro 上通过 MNN 引擎完全离线运行，平均解码速度高达 350 token/s，INT4 部署包仅 173MB，峰值内存低于 300MB。这一突破意味着手机本地运行语言模型的速度已可媲美云端，为高频调用的端侧 AI 应用铺平道路。

该模型并非简单压缩现有大模型，而是将模型结构、词表、训练数据、后训练与量化推理引擎协同优化，实现端到端效率最大化。官方指标显示，其功耗目标为 100 次推理耗电不超过电池总量的 1%，并配套 DFlash2 投机解码草稿模型，在特定任务下解码吞吐可达常规自回归的 2.06 倍。在 iPad Pro M5 上，峰值 Metal 驻留内存增量约 228MB，展现出跨设备的良好适应性。

这一开源成果对端侧 AI 生态具有实质影响：开发者可借助超轻量模型在手机原生场景中部署高性能语言能力，减少对云端的依赖，降低延迟与隐私风险。同时，0.3B 参数在业务场景对标 8B 级模型效果的目标，若得到广泛验证，将推动端侧模型设计从“压缩”转向“原生优化”，加速 AI 应用向边缘侧迁移。