量子位 (微信公众号)T2·基座大模型
78 分
淘宝 MNN 团队发布并开源约 0.3B 参数的 MNN-Pocket-0.3B，面向手机应用原生场景，将模型结构、词表、训练数据、后训练与量化推理引擎协同优化。官方称在 iPhone 18 Pro 上离线解码可达 350 token/s，峰值内存低于 300MB，目标是在业务场景上逼近 8B 级模型效果。
术语slug: decoding-throughput
解码吞吐
Decoding Throughput
自回归生成阶段每秒输出的 token 数量，是衡量推理服务与端侧生成流畅度的核心指标。
收录情报动态
淘宝 MNN 团队开源 0.3B 手机模型 端侧解码达 350 token/s