Qwen3.5-0.8B

smolmaxxing 项目展示了在小米电视盒子（Amlogic S7D、约 1 GB 可用内存、无 root）上运行 260K 至 16B 参数语言模型的实测结果，通过自定义内核、内存优化与权重流式加载实现。其中 Qwen3.5-0.8B 达到 16.8 tok/s（为原版 2.2 倍），8B MoE 模型以专家按需分页方式达到 7.2 tok/s。所有数据均在真实硬件上背靠背测量，为边缘端本地推理提供了可复现的工程范式。

博主 Nathan Barry 分析 MIT CSAIL 提出的“权重空间编程”后发现，GPT-6 Astra 对 Qwen3.5-0.8B 的权重编辑本质上是靠试错求解一个线性规划问题，耗时约 8 小时、28 次前向传播。改用两次约一分钟的 LP 求解即可达到同等效果，且改动权重数量减少 8 倍。该结果说明权重空间编程的核心机制可被经典优化方法高效复现，对模型权重编辑与免梯度微调路线具有直接参考价值。