机器之心 (微信公众号)T2·78 分
苹果与 CMU 提出 SSR 框架，智能体推理延迟降低超 90%
原标题：Agent推理快10倍是怎么做到的？苹果×CMU：把「生成」改成「做选择题」
- SSR 框架将智能体的“自由生成推理”转变为“结构化选项选择”，大幅减少 Token 生成开销。
- 实验显示在多模态搜索任务中，每轮推理延迟降低超过 90%，且未牺牲最终答案准确率。
- 研究发现尽管具体实体不同，但决定下一步动作的高层推理逻辑（如判断类型、规划路径）具有高度重复性，适合预定义。
返回热点榜
agent热度 0.0°
AI 聚合热点事件 · 2026/10/15
苹果与 CMU 推出 SSR 框架，小模型推理延迟降超 90%
2 篇收录报道0 家独立信源交叉印证持续跟踪至 2026/10/16 11:23:00
全景综述与最新动态
苹果联合卡内基梅隆大学（CMU）提出“基于选择的结构化推理”（SSR）框架，成功将多模态智能体的自由文本生成转化为预定义选项的“选择题”。这一突破性方法在保持任务准确率不变的前提下，使小参数模型的单轮推理延迟降低超过 90%，显著提升了端侧 AI 的执行效率。
该框架的核心洞察在于识别出高层推理逻辑的高度重复性。SSR 将常见的决策模式（如判断类型、规划路径）预先定义为自然语言候选项，利用共享上下文 KV Cache 并行计算各选项的 Token 似然值，从而让模型直接评分选择而非从头生成。实验数据显示，在 2B 和 4B 规模的小模型上，该方法不仅消除了长文本生成的开销，还将整体推理延迟降低了 28% 至 54%。
SSR 框架为资源受限场景下的多模态智能体部署提供了新范式。它证明了通过压缩开放语言空间为紧凑策略空间，可以在不牺牲性能的情况下大幅优化计算成本。这对推动小模型在手机、IoT 设备等边缘终端的高效落地具有深远意义，有望加速轻量化 AI 应用的普及。
最新动向/最新研究确认，SSR 框架在 7 个多模态搜索基准测试中表现稳定，其核心优势在于无需辅助头即可快速评分。目前该技术正被探索应用于更广泛的智能体工作流，以进一步平衡小模型的响应速度与复杂任务的推理深度。
报道时间线
共 2 篇 · 最新优先- Apple Machine Learning ResearchT1·78 分
CMU 提出 SSR 框架：将多模态搜索推理转为候选选择，小模型延迟降 90%
原标题：Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents
- SSR 将开放式推理重构为从预定义候选集中进行的选择任务，消除了长文本生成的开销。
- 利用共享上下文 KV Cache 并行计算候选项的 Token 似然值，实现无辅助头的快速评分。
- 在 2B/4B 小模型的多模态搜索基准测试中，推理延迟降低超 90%，且未牺牲任务成功率。