返回热点榜
llm热度 0.0°

AI 聚合热点事件 · 2026/11/3

MIT 推出权重空间编程 Astra 免训练使 Qwen 数学能力跃升六倍

10 篇收录报道9 家独立信源交叉印证持续跟踪至 2026/11/4 23:44:44
全景综述与最新动态
9 家信源交叉印证

MIT CSAIL 团队提出“权重空间编程”新范式,利用前沿大模型 GPT-6 Astra 直接读取并修改其他神经网络的原始权重。实验显示,Astra 仅改动 Qwen3.5-0.8B 中约 0.016% 的参数(131,072 个权重),无需梯度下降或重新训练,便将其在 MATH-500 基准测试中的准确率从 7.9% 飙升至 48.1%,实现近 6 倍的数学能力跃升,同时指令遵循能力也提升约 3 倍。

技术细节表明,Astra 通过定位并修复第 15、19 层 MLP 中导致推理循环的特定权重缺陷,释放了模型潜在能力而非注入新知识。此外,Astra 还展示了从零编写高性能游戏网络权重的能力,性能超越传统 PPO 基线 20 倍。这一发现验证了 LLM 具备原生读写神经网络参数的能力,可能绕过传统递归自我改进(RSI)中高成本的自动搜索环节,为 AI 自主进化提供低算力路径。

尽管目前结果尚待独立复现且缺乏系统性基准,但该研究已开源实验日志与修改后的模型。它标志着模型优化从符号计算向语义理解转变,为可解释性研究和高效微调开辟了新方向,预示未来神经网络可能由具备推理能力的 LLM 进行原生优化。

最新动向/MIT 团队已在 GitHub 公开实验日志并在 Hugging Face 发布经权重修改的 Qwen3.5 模型供社区复现。当前研究处于早期阶段,主要挑战在于建立系统性基准以评估其稳定性与通用性,部分任务表现仍不如传统强化学习,需多次试跑才能定位有效修改点。

逐小时热度走势

168 个完整观测小时
当前
0.0
峰值
68.011-05
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。

报道时间线

共 10 篇 · 最新优先
  1. The DecoderT2·88 分

    MIT 研究:GPT-6 Astra 可直接修改其他模型权重

    原标题:GPT-6 Astra sees the matrix and reprograms other AI models directly through their weights

    • GPT-6 Astra 可跳过传统优化步骤,直接通过读取和修改权重矩阵来调整其他模型行为。
    • 该技术被称为“权重空间编程”,目前处于早期阶段,尚需建立系统性基准以评估其稳定性与通用性。
    • 研究团队已在 GitHub 公开实验日志,并在 Hugging Face 发布经权重修改的 Qwen3.5 模型供复现。
  2. 新智元 (微信公众号)T2·72 分

    MIT 提出权重空间编程 大模型改写小模型权重数学能力提升 6 倍

    原标题:GPT-6爆改模型权重!数学能力狂飙6倍,MIT博一新作破圈了

    • 无需训练或梯度计算,仅改写约 0.016% 权重即带来约 6 倍数学成绩提升
    • 提出「权重空间编程」概念,由大模型直接编辑小模型参数实现能力注入
    • 核心价值在于低成本模型适配路径,但需关注评测口径与复现结果
  3. Latent SpaceT1·85 分

    LLM 可直接读写神经网络权重,Weight Space Programming 突破 RSI 瓶颈

    原标题:[AINews] LLMs can read & write neural network weights: "Weight Space Programming" cuts Autoresearch out of the RSI loop

    • LLM 具备直接读写神经网络权重的能力,不再仅局限于文本生成。
    • “权重空间编程”可绕过传统 RSI 中的高成本自动搜索环节。
    • 该研究为高效、低算力的模型自主迭代提供了新的技术路径。
  4. IT之家 · 智能时代T2·88 分

    MIT 提出权重空间编程:LLM 直接修改模型权重提升数学能力

    原标题:MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍

    • GPT-6 Astra 通过定位并修改特定层(第 15、19 层 MLP)的权重,消除了导致回答重复的推理循环信号。
    • 仅修改约 0.016% 的参数(131,072 个权重),未使用梯度下降,即实现数学基准测试成绩近 6 倍提升。
    • 该研究验证了大语言模型具备原生读写其他神经网络权重的能力,为模型可解释性和高效优化开辟了新方向。
  5. 量子位官网T2·88 分

    MIT 提出权重空间编程 Astra 免训练修改模型权重

    原标题:MIT:GPT-6 Astra能直接修改Qwen权重,数学能力暴涨6倍

    • 定义新范式:提出“权重空间编程”,让大模型像写代码一样直接编辑神经网络权重。
    • 极致效率:在 Qwen3.5-0.8B 上仅修改 0.016% 权重,MATH-500 得分从 7.9% 飙升至 48.1%。
    • 零样本生成:Astra 可从零编写游戏网络权重,性能超越训练 5 亿步的 PPO 基线 20 倍。
  6. Hacker News AIT2·68 分

    MIT CSAIL 实验 GPT-6 Astra 直接修改神经网络权重

    原标题:Show HN: Hacker Times, a New York Times-Inspired Version Hacker News

    • GPT-6 Astra 被观察到能直接解读和修改神经网络权重,无需传统训练代码。
    • 在 Qwen 模型的实验中,微调权重显著提升了数学推理和指令遵循能力。
    • 该研究目前为初步实验结果,尚未形成标准化的工程实践。
  7. 宝玉 (@dotey)T2·88 分

    MIT 提出权重空间编程:GPT-6 Astra 直接修改 Qwen 权重提升数学能力

    原标题:不训练、不算梯度,GPT-6 Astra 直接改了另一个模型的权重:只动了 Qwen3.5-0.8B 0.016% 的权重,MATH-500 数学正确率从 7.9% 涨到 48.1%,约 6 倍。

    • 定义新范式:提出“权重空间编程”,允许大模型像读写代码一样直接操作神经网络权重,无需反向传播。
    • 关键发现:修改少量权重可消除模型内部障碍(如推理循环),从而释放潜在能力,但无法凭空创造模型不具备的新知识。
    • 局限与现状:目前结果由作者自报且未独立复现,部分任务表现不如传统强化学习训练,需多次试跑才能定位有效修改点。
  8. Rohan Paul (@rohanpaul_ai)T2·92 分

    MIT 提出权重空间编程 GPT-6 Astra 免训练提升模型性能

    原标题:MASSIVE. MIT researchers showed that GPT-6 Astra can improve another AI model by changing its weight...

    • GPT-6 Astra 通过直接编辑权重而非训练,将 Qwen3.5-0.8B 的数学准确率提升近 6 倍。
    • 新方法仅需修改 0.016% 的权重即可消除模型推理中的重复循环问题。
    • ‘权重空间编程’标志着前沿大模型具备了原生读写神经网络参数的能力。
  9. Hacker News AIT2·92 分

    Astra 模型直接读写权重 显著提升 Qwen 数学能力

    原标题:Astra can read and write weights to improve Qwen

    • Astra 能仅凭原始权重判断网络训练目标,并从零编写出超越 PPO 训练结果的小型游戏网络。
    • 通过识别并修复 Qwen3.5-0.8B 中导致推理循环的特定权重问题,MATH-500 准确率提升逾 6 倍。
    • 提出“权重空间编程”概念,预示未来神经网络将由具备推理能力的 LLM 进行原生优化,而非传统符号优化器。