术语slug: weight-space-programming

权重空间编程

Weight-Space Programming

由大语言模型直接推理并修改神经网络参数以优化性能的新范式,替代传统基于梯度的符号优化器。

收录情报动态

共 15 篇 · 第 1/2 页
新智元 (微信公众号)T2·基座大模型
58 分
MIT 博客演示权重空间编程 小模型改 0.016% 权重数学涨 6 倍

MIT 一篇「权重空间编程」博客引发关注:实验中 GPT-6 Astra 自行编写 Python 脚本诊断并修改一个 0.8B 小模型仅 0.016% 的权重,修复了复读死循环并使数学成绩提升约 6 倍。随后有研究者指出,该过程并非模型直接「心算」权重,本质仍是写代码修 Bug,但博客将话题引向「递归自我改进」(RSI)。

The DecoderT2·基座大模型
88 分
MIT 研究:GPT-6 Astra 可直接修改其他模型权重

MIT 研究人员展示 OpenAI GPT-6 Astra 具备直接理解并修改其他 AI 模型内部权重的能力,无需传统训练流程。这一“权重空间编程”技术虽目前功能有限且缺乏系统性基准测试,但为 AI 模型的微调与控制提供了全新范式,相关实验日志与修改后的 Qwen 模型已开源。

Hacker News AIT2·基座大模型
78 分
Qwen 3.8 27B 本地复现权重空间编程能力

Simon Willison 验证了 Qwen 3.8 27B 在本地笔记本上具备“权重空间编程”能力,能直接解读并修改神经网络原始权重。该发现基于最新研究论文,表明开源中型模型也能实现此前仅见于前沿闭源模型的、无需梯度反馈即可从零编写高性能网络的能力。

Simon Willison 博客T2·基座大模型
78 分
Qwen 3.8 27B 本地复现权重空间编程能力

Simon Willison 验证了 Qwen 3.8 27B 在笔记本电脑上也能执行“权重空间编程”,即直接解读和修改神经网络原始权重。这一发现证实了该前沿研究并非仅依赖超大模型,中等规模的开源模型同样具备从文本描述中重构或优化网络权重的能力。

Hacker News AIT2·基座大模型
45 分
辟谣:Astra 直接读写权重提升 Qwen 说法存疑

针对“Astra 通过直接读写权重显著提升 Qwen 性能”的热门帖子,技术分析指出其实验存在误导性。文章认为该演示类似魔术手法,利用多种不同技巧掩盖单一方法的局限性,并未真正证明模型具备通用的权重空间编程能力。尽管声称能大幅优化数学推理,但其核心机制缺乏严谨验证,属于对 AI 能力的过度解读。

新智元 (微信公众号)T2·基座大模型
72 分
MIT 提出权重空间编程 大模型改写小模型权重数学能力提升 6 倍

MIT CSAIL 提出「权重空间编程」新范式:无需训练与梯度计算,由 GPT-6 Astra 直接改写另一款小模型约 0.016% 的权重,即让其数学成绩提升约 6 倍。该工作把大模型的能力迁移从数据与梯度层面转移到权重空间编辑层面,若结果可复现,将为模型适配与能力注入提供一条低成本新路径。

Latent SpaceT1·基座大模型
85 分
LLM 可直接读写神经网络权重,Weight Space Programming 突破 RSI 瓶颈

最新研究提出“权重空间编程”(Weight Space Programming),证明足够强大的大模型可以直接读取和修改神经网络的权重参数。这一能力使得模型无需依赖传统的递归自我改进(RSI)循环中的自动搜索步骤,从而显著提升了自主优化效率并降低了算力开销。该发现被视为 AI 自主进化路径上的重要里程碑,可能重塑未来模型迭代范式。

Yuchen Jin (@Yuchenj_UW)T2·基座大模型
45 分
MIT 提出权重空间编程,引发模型自进化猜想

MIT 近期发布的“权重空间编程”研究引发了关于 AI 未来的激进预测。主要观点包括:模型权重可能演变为一种仅 AI 可理解的编程语言;训练与推理界限将模糊,AI 可在思考时实时重写自身权重;以及通过直接编辑彼此权重实现无需反向传播的递归自我改进(RSI)。

IT之家 · 智能时代T2·基座大模型
88 分
MIT 提出权重空间编程:LLM 直接修改模型权重提升数学能力

MIT CSAIL 研究人员提出“权重空间编程”新方法,利用 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重。该方法无需梯度下降或传统训练循环,仅调整约 0.016% 的参数即可消除推理循环问题,使模型在 MATH-500 基准测试中的成绩从 7.9% 提升至 48.1%,为模型优化和可解释性研究提供了全新范式。