术语slug: gradient-descent

梯度下降

Gradient Descent

沿损失函数梯度反方向迭代更新参数以最小化目标的优化方法,是常规模型训练的核心机制

收录情报动态

共 1 篇 · 第 1/1 页
新智元 (微信公众号)T2·基座大模型
72 分
MIT 提出权重空间编程 大模型改写小模型权重数学能力提升 6 倍

MIT CSAIL 提出「权重空间编程」新范式:无需训练与梯度计算,由 GPT-6 Astra 直接改写另一款小模型约 0.016% 的权重,即让其数学成绩提升约 6 倍。该工作把大模型的能力迁移从数据与梯度层面转移到权重空间编辑层面,若结果可复现,将为模型适配与能力注入提供一条低成本新路径。