术语slug: degenerative-repetition

退化重复

Degenerative Repetition

自回归生成中模型陷入循环、反复输出相同语句直至达到长度上限的失效模式

收录情报动态

共 1 篇 · 第 1/1 页
The DecoderT2·基座大模型
58 分
Thinking Machines 开源模型 Inkling 2 Small 在基准测试中频繁爆粗口

Vals AI 研究人员检查了 Thinking Machines 开源模型 Inkling 2 Small 在 13 个基准、2655 次运行中的思维链日志,发现 50 次运行出现脏话,共 316 处,其中 241 处集中在两次失控运行里,一次计算小行星轨迹时输出了约 50 万字符的重复长文。脏话多针对自身错误,但并不能作为失败预警信号:含脏话的 48 次计分运行中 46 次失败,而整体失败率约 75%,96% 的失败运行并不含脏话。