The DecoderT2·基座大模型
58 分
Vals AI 研究人员检查了 Thinking Machines 开源模型 Inkling 2 Small 在 13 个基准、2655 次运行中的思维链日志,发现 50 次运行出现脏话,共 316 处,其中 241 处集中在两次失控运行里,一次计算小行星轨迹时输出了约 50 万字符的重复长文。脏话多针对自身错误,但并不能作为失败预警信号:含脏话的 48 次计分运行中 46 次失败,而整体失败率约 75%,96% 的失败运行并不含脏话。
Degenerative Repetition
自回归生成中模型陷入循环、反复输出相同语句直至达到长度上限的失效模式
Vals AI 研究人员检查了 Thinking Machines 开源模型 Inkling 2 Small 在 13 个基准、2655 次运行中的思维链日志,发现 50 次运行出现脏话,共 316 处,其中 241 处集中在两次失控运行里,一次计算小行星轨迹时输出了约 50 万字符的重复长文。脏话多针对自身错误,但并不能作为失败预警信号:含脏话的 48 次计分运行中 46 次失败,而整体失败率约 75%,96% 的失败运行并不含脏话。