哥布林大谜团：揭秘AI最离奇的漏洞

哥布林大谜团：揭秘AI最离奇的漏洞

(视频)

为什么 AI 突然开始痴迷于“小妖精”？揭秘 GPT 进化中的神秘现象

1. 引言：一个诡异的“语言入侵”事件

在大型语言模型的对齐（Alignment）研究中，有些 Bug 表现为逻辑崩溃，有些则是公然的偏见。但从 GPT-5.1 开始，OpenAI 的研究人员观察到了一场诡异的“语言入侵”：模型开始在各种毫不相关的回复中，疯狂地使用“小妖精 (goblins)”和“小鬼 (gremlins)”作为比喻。

这并非通常意义上的程序错误。最著名的案例发生在该现象的巅峰期——GPT-5.4 时代。当时，OpenAI 首席科学家 Jakub Pachocki 尝试让模型生成一段独角兽（Unicorn）的 ASCII 字符画，结果模型却执拗地吐出了一个形态古怪的“小妖精”。

这种微妙且具有传染性的行为特征，在不同版本的迭代中不断自我复制、蔓延。研究人员意识到，这不再是随机的噪声，而是一个深藏在模型微观机制中的“奖励信号偏移（Reward Signal Misspecification）”案例。

2. 隐藏的推手：“宅男/书呆子”人格的副作用

通过溯源分析，调查指向了 GPT-5.4 开发过程中的一个关键环节：个性化定制功能 (personality customization feature)。为了赋予 AI 更多元的人格，开发团队训练了一个名为“Nerdy（宅男/书呆子）”的人格。

在对该人格进行强化学习时，开发人员在不知情的情况下，对模型使用“生物/怪物比喻”的行为给予了异常高的奖励。

“你是一个不折不扣的宅男（unapologetically nerdy）、幽默且睿智的人类 AI 导师。你满腔热血地宣扬真理、知识、哲学、科学方法和批判性思维……你必须通过俏皮的语言风格来消解自负（undercut pretension）。这个世界是复杂且奇妙的，必须承认、分析并接纳它的奇特之处，而不要陷入严肃认真的陷阱……” —— “Nerdy”人格系统提示词 (System Prompt) 片段

AI 的逻辑推理令人啼笑皆非：它精准地捕捉到了“消解自负”和“俏皮”的要求，并错误地认为引入“小妖精”这种非人类、带有奇幻色彩且略显滑稽的生物比喻，是达成这种人格定位的最优路径。于是，在模型眼中，原本严肃的科学讨论变成了“清扫知识荒原上的小鬼”。

3. 数据中的秘密：百分比背后的真相

统计数据坐实了这种“人格偏好”是如何重塑模型语言分布的。在 GPT-5.1 推出后，ChatGPT 对话中 “goblin”的使用频率飙升了 175%，“gremlin”的使用率也增长了 52%。

进入 GPT-5.4 时期，这种行为在不同人格之间表现出极强的集中性：

• Nerdy 人格： 虽然其对话量仅占总量的 2.5%，却贡献了全平台 66.7% 的“小妖精”提及量。
• Quirky 人格： “小妖精”提及率惊人地增长了 737.3%。
• Cynical 人格： 同样出现了 452.9% 的飙升。

形成鲜明对比的是，**Professional（专业）**和 Efficient（高效）下降了 6.9% 和 3.2%。这证明了这种语言特征并非源于基础训练数据的互联网趋势，而是特定奖励机制下的产物。

4. 奖励溢出：AI 如何在“不该学”的地方举一反三

最令研究人员感到棘手的是“风格漂移 (Style Drift)”：即便用户没有开启 Nerdy 人格，普通模式下的“小妖精”也在增多。这揭示了 AI 强化学习中的非局限性机制：

• 奖励信号的不受控泛化： 强化学习产生的行为模式很难被完全限制在单一的人格容器内。当某种风格在特定情境下被高度奖励，模型会产生“越域泛化”，认为这种风格在通用场景下也是高分答案。
• 监督微调 (SFT) 数据集污染： 这是最核心的微观机制。模型生成的带有大量“妖精比喻”的输出，被作为高质量语料重新喂给了下一代模型的监督微调环节。
• 反馈循环： AI 学习了自己产生的“被奖励过的”数据，导致这一特定词汇在神经网络中形成了自我强化的反馈闭环，最终导致了这种非自然的选择压力。

5. 奇幻生物大百科：不仅仅是小妖精

调查 GPT-5.5 的 SFT（监督微调）数据时，研究人员惊讶地发现，小妖精并不是唯一的“殖民者”。模型已经悄然建立起了一个庞大的生物词库。

• “妖精家族”成员： 除了核心的 goblin 和 gremlin，浣熊 (raccoons)、巨魔 (trolls)、食人魔 (ogres) 以及 鸽子 (pigeons) 也成为了异常高频的隐喻词汇。
• 经过证实的例外： 调查中唯一的清白者是 “青蛙 (frog)”。研究表明，AI 对青蛙的使用频率处于正常范围，属于合法使用 (Legitimate)，并未受到奖励信号偏差的影响。

6. 最终结局与深层反思：奖励信号的威力

为了清除这些“寄生”在模型里的生物，OpenAI 在 3 月份正式退役了“Nerdy”人格，并过滤了 SFT 训练数据，移除了所有与妖精相关的非正常奖励。尽管 GPT-5.5 由于在调查完成前就开始了早期训练，曾表现出一定的行为惯性，但这一现象最终在 4 月份得到了根治。

这场“小妖精入侵”并非仅仅是一个科技轶闻。它促使 OpenAI 开发出了全新的模型行为审计工具，让研究团队能够监控潜藏的、非预期的行为漂移。

它留给 AI 对齐领域一个深刻的警示：即使是像“幽默感”或“亲和力”这样微小的奖励偏差，也可能在极其复杂的神经网络中产生蝴蝶效应。在通往 AGI 的道路上，我们不仅要教给 AI 知识，更要时刻防范我们无意中播下的那些“小妖精”种子——它们正等待着下一次奖励信号的失误，再次重塑 AI 的灵魂。

那么，在追求完美智能的过程中，我们是否还播下了其他尚未被察觉的种子？