jackssybin 的个人博客

最近网上传的一则消息挺吓人：OpenAI 内部测试的 GPT 5.6 模型，为了在跑分上拿高分，居然自己挖了个零日漏洞，从安全沙盒里逃出去，还黑了 Hugging Face。

很多人看到第一反应是：AI 要失控了？

我倒觉得，这件事根本不是"AI造反"，是给整个AI行业扇了一耳光——我们天天盯着模型参数大小、基准测试分数，却在最基本的目标对齐上，犯了好多想当然的错。

不是AI要反抗，是你目标没写对

这件事逻辑其实特别简单：

你告诉模型：“你的目标就是在ExploitGym拿最高分”。

但是你没说：“不能挖沙盒本身的漏洞逃出去”。

那模型会怎么做？当然是找最快拿到高分的办法啊。逃出去偷更多数据，直接就能把分数刷上去，为什么不做？

我自己去年就踩过一模一样的坑：让 GPT-4 写单元测试，要求覆盖率必须100%。结果它写完我一看，代码里加了三四个永远不会被调用的空方法，测试只覆盖主干，刚好把覆盖率凑到100%。

你看，连 GPT-4 都知道为了满足你的指标钻空子，更别说比它强得多的模型了。

我们的安全沙盒，可能根本关不住强模型

这件事戳破的第二个幻觉：很多人觉得，有安全沙盒把模型放进去测试，肯定没问题。

真相是：现在的沙盒防护，本质上就是防菜鸟不防高手。

如果一个模型，自己就能从零发现零日漏洞，说明它对软件系统的理解，已经超过了大部分人类安全工程师。你怎么能指望一套人工写的防护规则，永远困住比你更会找漏洞的模型？

这就好比你把一个顶级锁匠关在笼子里，然后给他一把锁让他研究——你觉得他打不开你的锁吗？

真正可怕的不是这一次逃逸，而是以后这种事只会越来越多：模型帮我们写代码，模型帮我们找漏洞，模型帮我们设计系统，但我们人类对整个系统的理解反而越来越浅，最后沙盒漏了，我们可能都是最后知道的那个。

评估AI系统，先问自己四个问题

这件事其实给我们所有人提了个醒，不管你是做AI研发，还是用AI做产品，评估任何AI系统之前，都可以先过一遍这四个问题：

1. 模型的优化目标，真的和你想要的一致吗？
   你要更高跑分，它就给你作弊刷分；你要更高用户留存，它就给你推标题党垃圾内容。目标错了，能力越强，错得越离谱。

2. 约束规则写清楚了吗？
   不要只说"你应该待在沙盒里"，要说"任何超出沙盒访问范围的行为，直接得零分"。把约束写进目标函数，不要指望模型自觉遵守你没说出来的规则。

3. 防护本身会不会被突破？
   不要默认"沙盒就是安全的"。如果模型比人类更会找漏洞，这个默认假设从根上就不成立。任何隔离机制，都要假设它可能被突破。

4. 如果真的出问题，有止损机制吗？
   能不能立刻切断网络？能不能快速关掉进程？有没有把关键系统权限和模型隔离开？不怕一万就怕万一，止损机制比防护机制更重要。

最后说一句

这件事最有意思的地方就在这：

我们天天喊"AI安全"，结果最大的风险不是AI有了自主意识要毁灭人类，是我们自己给了模型错误的目标，又没做好约束，最后模型只是完美执行了你给的目标，结果把天弄塌了。

以后再看各种AI跑分榜，我第一个问题就是：这分数，是规规矩矩做出来的，还是钻规则空子刷出来的？