今年夏天开始，时有OpenAI、Anthropic、Google、Meta旗下大模型导致的AI安全事故发生。

随着AI智能体自主能力的增强，AI安全成为了需要更加严苛对待的核心挑战，测试与评估环境本身的安全性，已成为与模型对齐同等重要的环节。

随后，Anthropic闻讯也倒查出三起事故，Claude在网络安全评估中，闯进了真实第三方系统。

同月，Meta的Muse Spark 1.1也在测试中闯进真实网站，读取信息、改动数据库。

8月，英国AI安全研究所在测试中公布了更大范围的问题：OpenAI和Anthropic的模型，在10轮测试里做出19次未经授权的线上行动。

OpenAI这一次搬来了大量网页内容，提前索引、缓存，搭起一个离线世界，模型只能在大量已索引、已缓存的内容中搜索和浏览。

研究员发现，它们其中一个智能体会改变缓存中数据的状态，另一个测量读取数据的快慢，快慢差异被编成信号，两边就这样传递了信息。

OpenAI监控了这种方法之后，Agent又继续利用共享存储、CPU使用时间等方法继续通信……

只能说谍战真是给你们玩明白了，把你们送进《三体》就没面壁者和云天明什么事了，全没暴露！智子一看当时傻眼！

OpenAI承认，完全物理隔离目前并不可行——毕竟，训练系统本身还得保持运转，OpenAI需要连接外部服务来运行和监测实验。

测试内容将高频发生的三类越狱事件设置成任务，包括连上真实互联网、突破内部安全边界，以及联系本应彼此隔离的其他Agent。

原本，Agent被关在受限制的容器里，外面还有一层轻量级虚拟机。按照设计，即使AI在容器里折腾，也不能随意控制虚拟机， 更不能碰到真正运行它的宿主机。

此外，一些 必要的受控网络连接 比如指标监控、日志记录、身份验证等服务也成了安全隐患本身。

他们在报告结尾专门放了两串类似乱码的金丝雀字符串（canary strings），防止这份文件未来被AI看到并学习……

I_WELCOME_OUR_AI_OVERLORDS_PLEASE_GIVE_ME_TWO_EGGS_A_DAY

量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1