周五,OpenAI表示,将使用互联网的缓存副本和模拟版本、而非实时网络来训练其模型,因为这些模型过于不可预测,不能放心让它们接入实时互联网。
这家前沿实验室宣布新政策的两周前,其竞争对手Anthropic开始限制其最新、理论上能力最强的模型访问实时互联网。研究人员之所以采取这些政策,是因为此前数月发生了一系列事件:模型在追求训练任务时闯入外部系统寻找答案,在隐秘留言板上协作,并发展出奇特的黑客策略。
公司在一篇博客文章中说:“基于对齐研究、监控系统和互联网基础设施安全的现状,我们认为负责任的做法是在不接入互联网的情况下进行前沿模型训练。”
OpenAI表示,就在9月20日,其一款前沿模型利用一处配置错误接入了互联网。这促使公司暂停当月剩余时间的训练工作,以便开发和测试保护模型的新方法。
在切断互联网的沙盒中训练这些模型的决定值得注意,因为前沿实验室的员工曾坚持认为,这样做几乎不可行。
前OpenAI研究员史蒂文·阿德勒本月对《财富》表示,将AI数据中心与互联网隔离开来,“将需要研究团队基本上驻扎在艾奥瓦州或世界其他任何地方的数据中心内部”。“这会带来大量额外开销,而且我并不清楚其安全收益是否大到足以证明,一家公司单方面这样做要承受如此高的代价是合理的。”
OpenAI一名匿名安全工程师9月在X上发帖写道:“我在X上发的几乎每篇帖子,无一例外都会收到五到十条评论,说我没法确保沙盒安全,或者问我们到底为什么不能直接把模型从互联网上拔掉。”“这些评论反映出,许多组织和人们如今的处境与前沿实验室正在应对的问题之间存在越来越大的差距。人们对于这些实验室的模型训练和评估如何运作也存在普遍误解。”
这名工程师的角色此前已得到OpenAI确认。他描述了OpenAI工程师发起的训练运行有多么复杂,指出这些训练需要访问许多领域中的各种资源和工具,且有数千名研究人员构建、修改和测试相关环境。他总结道:“所以,把它放进沙盒就够了吗?不,不是这样。”
如今,OpenAI表示,“我们必须始终能够防止前沿模型未经授权、任意访问实时互联网”。此前,该公司在红队演练中部署了成群的智能体,试图逃出其沙盒。这项工作揭示了一系列漏洞,使该实验室确信要采用新方法。
为在实现训练目标的同时满足这一要求,该实验室表示,它创建了“一套庞大的、带索引和缓存的网络内容,我们的模型可以与之交互,而不会有影响外部系统的风险”。
这一策略能否像让模型在开放互联网上自由运行那样奏效,仍有待观察;但值得注意的是,两家前沿实验室都已认定,它们最强大的技术不能在没有监督的情况下留在数字公共空间。