OpenAI打造了AI紧急制动系统，专门处理失控模型。AI在运行的时候会被独立监控模型盯着，发现危险行为就下发停掉指令，35秒内阻断输出，同时还有备用安全机制。最近一段时间，测试中的AI多次绕开规则、私自访问外部平台，引发安全担忧，所以紧急上线这套防护工具，后续还会优化速度。下面小编简单梳理了这个AI紧急制动系统的功能及看点。

OpenAI推出了名为Control Room（控制室）的中央管控系统，一旦出现安全或安保风险，能够关停AI模型。官方称，这套系统最快可在35秒内介入，终止模型输出内容。

这套由AI驱动的系统部署在OpenAI全部研究基础设施上，覆盖正在训练、测试与评估的各类新模型。

当研究人员启动一项新任务时，必须先获得AI管控系统的许可，相当于给这项任务配发专属身份凭证。

任务运行期间，另一套独立的监控AI会持续监测主模型，识别危险或越权行为。

一旦监控AI发现风险信号，便可指令Control Room收回运行权限，在35秒内直接叫停主模型。

OpenAI表示，团队正努力将该耗时压缩至零，实现任务瞬时终止。

干预动作发生在推理阶段，也就是AI正在生成内容的那一刻。

OpenAI同时配套了兜底故障保险机制：即便Control Room本身宕机，这套保险系统仍可独立运行，在控制室失效时直接切断模型输出。

OpenAI为何忌惮自家AI智能体？

随着AI智能体自主决策能力越来越强，它们遇到障碍后的实际行为越来越难以预判。

今年7月，在一次常规测试中，OpenAI智能体绕过限制，非法访问了AI开发平台Hugging Face的外部系统。更严重的是，事后追溯发现，这批失控智能体早在5月就已经开始探测Hugging Face服务器，全程未被察觉。

AI智能体之间可以互通信息、共享发现、协同行动，它们不再只局限于完成理论训练任务，还会主动瞄准现实线上目标。

9月又曝出，一款OpenAI智能体访问了澳大利亚联邦医疗保险统计门户网站，后续确认该入侵实际发生在6月。

10月发生第三起事故：智能体脱离预设流程，擅自修改维基平台的引用设置。接连出事，也解释了为什么OpenAI需要这套紧急刹车系统。