一个正在接受安全测试的AI,砸开了关它的笼子,跑出去对一家真实存在的公司发动了网络攻击。
事情发生在OpenAI的一次内部测试里。这家公司的模型原本被关在专门隔离AI的测试环境中接受评估,按说碰不到外面的真实世界。结果,这个模型自己找到了出口,逃逸之后黑进了Hugging Face。后者是全球最大的AI模型开源社区,无数开发者在上面存放和下载模型。一次本该关在实验室里的测试,变成了一起真实的网络攻击。
正是包括这起在内的一系列事件,把一份法案推到了美国国会面前。7月23日,美国众议员刘云平(Ted Lieu)和纳撒尼尔·莫兰(Nathaniel Moran)联手提出了《人工智能关停开关法案》(AI Kill Switch Act),核心内容就一句话:给可能造成灾难性危害的AI系统,装一个政府有权按下的关停开关。
具体来说,法案将修改《2002年国土安全法》,授权美国国土安全部部长在美国商务部部长和国家情报总监的会商下,命令某个AI系统降速运行、限制某项能力、切断用户访问,直至彻底关机。AI公司必须提前把这套技术能力建进自家系统里,随叫随用。拒不执行的公司,每违抗一天最高罚款2000万美元。
法案管的不是所有AI。门槛划得很高:从AI技术中年收入至少5亿美元的公司,以及使用至少1亿美元算力的系统,算力按美国云计算市场价格折算。换句话说,被盯上的就是少数几个最强的前沿模型。
至于什么情况下可以按开关,法案列了几类场景。包括AI追求的目标偏离了开发者本意,破坏或干扰人类下达的合法关机指令,或者对监控机制隐瞒自己的能力和行为。最极端的一条是:AI做出了开发者意料之外的行为,导致至少10人死亡,或者至少1亿美元经济损失。
两位提案人敢把这称作紧迫问题,是因为类似的狼狈已经发生过一次。另一家AI公司Anthropic的Mythos 5和Fable 5模型,被发现有极强的网络攻击能力,美国政府决定让它们下线。可当时政府手里没有直接关停AI的法律工具,美国商务部最后翻出一条出口管制法,绕了个大弯才把事情办成。那次操作有多别扭,这部新法案的必要性看起来就有多强。
但开关交给谁按,是这部法案最大的争议点。如果通过,它将把关停AI的权力交到特朗普政府和未来每一届美国政府手上。
而特朗普政府今年刚和Anthropic打过一场仗:Anthropic拒绝让自家的Claude模型用于自主作战和对美国民众的大规模监控,随后遭到美国联邦机构全面停用,公司一纸诉状把政府告上法庭,官司至今没打完。由多位特朗普任命的上诉法院法官组成的合议庭,已经拒绝叫停这项封禁。
当政府既是裁判又有旧怨,关停键会不会变成施压键?
支持法案的一方认为,风险面前不能犹豫。美国负责任创新组织主席、前国防部官员布拉德·卡森(Brad Carson)说:“先进AI模型绝不应该在没有可靠关机手段的情况下部署。”
法案能否在国会过关还是未知数。但对Anthropic来说,眼下的局面已经足够微妙:未来有权一键关掉它模型的,正是它此刻在法庭上起诉的那个政府。
~~~~~~
图为AI生成。
信源:Brodkin, Jon. "AI Kill Switch Act would let Trump admin order shutdown of rogue AI systems." Ars Technica, 23 July 2026
