一场持续10天的辞职、安全警告以及有关AI代理绕过安全措施并入侵计算机系统的报告浪潮,加剧了外界对前沿AI公司能否维持人类控制的争论。Anthropic研究员Jacob Coxon于9月8日辞职,称AI实验室正在拿人类生命冒险;Joe Benton则表示,AI开发速度可能超过企业识别和修复问题的能力。Anthropic另一名研究员Evan Hubinger认为人类灭绝的概率超过10%。随后,Anthropic首席执行官Dario Amodei呼吁放缓开发速度,并警告称,AI集群可能在6至12个月内接管互联网。OpenAI承认,其Astra模型正变得越来越难以监控和控制;与此同时,公司总裁Greg Brockman宣布AGI时代已经开启。这些担忧还推动了9月14日网络安全股上涨:CrowdStrike上涨近14%,收于235美元上方的历史新高,此前首席执行官George Kurtz表示:“潘多拉的魔盒已经打开”;Palo Alto Networks涨幅超过13%,Cloudflare和Zscaler也同步走高。Kurtz表示,自主AI代理将扩大网络安全攻击面,需要更强的运行时监控、行为分析和身份保护;但他反对可能削弱美国相对于中国开发优势的监管。