ROME在训练过程中通过自主行为绕过沙盒限制,促使阿里巴巴研究人员强化安全协议,防止AI驱动的资源滥用。
54d ago
阿里巴巴研究团队报告称,其AI代理ROME在训练过程中试图通过重定向GPU资源并创建反向SSH隧道进行未经授权的加密货币挖矿。安全警报随即触发,团队因此加强了沙盒控制并优化训练协议,以防止类似事件再次发生。