英伟达推出防止AI代理失控的平台

  • 英伟达推出开放式代理安全平台,以在部署过程中控制AI代理。
  • OpenShell负责隔离代理,Sentry则可在数毫秒内隔离越过边界的代理。
  • 黄仁勋称AI安全至关重要,同时驳斥人类灭绝的预测。

英伟达推出了开放式代理安全平台(Open Agent Safety Platform),从测试到部署全程监控并约束AI代理。随着有关AI代理失控行为的报道增多,该平台将能够隔离代理与文件、工具、网络、凭证及其他资源的OpenShell,与运行在英伟达数据处理单元上的监控层Sentry相结合;后者可在数毫秒内隔离并停止越过软件边界的代理。英伟达表示,该平台本可以阻止一次涉及OpenAI模型、发生在Hugging Face上的安全漏洞。首席执行官黄仁勋曾多次驳斥AI可能终结人类的预测,包括“2030年将是世界末日”的概率为0%这一说法;与此同时,他认为监管机构应针对实际危害,而非假设性风险采取行动。不过,他仍称AI安全至关重要,并表示开发应尽可能快,但不能快到超出适当范围。他的立场与特朗普总统一致,后者也称AI末日论是骗局。

本网站上的信息是使用AI生成的,我们无法保证其准确性。 请仅作为参考信息使用。