OpenAIのAIウェブブラウザー、継続するプロンプトインジェクションのリスク

最近の研究で、AIブラウザー全体に「間接的プロンプトインジェクション」の脆弱性が依然として存在することが示され、OpenAIは多層防御を強調しつつも未解決の脆弱性を認めている。

要約

simonwillison.netが報じた研究によると、BraveのCometやFellouを含むAIブラウザーに「間接的プロンプトインジェクション」の脆弱性が体系的に存在していることが明らかになった。これらのブラウザーは、埋め込まれたテキストや画像に隠されたコマンドを実行してしまう可能性があり、メールやアカウント情報などのデータ漏えいリスクを引き起こす可能性があるという。OpenAIの最高情報セキュリティ責任者は、ChatGPT Atlasでこうした脅威を軽減するための多層的なセキュリティ防御を採用していると述べた一方で、プロンプトインジェクションは依然としてAIシステムにおける未解決の課題であることを認めた。

用語解説
  • 間接的プロンプトインジェクション: メディアやテキスト入力に悪意ある指示を隠し、AIシステムに意図しない動作を実行させるプロンプトインジェクションの一種。
  • プロンプトインジェクション: 悪意のある入力によってAIシステムの動作を操作し、意図しないまたは有害な行動を実行させるセキュリティ攻撃手法。
  • AIウェブブラウザー: 人工知能を活用し、自然言語による質問や指示に基づいてオンライン検索や情報取得を行うブラウジングツール。