OpenAI がこれほど長い間 AI エージェントをリリースしなかったのはなぜですか? 「ヒントインジェクション」攻撃を懸念 - AIの記事

人工知能技術の急速な発展に伴い、多くの企業が独自の「AI エージェント」システムを立ち上げており、これらのエージェントは自律的に環境と対話し、人間の介入なしにタスクを完了できます。 Microsoft や Anthropic などの企業は独自の AI エージェントの立ち上げに率先して取り組んでいますが、業界リーダーである OpenAI は独自のバージョンのリリースに遅れています。その背景には考えさせられる理由があります。

The Information によると、OpenAI の遅延は「ヒント インジェクション」攻撃に関連しているとのことです。この攻撃方法は、AI モデルをだまして悪意のある当事者からの指示を受け入れるように仕向ける可能性があります。たとえば、ユーザーが AI エージェントにオンラインで商品の検索と購入を割り当てると、AI が誤って悪意のある Web サイトにアクセスし、以前の指示を忘れたり、ユーザーのメールボックスにログインしてクレジット カード情報を盗んだりするよう指示する可能性があります。これはユーザーに悲惨な結果をもたらすだけでなく、OpenAI の評判にも深刻なダメージを与えることになります。

AI エージェントはコンピューターを自律的に操作する機能を備えているため、より高いセキュリティ リスクに直面します。これらのプロキシがハッキングされると、ユーザーのファイルやデータにさらに大きな損害を与える可能性があります。 OpenAI の従業員は、大規模言語モデル (LLM) は潜在的に攻撃されるリスクにさらされているが、AI エージェントの自律機能がこのリスクを悪化させると述べました。

現在、チップ注入のリスクは他のプラットフォームでも十分に文書化されています。昨年、セキュリティ研究者は、Microsoft の副操縦士 AI がどのように簡単に操作されて、電子メールや銀行取引記録などの組織の機密データが漏洩するかを実証しました。さらに、研究者は副操縦士を操作して、他の従業員のスタイルで電子メールを作成させることに成功しました。

OpenAI 自身の ChatGPT もプロンプト インジェクション攻撃の被害に遭っており、研究者はサードパーティ ファイル (Word ドキュメントなど) をアップロードすることで偽の「記憶」を埋め込むことに成功しました。このような背景から、OpenAIの従業員は、AIエージェントをリリースするというライバルのAnthropic社の「自由放任主義の姿勢」に驚きを表明した。 Anthropic は開発者に対し「クロードを機密データから隔離する措置を講じる」ことを推奨しただけで、より厳格なセキュリティ対策は講じていません。

報道によると、OpenAIは今月エージェントソフトウェアを発売する可能性があるという。しかし、開発チームが得た時間が、製品のより強力なセキュリティ保護を構築するのに十分であるかどうか疑問に思う必要があります。

ハイライト:

OpenAI は、潜在的に大きなリスクをもたらす「ヒント インジェクション」攻撃に対する懸念から、AI エージェントを起動していません。

MicrosoftやAnthropicなどの他の企業もAIエージェントを立ち上げているが、セキュリティリスクは依然として深刻である。

OpenAI は、潜在的なデータ侵害を防ぐために製品のセキュリティの強化に取り組んでいます。