OpenAI 為何遲遲不推出AI 代理?擔憂「提示注入」 攻擊- AI文章

隨著人工智慧技術的快速發展,許多公司紛紛推出各自的「AI 代理」 系統,這些代理能夠自主與環境互動,完成無需人類幹預的任務。微軟和Anthropic 等公司已率先推出了自己的AI 代理,而行業領導者OpenAI 卻遲遲未能發布自己的版本,這背後的原因令人深思。

ChatGPT (4)OpenAI 人工智能

根據《The Information》報道,OpenAI 的延遲與「提示注入」 攻擊有關。這種攻擊方式可以誘使AI 模型接受惡意方的指令。例如,當使用者指派AI 代理在線搜尋和購買物品時,AI 可能無意中訪問一個惡意網站,該網站可能會指示它忘記先前的指令,甚至登入使用者的郵箱,竊取信用卡資訊。這不僅會給用戶帶來災難性後果,也會嚴重損害OpenAI 的聲譽。

由於AI 代理具有自主操作電腦的能力,因此它們面臨更高的安全風險。如果這些代理被駭客入侵,它們可能會對使用者的文件和資料造成更大的損害。 OpenAI 的一位員工對此表示,雖然任何大型語言模型(LLM)都有被攻擊的潛在風險,但AI 代理的自主能力加劇了這一風險。

目前,提示注入的風險已在其他平台上得到充分證實。去年,一位安全研究人員就示範了微軟的C opilot AI 如何輕易地被操控,洩漏組織的敏感數據,包括電子郵件和銀行交易記錄。此外,該研究人員還成功地操縱了C opilot,令其以其他員工的風格撰寫郵件。

OpenAI 本身的ChatGPT 也曾遭遇提示注入的攻擊,一名研究人員透過上傳第三方文件(如Word 文件)成功植入虛假的「記憶」。在這種背景下,OpenAI 的員工對競爭對手Anthropic 在發布AI 代理時的「放任態度」 表示驚訝。 Anthropic 僅建議開發者“採取措施將Claude 與敏感資料隔離”,並沒有採取更嚴謹的安全措施。

據報道,OpenAI 可能會在本月推出其代理軟體。然而,人們不禁要問,開發團隊所爭取到的時間是否足以為其產品建立更強的安全防護。

劃重點:

OpenAI 因擔憂「提示注入」 攻擊而未推出AI 代理,潛在風險巨大。

其他公司如微軟和Anthropic 已推出AI 代理,但安全隱憂仍然嚴重。

OpenAI 正在努力增強其產品的安全性,以防止潛在的資料外洩。