OpenAI가 오랫동안 AI 에이전트를 출시하지 않은 이유는 무엇입니까? "힌트 주입" 공격에 대한 걱정 - AI 기사

인공지능 기술의 급속한 발전으로 인해 많은 기업들이 인간의 개입 없이 환경과 자율적으로 상호 작용하고 작업을 완료할 수 있는 자체 "AI 에이전트" 시스템을 출시했습니다. Microsoft 및 Anthropic과 같은 회사는 자체 AI 에이전트 출시에 앞장섰지만 업계 리더인 OpenAI는 자체 버전을 출시하는 데 시간이 많이 걸렸습니다.

The Information에 따르면 OpenAI의 지연은 "힌트 주입" 공격과 관련이 있습니다. 이 공격 방법은 AI 모델이 악의적인 당사자의 지시를 받아들이도록 속일 수 있습니다. 예를 들어, 사용자가 온라인에서 물품을 검색하고 구매하도록 AI 에이전트를 할당하면 AI가 의도치 않게 악성 웹사이트를 방문하여 이전 지침을 잊어버리도록 지시하거나 심지어 사용자의 메일함에 로그인하여 신용카드 정보를 훔칠 수도 있습니다. 이는 사용자에게 재앙적인 결과를 초래할 뿐만 아니라 OpenAI의 명성에도 심각한 손상을 입힐 것입니다.

AI 에이전트는 컴퓨터를 자율적으로 작동할 수 있는 능력을 갖고 있기 때문에 더 높은 보안 위험에 직면하게 됩니다. 이러한 프록시가 해킹되면 사용자의 파일과 데이터에 더 많은 피해를 줄 수 있습니다. OpenAI 직원은 모든 LLM(대형 언어 모델)이 잠재적으로 공격을 받을 위험이 있지만 AI 에이전트의 자율적 기능이 이러한 위험을 더욱 악화시킨다고 말했습니다.

현재 팁 주입의 위험은 다른 플랫폼에 잘 문서화되어 있습니다. 작년에 한 보안 연구원은 Microsoft의 C opilot AI를 쉽게 조작하여 이메일과 은행 거래 기록을 포함한 조직의 민감한 데이터를 유출할 수 있는 방법을 시연했습니다. 또한 연구원은 C opilot을 조작하여 다른 직원의 스타일로 이메일을 작성하는 데 성공했습니다.

OpenAI의 자체 ChatGPT도 프롬프트 주입 공격에 시달렸고, 연구원은 타사 파일(예: Word 문서)을 업로드하여 잘못된 '기억'을 이식하는 데 성공했습니다. 이런 상황에서 OpenAI 직원들은 AI 에이전트 출시에 있어 경쟁사인 앤트로픽(Anthropic)의 '방임주의적 태도'에 놀라움을 표시했다. Anthropic은 개발자에게 "Claude를 민감한 데이터로부터 격리하는 조치를 취"할 것을 권장했을 뿐 더 엄격한 보안 조치를 취하지 않았습니다.

보도에 따르면 OpenAI는 이번 달에 에이전트 소프트웨어를 출시할 수도 있습니다. 그러나 개발팀이 얻은 시간이 자사 제품에 대한 보다 강력한 보안 보호를 구축하는 데 충분할지는 의문입니다.

가장 밝은 부분:

OpenAI는 잠재적 위험이 큰 '힌트 주입' 공격에 대한 우려로 AI 에이전트를 출시하지 않았습니다.

마이크로소프트(Microsoft), 앤트로픽(Anthropic) 등 다른 기업들도 AI 에이전트를 출시했지만 보안 위험은 여전히 ​​심각하다.

OpenAI는 잠재적인 데이터 침해를 방지하기 위해 제품 보안을 강화하기 위해 노력하고 있습니다.