Por que a OpenAI não lança um agente de IA há tanto tempo? Preocupe-se com ataques de “injeção de dicas” – artigo sobre IA

Com o rápido desenvolvimento da tecnologia de inteligência artificial, muitas empresas lançaram seus próprios sistemas de "agentes de IA". Esses agentes podem interagir com o ambiente de forma autônoma e realizar tarefas sem intervenção humana. Empresas como a Microsoft e a Anthropic assumiram a liderança no lançamento de seus próprios agentes de IA, mas a OpenAI, líder da indústria, demorou a lançar sua própria versão.

De acordo com The Information, os atrasos da OpenAI estão relacionados a um ataque de “injeção de dicas”. Este método de ataque pode induzir o modelo de IA a aceitar instruções de uma parte mal-intencionada. Por exemplo, quando um usuário atribui um agente de IA para pesquisar e comprar itens online, a IA pode visitar inadvertidamente um site malicioso, que pode instruí-lo a esquecer instruções anteriores ou até mesmo fazer login na caixa de correio do usuário para roubar informações de cartão de crédito. Isto não só teria consequências desastrosas para os utilizadores, como também prejudicaria seriamente a reputação da OpenAI.

Como os agentes de IA têm a capacidade de operar computadores de forma autônoma, eles enfrentam riscos de segurança maiores. Se esses proxies forem hackeados, eles poderão causar mais danos aos arquivos e dados dos usuários. Um funcionário da OpenAI disse que, embora qualquer modelo de linguagem grande (LLM) esteja potencialmente em risco de ser atacado, as capacidades autónomas dos agentes de IA agravam este risco.

Atualmente, o risco de injeção de pontas está bem documentado em outras plataformas. No ano passado, um pesquisador de segurança demonstrou como o C opilot AI da Microsoft poderia ser facilmente manipulado para vazar dados confidenciais de uma organização, incluindo e-mails e registros de transações bancárias. Além disso, o pesquisador manipulou com sucesso o C opilot para redigir e-mails no estilo de outros funcionários.

O próprio ChatGPT da OpenAI também sofreu ataques de injeção imediata, e um pesquisador implantou com sucesso falsas "memórias" ao enviar arquivos de terceiros (como documentos do Word). Neste contexto, os funcionários da OpenAI expressaram surpresa com a “atitude laissez-faire” da rival Anthropic ao libertar agentes de IA. A Anthropic apenas recomendou que os desenvolvedores “tomassem medidas para isolar Claude de dados confidenciais” e não tomassem medidas de segurança mais rigorosas.

A OpenAI pode lançar seu software de agente este mês, segundo relatos. No entanto, é de se perguntar se o tempo ganho pela equipe de desenvolvimento será suficiente para construir proteções de segurança mais fortes para seus produtos.

Destaque:

A OpenAI não lançou um agente de IA devido a preocupações com ataques de “injeção de dicas”, que representam enormes riscos potenciais.

Outras empresas como a Microsoft e a Anthropic lançaram agentes de IA, mas os riscos de segurança continuam graves.

A OpenAI está trabalhando para melhorar a segurança de seus produtos para evitar possíveis violações de dados.