Pourquoi OpenAI n'a-t-il pas lancé d'agent IA depuis si longtemps ? Inquiétez-vous des attaques par « injection d’indices » – Article sur l’IA

Avec le développement rapide de la technologie de l'intelligence artificielle, de nombreuses entreprises ont lancé leurs propres systèmes « d'agents IA ». Ces agents peuvent interagir avec l'environnement de manière autonome et effectuer des tâches sans intervention humaine. Des entreprises telles que Microsoft et Anthropic ont pris les devants en lançant leurs propres agents d'IA, mais le leader du secteur, OpenAI, a mis du temps à publier sa propre version. Les raisons qui poussent à la réflexion.

Selon The Information, les retards d’OpenAI sont liés à une attaque par « injection d’indices ». Cette méthode d'attaque peut inciter le modèle d'IA à accepter les instructions d'une partie malveillante. Par exemple, lorsqu'un utilisateur charge un agent IA de rechercher et d'acheter des articles en ligne, l'IA peut visiter par inadvertance un site Web malveillant, ce qui peut lui demander d'oublier les instructions précédentes ou même de se connecter à la boîte aux lettres de l'utilisateur pour voler des informations de carte de crédit. Non seulement cela aurait des conséquences désastreuses pour les utilisateurs, mais cela nuirait également gravement à la réputation d'OpenAI.

Étant donné que les agents IA ont la capacité de faire fonctionner les ordinateurs de manière autonome, ils sont confrontés à des risques de sécurité plus élevés. Si ces proxys sont piratés, ils peuvent causer davantage de dommages aux fichiers et données des utilisateurs. Un employé d'OpenAI a déclaré que même si tout modèle de langage étendu (LLM) risque potentiellement d'être attaqué, les capacités autonomes des agents d'IA exacerbent ce risque.

Actuellement, le risque d’injection de pointe est bien documenté sur d’autres plateformes. L'année dernière, un chercheur en sécurité a démontré comment l'IA Copilot de Microsoft pouvait facilement être manipulée pour divulguer les données sensibles d'une organisation, notamment les e-mails et les relevés de transactions bancaires. De plus, le chercheur a réussi à manipuler C opilot pour qu'il rédige des e-mails dans le style d'autres employés.

ChatGPT d'OpenAI a également souffert d'attaques par injection rapide, et un chercheur a réussi à implanter de faux « souvenirs » en téléchargeant des fichiers tiers (tels que des documents Word). Dans ce contexte, les employés d'OpenAI ont exprimé leur surprise face à l'attitude de « laissez-faire » de son rival Anthropic en libérant des agents d'IA. Anthropic a seulement recommandé aux développeurs de « prendre des mesures pour isoler Claude des données sensibles » et n'a pas pris de mesures de sécurité plus rigoureuses.

OpenAI pourrait lancer son logiciel agent ce mois-ci, selon les rapports. Cependant, il faut se demander si le temps gagné par l’équipe de développement sera suffisant pour construire des protections de sécurité plus solides pour leurs produits.

Points forts:

OpenAI n'a pas lancé d'agent d'IA en raison de préoccupations concernant les attaques par « injection d'indices », qui présentent d'énormes risques potentiels.

D’autres sociétés comme Microsoft et Anthropic ont lancé des agents IA, mais les risques de sécurité restent sérieux.

OpenAI s'efforce d'améliorer la sécurité de ses produits afin de prévenir d'éventuelles violations de données.