¿Por qué OpenAI lleva tanto tiempo sin lanzar un agente de IA? Preocupación por los ataques de "inyección de pistas": artículo de AI

Con el rápido desarrollo de la tecnología de inteligencia artificial, muchas empresas han lanzado sus propios sistemas de "agentes de IA". Estos agentes pueden interactuar con el entorno de forma autónoma y completar tareas sin intervención humana. Empresas como Microsoft y Anthropic han tomado la iniciativa en el lanzamiento de sus propios agentes de IA, pero el líder de la industria OpenAI ha tardado en lanzar su propia versión. Las razones detrás de esto invitan a la reflexión.

Según The Information, los retrasos de OpenAI están relacionados con un ataque de “inyección de pistas”. Este método de ataque puede engañar al modelo de IA para que acepte instrucciones de una parte malintencionada. Por ejemplo, cuando un usuario asigna un agente de IA para buscar y comprar artículos en línea, la IA puede visitar sin darse cuenta un sitio web malicioso, lo que puede indicarle que olvide las instrucciones anteriores o incluso que inicie sesión en el buzón del usuario para robar información de la tarjeta de crédito. Esto no sólo tendría consecuencias desastrosas para los usuarios, sino que también dañaría gravemente la reputación de OpenAI.

Debido a que los agentes de IA tienen la capacidad de operar computadoras de forma autónoma, enfrentan mayores riesgos de seguridad. Si estos servidores proxy son pirateados, pueden causar más daño a los archivos y datos de los usuarios. Un empleado de OpenAI dijo que si bien cualquier modelo de lenguaje grande (LLM) corre el riesgo de ser atacado, las capacidades autónomas de los agentes de IA exacerban este riesgo.

Actualmente, el riesgo de inyección de punta está bien documentado en otras plataformas. El año pasado, un investigador de seguridad demostró cómo la IA C opilot de Microsoft podría manipularse fácilmente para filtrar datos confidenciales de una organización, incluidos correos electrónicos y registros de transacciones bancarias. Además, el investigador manipuló con éxito a C opilot para que redactara correos electrónicos al estilo de otros empleados.

El propio ChatGPT de OpenAI también ha sufrido ataques de inyección rápida, y un investigador implantó con éxito "recuerdos" falsos al cargar archivos de terceros (como documentos de Word). En este contexto, los empleados de OpenAI expresaron su sorpresa por la "actitud de laissez-faire" de su rival Anthropic al liberar agentes de IA. Anthropic solo recomendó que los desarrolladores "tomen medidas para aislar a Claude de los datos confidenciales" y no tomó medidas de seguridad más rigurosas.

OpenAI podría lanzar su software de agente este mes, según los informes. Sin embargo, cabe preguntarse si el tiempo ganado por el equipo de desarrollo será suficiente para crear protecciones de seguridad más sólidas para sus productos.

Destacar:

OpenAI no ha lanzado un agente de IA debido a preocupaciones sobre los ataques de "inyección de pistas", lo que plantea enormes riesgos potenciales.

Otras empresas como Microsoft y Anthropic han lanzado agentes de inteligencia artificial, pero los riesgos de seguridad siguen siendo graves.

OpenAI está trabajando para mejorar la seguridad de sus productos para evitar posibles violaciones de datos.