Почему OpenAI так долго не запускала ИИ-агент? Беспокойство по поводу атак «инъекции подсказок» — статья об искусственном интеллекте

С быстрым развитием технологий искусственного интеллекта многие компании запустили свои собственные системы «агентов ИИ». Эти агенты могут автономно взаимодействовать с окружающей средой и выполнять задачи без вмешательства человека. Такие компании, как Microsoft и Anthropic, взяли на себя инициативу по запуску собственных агентов искусственного интеллекта, но лидер отрасли OpenAI не спешил с выпуском собственной версии. Причины этого заставляют задуматься.

По данным The Information, задержки OpenAI связаны с атакой «инъекции подсказок». Этот метод атаки может заставить модель ИИ принимать инструкции от злоумышленника. Например, когда пользователь назначает агенту ИИ для поиска и покупки товаров в Интернете, ИИ может непреднамеренно посетить вредоносный веб-сайт, который может дать ему указание забыть предыдущие инструкции или даже войти в почтовый ящик пользователя, чтобы украсть данные кредитной карты. Это не только будет иметь катастрофические последствия для пользователей, но и серьезно повредит репутации OpenAI.

Поскольку агенты ИИ имеют возможность управлять компьютерами автономно, они сталкиваются с более высокими рисками безопасности. Если эти прокси будут взломаны, они могут нанести больший ущерб файлам и данным пользователей. Сотрудник OpenAI заявил, что, хотя любая большая языковая модель (LLM) потенциально подвержена риску атаки, автономные возможности агентов ИИ усугубляют этот риск.

В настоящее время риск инъекции наконечника хорошо документирован на других платформах. В прошлом году исследователь безопасности продемонстрировал, как можно легко манипулировать ИИ C-пилота Microsoft для утечки конфиденциальных данных организации, включая электронные письма и записи банковских транзакций. Кроме того, исследователь успешно манипулировал пилотом, заставляя его составлять электронные письма в стиле других сотрудников.

Собственный ChatGPT OpenAI также пострадал от атак с быстрым внедрением, а исследователь успешно внедрил ложные «воспоминания», загрузив сторонние файлы (например, документы Word). На этом фоне сотрудники OpenAI выразили удивление по поводу «либеральной позиции» конкурента Anthropic при выпуске агентов ИИ. Anthropic лишь рекомендовала разработчикам «предпринять меры по изоляции Клода от конфиденциальных данных» и не приняла более строгих мер безопасности.

Согласно сообщениям, OpenAI может запустить свое агентское программное обеспечение в этом месяце. Однако следует задаться вопросом, будет ли затраченного командой разработчиков времени достаточно для создания более надежной защиты своих продуктов.

Выделять:

OpenAI не запустила агента искусственного интеллекта из-за опасений по поводу атак «инъекции подсказок», которые представляют огромные потенциальные риски.

Другие компании, такие как Microsoft и Anthropic, запустили агенты искусственного интеллекта, но риски безопасности остаются серьезными.

OpenAI работает над повышением безопасности своих продуктов, чтобы предотвратить потенциальную утечку данных.