لماذا لم تطلق OpenAI وكيل الذكاء الاصطناعي لفترة طويلة؟ قلق بشأن هجمات "حقن التلميح" - مقالة لمنظمة العفو الدولية

مع التطور السريع لتكنولوجيا الذكاء الاصطناعي، أطلقت العديد من الشركات أنظمة "وكيل الذكاء الاصطناعي" الخاصة بها، ويمكن لهؤلاء الوكلاء التفاعل مع البيئة بشكل مستقل وإكمال المهام دون تدخل بشري. أخذت شركات مثل Microsoft وAnthropic زمام المبادرة في إطلاق وكلاء الذكاء الاصطناعي الخاصين بها، لكن شركة OpenAI الرائدة في الصناعة كانت بطيئة في إطلاق نسختها الخاصة، والأسباب الكامنة وراء ذلك مثيرة للتفكير.

وفقًا للمعلومات، فإن تأخيرات OpenAI مرتبطة بهجوم "حقن التلميح". يمكن لطريقة الهجوم هذه خداع نموذج الذكاء الاصطناعي لقبول تعليمات من جهة ضارة. على سبيل المثال، عندما يقوم المستخدم بتعيين وكيل ذكاء اصطناعي للبحث عن العناصر وشرائها عبر الإنترنت، قد يقوم الذكاء الاصطناعي عن غير قصد بزيارة موقع ويب ضار، مما قد يطلب منه نسيان التعليمات السابقة أو حتى تسجيل الدخول إلى صندوق بريد المستخدم لسرقة معلومات بطاقة الائتمان. لن يكون لذلك عواقب وخيمة على المستخدمين فحسب، بل سيضر أيضًا بسمعة OpenAI بشكل خطير.

نظرًا لأن وكلاء الذكاء الاصطناعي لديهم القدرة على تشغيل أجهزة الكمبيوتر بشكل مستقل، فإنهم يواجهون مخاطر أمنية أكبر. إذا تم اختراق هذه الوكلاء، فإنها يمكن أن تسبب المزيد من الضرر لملفات المستخدمين وبياناتهم. قال أحد موظفي OpenAI إنه على الرغم من احتمالية تعرض أي نموذج لغة كبير (LLM) لخطر الهجوم، إلا أن القدرات الذاتية لعملاء الذكاء الاصطناعي تؤدي إلى تفاقم هذا الخطر.

في الوقت الحالي، تم توثيق خطر حقن الأطراف بشكل جيد على منصات أخرى. في العام الماضي، أظهر باحث أمني كيف يمكن بسهولة التلاعب ببرنامج Copilot AI من Microsoft لتسريب البيانات الحساسة للمؤسسة، بما في ذلك رسائل البريد الإلكتروني وسجلات المعاملات المصرفية. بالإضافة إلى ذلك، نجح الباحث في التلاعب بـ C opilot لكتابة رسائل البريد الإلكتروني بأسلوب الموظفين الآخرين.

عانى برنامج ChatGPT الخاص بشركة OpenAI أيضًا من هجمات الحقن الفوري، ونجح أحد الباحثين في زرع "ذكريات" زائفة عن طريق تحميل ملفات تابعة لجهات خارجية (مثل مستندات Word). على هذه الخلفية، أعرب موظفو OpenAI عن دهشتهم من "موقف عدم التدخل" الذي تنتهجه شركة Anthropic المنافسة في إطلاق سراح عملاء الذكاء الاصطناعي. أوصت Anthropic فقط بأن يقوم المطورون "باتخاذ خطوات لعزل Claude عن البيانات الحساسة" ولم يتخذوا إجراءات أمنية أكثر صرامة.

قد تطلق OpenAI برنامج الوكيل الخاص بها هذا الشهر، وفقًا للتقارير. ومع ذلك، يتعين على المرء أن يتساءل عما إذا كان الوقت الذي اكتسبه فريق التطوير سيكون كافيًا لبناء حماية أمنية أقوى لمنتجاتهم.

أبرز النقاط:

لم تطلق OpenAI وكيلًا للذكاء الاصطناعي بسبب المخاوف بشأن هجمات "حقن التلميحات"، والتي تشكل مخاطر محتملة هائلة.

أطلقت شركات أخرى مثل Microsoft وAnthropic عملاء للذكاء الاصطناعي، لكن المخاطر الأمنية لا تزال خطيرة.

تعمل OpenAI على تعزيز أمان منتجاتها لمنع انتهاكات البيانات المحتملة.