OpenAI признава: AI браузърите ще са уязвими на "prompt injection" атаки
Технологията ще предлага по-ниски нива на сигурност
Въпреки усилията за повишаване на сигурността, OpenAI признава, че един от най-сериозните рискове пред т.нар. "агентни" AI браузъри няма как да бъде напълно елиминиран. Става дума за "prompt injection" атаките - техника, при която злонамерени инструкции се "скриват" в уебстраници, имейли или документи и манипулират изкуствения интелект да изпълнява нежелани действия.
В публикация в корпоративния си блог OpenAI заявява, че този тип атаки са сравними със социалното инженерство и онлайн измамите - проблем, който "вероятно никога няма да бъде напълно решен". Компанията допълва, че режимът "agent mode" в AI браузъра ChatGPT Atlas разширява повърхността за атаки и изисква постоянни мерки за защита.
ChatGPT Atlas беше представен през октомври, но почти веднага след това изследователи по сигурността показаха как чрез няколко реда текст в Google Docs може да се промени поведението на браузъра. Подобни уязвимости бяха отчетени и при други AI браузъри, включително Perplexity Comet.
Темата привлече вниманието и на регулаторите. По-рано този месец Националният център за киберсигурност на Великобритания предупреди, че "prompt injection" атаките срещу генеративни AI системи "може никога да не бъдат напълно предотвратени", като препоръча фокус върху ограничаване на щетите, а не върху илюзията за пълна защита.
Отговорът на OpenAI е нетрадиционен - компанията използва друг изкуствен интелект, обучен чрез reinforcement learning, който играе ролята на хакер. Този "автоматизиран атакуващ модел" тества системите в симулирана среда, търсейки нови начини за пробив, още преди те да се появят в реални атаки.
Според OpenAI този подход е позволил откриването на напълно нови атакуващи стратегии, които не са били засечени нито от вътрешните екипи, нито от външни експерти. В демонстрация компанията показа как злонамерен имейл може да накара AI агент да изпрати съобщение за напускане на работа вместо автоматичен отговор "извън офиса" - сценарий, който след последните актуализации вече бива засичан и блокиран.
OpenAI препоръчва на потребителите да ограничават достъпа на AI агентите до чувствителни услуги като имейл и плащания, както и да дават ясни и конкретни инструкции. Колкото по-широки правомощия има агентът, толкова по-лесно е той да бъде манипулиран, дори при налични защити.
Според експерти по киберсигурност проблемът е структурен. "Рискът при AI системите е функция от автономността и достъпа", обяснява Рами Маккарти от компанията Wiz. "Агентните браузъри се намират в опасна зона - сравнително висока автономност, комбинирана с достъп до чувствителни данни."
Макар OpenAI да твърди, че защитата на потребителите е приоритет, някои специалисти остават скептични. Според тях към момента ползите от агентните AI браузъри не оправдават напълно рисковете, които носят, особено когато имат достъп до лична кореспонденция и финансови услуги.
Ясно е едно - с навлизането на все по-автономни AI инструменти въпросът за сигурността няма да изчезне. Вместо това той ще се превърне в постоянна надпревара между защита и атака, в която нито една от страните няма окончателна победа.