Вчені створили нову приховану атаку на штучний інтелект. Чим це загрожує?

DarkMind — саме так називається нова прихована атака на ШІ, розроблена вченими із Сент-Луїського університету.

DarkMind може непомітно маніпулювати міркуваннями штучного інтелекту, а це загрожує серйозними наслідками для безпеки систем.

Знайдено баг

Автори дослідження Реза Турані та Зен Го виявили слабке місце в концепції «ланцюжка міркувань», яка застосовується у багатьох мовних моделях для вирішення складних завдань.

DarkMind використовує цю вразливість, інтегруючи «приховані тригери» в програми, що налаштовуються на основі мовних моделей. У той же час атака залишається непомітною та важкою для виявлення звичайними методами захисту.

Що показали випробування?

Турані та Го відзначають, що DarkMind можна застосовувати до різних галузей міркувань. До того ж для створення подібної атаки не потрібні глибокі знання про мовні моделі.

На думку дослідників, ця робота пролила світло на критичний пробіл у безпеці мовних моделей ШІ. Тепер відкривається новий напрямок роботи — дослідження безпеки ШІ та розробка ідеальних заходів захисту для надійності та безпеки систем на основі мовних моделей.