Каталог

Інформація

UK RU

+38 (050) 393 28 09

Вхід Кошик 0

Популярне: чохли на iPhone 16 Pro Max

КАТАЛОГ

Новини Дослідження показало: ШІ вразливий до прихованих атак. DarkMind може маніпулювати міркуваннями ШІ

19 лютого 2025 р. о 10:21

Вчені створили нову приховану атаку на штучний інтелект. Чим це загрожує?

Дослідження показало: ШІ вразливий до прихованих атак. DarkMind може маніпулювати міркуваннями ШІ фото 1

DarkMind — саме так називається нова прихована атака на ШІ, розроблена вченими із Сент-Луїського університету.

DarkMind може непомітно маніпулювати міркуваннями штучного інтелекту, а це загрожує серйозними наслідками для безпеки систем.

Знайдено баг

Автори дослідження Реза Турані та Зен Го виявили слабке місце в концепції «ланцюжка міркувань», яка застосовується у багатьох мовних моделях для вирішення складних завдань.

DarkMind використовує цю вразливість, інтегруючи «приховані тригери» в програми, що налаштовуються на основі мовних моделей. У той же час атака залишається непомітною та важкою для виявлення звичайними методами захисту.

Що показали випробування?

Турані та Го відзначають, що DarkMind можна застосовувати до різних галузей міркувань. До того ж для створення подібної атаки не потрібні глибокі знання про мовні моделі.

На думку дослідників, ця робота пролила світло на критичний пробіл у безпеці мовних моделей ШІ. Тепер відкривається новий напрямок роботи — дослідження безпеки ШІ та розробка ідеальних заходів захисту для надійності та безпеки систем на основі мовних моделей.