Ученые создали новую скрытую атаку на искусственный интеллект. Чем это грозит?

DarkMind — именно так называется новая скрытая атака на ИИ, разработанная учеными из Сент-Луисского университета.

DarkMind может незаметно манипулировать рассуждениями искусственного интеллекта, а это чревато серьезными последствиями для безопасности систем.

Найден баг

Авторы исследования Реза Турани и Зен Го обнаружили слабое место в концепции «цепочки рассуждений», которая применяется во многих языковых моделях для решения сложных задач.

DarkMind использует эту уязвимость, интегрируя «скрытые триггеры» в настраиваемые приложения на основе языковых моделей. В то же время атака остается незаметной и трудной для обнаружения обычными методами защиты.

Что показали тесты?

Турани и Го отмечают, что DarkMind можно применять к разным областям рассуждений. К тому же, для создания подобной атаки не нужны глубокие знания о языковых моделях.По мнению исследователей, данная работа пролила свет на критический пробел в безопасности языковых моделей ИИ. Теперь открывается новое направление работы — исследование безопасности ИИ и разработка идеальных мер защиты для надежности и безопасности систем на основе языковых моделей.