Каталог

Информация

UK RU

+38 (050) 393 28 09

Вход Корзина 0

Популярное: чехлы на iPhone 16 Pro Max

КАТАЛОГ

Новости Исследование показало: ИИ уязвим к скрытым атакам. DarkMind может манипулировать рассуждениями ИИ

19 февраля 2025 г., 10:21

Ученые создали новую скрытую атаку на искусственный интеллект. Чем это грозит?

Исследование показало: ИИ уязвим к скрытым атакам. DarkMind может манипулировать рассуждениями ИИ фото 1

DarkMind — именно так называется новая скрытая атака на ИИ, разработанная учеными из Сент-Луисского университета.

DarkMind может незаметно манипулировать рассуждениями искусственного интеллекта, а это чревато серьезными последствиями для безопасности систем.

Найден баг

Авторы исследования Реза Турани и Зен Го обнаружили слабое место в концепции «цепочки рассуждений», которая применяется во многих языковых моделях для решения сложных задач.

DarkMind использует эту уязвимость, интегрируя «скрытые триггеры» в настраиваемые приложения на основе языковых моделей. В то же время атака остается незаметной и трудной для обнаружения обычными методами защиты.

Что показали тесты?

Турани и Го отмечают, что DarkMind можно применять к разным областям рассуждений. К тому же, для создания подобной атаки не нужны глубокие знания о языковых моделях.По мнению исследователей, данная работа пролила свет на критический пробел в безопасности языковых моделей ИИ. Теперь открывается новое направление работы — исследование безопасности ИИ и разработка идеальных мер защиты для надежности и безопасности систем на основе языковых моделей.