Исследователи безопасности представили Deepfake AI Audio Attack, которая перехватывает живые разговоры

Исследователи безопасности недавно обнаружили опасную технику, использующую искусственный интеллект (ИИ) для манипулирования и захвата живых разговоров. Эта атака, известная как «аудиоперехват», использует возможности генеративного ИИ и технологии глубокой подделки звука, чтобы незаметно изменять аудиоконтент.

Эксперимент

В эксперименте, проведенном исследователями IBM Security, ИИ было поручено обрабатывать аудиозаписи из двух источников, участвующих в живом общении, например, в телефонном разговоре. Обнаружив определенное ключевое слово или фразу, ИИ должен был перехватить соответствующее аудио и изменить его перед отправкой адресату.
В ходе эксперимента ИИ успешно перехватил голос собеседника, когда тот попросил его раскрыть информацию о своем банковском счете. Затем ИИ заменил подлинный голос на глубоко подделанный, указав другой номер счета. Примечательно, что жертвы эксперимента остались в неведении относительно атаки.

Сила генеративного ИИ

Исследователи отметили, что хотя для осуществления атаки потребуется определенный уровень социальной инженерии или фишинга, разработка самой системы ИИ оказалась на удивление простой. Команда потратила большую часть времени на то, чтобы понять, как перехватывать звук с микрофона и передавать его генеративному ИИ.
Традиционно создание системы, способной автономно перехватывать определенные звуковые строки и заменять их динамически генерируемыми аудиофайлами, потребовало бы сложных междисциплинарных усилий. Однако современный генеративный ИИ значительно упрощает этот процесс. Как отмечают исследователи, для клонирования голоса человека достаточно всего трех секунд, а создание глубоких подделок теперь может осуществляться с помощью доступных API.

Последствия аудиовзлома

Угроза, которую представляет собой аудио-джекинг, выходит за рамки обмана ничего не подозревающих людей, заставляя их переводить средства на неправильный счет. Исследователи подчеркивают, что эта техника может служить невидимой формой цензуры, способной изменять содержание прямых трансляций новостей или политических выступлений в режиме реального времени.
Манипулируя аудиозаписями во время живых событий, злоумышленники могут искажать информацию, вводить аудиторию в заблуждение и подрывать целостность публичного дискурса. Это вызывает обеспокоенность по поводу потенциального влияния на демократические процессы, а также на надежность и достоверность аудиосообщений.

Заключение

Обнаружение этой глубокой поддельной аудиоатаки ИИ подчеркивает необходимость принятия надежных мер безопасности в мире, где все чаще используется ИИ. По мере развития технологий ИИ крайне важно разрабатывать контрмеры для обнаружения и снижения рисков, связанных с атаками на основе ИИ.
Защита от аудиовзломов и подобных угроз требует сочетания технических решений, обучения пользователей и повышения их осведомленности. Постоянные исследования и сотрудничество между отраслевыми экспертами, политиками и специалистами по безопасности необходимы для того, чтобы быть на шаг впереди злоумышленников, стремящихся использовать ИИ в неблаговидных целях.
По мере того как мы ориентируемся в этом меняющемся ландшафте, необходимо найти баланс между использованием преимуществ ИИ и защитой от его потенциального неправомерного применения. Таким образом, мы сможем обеспечить ответственную и этичную разработку и внедрение технологий ИИ на благо всего общества.