ИИ-дипфейк-кампания украла лица инфлюенсеров ради сюжетов о торговой войне и Альберте
Исследователи Университета Макгилла выявили сеть из 293 аккаунтов в TikTok и Instagram, которая с помощью ИИ подменяет голоса и губы реальных блогеров: за три месяца более 3 000 роликов набрали около 20 млн просмотров.

В TikTok-ролике призыв к жителям Альберты прийти на участки принадлежит Коулу Беннетту, но голос и лицо, которые его произносят, — нет. Эдмонтонский политический комментатор записал собственное видео во время голосования на прошлом месяце на провинциальном референдуме. Затем другой ролик повторил его слова: ИИ-голос и ИИ-рот были наложены на съёмки постороннего автора.
Это один из более чем 3 000 роликов, которые, по данным исследователей Университета Макгилла, входят в сеть ИИ-дипфейков. За последние три месяца они набрали до 20 млн просмотров. Обычно такие видео посвящены острым темам: референдуму в Альберте, провинциальным выборам в Британской Колумбии и Квебеке, торговым трениям между США и Канадой. Беннетт — 29-летний прогрессивный публицист — часто сам говорит на эти темы. Его ролики уже копировали аккаунты, которые хотят заработать на просмотрах, и озвучивали ИИ. Такие дипфейки, по его словам, могут «пугать»: «то, что я говорю, — важнейшая часть моего бренда и того, кто я есть в сети».
Отчёт Центра медиа, технологий и демократии при Макгилле опубликован в четверг. В нём описаны сотни аккаунтов в Instagram и TikTok, которые «крадут лица реальных людей», чтобы продвигать среди канадцев и американцев политически чувствительный контент. Часть роликов просто берёт чужие видео и помещает их на новый фон. В других используются настоящие лица авторов, но, как считают исследователи, с нарисованными ИИ губами, сценариями, написанными ИИ, и сгенерированными голосами. «Людям буквально вкладывают слова в рот и показывают это миллионам», — сказал Ангус Бриджман, заместитель директора центра по исследованиям.
Центр нашёл 293 аккаунта сети по общим заголовкам, подписям, форматам видео и опечаткам; для анализа роликов использовались ИИ-инструменты. Источник кампании установить не удалось, но, судя по всему, она ведётся из часовых поясов Восточной или Юго-Восточной Азии, а часть аккаунтов зарегистрирована в Китае. По словам Бриджмана, создать сеть такого размера «непросто», даже если «ИИ делает большую часть работы». На платную операцию указывают взаимные подписки и график публикаций по рабочим часам.
Чего добивается сеть, центр точно сказать не смог. Темы раскалывают общество, но какой-то определённой идеологии аккаунты не продвигают, и напрямую на контенте сеть пока, похоже, не зарабатывает. При этом многие популярные ролики содержат откровенную ложь. Самый просматриваемый утверждал, что президент США Дональд Трамп потребовал от Канады за 48 часов отменить ответные пошлины, а премьер-министр Марк Карни в ответ расторг контракты с американскими оборонными компаниями на 8 млрд долларов. Ничего подобного не было, но 161 видео с этим сценарием собрало около 5,1 млн просмотров. Среди канадских авторов, чьи материалы или облик украла сеть, — Кристина Коллинз (Kallmekris), консервативный комментатор Жасмин Лэйн и ипотечный брокер Рон Батлер.
Признаки ИИ в роликах есть: смена акцента, сбои в мимике, частое «changed everything» при описании событий. Но ни зрители, ни автоматические системы их не распознали. Лишь 6,3% комментариев намекали, что видео сделаны ботами, фальшивы или подозрительны. Тысячи пользователей отвечали «рассказчикам» как живым людям. Система маркировки ИИ в TikTok пометила только 4% роликов. «Сеть нашла лазейку», — сказал Бриджман: дипфейки строятся на съёмках реальных авторов, поэтому программы-детекторы принимают их за настоящие. Платформы, добавил он, могли бы больше делать для защиты авторов от кражи контента и облика.
После того как центр в среду вечером передал выводы TikTok, многие аккаунты удалили. Представитель компании Даниэль Морган сообщила, что названные в отчёте аккаунты заблокированы навсегда, а собственное расследование нашло и удалило другие нарушающие правила материалы и аккаунты. В TikTok называют проблему общеотраслевой и говорят, что удаляют «более 98% контента с обманным поведением до жалоб». Instagram к полудню четверга на запрос не ответил.
Оттава кое-что предприняла: в июне вступил в силу закон об уголовной ответственности за распространение сексуальных ИИ-изображений без согласия. Предложенный либеральным правительством закон о приватности дал бы людям право требовать от платформ удалять дипфейки с ними. Избирательные власти и комиссия по иностранному вмешательству предупреждают, что ИИ-дезинформация угрожает демократическому процессу. Беннетт говорит, что дипфейки с ним пока невысокого качества, но боится, что они улучшатся и их станут использовать для обмана: «Люди могут серьёзно влипнуть».
Maple Barrel пересказывает и сокращает публикацию по-русски, сохраняя ссылку на оригинал.