Израильские исследователи раскрыли кампанию, которая отравляет ответы ИИ и перенаправляет на поддельные центры обслуживания

Израильские исследователи кибербезопасности раскрыли масштабную кампанию отравления искусственного интеллекта, которая приводит ответы ChatGPT, Gemini и Google AI Overview к поддельным номерам служб поддержки клиентов, адресам электронной почты и страницам входа для клиентов 374 брендов и компаний, включая банки, авиакомпании и платформы путешествий.

По исследованию, речь идет об атаках, целью которых является привести пользователей, обращающихся к двигателям искусственного интеллекта, на поддельные номера телефонов, адреса электронной почты, страницы входа и обновления программного обеспечения. Дан Ласкер, исследователь уязвимостей кибербезопасности и соавтор исследования, сказал, что когда номер телефона предоставляется им как прямой факт из двигателя ИИ и повторяется в нескольких источниках, он воспринимается как полностью надежный. По его словам, компании инвестируют миллиарды в защиту своих серверов от взлома, но это явление доказывает, что этого уже недостаточно.

Исследование возглавили Дан Ласкер, Ариэль Саймон и Наор Хазиз, выходцы из засекреченных разведывательных подразделений, проживающие в Нью-Йорке, и проверка сосредоточилась на запросах на английском языке. По сообщениям, злоумышленники наводняют сеть поддельными постами, PDF-файлами, веб-сайтами, изображениями и отзывами, написанными так, чтобы двигатели искусственного интеллекта цитировали их, и создают контент вокруг стрессовых ситуаций, таких как отмена рейса, возврат денег или заблокированный банковский счет, чтобы заставить пользователя позвонить на поддельный номер вместо проверки официального веб-сайта. По данным из Exploding Topics, приведенным в исследовании, 92 процента пользователей вообще не проверяют ответы, полученные от двигателей ИИ.

Исследователи разработали систему, которая проверила ответы Gemini, ChatGPT и Google AI Overview и источники, на которых они основываются, и отметила случай как атаку, если неправильная деталь, такая как номер телефона, URL-адрес или адрес электронной почты, появлялась в ответе ИИ и опиралась на источник, который, казалось бы, предназначен для распространения дезинформации. По сообщениям, были обнаружены десятки тысяч вредоносных страниц, и большинство результатов были статистическими и не повторялись при каждом запросе того же самого запроса. Среди компаний, затронутых согласно исследованию: Delta, Lufthansa, United Airlines, Emirates, Qatar Airways, American Airlines, Airbnb, TripAdvisor, Chase, Citi, Wells Fargo и Bank of America.

По сообщениям, вредоносные посты были встроены в Instagram, Tumblr, BuzzFeed, LeetCode, описания видео на YouTube и Vimeo, Medium, сайты правительства, университеты, Google Sites, GitHub Pages, WordPress, Blogspot, сайты сбора средств, сайты поиска работы и сайты мероприятий, а также на Yelp, Apple Maps и веб-сайтах фондов, таких как новозеландский Mental Health Foundation и National Foundation for Cancer Research. Исследователи описали написание номеров телефонов несколькими различными способами с пробелами, точками, эмодзи или словами между цифрами, чтобы фильтры спама пропустили номер, пока двигатель ИИ все еще понимает его как номер телефона.

По сообщениям, кампании проводятся полностью автоматически, с одинаковыми шаблонами и номерами телефонов, с частотой в тысячи постов в день; целенаправленное удаление не всегда помогает, так как удаленные страницы сохраняются в архивах и продолжают индексироваться. Большинство компаний, с которыми связались исследователи, ответили, что обработка не входит в их ответственность, потому что их внутренние системы не были взломаны. Google ответила, что сообщения о вводящей в заблуждение информации, созданной ИИ, находятся за пределами ее программы раскрытия уязвимостей, а OpenAI закрыла отчет с утверждением, что результаты не могут быть последовательно воспроизведены. Исследователи разработали механизм возврата проверенной информации в ответы ИИ, который они теперь продвигают в рамках стартапа, который они основали.