Чат-бот ChatGPT может создавать серьезные риски для безопасности пользователей, предоставляя неправильные, а иногда и фишинговые URL-адреса на запросы об официальных сайтах крупных компаний. Эту уязвимость уже активно используют злоумышленники. Об этом сообщает издание The Register со ссылкой на исследование компании по кибербезопасности Netcraft.
4 июля 2025, 15:03
Читати українською
ChatGPT генерирует фишинговые ссылки: исследование выявило новую угрозу
► Подписывайтесь на телеграмм-канал«Минфина»: главные финансовые новости
Треть ссылок являются неверными
Исследование показало, что тестируемая модель GPT-4.1 указывала правильные адреса сайтов известных брендов только в 66% случаев. Остальные 34% ссылок оказались некорректными. Из них 29% вели на неактивные или удаленные домены, а 5% — на сайты, не соответствующие запросу. В одном из случаев на запрос об официальном сайте банка Wells Fargo чат-бот предоставил ссылку на фишинговый сайт, имитирующий банк.
Как работает мошенническая схема
Руководитель направления угроз Netcraft Роб Данкан объяснил, что мошенники могут использовать эту слабость ИИ. Они проверяют, какие именно ошибочные URL генерирует модель, регистрируют эти свободные домены, а затем создают на них поддельные сайты для кражи данных пользователей, которые доверились ответу чат-бота.
Причина проблемы заключается в том, что большие языковые модели ориентируются на текстовые ассоциации и вероятность, а не на реальную проверку достоверности ссылок.
Рост рисков и более сложные атаки
Эксперты отмечают, что рост популярности ИИ-чатов как альтернативы традиционным поисковым системам только усиливает этот риск, ведь пользователи не всегда осознают, что ответы ИИ могут быть неточными.
Исследование также выявило более сложные схемы. Например, мошенники создали целую экосистему фейкового контента (репозитории на GitHub, инструкции, аккаунты в соцсетях) для того, чтобы убедить языковую модель в легитимности вредоносного программного кода для блокчейна Solana. В результате ИИ мог рекомендовать этот опасный ресурс своим пользователям. Netcraft призывает разработчиков срочно улучшить механизмы валидации URL-адресов в своих ИИ-моделях.
Почему это важно
Это исследование разоблачает фундаментальную слабость текущего поколения ИИ-моделей, которая становится все более опасной по мере их интеграции в нашу повседневную жизнь. Оно служит важным напоминанием, что чат-боты — это не поисковые системы. Поисковик предоставляет список источников, которые пользователь может самостоятельно оценить, тогда как чат-бот выдает один, часто безапелляционный, ответ, что создает ложное чувство безопасности.
Автор:
Источник:
Минфин
Комментарии