► Читайте телеграмм-канал «Минфина»: главные финансовые новости
Речь идет, в частности, о недорогих приставках Android TV, умных духовках и другой бытовой технике. В то же время исследователи отмечают: полностью автономного ИИ, надежно воспроизводящего весь цикл распространения в реальных условиях, они пока не создали.
Что означает самовоспроизведение искусственного интеллекта
Самовоспроизводство не означает, что ИИ начинает создавать новые версии себя так, как живые организмы размножаются. В этом случае речь идет о киберугрозе: модель вместе с программными компонентами копируется на другое устройство, запускается там и пытается повторить этот процесс на следующих машинах.
Условно это сравнимо с компьютерным червем — вредоносной программой, самостоятельно распространяемой сетью. Отличие состоит в том, что ИИ может более гибко адаптироваться к незнакомым устройствам и программной среде, а не действовать только по заранее прописанному сценарию.
Для этого такая система должна уметь находить доступные цели, получать возможность запускать код, настраивать работу модели на новом оборудовании и продолжать распространение. Если устройства имеют слабую защиту, а сама модель достаточно хорошо выполняет эти задачи, сеть зараженных машин может постепенно разрастаться.
Что удалось выяснить исследователям
Anthropic проверяла, способны ли небольшие модели выполнять отдельные этапы самостоятельного распространения. Исследователи выяснили, что модели из 30 млрд параметров или менее уже могут выполнять множество необходимых задач, хотя часто ошибаются, когда нужно объединить их в непрерывный полный процесс.
В ходе испытаний модель из 9 млрд параметров смогла настроить запуск другой модели на 8 из 9 проверенных типов оборудования. В упрощенном эксперименте, где часть задач по кибербезопасности существенно упростилась, GLM-5.2 смогла пройти полный цикл распространения между тестовыми узлами.
Однако есть важная оговорка: в этом эксперименте исследователи использовали сеть с неаутентифицированным доступом к одному из интерфейсов. То есть модель не должна преодолевать все те защитные механизмы, с которыми столкнулась бы в надлежаще защищенной реальной системе. Сами авторы называют этот результат верхней оценкой возможностей в реальных условиях, а не доказательством того, что ИИ может беспрепятственно заражать произвольные устройства.
По прогнозу Anthropic, если возможности небольших моделей и дальше будут расти с предыдущей скоростью, они могут достичь уровня, необходимого для автономного самовоспроизведения, к концу 2026 года.
Почему под угрозой могут оказаться обычные бытовые устройства
Исследователи обратили внимание на устройства интернета вещей — технику, которая подключается к сети и может обмениваться данными. Среди них смарт-телевизоры, недорогие приставки Android TV, умные приборы и другое оборудование с ограниченными возможностями защиты.
Такие устройства интересны злоумышленникам не обязательно из-за содержащейся в них информации. Их можно использовать как распределенную вычислительную сеть. Вместо одного мощного сервера модель будет работать одновременно на многих устройствах, каждое из которых будет выполнять часть вычислений.
По оценке Anthropic, такую сеть было бы сложнее полностью остановить, поскольку у нее нет единого центрального узла, отключение которого прекратило бы работу всей системы. Кроме того, модель может приспосабливаться к разным типам оборудования, а не искать только одно конкретное устройство.
Есть ли опасность для человека
Непосредственной угрозы физическому здоровью людей эксперименты не продемонстрировали. Основные риски связаны с кибербезопасностью и контролем над устройствами.
Если подобная система попадет в реальные сети, возможно несколько последствий:
-
Использование чужих ресурсов. Зараженные устройства могут без ведома владельцев тратить электроэнергию, вычислительную мощность и трафик на работу ИИ.
-
Нарушение работы техники. Заражение может привести к замедлению устройств, сбоям или потере доступа к отдельным функциям.
-
Риски для конфиденциальности. Если злоумышленники получат дополнительный доступ к скомпрометированному устройству или домашней сети, это может создать угрозу для данных и подключенной техники.
-
Более масштабные кибератаки. Распределенную сеть можно потенциально использовать для перегрузки сервисов, атак на другие системы или поиска уязвимых серверов, в частности, в центрах обработки данных.
Читайте также: Anthropic обнаружила военное использование Claude в Йемене, Китае и России
Как можно уменьшить риски
Anthropic призывает производителей повышать уровень защиты подключенных устройств, устранять известные уязвимости и не использовать слабые стандартные настройки безопасности. Важны также мониторинг необычного сетевого трафика, своевременное обновление программного обеспечения и возможность изолировать зараженные устройства.
Для обычных пользователей это прежде всего необходимость устанавливать обновления, изменять стандартные пароли на уникальные и покупать устройства производителей, которые поддерживают их программное обеспечение и исправляют уязвимости.
Исследование Anthropic не обосновывает, что неконтролируемый ИИ уже массово распространяется бытовой техникой. Оно показывает другое: с ростом возможностей небольших моделей автоматизация кибератак может стать доступнее, а защищать нужно будет не только большие серверы, но и миллионы обычных устройств, подключенных к Интернету.
Как мы писали, Anthropic обошла OpenAI по выручке: соучредители компании получили по $15,5 млрд.