► Подписывайтесь на телеграм-канал «Минфина»: главные финансовые новости
Автономное решение с серьезными последствиями
Компания PocketOS, разрабатывающая платформу «программное обеспечение как услуга» (SaaS) для бизнеса по аренде автомобилей, использовала в своей работе ИИ-инструмент для написания кода Cursor на базе флагманской модели Claude Opus 4.6 от Anthropic. По словам основателя стартапа Джера Крейна, алгоритм должен был выполнить стандартную задачу в тестовой среде.
Столкнувшись с системной ошибкой, ИИ-агент самостоятельно принял решение «исправить» проблему. Он отправил команду на удаление данных через программный интерфейс (API) провайдера облачной инфраструктуры Railway. Процесс полного уничтожения информации длился девять секунд.
Реакция алгоритма и анализ ошибок
После инцидента Крейн спросил у ИИ-ассистента о причинах таких действий. Алгоритм дал развернутый ответ, в котором признал ошибочность своего решения: «Я предположил, что удаление тестового тома через API коснется только тестовой среды».
ИИ отметил, что не проверил, является ли идентификатор общим для разных сред, и не ознакомился с технической документацией Railway по работе с данными. В своём сообщении алгоритм подтвердил, что нарушил базовые инструкции: применил деструктивное действие без запроса пользователя и выбрал радикальный шаг вместо поиска безопасного решения.
Уязвимость облачной инфраструктуры
Основатель PocketOS считает, что значительная часть ответственности за невозможность восстановления данных лежит на архитектуре облачного провайдера Railway. Этот сервис часто позиционируется как более удобная альтернатива платформе AWS.
Крейн указывает на ряд системных недостатков: программный интерфейс позволяет выполнять разрушительные действия без дополнительного подтверждения, а маркеры доступа имеют общие разрешения для всех сред. Кроме того, резервные копии хранились на том же томе, что и исходные данные, поэтому удаление массива автоматически уничтожило и резервные копии. Несмотря на то, что Railway активно поощряет клиентов использовать ИИ-инструменты, провайдер не смог предложить компании ни одного решения для восстановления информации.
Почему это важно
Это событие является объективным индикатором рисков, связанных с передачей критически важных прав доступа автономным системам. Темпы внедрения искусственного интеллекта в корпоративный сектор в настоящее время значительно опережают развитие архитектуры безопасности облачных провайдеров. Для бизнеса это означает необходимость фундаментального пересмотра протоколов безопасности: внедрение физически изолированных и регулярных резервных копий, а также строгое ограничение разрешений для любых автоматизированных инструментов. Отсутствие таких предохранительных мер превращает оптимизацию рабочих процессов в угрозу полной остановки операционной деятельности компании.
Читайте также: ИИ-модели рассказали о своих лайфхаках: как заставить нейросети работать на вас