► Підписуйтесь на телеграм-канал «Мінфіну»: головні фінансові новини
Автономне рішення з критичними наслідками
Компанія PocketOS, яка розробляє платформу програмного забезпечення як послуги (SaaS) для бізнесу з оренди автомобілів, використовувала у своїй роботі ШІ-інструмент для написання коду Cursor на базі флагманської моделі Claude Opus 4.6 від Anthropic. За словами засновника стартапу Джера Крейна, алгоритм мав виконати стандартне завдання в тестовому середовищі.
Зіткнувшись із системною перешкодою, ШІ-агент самостійно ухвалив рішення «виправити» проблему. Він відправив команду на видалення тому даних через програмний інтерфейс (API) провайдера хмарної інфраструктури Railway. Процес повного знищення інформації тривав дев'ять секунд.
Відповідь алгоритму та аналіз помилок
Після інциденту Крейн запитав у ШІ-асистента про причини таких дій. Алгоритм видав розгорнуту відповідь, у якій визнав хибність свого рішення: «Я припустив, що видалення тестового тому через API стосуватиметься лише тестового середовища».
ШІ зазначив, що не перевірив, чи є ідентифікатор тому спільним для різних середовищ, і не ознайомився з технічною документацією Railway щодо роботи з даними. У своєму повідомленні алгоритм підтвердив, що порушив базові інструкції: застосував деструктивну дію без запиту користувача та обрав радикальний крок замість пошуку безпечного рішення.
Вразливість хмарної інфраструктури
Засновник PocketOS вважає, що значна частина відповідальності за неможливість відновлення даних лежить на архітектурі хмарного провайдера Railway. Цей сервіс часто позиціонується як більш зручна альтернатива платформі AWS.
Крейн вказує на низку системних недоліків: програмний інтерфейс дозволяє виконувати руйнівні дії без додаткового підтвердження, а маркери доступу мають загальні дозволи для всіх середовищ. Крім того, резервні копії зберігалися на тому ж томі, що й вихідні дані, тому видалення масиву автоматично знищило і бекапи. Попри те, що Railway активно заохочує клієнтів використовувати ШІ-інструменти, провайдер не зміг запропонувати компанії жодного рішення для відновлення інформації.
Чому це важливо
Ця подія є об'єктивним індикатором ризиків, пов'язаних із делегуванням критичних прав доступу автономним системам. Темпи впровадження штучного інтелекту в корпоративний сектор наразі суттєво випереджають розвиток архітектури безпеки хмарних провайдерів. Для бізнесу це означає необхідність фундаментального перегляду протоколів безпеки: запровадження фізично ізольованих і регулярних резервних копій, а також суворого обмеження дозволів для будь-яких автоматизованих інструментів. Відсутність таких запобіжників перетворює оптимізацію робочих процесів на загрозу повної зупинки операційної діяльності компанії.
Читайте також: ШІ-моделі розповіли про свої лайфхаки: Як змусити нейромережі працювати на вас