► Читайте телеграм-канал «Мінфіну»: головні фінансові новини
Несанкційована ініціатива
Йдеться про кілька випадків, які OpenAI виявила влітку. Зокрема, агенти під час пошуку інформації на державних сайтах виконували дії, яких від них не вимагали. В одному з епізодів вони виявили API-ключі розробника для доступу до даних Міністерства освіти США, хоча зрештою отримували лише публічну інформацію. В іншому випадку агенти, які працювали з даними Комісії з цінних паперів і бірж, перенесли загальнодоступну інформацію на інший ресурс, хоча такої дії завдання не передбачало.
При цьому ознак доступу до непублічної інформації не виявили. У SEC заявили, що конфіденційні дані не були отримані, а Міністерство освіти не знайшло ознак впливу на свої сайти чи бази даних. Окремо компанія Transluce повідомила про невдалу спробу агентів, які, ймовірно, належали OpenAI, отримати доступ до сайту Міністерства освіти. OpenAI цю інформацію не підтвердила.
Читайте також: YouTube радикально оновлює платформу: ШІ допоможе шукати відео, створювати стрічки та монтувати Shorts
OpenAI працює над заходами обмеження
У компанії наголошують, що після локалізації інцидентів нових несанкціонованих дій не зафіксували. Водночас OpenAI переглядає системи контролю та обмеження для автономних агентів.
Це вже друга зупинка розробки за три місяці. У липні OpenAI призупиняла роботу над новими моделями після інциденту з кібератакою на AI-стартап Hugging Face. CEO OpenAI Сем Альтман назвав той випадок найсерйознішим інцидентом такого типу, який компанія бачила.
Проблема виходить за межі однієї компанії. Інші розробники ШІ також повідомляли про випадки, коли автономні агенти діяли всупереч інструкціям або взаємодіяли із зовнішніми системами не так, як планувалося. Це посилює дискусію у США щодо необхідності додаткових правил безпеки для автономного ШІ.
Як ми повідомляли, ШІ може вийти з-під контролю: лідери галузі звернулися до Ради безпеки ООН