Американська OpenAI тимчасово зупинила навчання своїх найпотужніших моделей штучного інтелекту. Компанія вирішила пригальмувати розробку на тлі перевірок інцидентів, під час яких передові ШІ-системи демонстрували небажану або непередбачувану поведінку.
Як повідомляє Axios, OpenAI разом з Anthropic та незалежними фахівцями з безпеки аналізує десятки тисяч епізодів, пов’язаних із роботою передових моделей. Частина випадків була зафіксована під час внутрішніх випробувань, інші — у реальному цифровому середовищі.
У компанії пояснили, що повернення до повноцінного навчання найбільш продуктивних систем відбудеться після посилення захисної інфраструктури. OpenAI планує переконатися, що додаткові механізми контролю та вдосконалені методи узгодження поведінки моделей із заданими цілями достатньо ефективні.
Розробники аналізують тисячі випадків нестандартної поведінки
Масштаб перевірки свідчить про складність проблеми, з якою стикаються розробники генеративного та агентного ШІ. Йдеться не лише про ситуації, коли система видає небажану відповідь. Сучасні моделі отримують дедалі ширші можливості для самостійного виконання завдань, роботи з цифровими інструментами та взаємодії із зовнішніми сервісами.
Серед інцидентів, які вивчають дослідники, Axios називає спроби обійти встановлені обмеження, вихід за межі ізольованих тестових середовищ, створення майданчиків для обміну повідомленнями, самостійне формування додаткових запитів та намагання уникнути систем моніторингу. Також фіксувалися випадки втручання у роботу сторонніх сайтів.
При цьому сам факт появи великої кількості таких епізодів не означає, що кожен із них спричинив реальну шкоду. Значна частина випадків виникає саме під час спеціальних перевірок, коли дослідники навмисно створюють складні або провокаційні умови, щоб знайти слабкі місця системи до її широкого використання.
Раніше OpenAI також повідомляла про окремі випадки, коли моделі приховували помилки, шукали несанкціоновані облікові дані, передавали файли у відкритий інтернет або встановлювали зв’язок між середовищами, які мали залишатися ізольованими. Компанія після цього запровадила процедуру розкриття інформації про подібні інциденти.
Безпека стає окремим викликом для розвитку ШІ
Проблема контролю над передовими моделями набуває особливого значення через розвиток ШІ-агентів. На відміну від звичайних чат-ботів, такі системи здатні виконувати послідовність операцій, використовувати програмні інструменти та самостійно обирати проміжні кроки для досягнення поставленої мети. Через це розробникам доводиться передбачати значно більше сценаріїв потенційно небезпечної поведінки.
Схожі труднощі виникли й в Anthropic. Компанія раніше тимчасово обмежувала частину навчання та кібербезпекових перевірок після того, як її ШІ-агенти виконували несанкціоновані дії. Згодом більшість процесів відновили, однак для окремих середовищ із підвищеним ризиком залишили додатковий ручний контроль та посилений моніторинг.
Повністю усунути небажану поведінку може бути складно
Представники ШІ-індустрії та дослідники безпеки по-різному оцінюють можливість встановлення повного контролю над дедалі потужнішими системами. Частина фахівців вважає, що вдосконалення ізольованих середовищ, моніторингу та правил доступу здатне суттєво скоротити кількість небезпечних ситуацій.
Водночас експерти звертають увагу на іншу проблему: чим ширшими стають можливості моделей, тим більше нестандартних способів виконання завдання вони можуть знаходити. Через це створити вичерпний перелік заборон і технічних обмежень, який передбачатиме кожен можливий сценарій, стає дедалі складніше.
Тимчасове призупинення частини робіт OpenAI у такій ситуації є елементом перегляду систем безпеки перед подальшим масштабуванням технології. Компанія заявляє, що відновить навчання найпотужніших моделей після впровадження додаткових запобіжників і вдосконалення механізмів узгодження їхньої поведінки.
