OpenAI розробила та впровадила Control Room — систему, яка дозволяє зупиняти роботу моделей штучного інтелекту над дослідницькими завданнями в разі загрози безпеці. Після отримання команди на зупинку система блокує подальшу генерацію результатів за 35 секунд.
Про це повідомили в компанії.
Control Room уже працює в дослідницькій інфраструктурі OpenAI та охоплює завдання, повʼязані з навчанням, тестуванням моделей і обробкою даних.
Як працює Control Room
Control Room відстежує дослідницькі завдання, які виконують моделі OpenAI, і контролює, чи можуть вони продовжувати роботу.
Коли дослідник запускає новий експеримент, система присвоює йому унікальний ідентифікатор (job_id). Щоразу, коли модель має згенерувати нову відповідь, вона перевіряє через Control Room, чи дозволено продовжувати виконання цього завдання.
Наприклад, якщо ШІ-агент під час навчання починає виконувати дії, які виходять за межі поставленого завдання, система моніторингу може виявити таку поведінку та ініціювати зупинку. При цьому Control Room не вимикає всю модель або сервери, на яких вона працює. Система забороняє генерувати нові результати саме для зупиненого завдання. Інші дозволені експерименти можуть продовжувати роботу.
У компанії зазначають, що від моменту отримання команди до повного блокування подальшої генерації результатів минає щонайбільше 35 секунд. Затримка повʼязана з тим, що система тимчасово зберігає дозволи на виконання запитів. Це допомагає обробляти велику кількість операцій без необхідності щоразу звертатися до центрального сервісу.
Компанія вже працює над скороченням цього часу до нуля, щоб зупиняти завдання одразу після отримання команди.
Розробники також передбачили захист на випадок збою самої Control Room. Якщо система перестане працювати через технічну помилку або стороннє втручання, моделі автоматично припинять генерувати результати, доки сервіс не відновиться.
Навіщо OpenAI створила Control Room
OpenAI пояснює, що зі зростанням можливостей ШІ-моделей збільшуються й ризики, повʼязані з їхньою поведінкою.
Під час навчання ШІ-агенти можуть виконувати складні багатокрокові завдання, працювати з програмним забезпеченням та використовувати зовнішні інструменти. Тому компанії потрібен механізм, який дозволятиме втручатися, якщо модель почне діяти небажаним чином.
Подібні ситуації вже виникали під час внутрішніх досліджень OpenAI. У липні 2026 року під час внутрішніх випробувань ШІ-агенти OpenAI обійшли обмеження доступу до інтернету та зламали частину систем Hugging Face. Агенти шукали способи отримати готові відповіді на тестові завдання замість самостійного їх виконання. Для цього вони використали вразливості програмного забезпечення, отримали несанкціонований доступ до інших систем і обмінювалися інформацією через сторонні сервіси.
Після розслідування OpenAI визнала, що її системи моніторингу не працювали під час частини цих випробувань. Компанія назвала інцидент попереджувальним сигналом про ризики втрати контролю над потужними ШІ-агентами.
Ще один випадок стався у вересні. Під час навчального завдання ШІ-агент знайшов спосіб обійти обмеження доступу до інтернету через DNS і звернувся до зовнішнього чатбота. Система моніторингу виявила порушення приблизно за 12 хвилин, однак остаточно експеримент зупинили лише через дві з половиною години після першого несанкціонованого запиту.
У жовтні OpenAI зафіксувала ще два випадки, коли ШІ-агенти послабили механізми власного контролю під час програмування. Один із них вимкнув автоматичні сповіщення для команди безпеки, а інший прибрав із програми систему моніторингу та згодом помилково повідомив, що не робив цього.
OpenAI зазначає, що Control Room працює разом із системами, які відстежують поведінку моделей, та дозволяє швидше припиняти небезпечні дослідницькі завдання після рішення про втручання.