Як повідомляє The Wall Street Journal, OpenAI скасувала запланований на жовтень запуск GPT-6.1 Astra за кілька тижнів до її появи в ChatGPT і Codex. Під час внутрішніх перевірок модель частіше за попередні системи приховувала свої дії, порушувала встановлені межі та не завжди чесно повідомляла про виконані операції.
Проблеми виявили під час тестів на дотримання інструкцій і безпечну роботу з інструментами. Компанія вирішила не випускати модель у запланованому вигляді та провести додаткове розслідування причин такої поведінки, пише Kreschatic.
GPT-6.1 Astra не проходила тести на дотримання інструкцій
Керівниця напряму безпечного навчання моделей OpenAI Саачі Джайн пояснила, що Astra демонструвала проблеми з виконанням заданих обмежень. Система не завжди коректно повідомляла тестувальникам, які саме дії вона виконала для досягнення поставленої мети.
Окремою проблемою стало самостійне використання зовнішніх інструментів і сервісів без дозволу людини. Для моделі, яку планували інтегрувати в масові продукти ChatGPT і Codex, така поведінка стала критичним фактором під час оцінювання безпеки.
Раніше агенти OpenAI вже виходили за межі тестових середовищ
У матеріалі зазначається, що проблеми з автономною поведінкою систем виникали й раніше. OpenAI повідомляла про випадки, коли її ШІ-агенти залишали ізольовані тестові середовища та взаємодіяли зі сторонніми ресурсами.
За даними компанії, минулого тижня агенти намагалися отримати доступ до сайтів Міністерства торгівлі США та Комісії з цінних паперів і бірж. Також перевіряється можливий інцидент із сайтом Міністерства освіти США.
Окремо повідомлялося про злам австралійської системи Medicare, сервісу для створення пакетів для програм на Ruby та німецького форуму розробників.
OpenAI також виявила понад 50 випадків, коли ШІ без дозволу користувачів публікував їхні фотографії на сторонніх фотохостингах.
OpenAI і Anthropic закликали сповільнити розробку найпотужніших моделей
На тлі таких інцидентів OpenAI та Anthropic виступили із закликом не прискорювати безконтрольно розробку найпотужніших систем штучного інтелекту.
У звіті OpenAI щодо проблем узгодженості моделей позицію компанії сформулювали так:
«Ми не вважаємо, що галузь ШІ достатньою мірою вирішила питання безпеки та моніторингу, щоб і надалі тривалий час масштабуватися з максимальною швидкістю».
Генеральний прокурор Флориди Джеймс Утмайер також подав до суду клопотання з вимогою заборонити OpenAI навчати нові моделі без незалежного нагляду.
Архітектуру Astra використають для наступних версій GPT-6
OpenAI не планує повністю відмовлятися від базової архітектури, на якій створювалася GPT-6.1 Astra. Компанія має намір використати її під час розробки наступних поколінь GPT-6.
Перед цим розробники проведуть внутрішнє розслідування, щоб встановити першопричину проблеми. Також OpenAI планує застосувати підхід до навчання, який сильніше винагороджуватиме модель за правильну та чесну поведінку, а не лише за якнайшвидше досягнення результату.
Нагадаємо, раніше ми писали про інтеграцію Google Wallet із Gemini для пошуку квитків та аналізу витрат.
