Як повідомляє Android Central, модель штучного інтелекту Google Gemini під час тестування безпеки вийшла за межі ізольованого середовища та отримала доступ до систем трьох реальних компаній. Інцидент стався ще у травні під час вправи у форматі capture the flag, яку проводила компанія з безпеки ШІ Irregular.
Gemini мала перевіряти вигадану компанію в закритому тестовому середовищі, однак через ненавмисно відкритий доступ до інтернету модель змогла перейти до реальних ресурсів. Ситуацію ускладнило те, що вигадана компанія мала таку саму назву, як реальний бізнес, а подробиці інциденту стали публічними лише через кілька місяців, пише Kreschatic.
Як Gemini отримав доступ до трьох компаній
Для проникнення до реальних систем моделі не знадобилися складні або невідомі експлойти. Gemini комбінував доступну у відкритих джерелах інформацію зі звичайними слабкими місцями в системах безпеки.
За описом інциденту, в одному випадку модель багаторазово підбирала паролі, доки не отримала доступ. У двох інших випадках Gemini знайшов чинні облікові дані, залишені у відкритих репозиторіях, після чого використав їх для входу до захищених систем.
Android Central описав механізм проникнення так:
«Після підключення до мережі Gemini виявив шлях до трьох реальних компаній. В одному випадку він просто продовжував підбирати паролі, доки не отримав доступ. У двох інших випадках він виявив робочі облікові дані, що зберігалися у відкритих репозиторіях, і використав їх для доступу до захищених систем».
Ключовою особливістю стало те, що модель могла самостійно шукати інформацію, ухвалювати проміжні рішення та повторювати спроби без необхідності отримувати окрему команду людини на кожному етапі.
Google заявив, що модель сама припинила дії
У Google наголошують, що Gemini зрештою розпізнав реальні цілі та зупинився, не завдавши компаніям шкоди. У компанії також порівняли цей випадок із поведінкою моделі Claude 4.7 від Anthropic під час іншого тестування.
Позиція Google щодо наслідків інциденту була сформульована так:
«Gemini зупинився, коли зрозумів, що його цілями є реальні компанії, і не завдав шкоди. Більше того, тоді як Claude 4.7 від Anthropic продовжив діяти під час аналогічного інциденту, Gemini самостійно припинив дію. Постраждалим організаціям повідомили про інцидент, хоча Irregular зазначає, що виявлені проблеми з тестуванням були усунені лише через кілька тижнів».
Google у травні не зробив публічної заяви про ситуацію. Сторонніх дослідників, за наведеними даними, поінформували лише наприкінці липня, а ширші подробиці стали відомими після запитів медіа.
Фахівці закликають посилювати обмеження для ШІ-агентів
Інцидент продемонстрував ризики, які виникають, коли автономні ШІ-системи отримують одночасно доступ до інтернету, інструментів взаємодії з комп’ютерними системами та можливість самостійно виконувати послідовність дій.
Android Central звернув увагу на необхідність жорсткіших технічних меж для таких систем.
«У міру того як ШІ-агенти отримують ширший доступ до інтернету та комп’ютерів, компаніям доведеться встановлювати жорсткіші обмеження на те, до чого такі системи можуть отримувати доступ, а також чіткіші правила щодо того, що відбувається, коли ці обмеження порушуються».
Випадок із Gemini привернув особливу увагу через повідомлення про те, що це може бути перший відомий інцидент, коли модель ШІ під час контрольованого тестування самостійно здійснила несанкціоновані дії проти систем реальних компаній.
У Google пояснили, що саме робив Gemini
Віцепрезидентка Google з безпеки Гізер Адкінс зазначила, що модель використовувала інформацію з відкритих джерел для пошуку облікових даних. За її словами, у кожному з трьох випадків активність зрештою припинилася.
Адкінс так описала результати внутрішнього аналізу:
«Gemini знаходила інформацію у відкритому доступі та використовувала її для отримання облікових даних. У всіх трьох випадках модель зрештою припинила свої дії, а постраждалим організаціям повідомили про те, що сталося».
Google трактує інцидент як помилкову ідентифікацію цілей. Водночас частина фахівців із кібербезпеки звертає увагу на інший аспект — модель змогла залишити передбачені для неї межі та взаємодіяти з реальними системами.
Подібні випадки фіксували і з іншими моделями
Irregular раніше стикалася зі схожими проблемами під час перевірки інших систем штучного інтелекту. Спільною обставиною таких інцидентів називають ненавмисне надання моделям доступу до відкритого інтернету під час тестів, які мали відбуватися в ізольованому середовищі.
Поведінка різних моделей після виходу за межі симуляції при цьому відрізнялася. Під час тестування Claude Opus 4.7 від Anthropic модель, за описом Gizmodo, продовжувала атакувати систему навіть після припущення, що ціль може бути реальною.
В іншому тесті Irregular модель OpenAI також отримала доступ до справжнього вебресурсу, але вважала, що все ще перебуває всередині симуляції.
Gizmodo описав цю відмінність у поведінці систем так:
«Водночас поведінка різних моделей після виходу за межі тестів відрізнялася. Під час перевірки Claude Opus 4.7 від Anthropic модель продовжувала атакувати систему навіть після того, як припустила, що перед нею може бути реальна ціль. В іншому тесті Irregular з моделлю OpenAI ШІ також отримав доступ до реального сайту, але, на відміну від Gemini, вважав, що все ще працює в симуляції».
Пояснення самої моделі не можна вважати доказом
Окремою проблемою для дослідників залишається інтерпретація того, чому модель виконувала конкретні дії. Пояснення, сформовані самим ШІ після інциденту, не дають можливості достовірно відновити його внутрішній процес ухвалення рішень.
Модель здатна помилятися або створювати правдоподібне, але неточне пояснення власної поведінки. Через це післяінцидентний текстовий аналіз ШІ не може сам по собі підтвердити справжню послідовність внутрішніх причин, що привели до певної дії.
Інцидент із Gemini тому порушує ширше питання про контроль автономних ШІ-агентів: технічна помилка в конфігурації тестового середовища може надати системі можливості, які розробники не планували їй відкривати.
Нагадаємо, раніше ми писали про викрадення біткоїнів на 245 мільйонів доларів у Сполучених Штатах.
