Як повідомляє CNN, американські військові навесні готувалися перехопити китайське судно на Близькому Сході. Підставою став розвідувальний звіт про нібито перевезення компонентів для ядерної програми.
Перед початком операції документ перевірили повторно та з’ясували, що його підготували за допомогою чат-бота зі штучним інтелектом, який неправильно визначив характер вантажу. На той момент військовослужбовці вже готувалися до висадки на судно, а літаки перебували в повітрі, пише Kreschatic.
Як помилка ШІ запустила підготовку операції
Аналітик Командування спеціальних операцій США використав чат-бот для вивчення вантажної відомості китайського судна. До запиту він додав інформацію, отриману від американського Командування спеціальних операцій у Тихоокеанському регіоні.
Система поєднала відомості з відкритих джерел із секретними даними радіоелектронної розвідки та дійшла помилкового висновку щодо вантажу. Потім аналітик знову використав ШІ, щоб оформити результати у стандартний розвідувальний документ, який передали військовому керівництву.
Двоє співрозмовників назвали звіт повністю хибним і зазначили, що його використання могло спричинити збройне протистояння між США та Китаєм. Будь-яка спроба американських військових висадитися на китайське судно створювала ризик негайної відповіді Пекіна.
Операцію зупинили лише після повторного аналізу документа. Перевірка показала, що висновок про небезпечний вантаж не був підтверджений надійними розвідувальними даними та виник через помилку чат-бота.
Чому система зробила хибний висновок
Журналістам не вдалося встановити, яку саме систему використовував аналітик — загальнодоступний комерційний чат-бот чи спеціальний урядовий інструмент. Обидва типи моделей можуть працювати на схожій технологічній основі та мати однакові проблеми з достовірністю відповідей.
Колишній високопосадовець США, знайомий із військовими системами штучного інтелекту, пояснив подібність урядових і комерційних рішень:
«Внутрішні інструменти — це здебільшого ті самі комерційні продукти, яким просто надали іншого вигляду».
Критичною проблемою стала відсутність належної перевірки висновків чат-бота до поширення звіту. Інформацію почали сприймати як достовірну розвідку, хоча вона містила створене алгоритмом припущення, не підтверджене іншими джерелами.
Як США розширюють використання військового ШІ
Американські військові використовують штучний інтелект для аналізу великих масивів розвідувальної інформації, визначення потенційних цілей, планування логістики та розподілу ресурсів. Прискорене впровадження таких систем пояснюють необхідністю зберегти перевагу над потенційними суперниками, насамперед Китаєм.
У січні міністр війни США Піт Гегсет представив стратегію прискореного впровадження штучного інтелекту. Під час презентації він окреслив підхід відомства до експериментів із новими системами:
«Ми дамо зелене світло експериментам, усунемо бюрократичні перепони, зосередимо інвестиції та продемонструємо підхід до реалізації, необхідний для забезпечення нашого лідерства у сфері військового ШІ».
Стратегія передбачає розширення доступу до моделей для приблизно трьох мільйонів цивільних і військових співробітників із різними рівнями допуску до секретної інформації.
Навесні оборонне відомство США уклало угоди з Google, Microsoft, Amazon Web Services, Nvidia, OpenAI, Reflection і SpaceX щодо інтеграції ШІ в засекречені військові мережі. Anthropic не потрапила до переліку партнерів через розбіжності з Білим домом стосовно використання моделей в автономній зброї та системах масового стеження.
Чому відсутність спільних правил створює загрозу
Інтеграція штучного інтелекту в американську військову систему відбувається децентралізовано. Окремі підрозділи користуються різними моделями, інструкціями та стандартами безпеки, а єдиного порядку перевірки згенерованої інформації поки немає.
Одне з джерел звернуло увагу на відсутність зрозумілих вимог до людського контролю під час застосування алгоритмів:
«Використання ШІ для визначення цілей — це напрямок, що активно розвивається, однак наразі немає чітких інструкцій щодо того, як саме участь людини в процесі ухвалення рішень зможе запобігти загибелі цивільних осіб або випадкам дружнього вогню».
Співрозмовники зазначили, що вигадані або помилкові відповіді ШІ вже не є рідкістю в розвідувальному середовищі. Ризик зростає через скорочення часу на підготовку документів і схильність молодших аналітиків довіряти результатам алгоритмів без достатньої критичної перевірки.
Інцидент із китайським судном продемонстрував, що швидкість аналізу не може замінити перевірку фактів. Помилковий висновок, оформлений у звичному форматі розвідувального документа, здатний виглядати переконливо та впливати на військові рішення найвищого рівня.
Нагадаємо, раніше ми писали про масштабні збитки Росії від атак на склади Wildberries і Ozon та втрати продавців маркетплейсів.
