Як повідомляє Wccftech, китайська компанія Moonshot могла використати модель Claude Fable від Anthropic як основу для створення власної системи штучного інтелекту Kimi K3. Із такими звинуваченнями виступив директор Управління науково-технічної політики Білого дому Майкл Краціос.
За словами американського посадовця, розробники могли застосувати масштабну дистиляцію, під час якої нову модель навчають на відповідях потужнішої системи. Для прискорення процесу Moonshot нібито використовувала сервери з графічними процесорами NVIDIA GB300, зокрема обладнання, доступне через Таїланд, пише Kreschatic.
Чому Kimi K3 пов’язали з Claude
Підозри щодо походження китайської моделі з’явилися після того, як під час однієї з розмов Kimi K3 назвала себе продуктом Anthropic. Така поведінка може свідчити про те, що відповіді Claude використовувалися під час навчання або налаштування системи.
В одному з діалогів модель представилася так:
«Claude — помічник зі штучним інтелектом, створений компанією Anthropic».
Саме цей випадок став одним з аргументів на користь версії про дистиляцію Kimi K3 на основі американської моделі. Водночас сама помилкова самоідентифікація не є остаточним технічним доказом повного копіювання архітектури або параметрів Claude.
У чому Moonshot звинувачує Білий дім
Майкл Краціос заявив, що американська сторона має інформацію про використання Anthropic Fable під час розробки Kimi K3. За його словами, китайська компанія створила внутрішню платформу, яка дозволяла проводити масштабну дистиляцію та змінювати способи доступу до американських моделей.
Посадовець описав отриману інформацію так:
«Ми маємо інформацію, що Moonshot AI дистилювала Fable від Anthropic для розробки своєї моделі K3».
За твердженням Краціоса, платформа могла швидко перемикатися між різними каналами доступу, щоб уникати виявлення, та водночас регулярно надсилати запити до моделей Anthropic.
Як могли використовувати сервери NVIDIA
У публікації зазначається, що Moonshot нібито мала у своєму розпорядженні кілька серверів NVIDIA GB300. Додаткові обчислювальні потужності компанія могла отримати через інфраструктуру в Таїланді.
Таке обладнання могло значно прискорити навчання та дистиляцію моделі, оскільки сучасні графічні процесори дозволяють обробляти великі масиви даних і запускати складні системи штучного інтелекту.
Інженери Moonshot нібито використовували:
- власні сервери NVIDIA GB300;
- додаткові обчислювальні ресурси в Таїланді;
- навчання з підкріпленням;
- багаторазові запити до моделей Anthropic;
- різні способи доступу для уникнення виявлення.
Водночас оприлюднена інформація ґрунтується на заяві американського посадовця, а незалежного технічного підтвердження повного копіювання моделі наразі не представлено.
Чим Kimi K3 відрізняється від Claude Fable
Навіть за умови використання відповідей Claude під час навчання Kimi K3 не є повністю ідентичною американській системі. Розробники Moonshot внесли власні технічні зміни, спрямовані на ефективнішу роботу моделі в центрах обробки даних.
Зокрема, Kimi K3 отримала зменшений обсяг кешу ключів і значень, а також оптимізації використання пам’яті для кожного токена. Її архітектура передбачає розподіл 896 експертних компонентів між великою кількістю графічних процесорів.
Завдяки цьому модель може потребувати менше пам’яті під час роботи та ефективніше масштабуватися на серверній інфраструктурі. Тому йдеться не про просте використання Claude без змін, а про створення окремої системи, яка могла навчатися на її відповідях.
Чому дистиляція моделей викликає суперечки
Дистиляція є поширеним способом навчання компактніших моделей на результатах роботи більш потужних систем. Суперечки виникають тоді, коли розробники масово використовують закриті моделі без дозволу їхніх власників або намагаються обходити обмеження доступу.
Американська влада побоюється, що китайські компанії можуть використовувати передові моделі зі США для швидкого вдосконалення власних розробок. Водночас контролювати такий процес складно, оскільки навчання можна проводити через сервери та центри обробки даних у третіх країнах.
Нагадаємо, раніше ми писали про стандартний застосунок Google, який може швидко розряджати Android-смартфони, та способи усунення проблеми.
