Стартап Decart представив ШІ-модель MirageLSD, яка обробляє відео в режимі реального часу

Нова ШІ-модель MirageLSD стала другою розробкою компанії Decart після проєкту Oasis у Minecraft.
Приклад роботи MirageLSD. Фото - the-decoder.com

Як інформує «Kreschatic» з посиланням на матеріал The-Decoder, MirageLSD вирішує дві основні проблеми попередніх рішень — низьку швидкість і погіршення якості зображення під час тривалої роботи.

На відміну від традиційних ШІ-моделей, що генерують короткі ролики, MirageLSD створює кожен фрагмент окремо, використовуючи дані останнього вікна кадрів, відеопотік і запит користувача. Такий підхід дає змогу підтримувати стабільну якість і швидкість до 20 кадрів на секунду за роздільної здатності 768 на 432, забезпечуючи низьку затримку для інтерактивних сценаріїв.

Decart застосувала дві унікальні методики навчання: «примусову дифузію», під час якої шум додають до кожного кадру окремо, і «розширення історії», коли ШІ-інструмент вчиться виправляти помилки, а не ігнорувати їх — саме це допомагає зберігати стабільність під час тривалої трансляції.

Нейромережу оптимізовано під графічні прискорювачі Nvidia Hopper: за рахунок «архітектурної адаптації» та «дистиляції ярликів» вдалося прискорити обробку в 16 разів — кожен кадр тепер створюється менш ніж за 40 мілісекунд.

Серед обмежень — труднощі з управлінням окремими об’єктами та зниженням злагодженості при довгих відео.

Раніше ми писали про те, як відновити роботу блокувальників реклами uBlock Origin і AdGuard у Chrome.

Share This Article
Дізнайтеся першими про новини Києва з нами
Коментувати

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *