Про це повідомляє “Kreschatic” з посиланням на HackerNoon
Понад десятиліття ринок високопродуктивних обчислень залишався майже повністю під контролем NVIDIA. Ключовим елементом цієї монополії стала платформа CUDA — власницьке середовище для програмування графічних процесорів, яке стало стандартом у галузі. Водночас це призвело до суттєвих обмежень для розробників, пов’язаних із прив’язкою до конкретного виробника та його обладнання.
Сьогодні індустрія переживає радикальний поворот. У фокусі – відкриті та універсальні підходи, які дозволяють програмувати будь-яке апаратне забезпечення без необхідності переписувати код під кожен новий процесор. У цьому контексті з’являються нові технології, такі як MLIR і мова програмування Mojo, здатні зруйнувати усталені правила гри на ринку GPU.
Чому CUDA стала пасткою для розробників
CUDA забезпечує виняткову продуктивність та має безпрецедентну кількість бібліотек для чисельних обчислень, штучного інтелекту, графіки та роботи з великими масивами даних. Багаторічна підтримка спільноти зробила її неперевершеною платформою для наукових і комерційних задач. Вона дозволяє повністю використовувати обчислювальний потенціал GPU, оптимізуючи розподіл задач і пам’яті вручну.
Проте ця система вимагає глибоких знань апаратної архітектури та роботи з низькорівневим кодом. Окрім того, вона жорстко прив’язує проєкти до апаратного забезпечення NVIDIA, що унеможливлює використання альтернативних процесорів без повної переробки програмного коду. Це породжує значні витрати, ризики й обмеження у виборі платформи.
Як MLIR змінює підхід до компіляції
MLIR (Multi-Level Intermediate Representation) — це модульна система проміжних подань, що дозволяє створювати компілятори для будь-яких типів апаратного забезпечення. На відміну від LLVM, який оперує низькорівневим кодом і втрачає семантичну суть задачі, MLIR зберігає високорівневу інформацію протягом усього процесу компіляції. Це дозволяє проводити оптимізації, специфічні для предметної області, ще до перетворення коду в машинний.
MLIR організований у вигляді «діалектів», кожен з яких описує певний рівень абстракції або апаратну платформу. Це означає, що TensorFlow, PyTorch або будь-який інший фреймворк може передавати свої структури без втрати змісту, і компілятор буде здатен ефективно адаптувати їх до цільового заліза.
Mojo — мова, створена для нової епохи
Mojo — це нова мова програмування, що поєднує синтаксис Python з можливостями системного програмування. Вона сумісна з MLIR, а отже дозволяє створювати код, який легко компілюється під різні процесори без змін в логіці. Mojo підтримує високорівневу абстракцію, проте дає доступ до низькорівневих оптимізацій там, де це необхідно.
Mojo усуває «проблему двох мов», коли дослідники створюють прототипи на Python, а потім вимушені переписувати код на C++ або CUDA для продуктивного використання. У Mojo це не потрібно — ітеративна розробка, оптимізація та виконання відбуваються в одній мові. Завдяки цьому прискорюється цикл R&D і знижуються вимоги до кваліфікації розробників.
Приклади коду, що демонструють перевагу Mojo
Реалізація матричного множення на CUDA займає сотні рядків коду з управлінням пам’яттю, синхронізацією потоків і розподілом ресурсів. У Mojo та сама задача описується кількома десятками рядків, у яких видно лише логіку обчислень — всі інші аспекти бере на себе компілятор.
Аналогічно, реалізація механізму уваги (attention) для трансформерів у CUDA вимагає тисяч рядків коду з ручним управлінням кешем, SRAM і HBM, тоді як у Mojo цей же алгоритм описується як чиста математична логіка. Це не лише спрощує розробку, але й відкриває можливість портативності без переписування коду під нову архітектуру.
Переваги Mojo для майбутніх технологій
Mojo вже підтримує генерацію коду для CPU, GPU, TPU та навіть ASIC. Завдяки MLIR розробник може написати програму один раз, а далі вибрати цільову платформу: від класичних процесорів до нейроморфних чи квантових чипів. Це дозволяє масштабувати розробки від прототипів до апаратного втілення.
У майбутньому Mojo стане ключовим інструментом у таких галузях, як блокчейн, нейроморфні обчислення, обробка розріджених графів і симуляція квантових алгоритмів. Можливість створення нових діалектів MLIR відкриває дорогу до підтримки ще неіснуючих процесорів без зміни вихідного коду.
Нагадаємо, раніше ми писали про те, чи дійсно штучний інтелект підвищує продуктивність.
