Про це розповідає KURAZH
Команда Ілона Маска у SpaceX завершила розробку першої версії власної системи для навчання штучного інтелекту, створеної на мові програмування C. Такий вибір дозволяє компанії максимально ефективно використовувати апаратне забезпечення, мінімізуючи затримки та підвищуючи продуктивність, оскільки код взаємодіє з «залізом» серверів напряму, без зайвих прошарків абстракції.
220 тисяч прискорювачів Nvidia та інфраструктура майбутнього
Проєкт SpaceX не обмежується тільки програмною розробкою — під нову систему створено потужний кластер із близько 220 000 графічних прискорювачів Nvidia GB300. Для швидкого обміну даними між вузлами кластера використовується мережевий інтерфейс 800G, що дозволяє обробляти величезні обсяги інформації практично без затримок. Саме така низькорівнева оптимізація допомагає уникати «вузьких місць» у передачі даних, що особливо важливо при навчанні великих мовних моделей та інших сучасних алгоритмів ШІ.
“SpaceX has almost finished writing V1.0 of an in-house AI training stack in C that exact-maps to 220k GB300s with 800G NICs, making heavy use of pipeline parallelism and getting as close to bare metal as possible.”
Завдяки прямому доступу до апаратних ресурсів, інженери SpaceX планують використовувати потенціал GPU Nvidia повною мірою. Такий підхід здатен значно підвищити ефективність при масштабних тренуваннях моделей, де задіяні тисячі взаємопов’язаних чипів.
10-кратна перевага над Google JAX та новий стандарт продуктивності
Ілон Маск заявив, що створена його командою система може бути більш ніж у 10 разів швидшою за JAX — популярний фреймворк для машинного навчання від Google, який сьогодні вважається одним із найбільш ефективних у галузі. JAX відомий своєю здатністю до автоматичного диференціювання й високою швидкістю на GPU/TPU, однак SpaceX прагне мінімізувати програмні «накладні витрати», досягаючи максимального приросту швидкості завдяки чистому коду на C.
Однак до таких заяв поки що варто підходити з певною обережністю — реальні показники з’являться лише після незалежних тестів і бенчмарків. Проте досвід SpaceX свідчить, що компанія неодноразово змінювала устрій цілих галузей завдяки інноваціям там, де традиційні рішення вже не задовольняли ринкові вимоги.
Поки SpaceX нарощує обчислювальні можливості, конкуренція у сфері штучного інтелекту лише посилюється. Наприклад, YouTube вже впроваджує власні системи для виявлення контенту, створеного за допомогою нейромереж. Це ще раз підтверджує, що вплив ШІ на цифровий світ зростає з кожним днем.
