Об этом сообщает KURAZH
Команда Илона Маска в SpaceX завершила разработку первой версии собственной системы для обучения искусственного интеллекта, созданной на языке программирования C. Такой выбор позволяет компании максимально эффективно использовать аппаратное обеспечение, минимизируя задержки и повышая производительность, поскольку код взаимодействует с «железом» серверов напрямую, без лишних слоев абстракции.
220 тысяч ускорителей Nvidia и инфраструктура будущего
Проект SpaceX не ограничивается только программной разработкой — под новую систему создан мощный кластер из около 220 000 графических ускорителей Nvidia GB300. Для быстрого обмена данными между узлами кластера используется сетевой интерфейс 800G, что позволяет обрабатывать огромные объемы информации практически без задержек. Именно такая низкоуровневая оптимизация помогает избегать «узких мест» в передаче данных, что особенно важно при обучении больших языковых моделей и других современных алгоритмов ИИ.
«SpaceX почти завершила написание V1.0 внутреннего стека обучения ИИ на C, который точно соответствует 220k GB300 с 800G NIC, активно используя параллелизм конвейера и приближаясь к «железу» как можно ближе.»
Благодаря прямому доступу к аппаратным ресурсам, инженеры SpaceX планируют использовать потенциал GPU Nvidia в полной мере. Такой подход способен значительно повысить эффективность при масштабных тренировках моделей, где задействованы тысячи взаимосвязанных чипов.
10-кратное преимущество над Google JAX и новый стандарт производительности
Илон Маск заявил, что созданная его командой система может быть более чем в 10 раз быстрее JAX — популярного фреймворка для машинного обучения от Google, который сегодня считается одним из самых эффективных в отрасли. JAX известен своей способностью к автоматическому дифференцированию и высокой скоростью на GPU/TPU, однако SpaceX стремится минимизировать программные «накладные расходы», достигая максимального прироста скорости благодаря чистому коду на C.
Однако к таким заявлениям пока стоит подходить с определенной осторожностью — реальные показатели появятся лишь после независимых тестов и бенчмарков. Тем не менее, опыт SpaceX свидетельствует о том, что компания не раз меняла устройство целых отраслей благодаря инновациям там, где традиционные решения уже не удовлетворяли рыночные требования.
Пока SpaceX наращивает вычислительные возможности, конкуренция в сфере искусственного интеллекта лишь усиливается. Например, YouTube уже внедряет собственные системы для выявления контента, созданного с помощью нейросетей. Это еще раз подтверждает, что влияние ИИ на цифровой мир растет с каждым днем.
