Долгое время технологию 3D V-Cache воспринимали как эксклюзивное преимущество для геймеров, стремящихся получить больше кадров в секунду. Однако недавние результаты бенчмарка X3D RAG Benchmark убедительно демонстрируют, что большие объемы кэша L3 критически важны для задач искусственного интеллекта — особенно в локальных системах поиска и генерации ответов.
Об этом сообщает KURAZH
Роль кэша в архитектуре RAG
Большинство пользователей ассоциируют вычисления для ИИ с мощными видеокартами, но в системах Retrieval-Augmented Generation (RAG) ситуация сложнее. В таких системах языковые модели сначала ищут актуальные данные во внешней базе знаний, а только потом формируют ответ. Именно на этом этапе ключевую роль играет процессор.
Обработка запросов, поиск в векторных базах данных и индексация в основном выполняются центральным процессором. Здесь скорость доступа к данным в кэш-памяти становится определяющим фактором производительности. Благодаря значительно большему объему кэша модели Ryzen 7 9800X3D и их преемники с 3D V-Cache позволяют хранить необходимые данные рядом, уменьшая количество обращений к более медленной оперативной памяти.
Значительные приросты производительности: анализ тестов
В тестах Batch Search 100K модели с 3D V-Cache показали до 88% более высокую скорость по сравнению со стандартными процессорами без дополнительного кэша. В более сложной задаче Batch Search 200K Ryzen 7 9850X3D обогнал Ryzen 7 9700X более чем на 50%. При этом оба чипа имеют по 8 ядер, а в некоторых испытаниях 8-ядерный процессор с кэшем даже превзошел флагманский 16-ядерный Ryzen 9 9950X.
«Это еще раз доказывает: для специфических вычислений архитектура и память важнее, чем просто “грубая сила” количества ядер».
Еще одна сфера, где 3D V-Cache проявляет себя, — это индексация баз знаний. В тестах Index Build 100K время выполнения уменьшилось вдвое, а в сценарии 200K — на 39%. Это позволяет локальным нейросетям быстрее обрабатывать и усваивать новые документы. В то же время в метрике TTFT (Time To First Token), то есть времени до появления первого символа в ответе, преимущество CPU с 3D V-Cache было минимальным, так как здесь основное нагрузку несет именно видеокарта.
Для разработчиков и энтузиастов, которые внедряют небольшие RAG-системы на собственных серверах или рабочих станциях, эти результаты — важный сигнал. AMD удалось предложить эффективное решение для локального ИИ в потребительском сегменте. Пока конкуренты увеличивают количество ядер, компания сделала акцент на увеличении кэша там, где это наиболее необходимо.
В то же время производители памяти также активно развиваются: в частности, SK hynix уже производит модули SOCAMM2 объемом 192 ГБ, что может существенно повлиять на дальнейшее развитие систем для искусственного интеллекта.
