Ускорители Nvidia Blackwell более чем в два раза обходят предшественников в обучении больших языковых моделей

По опубликованным некоммерческой организацией MLCommons результатам тестирования различных аппаратных систем при обучении больших языковых моделей становится понятно, что ускорители вычислений Nvidia с архитектурой Blackwell более чем в два раза превосходят по производительности своих предшественников поколения Hopper.

Источник изображения: Nvidia

В принципе, об этом в момент анонса архитектуры Blackwell говорила и сама Nvidia, но теперь эти заявления хотя бы подкреплены данными тестов в изложении независимых источников. Применялись языковые модели типа Llama 3.1 405B, которые содержат буквально триллионы параметров и отображают сложность вычислений в сфере искусственного интеллекта на актуальном этапе развития отрасли. Справедливости ради, следует учитывать, что данные для исследования с результатами тестирования своих систем на основе Blackwell компания Nvidia предоставила сама, но представители MLCommons хотя бы не сомневаются в их достоверности.

Из полученных результатов тестирования становится известно, что в удельном выражении каждый чип поколения Blackwell в подобных вычислительных задачах оказывается в два с лишним раза быстрее предшественника поколения Hopper. В конкретной конфигурации система на основе 2496 чипов Blackwell справилась с заданием за 27 минут. Чтобы получить более впечатляющий результат, системе на базе такого же количества чипов Hopper потребовалось более чем в три раза больше времени.

Представители CoreWeave пояснили, что в последнее время в отрасли наблюдается тенденция к разделению крупных вычислительных кластеров на более мелкие подсистемы с небольшим количеством ускорителей, специализирующихся на отдельных подзадачах. Это позволяет ускорять обучение языковых моделей в условиях ограниченности аппаратных ресурсов.