Тарифы эскалации, Dell XE9680 × 8 блок H200 акции в чрезвычайных ситуациях, арифметика стала новой эрой «нефти»; место, фьючерсы добро пожаловать на связь с первым замком!
2025-05-19
Генеративная большая модель волной прокатилась по миру, вычислительные мощности сразу стали новой эрой «нефти».
Сегодняшний сервер Dell PowerEdge XE9680, оснащенный 8 графическими процессорами NVIDIA HGX H200, 141 ГБ видеопамяти HBM3, позволяет отечественному производителю стоять на пике обучения искусственному интеллекту.
Но это лишь верхушка айсберга.
NVIDIA, Google, AMD и другие гиганты ведут физическую борьбу в области чипов и центров обработки данных.
Кто же станет последним королем в этой арифметической гонке?
Я попытался разобрать внутреннюю работу этого арифметического безумия ИИ с четырех точек зрения: аппаратное обеспечение, энергоэффективность, сеть и безопасность.
За сотнями миллиардов параметрических моделей
Генеративные модели ИИ могут легко содержать сотни миллиардов параметров и, по крайней мере, несколько ТБ памяти для одной сессии обучения. Если взять в качестве примера 671Б (671 млрд) параметров, то общая потребность в памяти (грубая оценка): параметры (1,34 ТБ) + градиент (1,34 ТБ) + состояние оптимизатора (2,68 ТБ) ≈ 5,36 ТБ, 5,36 ТБ / 141 ГБ ≈ 39 GPU H200, 5 XE9680 (на самом деле нужно больше, чтобы учесть накладные расходы на связь). XE9680 (на самом деле нужно больше, необходимо учитывать накладные расходы на связь и избыточность). Это уже сжигание денег, сервер Dell XE9680, опирающийся на двухсторонний процессор Intel Xeon Platinum 8558, 96 ядер и 192 потока, с 2 ТБ памяти DDR5, напрямую тянущий арифметику в полном объеме. 8 графических процессоров H200, на одну карту 141 ГБ видеопамяти, всего 1,128 ТБ видеопамяти, такая конфигурация заточена под большую модель.
Почему H200 так сильно выделяется?
Пропускная способность памяти HBM3e достигает 4,8 ТБ/с, что на 40 % быстрее, чем у H100.
Вместе с интерфейсом NVLink передача данных между графическими процессорами становится быстрой как молния, а при обучении сотен миллиардов моделей параметров узкое место в данных практически отсутствует.
По подсчетам, по сравнению с традиционным PCIe Gen5, NVLink позволяет сократить цикл обучения как минимум на 30 %.
Что касается практических сценариев?
В области медицины ИИ, занимающийся секвенированием генома, должен работать с огромными массивами данных, и твердотельный накопитель NVMe объемом 3,84 ТБ и высокоскоростная память XE9680 прекрасно справляются с высокой пропускной способностью.
ИИ видеогенерации, например мультимодальные модели, такие как Sora, опираясь на тензорную вычислительную мощь H200, могут одновременно обрабатывать текст, изображения и данные временных рядов, удваивая эффективность генерации.
Но тут возникает проблема.
С такой мощной арифметической силой счета за электричество станут для людей банкротом?
Тогда поговорим о секретах «зеленых» вычислений.
Зеленые центры обработки данных: баланс между арифметикой и энергоэффективностью
Арифметические возможности ИИ растут, а вместе с ними растут и расходы на электроэнергию.
Суперкомпьютерный кластер H100 на 100 000 блоков может легко перевалить за миллиард долларов годового счета за электричество.
Dell XE9680, однако, продвинулся в вопросе энергоэффективности.
Титановый блок питания мощностью 2800 Вт, система резервирования 3+3 и технология Intel Speed Select позволяют динамически регулировать энергопотребление в зависимости от нагрузки, а энергопотребление при выполнении одной задачи снижается на 15 %.
Система воздушного охлаждения, 6U шасси зарезервировано для интерфейса жидкостного охлаждения, эффективность охлаждения тянет на полную катушку, но и для будущих модернизаций остается.
Выступление Джен-Сунь Хуанга о будущем искусственного интеллекта на конференции GTC было полным страсти, но мне всегда казалось, что о проблеме энергоэффективности говорилось меньше.
В конце концов, соревнование арифметических мощностей, наконец, пришло к тому, что энергия убивает меня, и тогда, если не оптимизировать, гениальность ИИ может быть оттянута назад стоимостью электроэнергии.
Энергоэффективность XE9680 считается эталоном в отрасли.
Но одной экономии энергии недостаточно, необходимо, чтобы искусственный интеллект, работающий в режиме реального времени, был подкреплен сетью.
Сети со сверхнизкой задержкой: победители и проигравшие в рассуждениях ИИ
ИИ рассуждает в реальном времени, и задержка - это жизненно важный фактор.
Автономное вождение, количественная торговля - замедление на 0,1 секунды может обернуться миллионными потерями.
Сетевая конфигурация XE9680 напрямую уменьшает задержку.
Благодаря восьми сетевым картам NDR 400G OSFP с протоколом RoCEv2 задержка связи составляет менее 2 микросекунд.
Адаптер Broadcom 57608 поддерживает RDMA без потерь, и поток данных для распределенного обучения устойчив, как скоростной поезд.
Не говоря уже о сетевой карте 25GbE SFP28, которая легко справляется с потоком данных от 100+ камер, идеально приспособленной для пограничных вычислений.
Но я должен быть честен.
Такая мощная сеть не может стоить дешево.
Стоимость 400-гигабитных сетевых карт и коммутаторов достаточна для того, чтобы представители малого и среднего бизнеса выпили горшок воды.
Но ничего не поделаешь, в реальном времени AI inference track, latency - это деньги.
Предприятия хотят сесть на экспресс ИИ, арифметика - это первое препятствие.
Но просто куча аппаратного обеспечения не может, производительность, энергоэффективность, сеть, безопасность не должны быть упущены.
Dell PowerEdge XE9680, как специально созданный «универсальный воин» для эпохи ИИ.
| Компоненты | Технические характеристики |
| Процессор | 2 Intel Xeon Platinum 8558, 48 ядер/96 потоков, 2,1 ГГц, 260 МБ кэша, 330 Вт |
| ОПЕРАТИВНАЯ ПАМЯТЬ | 32 64GB RDIMM, 5600MT/s, 2TB всего |
| ГРАФИЧЕСКИЙ ПРОЦЕССОР | 8 NVIDIA HGX H200, 141 ГБ видеопамяти HBM3, 700 Вт на карту, 1,13 ТБ общей видеопамяти |
| Хранилище | 1 x 960GB M.2 SSD (система), 2 x 3.84TB NVMe SSD (данные) |
| Сеть | 8 NDR 400G OSFP, 1 25GbE SFP28, 1 1GbE LOM |
| Блок питания | 2800 Вт Titanium, резервирование 3+3, 6 x 2,5 м кабелей питания C20/C21 |
Почему это стоит взять на вооружение?
Этот набор конфигураций охватывает практически весь сценарий обучения и вывода данных ИИ, от моделей со 100 миллиардами параметров до принятия решений в реальном времени на границе, вдоль и поперек.
Модульная конструкция позволяет модернизировать CPU и GPU по требованию и оптимизировать совокупную стоимость владения (TCO).
Психология принятия решений: игра в арифметические инвестиции
Выбор сервера искусственного интеллекта - это рискованная инвестиция.
Если вычислительная мощность слишком велика, бюджет будет перерасходован; если вычислительная мощность слишком слаба, проект застопорится.
Гибкость XE9680 позволяет предприятиям найти «золотую середину».
Он поддерживает 4/5-е поколение Xeon, совместим с H200, H100 и любым GPU, который вы хотите заменить.
Шасси 6U также можно расширить для хранения данных, поэтому можно не бояться будущего резкого увеличения объема данных.
Более того, пакет OpenManage от Dell вместе с NVIDIA AI Enterprise позволяет одним щелчком развернуть систему с «голого металла» на приложения AI, что позволяет сэкономить не менее 50% времени работы.
Где наша точка психологической игры?
Предприятия всегда беспокоятся о том, что «покупать дорого» или «покупать неправильно».
Но я видел слишком много случаев, когда они экономили несколько миллионов на аппаратном обеспечении на ранней стадии, но тратили десятки миллионов на пополнение вычислительных мощностей на более поздней стадии.
Первоначальные инвестиции в XE9680 высоки, но жизненный цикл длителен, энергоэффективность превосходна, а соотношение цена/производительность в долгосрочной перспективе просто сокрушительно.
Будущее арифметики ИИ: дикая гонка или спокойствие?
Арифметическая гонка - это аппаратный стек на поверхности и экологическая битва в основе.
Доминирование NVIDIA на рынке GPU прочно, но TPU от Google и MI300X от AMD также набирают обороты.
Гетерогенная совместимость Dell XE9680 может стать лучшим выбором для предприятий, чтобы избежать «замкнутости».
Что насчет будущего?
Плотность арифметики будет продолжать расти, пространство 6U, заполненное восемью 700-ваттными GPU, - это только начало.
Экологичные вычисления станут стандартом, технология жидкостного охлаждения может стать популярной уже через пять лет.
Сеть и безопасность также станут умнее, нулевое доверие в сочетании с мониторингом ИИ, защита от краж и утечек.
Арифметика ИИ находится в состоянии буйства, и конец линии - это не аппаратное обеспечение, а инновации.
