Intel GPU D270 получил до 480 ГБ памяти для локального ИИ и моделей на 300 млрд параметров

Intel GPU D270 стал новым специализированным ускорителем компании для искусственного интеллекта. Карта рассчитана прежде всего на запуск больших языковых моделей, AI-агентов, RAG-систем и других задач инференса. Максимальный объем памяти в партнерских версиях может достигать 480 ГБ, а одну карту Intel рассчитывает использовать для моделей размером до 300 млрд параметров.

Это не игровая видеокарта и не аналог обычных Intel Arc. В D270 часть блоков, необходимых для классической 3D-графики и трассировки лучей, убрали, освободив место для вычислительных компонентов, которые действительно нужны при работе с нейросетями.

Intel GPU D270: основные характеристики

Откуда взялись 480 ГБ памяти

Здесь есть важная деталь. Референсная PCIe-карта самой Intel оснащается 160 ГБ LPDDR5X. При этом конструкция D270 позволяет производителям серверного оборудования создавать собственные версии с объемом памяти вплоть до 480 ГБ.

Такой объем особенно полезен для больших языковых моделей. При инференсе память нужна не только для хранения весов модели. В ней находятся KV-кэш, длинный контекст, данные нескольких пользователей и рабочее состояние AI-агентов.

Чем длиннее диалог и чем больше параллельных запросов обслуживает сервер, тем быстрее растет расход памяти. Поэтому для D270 Intel сделала ставку не на игровую графику, а на вместимость и работу с большими контекстами.

Почему используется LPDDR5X, а не HBM

Большинство мощных серверных AI-ускорителей используют память HBM. Она дает очень высокую пропускную способность, но заметно усложняет конструкцию и увеличивает стоимость ускорителя.

Intel выбрала LPDDR5X. У D270 пропускная способность достигает 1,5 ТБ/с. Для задач, где главным ограничением становится объем памяти, такой вариант позволяет установить значительно больше памяти на одну карту.

Это особенно интересно при работе с LLM, где иногда важнее поместить модель целиком в память, чем получить максимальную скорость вычислений любой ценой.

До 300 млрд параметров на одной карте

По данным Intel, одна D270 рассчитана на модели объемом до 300 млрд параметров. В сервере с восемью такими ускорителями компания говорит уже о работе с моделями размером более одного триллиона параметров.

Точный объем памяти, который понадобится конкретной модели, зависит от формата весов, квантизации, размера контекста и KV-кэша. Поэтому число параметров нельзя напрямую переводить в необходимый объем RAM без учета конфигурации.

Но запас в сотни гигабайт на одном ускорителе заметно упрощает работу с крупными моделями. Меньше данных приходится распределять между несколькими GPU, а длинный контекст можно дольше удерживать непосредственно в памяти ускорителя.

32 ядра Xe3P и 256 XMX-блоков

D270 построен на архитектуре Xe3P и содержит 32 Xe-ядра и 256 матричных движков XMX. Именно XMX используются для ускорения матричных операций, из которых состоит большая часть вычислений нейросетей.

В FP8 Intel заявляет производительность до 1,3 петафлопса. Низкая точность FP8 широко используется при инференсе, поскольку позволяет повысить производительность и уменьшить расход памяти там, где высокая точность FP32 не требуется.

Почему на Intel D270 нельзя смотреть как на обычную видеокарту

В D270 Intel сознательно отказалась от части аппаратных блоков для растеризации и трассировки лучей. Поэтому покупать такой ускоритель для игр, рендеринга обычной компьютерной графики или рабочей станции вместо профессиональной видеокарты смысла нет.

Освободившаяся площадь кристалла используется для вычислительных блоков, которые востребованы именно в AI-инференсе. В результате получился не универсальный GPU, а специализированный ускоритель.

Для каких задач предназначен Intel GPU D270

Intel ориентирует D270 на серверы, где нейросети уже работают в реальных сервисах, а не только тестируются разработчиками. Среди основных сценариев:

• большие языковые модели;
• AI-агенты с многоэтапными задачами;
• RAG и работа с длинными документами;
• корпоративные AI-ассистенты;
• помощники для программирования;
• обработка документов;
• мультимодальные модели;
• диффузионные модели;
• одновременное обслуживание большого количества запросов.

Особенно хорошо концепция D270 подходит AI-агентам. Такой агент может несколько раз обращаться к модели, читать документы, использовать внешние инструменты и хранить большой рабочий контекст. Один пользователь в этом случае способен создать значительно большую нагрузку, чем обычный короткий запрос к чат-боту.

Обычный PCIe и воздушное охлаждение

Еще одна практичная особенность Intel GPU D270 заключается в стандартном форм-факторе PCIe 5.0. Ускоритель потребляет до 350 Вт и рассчитан на воздушное охлаждение.

Для дата-центров это важно. Под D270 не требуется строить отдельный сервер с жидкостным контуром охлаждения или использовать проприетарную систему соединения ускорителей. Карты можно устанавливать в совместимые серверные платформы PCIe.

Программная часть строится на общей экосистеме Intel Xe. Компания заявляет поддержку популярных инструментов для инференса, включая PyTorch и vLLM.

Intel делает ставку на AI-инференс

Если обучение крупных моделей требует огромной вычислительной мощности, то после обучения начинается другая проблема: модель нужно недорого обслуживать каждый день.

Количество пользователей растет, контекст становится длиннее, AI-агенты выполняют десятки последовательных действий. В такой ситуации стоимость одного ответа зависит уже не только от скорости GPU, но и от объема памяти, энергопотребления и количества ускорителей, необходимых для размещения модели.

D270 как раз создан под такой сценарий. Intel пытается разместить как можно больше модели и рабочего контекста на одной карте, сохранив энергопотребление на уровне 350 Вт.

Другие материалы о процессорах, видеокартах, локальном запуске нейросетей и компьютерном оборудовании можно найти в разделе статей AplTech.