Сервер для ИИ выбирают по модели, нагрузке и требованиям к сервису. Сначала определяют память и допустимую задержку, затем архитектуру, оборудование и стоимость эксплуатации. Рассмотрим критерии выбора и примеры платформ, актуальных в конце 2026 года.
Три сценария выбора сервера для ИИ
-
Пилот LLM и RAG. Для локальной языковой модели начинают с проверки одного GPU. RAG дополняет генерацию поиском по корпоративным данным, поэтому нужны ресурсы для поиска и хранилища. Если модель и рабочие данные помещаются в память, а скорость устраивает, многокарточная система не требуется.
-
Промышленный инференс. При выполнении задач обученной нейросетью важны задержка, одновременные запросы и доступность. Для роста нагрузки можно запускать независимые экземпляры модели на нескольких GPU или узлах. Для видеоаналитики считают потоки при заданных разрешении и частоте кадров.
-
Обучение и дообучение. Память расходуется также на градиенты, состояния оптимизатора и промежуточные данные. При интенсивном обмене между GPU рассматривают HGX — платформу с несколькими тесно связанными ускорителями; при росте числа узлов важна кластерная сеть.
Для небольших моделей допустим CPU-сервер, если испытания подтверждают нужную скорость. Выбор ускорителя всегда зависит от поддерживаемого ПО.
Как рассчитать память и выбрать GPU
GPU сервер для ИИ оценивают по объёму и пропускной способности видеопамяти, точности вычислений и совместимости. У модели с 8 млрд параметров веса в BF16, 16-битном формате чисел, занимают около 16 ГБ. При 4-битном хранении - около 4 ГБ плюс метаданные. Снижение разрядности называют квантованием; после него проверяют качество ответов.
К весам добавляют KV-кеш - данные ранее обработанных токенов, рабочие буферы и запас под параллельные запросы. Пример для пилота: у GPU с 32 ГБ после размещения 16 ГБ весов остаётся около 16 ГБ на эти расходы. Такой вариант подходит, если при заданном контексте и нагрузке измеренный пик памяти укладывается в доступный объём с резервом, а задержка соответствует требованиям.
Если модель не помещается, рассматривают больше памяти, квантование или распределение модели между GPU. Когда памяти хватает, а пропускной способности сервиса мало, проверяют масштабирование экземплярами. Память карт автоматически не объединяется: распределение модели должны поддерживать ПО и межкарточные соединения.
Примеры серверов для ИИ в 2026 году
В таблице приведены примеры серверов для ИИ разных классов. YADRO, OpenYard и Гравитон - российские линейки, и Dell, HPE, Lenovo и Supermicro - зарубежные. Сценарии служат ориентирами для подбора и требуют проверки на вашей нагрузке.
| Пример AI-сервера | Класс платформы | Задачи | Что учесть |
|---|---|---|---|
| YADRO G4208P G3 | 4U, до 8 PCIe GPU | Инференс, дообучение | До 600 Вт на GPU; тепловой режим |
| OpenYard GPU RG4D4I / RG4D4A | 4U, PCIe GPU, Intel / AMD | Инференс, дообучение | До 8 H200 или RTX PRO 6000 Blackwell SE |
| Гравитон С2122ИУ | 2U, PCIe GPU | Пилот и прикладной инференс | До 2 двухслотовых или 6 однослотовых GPU |
| Dell PowerEdge XE7745 | 4U, до 8 двухслотовых GPU | Инференс, дообучение | До 600 Вт на карту; связность GPU |
| HPE ProLiant Compute DL380a Gen12 | 4U, PCIe GPU | Инференс при высокой нагрузке | До 10 L40S/H200 или 8 RTX PRO 6000 Blackwell SE |
| Supermicro GPU SYS-422GL-NR | 4U, до 8 PCIe GPU | Инференс, дообучение | Схема связей CPU, GPU и сети |
| Lenovo ThinkSystem SR680a V4 | 8U, HGX B300, 8 GPU | Обучение и крупные модели | Питание стойки и отвод тепла |
SE - Server Edition. Указаны возможности шасси: допустимый состав карт зависит от исполнения. Перед заказом согласуют точные артикулы GPU, питания и охлаждения. Доступность и сервис зарубежных платформ в России уточняют отдельно.
Пример российской системы РСК ScaleStream с внешними ускорителями
RSC ScaleStream-C (JBOG) - пример внешнего массива, который может стать вычислительным ядром ИИ-кластера. Шасси 3U объединяет до 10 PCIe-карт и подключается к четырём хост-серверам максимум. Хосты предоставляют CPU, RAM и программную среду; ускорители выполняют специализированные вычисления.
JBOG рассматривают, когда нужно независимо расширять серверы и ускорители или распределять карты между совместимыми хостами. В проект включают адаптеры, кабели, ПО управления и проверку пропускной способности PCIe.
Примеры решений на ускорителях LinQ
Примеры российских ускорителей для такой инфраструктуры — LinQ компании «ХайТэк» на собственной архитектуре LinQ H. Их основной сценарий — инференс поддерживаемых нейросетей.
| Пример устройства | Заявленный пик INT8 |
|---|---|
| LinQ HP / HPD / HPQ | 24 / 48 / 96 TOPS |
| LinQ HPS с 10 картами HPQ | 960 TOPS |
Пример готового комплекса - LinQ HPC: Гравитон С2122ИУ и две подсистемы LinQ HPS на базе RSC ScaleStream-C, суммарно до 1920 TOPS INT8. TOPS INT8 - триллионы операций с 8-битными целыми числами в секунду; пиковое значение не определяет скорость нейросети.
Для LinQ проверяют экспорт модели через ONNX, поддерживаемые операции и работу LinQ Compiler. Для NVIDIA проверяют совместимость CUDA, для AMD - ROCm. Пригодность каждой платформы подтверждают с выбранными ОС, драйверами и прикладным ПО.
Инфраструктура и эксплуатация
- CPU и RAM. Производительности должно хватать на подготовку данных, обслуживание запросов, загрузку моделей и сопутствующие сервисы.
- Диски и сеть. Для активных данных и контрольных точек обучения рассматривают NVMe. Межузловую сеть рассчитывают под объём обмена и требуемое масштабирование.
- Площадка. Проверяют мощность на стойку, ИБП, размеры шасси и отвод тепла. Номиналы блоков питания не равны фактическому потреблению.
- Доступность и защита. Предусматривают резерв ресурсов, восстановление после отказа, мониторинг, разграничение доступа и обновления в закрытом контуре.
Какой сервер для ИИ купить
Решая, какой AI-сервер купить, сравнивайте стоимость владения за 3-5 лет при одинаковых нагрузке, качестве и доступности. В расчет входят оборудование, сеть, лицензии, энергия, охлаждение и сопровождение. Для нерегулярной нагрузки оцените аренду GPU. Уточните гарантию на ускорители, запчасти и сроки поставки; при требованиях к российскому происхождению — реестровую запись изделия.
Перед закупкой проведите пилот на своих данных. Зафиксируйте модель, точность, контекст и число запросов. Для LLM измерьте время до первого токена, скорость генерации и p95 задержки — предел, в который укладываются 95% запросов. Добавьте качество, энергопотребление и восстановление после отказа в критерии приёмки.
Для подбора решения в «Карма Групп» направьте задачу, модель, нагрузку, условия серверной и бюджет. Это позволит согласовать конфигурацию и программу испытаний.
