LinQ HPQ — мощный ИИ-ускоритель для центров обработки данных с пиковой производительностью 96 TOPS (int8) на базе четырех тензорных процессоров LinQ H. Модуль PCIe Full Length x16 Gen3 с 64 ГБ DDR4 ECC обеспечивает сверхнизкую задержку инференса для видеоаналитики, биометрии и MLaaS в реальном времени

LinQ HPQ – универсальный ускоритель для центров обработки данных
Модуль LinQ HPQ предназначен для запуска ИИ-приложений и применения в стандартной инфраструктуре центров обработки данных.
LinQ HPQ входит в линейку модулей ускорения LinQ стандарта PCI Express (PCIe). Скорость передачи данных до 8 Гбайт/с (8 линий) позволяет использовать модули LinQ HPQ для выполнения инференса нейронных сетей в реальном времени с низкой задержкой, обеспечивая потоковую передачу входных данных и результатов инференса.
Ускоритель построен на базе четырех тензорных процессоров LinQ H, что позволяет добиться максимальной производительности устройства при решении целевых задач.
Ключевые характеристики
- Сверхнизкая задержка при малом батче (текущий: 2,3ms, возможность оптимизации до 1,5 ms для ResNet-50)
- Высокая эффективность на малом батче на CNN /Transformer моделях
- Нет сторонних IP в вычислителях (ARM, etc.)
- Оптимизаторы компилятора с элементами ИИ
- Программный стек собственной разработки
- Прямая интеграция с TF2
- Интеграция PyTorch через ONNX
- Пиковая производительность: 96 TOPS (int8)
- Поддержка инференса нескольких моделей
- Форм-фактор: PCIe Full Length
- PCIe интерфейс: x16 PCIe Gen3
- Тактовая частота: 500-812 МГц (ПО управляема)
- Память: 64 ГБ DDR4 ECC
- Потребление: 120/140 Вт (типовое/пиковое)
- Watchdog Timer, Power Monitor, мониторинг температуры
Области применения
- Интеллектуальная видеоаналитика
- Оптимизация энергопотребления
- Исследование и разработка лекарств
- Персонализация контента
- Распределенные вычисления
- Машинное обучение как услуга (MLaaS)
- Городская безопасность
- Биометрия
Смотрите также RSC ScaleStream-C GPU/TPU - модульная вычислительная платформа для ускорения задач искусственного интеллекта
