Высокоскоростная коммуникационная сеть Ангара от НИЦЭВТ

Сеть Ангара представляет собой первую российскую разработку высокоскоростной сети, построенной с использованием маршрутизаторов на базе СБИС отечественной разработки. Среди отечественных разработок это решение не имеет аналогов ни по возможностям, ни по характеристикам. Разработчиком решения является подразделение Научно-исследовательского центра электронной вычислительной техники (АО НИЦЭВТ) и микросхема ЕС8430 стала итогом работы подразделения за семь лет. Интегральная микросхема ЕС8430 была выпущена фабрикой TSMC и выполнена по технологии 65 нм, размер кристалла составляет 13,0 х 10,5 мм и  содержит 180 миллионов транзисторов. Энергопотребление микросхемы составляет 20 Вт. Реализована поддержка топологии сети «Многомерный тор» (от 1D до 4D), каждый сетевой узел поддерживает до 8 соединений с соседними узлами.

Решение полностью разрабатывалось в НИЦЭВТ, уже на этапе проектирования специалисты учли зарубежный опыт и недостатки представленных на рынке решений. В процессе разработки был с помощью имитационной потактовой модели коммуникационной сети были исследованы существующие архитектуры и топологии. На следующем этапе работ были созданы три поколения макетных образцов на ПЛИС. Эти образцы позже использовались для работы над микроархитектурой маршрутизатора и разработки программного обеспечения. Результатом работ стала новая уникальная архитектура микросхемы маршрутизатора, созданная полностью российскими специалистами, сотрудниками АО НИЦЭВТ.

СБИС ЕС8430 была выпущена на фабрике TSMC. Адаптер маршрутизатора (выполненный в форм-факторе карты расширения PCI Express) для коммуникационной сети Ангара также был разработан специалистами АО НИЦЭВТ и выпускается в собственном производственном комплексе Центра. АО НИЦЭВТ владеет всеми правами на интеллектуальную собственность по высокоскоростной сети Ангара, в том числе на реализацию на языке описания оборудования архитектуры маршрутизатора (RTL-модель).

Основные особенности интерконнекта Ангара

Проанализируем основные характеристики высокоскоростной сети Ангара с сравним ее с другими подобными продуктами на рынке.

• Топология. Сеть Ангара поддерживает топологию «Многомерный тор», вплоть до 4D-тор. Это является ее основным преимуществом. Такая топология позволяет более эффективно решать задачи математического моделирования. При построении суперкомпьютера на базе этой топологии можно обойтись без дорогостоящих отдельных коммутаторов. Сеть отлично масштабируется.

• Пропускная способность линка сети Ангара сопоставима с последними разработками мировых лидеров и лишь немного уступает им.

• Низкая задержка. По показателю задержки сеть Ангара соответствует мировому уровню.

• Адаптивная маршрутизация. Ангара поддерживает детерминированную маршрутизацию, при которой сохраняется порядок передачи пакетов и предотвращаются тупиковые ситуации (дедлоки и ливлоки), а также адаптивную маршрутизацию, благодаря которой можно обходить перегруженные участки сети.

• Высокая отказоустойчивость. Коммуникационная сеть Ангара на канальном уровне поддерживает отказоустойчивую передачу пакетов и реализован механизм перестройки таблиц маршрутизации для обхода неработающих каналов связи и узлов.

• Прямой доступ к памяти удаленных узлов. В сети реализован режим прямого доступа к памяти удаленных узлов RDMA и графических ускорителей GPUDirect.

• Поддержка наиболее востребованных процессоров. Сеть совместима с процессорами архитектур архитектуры x86, ARM и Эльбрус, ускорителями GPGPU и FPGA. Кроме того, сеть Ангара позволяет объединить процессоры всех этих архитектур в единую вычислительную систему.

• Поддержка средств программирования. Сеть Ангара поддерживает все стандартные средства программирования (библиотека MPI, технология OpenMP, библиотека SHMEM, стек протоколов TCP/IP).

Возможности применения сети Ангара

• Сетевое оборудование Ангара может применяться в следующих системах и областях:
• Вычислительные системы с высокими требованиями к производительности (от десятков до тысяч узлов).
• Вычислительные комплексы для сложных инженерных, научных и промышленных расчетов.
• Системы хранения и обработки данных.
• Центры обработки данных.
• Аналитические системы с высокой производительностью (машинное обучение, семантический анализ, обработка графов).
• Системы обработки больших данных (Hadoop, Spark и другие).
• В качестве инфраструктурной составляющей для объединения вычислительных ресурсов в сеть с высокой скоростью передачи данных.

Системное ПО

Программное обеспечение сети Ангара успешно прошло тестирование на совместимость со следующими операционными системами:

• OpenSUSE/SLES 11 SP3/4, CentOS 6.0-7.3
• ОС Astra Linux SE 1.3-1.5
• ОС «Нейтрино» (QNX 6.5)
• ОС «Эльбрус»
• поддерживаются версии ядра Linux от 2.6.21 до 3.16.0

Поддерживаются следующие реализации библиотеки MPI:

• MPICH 3.0.4 (стандартная и оптимизированная)
• MPICH 3.2
• OpenMPI 1.10

Гарантируется совместимость и работоспособность сети Ангара со следующими пакетами:

• Gromacs, VASP, cp2k, LAMMPS, GAMESS
• ANSYS 18.2: Mechanical, Fluent, LS-DYNA, CFX
• FlowVision
• OpenFOAM

Тестирование оборудования

На базе сети Ангара в АО НИЦЭВТ был собран кластер Ангара-К1, включающий в себя 36 узлов на основе процессоров Intel Xeon E5-2630 и Intel Xeon E5-2660. Общее число ядер кластера 384, каждый узел оснащен памятью 64 ГБ. В кластере применялась топология 3D-тор 3х3х4. В испытаниях кластера использовалась библиотека MPI (MPICH 3.0.4).

Оценочное тестирование осуществлялось также на 36 узлах суперкомпьютера МВС-10П в МСЦ РАН на базе более производительных процессоров Intel Xeon E5-2690, объединенных сетью Mellanox Inniband 4xFDR. По результатам синтетических коммуникационных тестов, тестов NAS Parallel Benchmarks и модели прогноза погоды ПЛАВ сеть Ангара в целом не уступает по производительности сети Mellanox Inniband 4xFDR, а в некоторых случаях и превосходит ее. Такой результат наблюдается при решении задач, где велика доля коммуникаций и выше роль сети. При прохождении теста сортировки целых чисел (NPB Integer Sort) на 32 узлах, оснащенных более слабыми процессорами, кластера Ангара-К1 удалось получить более высокий в абсолютном выражении результат.

В тестировании высокопроизводительного сетевого оборудования в сочетании с процессорами архитектуры Эльбрус участвовали сотрудники РФЯЦ-ВНИИЭФ, ООО «Ниагара Компьютерс», АО «Т-Платформы», ЗАО «РСК Технологии», ИПМ им. М.В. Келдыша РАН, ИВМ РАН, ОИВТ РАН, ИДСТУ СО РАН, ФГУП НИИ «Квант», CADFEM-CIS, ТЕСИС, АО «МЦСТ» . Все указанные организации подтвердили работоспособность, надежность и производительность сетевого оборудования Ангара.

Вернуться назад