Объектные хранилища Диамант АМУР
Объектные хранилища «АМУР» — это системы хранения активных и холодных данных, предназначенные для аналитики, активного архивирования, долгосрочного хранения и построения масштабируемых озёр данных. Решения помогают организовать простое хранение, управление и извлечение ценной информации из больших массивов неструктурированных данных.
«АМУР» представляет собой объектное хранилище, которое масштабируется в соответствии с текущими потребностями организации и рассчитано на высокую надёжность, доступность и безопасность данных. Система может применяться для научных разработок, медиапроизводства, государственных данных, веб-сервисов, машинного обучения, видеонаблюдения, облачных сред и корпоративных архивов.
Платформа поддерживает работу с горячими и холодными данными, позволяет постепенно расширять инфраструктуру и добавлять новые узлы без сложной перебалансировки. При росте системы сетевые и вычислительные ресурсы сразу включаются в работу для балансировки запросов и системных задач, а новое хранилище добавляется в общий пул ёмкости.
Ключевые преимущества
- Простота управления и неограниченное масштабирование.
- Быстрый доступ к большему количеству данных.
- Снижение капитальных и эксплуатационных затрат на управление данными.
- Защита от рисков, связанных с потерей или повреждением данных.
- Поддержка активного и холодного хранения в единой архитектуре.
- Совместимость с S3 Standard, S3 Glacier и NFS.
- Долговечность данных до 19 девяток для активного и холодного хранения.
- Возможность развертывания как услуги в центре обработки данных заказчика.
Основные области применения
- Массивные озёра данных.
- Облачные и частные облачные среды.
- Архивы для редко используемых данных.
- Долгосрочное резервное копирование.
- Активное архивирование данных.
- Аналитика больших данных.
- Хранение медиаконтента.
- Научные и исследовательские проекты.
- Инфраструктуры искусственного интеллекта и машинного обучения.
- Хранение данных видеонаблюдения и интернета вещей.
Двухуровневая гибридная архитектура хранения
Архитектура «АМУР» использует высокую степень параллелизма для достижения высокой производительности без значительных затрат. На уровне доступа производительность системы оптимизируется за счёт балансировки нагрузки на все узлы кластера. Для повышения производительности метаданные объектов хранятся в хранилище NVMe.
Уровень данных обеспечивает масштабируемость активных и холодных объектов при стабильных показателях доступности и производительности. Такой подход позволяет использовать одну платформу для данных, к которым нужен частый доступ, и для информации, которая хранится длительное время и используется редко.
Классы активного и холодного хранения
«АМУР» поддерживает классы активного и холодного хранения. Активное хранилище используется для данных, с которыми работают ежедневно или регулярно. Холодное хранилище предназначено для долгосрочных архивов и резервных копий, к которым обращаются редко.
Холодное хранилище «АМУР.ЛЕДНИК» сопоставимо по назначению с Amazon S3 Glacier: оно предназначено для долгосрочного архивирования и резервного копирования, хранения редко используемых данных и извлечения информации за минуты, а не часы.
Расширенное восстанавливающее кодирование
Программное обеспечение «АМУР» обеспечивает высокую отказоустойчивость за счёт настраиваемых политик восстанавливающего кодирования для активного и холодного классов. Это позволяет оптимизировать развертывание под требования к ёмкости, производительности, доступности и долговечности.
Для холодного хранения используется подход, который обеспечивает высокую эффективность хранения при низких накладных расходах. Объекты в классе холодного хранения получают повышенную эффективность по сравнению с репликацией или хранением двух копий, а также высокую долговечность данных.
Динамическое размещение данных DDP
Динамическое размещение данных DDP отвечает за интеллектуальное кодирование данных и равномерное распределение объектов по доступным ресурсам хранения в соответствии с заданными политиками. DDP предотвращает появление «горячих точек» и помогает устранять аппаратные сбои.
DDP также позволяет расширять ресурсы без сложной перебалансировки, характерной для статических политик других систем. Благодаря этому масштабирование «АМУР» происходит плавно и не мешает работе пользователей и приложений.
Динамическое восстановление данных DDR
Динамическое восстановление данных DDR выполняет непрерывный мониторинг системы, проверку целостности данных, прогнозирование сбоев и самовосстановление. Этот процесс обеспечивает долговечность объектов и помогает поддерживать стабильную работу хранилища даже при отказах компонентов.
Службы передачи данных
| Совместимость с S3 Standard, S3 Glacier и NFS | поддержка интерфейса API для интеграции приложений и рабочих процессов; возможность подключения томов файловой системы через NFS для доступа к файловым данным |
| Квоты учётных записей | гибкая установка и регулирование использования ресурсов с помощью жёстких или мягких ограничений для учётных записей, контейнеров объектов и томов NFS |
| Политики жизненного цикла объектов | автоматическое архивирование данных и переход объектов из активного класса в холодный без дополнительных расходов на хранение, доступ или восстановление |
| Сильная согласованность | предоставление точных данных без ущерба для производительности отдельного узла или развертывания 3GEO |
| Управление версиями объектов | сохранение версий объектов для быстрого восстановления данных после вредоносных действий, случайного удаления или изменений |
| Уведомления об объектах | запуск процессов с помощью кластеров Kafka и построение сквозных конвейеров данных для аналитики, интернета вещей, мобильных приложений и медиа |
| Оптимизация больших и малых объектов | политики производительности для больших объектов и политики для малых объектов, ориентированные на снижение задержек при хранении и извлечении большого количества мелких объектов |
Доступность и защита данных
| Шифрование «на лету» и в режиме ожидания | использование SSL/TLS для передачи данных и AES-256 для шифрования объектов в режиме ожидания |
| Неизменяемая блокировка объектов | защита от удаления и поддержка сценариев хранения с однократной записью и многократным чтением WORM |
| Развертывание на одном узле | защита от сбоев компонентов за счёт распределения метаданных, данных и контроля чётности по вычислительным ресурсам и хранилищам в кластере |
| Непрерывная доступность благодаря 3GEO | автоматическое восстановление объектов во всех трёх местах и продолжение обслуживания запросов даже при отключении центра обработки данных |
| Развертывание 2GEO и облачная репликация | асинхронная репликация контейнеров между кластерами «АМУР» или общедоступными облачными сервисами для защиты данных, резервного копирования и аварийного восстановления |
Унифицированное управление
| Веб-интерфейс, CLI и API | управление учётными записями, пользователями, ключами доступа, работоспособностью, ёмкостью, производительностью, отчётами, журналами, уведомлениями и расширениями |
| Prometheus и Grafana | поддержка локальных и глобальных показателей, экспорт метрик в Prometheus и просмотр с помощью инструментов визуализации Grafana |
| Интеллектуальный облачный мониторинг вычислений | облачный инструмент для телеметрии системы, отчётов, управления, просмотра исторических тенденций, моделирования мощностей и прогнозирования |
Программное обеспечение
| Операционная система | АМУР OS 7.x |
| Классы хранения | активный, совместимость с S3 Standard; холодный, совместимость с S3 Glacier |
| Протоколы доступа | RESTful S3, NFS v3 |
| Интерфейсы управления | консоль управления системой в режиме реального времени АМУР.ПЕРСПЕКТИВА, интерфейс командной строки, RESTful API, АМУР.МОНИТОРИНГ |
| Системная аналитика | облачная аналитика, мониторинг и оповещение Prometheus, экспорт в Grafana |
| Безопасность | шифрование данных «на лету» по протоколу SSL/TLS и шифрование данных в режиме ожидания с использованием AES-256 |
| Службы управления | учётные записи пользователей, аутентификация, управление учётными данными, квоты, служба уведомлений, управление активным и холодным классами хранения, политики жизненного цикла |
| Защита данных | сильная и мгновенная согласованность, расширенный восстанавливающий код, динамическое размещение данных, управление версиями, блокировка объектов, 3GEO распределение по географическим зонам, репликация |
| Долговечность данных | до 19 девяток для активного и холодного хранения |
| Обновления HW/SW/FW | непрерывная модернизация и плавное расширение системы |
Портфолио платформ объектных хранилищ «АМУР»
- АМУР S3
- АМУР X
- АМУР Z
- АМУР.ЛЕДНИК — класс холодного хранения для архивов и резервных копий
Характеристики платформ «АМУР»
| Характеристика | P100E3 | P200 | X200 | Z200 |
| Минимальное / максимальное количество узлов | 1 трёхузловой модуль / 2 трёхузловых модуля | 3 узла, 3U / без ограничений | 4 узла, сдвоенные серверы, 8U / без ограничений | 3 узла, 3U / без ограничений |
| Минимальная / максимальная ёмкость неформатированного диска, ТБ | 504, 36 x 14 ТБ / 1008, 72 x 14 ТБ | 648, 36 x 18 ТБ HDD / без ограничений | 1080, 60 x 18 ТБ HDD / без ограничений | 460,8, 30 x 15,36 ТБ SSD / без ограничений |
| Минимальная / максимальная лицензированная ёмкость активного хранения S3 Standard, ТБ | 100 / 779 | 100 / без ограничений | 100 / без ограничений | 100 / без ограничений |
| Минимальная / максимальная ёмкость холодного хранения S3 Glacier | — | 1 ПБ опционально / без ограничений | 1 ПБ опционально / без ограничений | 1 ПБ опционально / без ограничений |
| Минимальное / максимальное количество клиентских подключений, Гб | 6 x 10 / 12 x 10 | 6 x 10/25 / без ограничений | 8 x 10/25 / без ограничений | 6 x 10/25 / без ограничений |
| Максимальное количество объектов для минимальной / максимальной конфигураций | 235 млн, 3 узла / 470 млн, 6 узлов | 1,25 млрд, 3 узла / без ограничений | 5 млрд, 4 узла / без ограничений | 50 млрд, 3 узла / без ограничений |
| Максимальный размер многокомпонентного объекта | 50 ТБ | 50 ТБ | 50 ТБ | 50 ТБ |
Активные серверные узлы масштабирования
| Характеристика | P100E3 | P200 | X200 | Z200 |
| Типоразмер | 3 x 1U12 | 1U12 | 4U90, сдвоенный сервер | 1U10 |
| Приводы | 14 ТБ HDD | 18, 22, 24 ТБ HDD | 18, 22, 24 ТБ HDD | 15,36 ТБ NVMe SSD |
| Клиентские подключения | 6 x 10 Гб на модуль | 2 x 10/25 Гб | 4 x 10/25 Гб | 2 x 10/25 Гб |
| Ширина, см | 44,82 | 44,7 | 44,9 | 43,7 |
| Высота, см | 13,2 | 4,3 | 17,7 | 4,3 |
| Глубина, см | 88,1 | 94 | 109,1 | 59,7 |
| Вес конфигурации, кг | 96 | 27,2 | 130 | 13,02 |
| Потребляемая мощность стандартная / максимальная, кВт | 0,69 / 0,76 | 0,35 / 0,43 | 1,93 / 2,5 | 0,46 / 0,54 |
| Источники питания переменного тока, В | 210–240 | 210–240 | 210–240 | 210–240 |
Объектное хранилище «АМУР.ЛЕДНИК»
«АМУР.ЛЕДНИК» — класс холодного хранения для создания массивных озёр данных, облаков и архивов. Он предназначен для долгосрочного архивирования и резервного копирования, а также для экономичного хранения редко используемых данных.
- Экономия средств на хранение до 80%.
- Назначение — долгосрочные архивы и резервные копии.
- Извлечение данных занимает минуты, а не часы.
- Поддержка двумерного восстанавливающего кодирования.
- Высокая эффективность хранения при низких накладных расходах.
- Защита от сбоев компонентов и узлов.
Программно-определяемое управление объектом на ленте
- Высокая производительность размещения в промежуточной области диска.
- Высокопроизводительное восстановление с единичного прочтения ленты.
- Масштабируемая ленточная архитектура RAIL.
- Ускоренное восстановление объектов по необходимости.
Итог
Объектные хранилища «АМУР» подходят организациям, которым требуется единая масштабируемая платформа для активных и холодных данных. Решение объединяет S3-совместимость, долгосрочное хранение, защиту данных, репликацию, управление жизненным циклом и гибкое масштабирование до крупных корпоративных и петабайтных инфраструктур.
