О решении Panasas ActiveStor

Предприятия, работающие над передовыми проблемами и занимающиеся сложными высокопроизводительными вычислениями (HPC) должны быстро добиваться результатов и создавать новые продукты.

Они стремятся сократить время получения результата и не могут позволить себе ждать, пока хранилища догонят по скорости работы системы интенсивных вычислений и приложения, чувствительные к скорости передачи данных.

Решение Panasas ActiveStor разработано для простоты и безграничной производительности.

Совершенствуя это решение, Panasas использовали свой 20-летний опыт работы с файловыми системами, а также новейшие разработки, включая переход на Linux, широкий выбор скоростей сетевого подключения, новейшие аппаратные технологии, соответствующие отраслевым стандартам.

С этим быстрым и простым решением вы можете забыть о проблемах хранения и сосредоточиться на том, что действительно важно: создание нового Dreamliner, победа в гонке Формулы-1, разработка потрясающих визуальных эффектов, лечение болезней или моделирование изменения климата.

Высокая скорость

Решение Panasas ActiveStor использует горизонтально-масштабируемую архитектуру, позволяющую увеличивать объем хранилища, объем кэша DRAM и пропускную способность сети постепенно и линейно путем добавления новых корпусов ActiveStor.

Данные передаются с узлов хранения в приложение параллельно, за счет чего увеличивается пропускная способность для каждого файла, а не только совокупная пропускная способность.

Данные передаются напрямую из узлов хранения в приложение без каких-либо проходов через промежуточные серверы или дополнительные сетевые ресурсы.

Простота

Масштабируемое решение ActiveStor Panasas — это единый объект, которым вы управляете из графического пользовательского интерфейса (GUI) или интерфейса командной строки (CLI), независимо от того, сколько корпусов ActiveStor интегрировано. Развертывание массива ActiveStor займет всего пару часов. Просто установите его, подключите к розетке, включите, ответьте на несколько вопросов, и он готов к работе.

Даже в самых крупных развертываниях Panasas все данные находятся в едином пространстве имен, с единым графическим интерфейсом управления и интерфейсом командной строки, обеспечивая передачу данных с очень высокой надежностью и доступностью. Возможно быстрое добавление дополнительных корпусов ActiveStor; каждый добавленный блок немедленно увеличивает емкость и производительность.

Решение Panasas ActiveStor осуществляет автоматическую балансировку емкости в корпусах ActiveStor, когда вы их добавляете или если они становятся несбалансированными; автоматически восстанавливает уровни защиты данных для всех файлов в случае сбоев; и непрерывно сканирует все файлы в фоновом режиме, чтобы устранить скрытые проблемы.

Гибкость

Архитектура Panasas позволяет масштабировать данные и метаданные независимо, она была специально разработана для адаптируемости и гибкости, для различных сценариев использования.

Решение Panasas ActiveStor автоматически адаптируется к динамически меняющимся рабочим нагрузкам и возрастающим требованиям. За счет отличной масштабируемости решение распределяет рабочую нагрузку, уменьшая негативное влияние горячих точек, а также позволяет просто наращивать емкость и производительность.

Семейства продуктов ActiveStor предлагает гибкие варианты конфигурации для каждого узла для удовлетворения конкретных потребностей рабочих нагрузок, как сейчас, так и в будущем. Решение позволяет сочетать различные поколения продуктов ActiveStor в едином пространстве имен.

Экономическая эффективность

Количество людей, необходимое для поддержания максимальной производительности системы хранения, также влияет на ее стоимость. При разработке системы мы стремились в том числе снизить сложность обслуживания, автоматизировать управление отказами и обеспечить поддержку смешанных рабочих нагрузок без необходимости настройки или перенастройки. На управление решением Panasas ActiveStor сотрудник потратит менее одного рабочего дня, независимо от того, насколько оно велико или высокопроизводительно.

Ключевые особенности архитектуры Panasas

Масштабируемое сетевое хранилище

Вы можете легко и постепенно наращивать единый пул хранилища Panasas с единым глобальным пространством имен, добавляя емкость и производительность по мере необходимости, данные при этом останутся доступными.

Все данные и метаданные в системе хранения Panasas хранятся в высокомасштабируемом проприетарном объектном хранилище с высокой степенью параллелизма. Программное обеспечение Panasas координирует работу объектного хранилища, обеспечивая семантику POSIX для локальной файловой системы через протокол Panasas DirectFlow, а также поддерживая стандартизованные протоколы NFS и SMB NAS.

Разделение данных и метаданных

Все виды операций с метаданными файловой системы полностью обособлены от массива пользовательских данных. Отдельные единицы метаданных обычно очень малы и изменяются независимо друг от друга. В работе с метаданными имеет значение производительность (количество операций в секунду). В отличие от них данные обычно занимаю гораздо больше места читаются или записываются последовательно, здесь большее значение имеет пропускная способность. Решение Panasas разделяет хранение и работу с метаданными и данными за счет компонентов, выделенных и оптимизированных для каждого типа: узлов управления и узлов хранения.

Прямая и параллельная передача данных

Решение Panasas распределяет каждый файл по разным подмножествам узлов хранения в своей архитектуре. Каждая клиентская система напрямую и параллельно подключается по сети ко всем узлам хранения, которые содержат требуемый файл, без необходимости проходить другие узлы в системе хранения.

Надежность, растущая по мере масштабирования

Panasas использует для защиты отдельных файлов программную технологию защиты Erasure code, распределенную по сети, вместо традиционного RAID-массива для защиты целых дисков. Поскольку каждый файл распределяется по узлам хранения, стирающий код генерируется и хранится на других узлах. Время восстановления традиционной группы RAID ограничено пропускной способностью на запись резервного диска, в то время как время восстановления недостающей части всех затронутых файлов в системе Panasas на других узлах хранения (параллельно) определяется общей пропускной способностью на запись кластера хранения. Это сокращение «времени воздействия» имеет решающее значение для повышения надежности данных и объясняет, как надежность увеличивается с увеличением масштаба.

Интеллектуальное гибридное хранение

Архитектура Panasas использует два типа носителей информации — флеш-накопители и жесткие диски. Небольшие файлы и метаданные файловой системы хранятся во флеш-памяти, а большие файлы — на жестких дисках. Полоса пропускания потоковой передачи жестких дисков делает их идеальными для хранения больших последовательных файловых данных, а высокая скорость операций ввода-вывода при случайном доступе у флеш-накопителей хорошо подходит для хранения небольших файлов и метаданных файловой системы, обеспечивая максимальное соотношение цены и производительности.

В HPC высокая производительность просто необходима. Стоимость системы хранения складывается как из затрат на приобретение, так и из текущих расходов на управление. Семейство продуктов ActiveStor — это гибридные системы, интеллектуально оптимизированные для высокопроизводительных вычислений.

Варианты развертывания Panasas ActiveStor

Распределенная кластерная файловая система Panasas PanFS работает на двух различных семействах аппаратных платформ ActiveStor. Они различаются узлами хранения, но оба семейства используют одни и те же узлы управления. Все они совместимы друг с другом.

Семейство Panasas ActiveStor Prime

СХД Panasas ActiveStor Prime включает узлы управления ActiveStor и узлы хранения ActiveStor Prime. От одного до четырех узлов управления ActiveStor помещаются в стандартный аппаратный корпус 2RU. Каждый узел имеет мощный процессор, значительный объем памяти DRAM и пару высокоскоростных резервных портов Ethernet для подключения к клиентским системам и другим узлам управления и хранения. Поддерживается технология NVDIMM для хранения данных и метаданных с защитой от отключения электропитания вместо использования источника бесперебойного питания (ИБП).

Одиннадцать узлов хранения ActiveStor Prime размещаются в корпусе высотой 4RU. Каждый узел представляет собой гибридное устройство с одним твердотельным накопителем SATA для хранения метаданных и небольших файлов, двумя жесткими дисками SATA для хранения больших файлов, процессором и парой резервных портов Ethernet для подключения к клиентским системам и другим узлам.

Каждый корпус ActiveStor Prime включает в себя внутренний ИБП, который позволяет программному обеспечению, работающему на узлах хранения в этом корпусе, обрабатывать их емкость DRAM как защищенный от перебоев электропитания кэш для записываемых данных и метаданных.

Семейство Panasas ActiveStor Ultra

Системы хранения Panasas ActiveStor Ultra включает узлы управления ActiveStor и узлы хранения ActiveStor Ultra.

От одного до четырех узлов управления ActiveStor можно разместить в стандартном аппаратном корпусе 2RU. Каждый узел имеет мощный процессор, значительный объем DRAM и пару высокоскоростных резервных портов Ethernet для подключения к клиентским системам и другим узлам директора и хранилища. Он также включает технологию NVDIMM для хранения данных с защитой от отключения электропитания вместо использования источника бесперебойного питания (ИБП).

Узлы хранения ActiveStor Ultra обладают большей емкостью и большей пропускной способностью, чем узлы хранения ActiveStor Prime. Четыре узла хранения ActiveStor Ultra помещаются в стандартный аппаратный корпус высотой 4RU. Каждое из них представляет собой гибридное устройство с твердотельным накопителем NVMe для хранения метаданных, до двух твердотельных накопителей SSD SATA для хранения небольших файлов, от шести до восьми жестких дисков SATA для хранения больших файлов, процессором и парой высокопроизводительных резервных портов Ethernet для подключения к клиентским системам и другим узлам директора и хранилища. Он также включает технологию NVDIMM для хранения данных и метаданных с защитой от отключения питания вместо использования ИБП.

Заключение

Архитектура Panasas ActiveStor, работающая под управлением операционной системы хранения PanFS, преодолевает ограничения производительности, характерные для традиционных масштабируемых решений NAS. Это комплексное решение обеспечивает высокопроизводительный прямой параллельный доступ к терабайтам и петабайтам данных, позволяя избежать при этом проблем с надежностью, возникающих по мере масштабирования в устаревших системах NAS.

Высокая производительность

Протокол Panasas DirectFlow соответствует самым высоким требованиям к передаче данных, сокращая время получения результатов за счет предоставления клиентам прямой доступ для параллельного ввода-вывода данных на несколько узлов хранения.

Стабильная производительность для смешанных рабочих нагрузок

Производительность ввода-вывода архитектуры Panasas ActiveStor остается стабильной для большого количества одновременно выполняемых приложений, даже когда они читают и записывают и большие и малые наборы неструктурированных данных.

Линейная масштабируемость для больших наборов неструктурированных данных

С помощью решения Panasas вы можете легко и плавно масштабировать производительность и емкость вашего хранилища. При увеличении числа корпусов ActiveStor с 10 до 100 или даже до 1000 увеличится производительность и емкость вырастут пропорционально, обеспечивая практически идеальное линейное масштабирование.

Надежность и доступность корпоративного уровня

Надежность и доступность данных увеличиваются по мере расширения решения ActiveStor. ПО Panasas с распределенным стирающим кодом для каждого файла обнаруживает и исправляет проблемы при выходе из строя диска или целого узла хранения.

Простота управления, низкие затраты

Решение Panasas ActiveStor — это полностью интегрированная горизонтально масштабируемая система NAS с единой точкой управления. Оно обеспечивает сервисы корпоративного уровня, которые вы ожидаете получить от системы NAS, и оптимизировано для высокопроизводительных рабочих нагрузок коммерческого рынка.

Сочетая высокую производительность с простотой использования, Panasas снижает сложность хранения в вашем центре обработки данных за счет консолидации множества различных рабочих нагрузок, связанных с неструктурированными данными в одном горизонтально масштабируемом решении ActiveStor.

Распределенная файловая система Panasas PanFS

Распределенная кластерная параллельная файловая система Panasas PanFS поддерживает горизонтально масштабируемое сетевое хранилище Panasas ActiveStor. Она разработана для обеспечения высокой производительности, надежности и управляемости. 

Файловая система сочетает в себе функции распределенной и кластерной файловой системы, поддерживает технологию масштабируемой защиты данных Erasure code, а также алгоритмы интеллектуального управления и восстановления после сбоев. В результате получается высокопроизводительная система хранения, которая обслуживает до сотен гигабайт данных в секунду из единого пространства имен, надежность которой увеличивается по мере масштабирования.

Протокол Panasas DirectFlow обеспечивает высочайшую производительность доступа к решению ActiveStor, в то время как традиционные протоколы NFS и SMB могут обеспечивать доступ к одному и тому же пространству имен через стандартные протоколы, уже встроенные в каждую клиентскую систему.

Узлы хранения и управления

Файловая система PanFS работает на узлах управления, которые обрабатывают метаданные (информацию о файлах), и узлах хранения, которые обрабатывают сами данные (файлы). Узлы управления и узлы хранения взаимодействуют друг с другом. Уникальное свойство операционной среды PanFS состоит в том, что она надежно и прозрачно обрабатывает сложные задачи на очень высокой скорости.

Серверная часть горизонтально масштабируемого объектного хранилища

Все данные и метаданные в решении ActiveStor хранятся в высокомасштабируемом проприетарном объектном хранилище с высокой степенью параллелизма, которым управляет операционная система PanFS. Платформа PanFS координирует работу объектного хранилища, чтобы обеспечить ту же семантику и поведение, что и в традиционной локальной файловой системе.

Масштабируемость достигается за счет увеличения количества узлов хранения ActiveStor в объектном хранилище, каждый из узлов увеличивает емкость, производительность и пропускную способность сети.

Вы можете настраивать соотношение количества узлов управления и узлов хранения в соответствии с потребностями конкретных рабочих нагрузок и приложений, внося изменения без прерывания работы.

Объекты POSIX

Объектно-ориентированная структура данных — один из ключевых принципов в основе архитектуры Panasas. Файлы в среде PanFS хранятся внутри объектов. Технология стирающего кода (Erasure code) защищает каждый файл отдельно, разбивая его на набор компонентных объектов, вместо отношения «один объект на один файл».

Система PanFS хранит карту для каждого файла, которая позволяет идентифицировать набор компонентных объектов, а также параметры чередования для этого файла, реплицируя карту по компонентным объектам каждого файла. Метаданные файловой системы и каталоги также размещаются внутри объектов и хранятся в объектном хранилище.

Протокол DirectFlow — это собственный высокопроизводительный метод доступа к объектному хранилищу. Клиенты взаимодействуют с узлами управления с помощью протокола DirectFlow для получения прав доступа и информации о местоположении компонентных объектов для каждого файла (например, карты). После этого клиенты используют протокол DirectFlow для параллельного чтения и записи компонентных объектов непосредственно на нескольких узлах хранения.

Во время этого процесса узлы управления манипулируют компонентными объектами в объектном хранилище, таким образом, чтобы клиентским системам казалось, что они обращаются к файловой системе, совместимой с интерфейсом POSIX.

Тома в пространстве имен

Администраторы хранилища могут легко создать несколько томов, если им нужны разные административные области глобального пространства имен PanFS.

Тома — это обычная иерархическая структура каталогов и файлов, которые совместно используют общий пул емкости хранения в системе PanFS и отображаются как каталоги верхнего уровня в глобальном пространстве имен PanFS; они разделяют пространство имен на области, которые могут иметь различные административные элементы управления. Например, вы можете определить пользовательские квоты емкости, уникальные для каждого тома или делать моментальные снимки для каждого тома.

Поддерживаются схемы многопользовательской аутентификации для управления разрешениями для бесшовной интеграции в среды Linux, macOS и Windows.

Каждый том имеет набор связанных с ним процессов управления, которые обеспечивают работу тома. Диспетчеры томов распределены по доступным узлам управления, что позволяет масштабировать общую производительность обработки метаданных по мере необходимости.

Медиахранилище

Архитектура Panasas использует два типа носителей: твердотельные накопители (SSD, флэш-память) и традиционные жесткие диски (HDD). Система размещает небольшие файлы и метаданные файловой системы на твердотельных накопителях, а большие файлы — на жестких дисках. Полоса пропускания потоковой передачи жестких дисков делает их идеальным вариантом для хранения больших последовательных файловых данных; а высокая скорость случайного доступа (операций ввода/вывода в секунду, IOPS) твердотельных накопителей хорошо подходит для хранения небольших файлов и метаданных файловой системы, обеспечивая лучшее соотношение цены и производительности.

Файловая система PanFS может портироваться на стандартные аппаратные платформы, что повышает ее экономическую эффективность на рынке оборудования, а также соответствует последним тенденциям развития технологий. Простота управления решением Panasas ActiveStor сокращает количество человеко-часов, необходимых для поддержания работы вашего хранилища; и вам не нужно настраивать заново систему PanFS для адаптации к меняющейся среде. Как правило, для обслуживания требуется только один администратор, независимо от размера вашего решения Panasas ActiveStor.

Защита данных Panasas PanFS

В архитектуре PanFS реализовано несколько уровней расширенной масштабируемой защиты ваших данных, в результате чего система обеспечивает одновременно высокую доступность и высокую устойчивость к сбоям, при сохранении высокой производительности.

Технология защиты Erasure code

При увеличении общей емкости хранения NAS, количество отказов дисков может возрастать просто потому, что дисков в системе больше. Panasas решает эту проблему с помощью расширенной, распределенной на каждый файл защиты Erasure code. Стирающий код N + 2 применяется по мере распределения данных каждого файла по узлам хранения в кластере и корректирует до двух отказов одновременно, будь то отдельный привод или весь узел.

Традиционные аппаратные или программные архитектуры RAID воспроизводят весь физический диск на другом физическом диск. Восстановление диска ограничено пропускной способностью на запись на резервный диск, при этом перезаписывается весь резервный диск, даже если отказавший диск не заполнен до конца. Решение Panasas восстанавливает только те файлы, на которые повлиял сбой; система восстанавливает их в свободном пространстве, распределенном по всему кластеру хранения, а не на выделенном или незадествованном диске «горячего резерва». Поскольку система использует весь кластер для восстановления любых затронутых файлов, она может восстанавливаться после сбоев гораздо быстрее, чем традиционные архитектуры RAID.

Надежность, возрастающая с увеличением масштаба

Традиционные продукты хранения, базирующиеся на физических группах RAID, реализованные программно или аппаратно, используют стратегию защиты данных, основанную на использовании нескольких групп дисков и алгоритме, который может восстанавливать данные после отказа одного или двух дисков в каждой группе. Эти группы обычно довольно малы, порядка 12–24 дисков, и имеют фиксированный размер. При любых сбоях RAID-контроллер извлечет неиспользуемый диск из пула горячего резерва и запустит алгоритм для заполнения этого нового диска данными, хранившимися на аварийном диске.

У этого подхода есть несколько важных и потенциально ухудшающих производительность последствий:

• Восстановление группы RAID может происходить настолько быстро, насколько быстро новый диск может принимать данные.
• Пропускная способность на запись не растет пропорционально емкости диска, если вообще растет.
• Вероятность отказа диска в группе RAID, которая после выхода диска из строя, зависит от того, сколько времени потребуется для восстановления первого диска. Другими словами, чем больше времени длится восстановление, тем выше вероятность «двойного отказа» и потери данных.
• Вы платите за пул дисков с горячим резервом, которые не способствуют повышению производительности или емкости.

Использование в архитектуре RAID означает, что общая надежность снижается по мере увеличения масштаба. Файловая система PanFS в свою очередь предназначена для повышения надежности хранения данных по мере увеличения масштаба (и производительности). Одним из важнейших факторов, определяющих это, является параллельная реконструкция. Система PanFS восстанавливает файлы, а не диски. А поскольку файлы распределяются по разным подмножествам всех узлов хранения, вы можете восстанавливать все файлы, затронутые отказом, параллельно, используя пропускную способность всех узлов хранения одновременно.

Все узлы управления в системе взаимодействуют между собой для одновременного считывания частей каждого файла из узлов хранения, восстановления недостающей части и записи восстановленной части каждого файла в другие узлы хранения.

Восстановление в PanFS не ограничивается пропускной способностью отдельного диска. Производительность восстановления масштабируется так же, как и производительность доступа к данным; и по мере того, как в систему добавляется больше узлов управления, производительность восстановления увеличивается линейно.

Более короткое время восстановления значительно сокращает окно уязвимости, когда файл защищен не полностью.

Непрерывная проверка данных

Каждый файл проверяется отдельно и непрерывно в фоновом режиме, чтобы гарантировать согласованность всей информации о защищенности данных. Если, например, стирающий код не соответствует данным, система PanFS исправит его с помощью восстановления на уровне файлов. Процедура проверки данных выявляет скрытые сбои на ранних этапах, поэтому их можно исправить задолго до того, как возникнет риск потери данных.

Повышенная доступность файловой системы

В дополнение к технологии Erasing Code система PanFS обеспечивает еще один уровень защиты файловых данных, называемый технологией EFSA для пространства имен: иерархия каталогов и имен файлов.

В крайне маловероятном случае возникновения ошибок, при которых защита Erasing Code не может помочь, например, при отказе трех или более узлов хранения одновременно, система PanFS все равно определит, какие файлы были затронуты и изолирует их, предотвращая случайный доступ.

Этот дополнительный уровень защиты с помощью иерархии каталогов и имен файлов позволяет администраторам получить полные пути к затронутым файлам. Это обеспечивает пользователям непрерывный доступ ко всем файлам, не затронутым сбоем (как правило, к подавляющему большинству файлов пользователей), в то время как минимальное количество поврежденных файлов помечается как подлежащие восстановлению из резервной копии или другого источника.

PanFS Software Architecture

Архитектура PanFS складывается из следующих функциональных блоков:

• PanActive Manager — интерфейс командной строки, простой протокол управления сетью (SNMP) и интерфейсы управления XML.
• Протокол DirectFlow — собственный высокопроизводительный протокол с поддержкой когерентности кэша для доступа к файлам для Linux и macOS.
• Протокол NFS — стандартный протокол NFSv3 для Linux, macOS и др.
• Протокол SMB — стандартный протокол SMBv3.1 для Windows и macOS
• Службы шлюза управления — поддержка доступа к файлам и данным, хранящимся в системе PanFS, через реализацию вышестоящих протоколов.
• Службы управления кластером — отслеживание, какие узлы, которые в текущий момент исправны и имеют «кворум», а какие нет; действия по восстановлению при выходе из строя узлов, изменении конфигурации и т. д.
• Параллельная файловая система — Координация работы объектных устройств хранения и обработка метаданных.
• Файловая система устройства хранения объектов (OSDFS) — хранение и извлечение данных с дисков от имени клиентских систем.
• Масштабируемые службы метаданных — поддержка когернетности кэша и обработка метаданных файлов.

Panasas PanFS - ПО узла управления

Узлы управления образуют «плоскость управления» архитектуры Panasas, обеспечивая управление метаданными, пользовательские данные на них не хранятся. Каждый управляющий узел имеет процессор, оперативную память и несколько портов Ethernet с высокой пропускной способностью; на нем запускается образ программного обеспечения, разработанного Panasas, который содержит процессы управления и интерфейса для многих различных аспектов всей системы хранения.

Узлы управления следят за работоспособностью и «членством в кворуме» всех узлов хранилища (независимо от того, работают они или нет, входят ли в кластер Panasas или нет). Они управляют пространством имен (именами файлов и иерархией каталогов), распределением и согласованностью пользовательских данных на узлах хранения, а также действиями по восстановлению после сбоев (очисткой и восстановлением данных), на них размещен графический интерфейс, который позволяет работать со всем кластером хранения как с единым целым.

Узлы управления также обеспечивают функциональность «шлюза», осуществляя согласование между собственным протоколом Panasas DirectFlow архитектуры Panasas и стандартными протоколами хранения NFS и SMB.

Функционирование узлов управления не пересекается с пользовательскими данными. При согласовании протоколов пользовательские данные в файлах не проходят через узел управления.

Масштабируемые службы метаданных

Службы метаданных PanFS охватывают всю семантику файловой системы. Они контролируют операции распределенной файловой системы, такие как согласованность метаданных на уровне файлов и объектов, согласованность клиентского кэша, возможность восстановления после прерываний клиентского ввода-вывода, операции распределения узлов хранения и безопасный многопользовательский доступ к файлам.

POSIX требует, чтобы каждое изменение иерархии каталогов или метаданных файла было атомарным. Узлы управления поддерживают журнал транзакций для обеспечения атомарности. Устойчивость журнала к ошибкам основана на синхронной репликации каждого локального журнала транзакций на другой узел управления, который, помимо других функций, является назначенным «резервным узлом» для данного узла управления. Связи с резервными узлами назначаются и переназначаются автоматически.

Файловый менеджер

Файловый менеджер отвечает за все действия, связанные с поведением файлов и каталогов в соответствии с POSIX. Он напрямую обеспечивает каталоги и имена файлов по стандарту POSIX, используя компонентные объекты для их хранения, предоставляет и запрещает доступ к файлам на основе учетных данных пользователя, получает учетные данные для пользователя из соответствующих служб (LDAP или Active Directory) и сравнивает эти учетные данные со списком управления доступом (ACL), связанным с конкретным файлом. Файловый менеджер напрямую управляет компонентными объектами, из которых состоят файлы, для имитации поведения файлов POSIX, создавая, например, пустые компонентные объекты при создании файла и удаляя компонентные объекты при удалении файла.

Он управляет согласованностью кэша в клиентских системах, динамически предоставляя и отменяя право доступа к области байтового диапазона компонентного объекта, отдельно контролируя права на чтение и запись. Он также контролирует, может ли каждый клиент кэшировать области, к которым ему был предоставлен доступ.

Менеджер хранилища

Менеджер хранилища отвечает за управление компонентными объектами. Он решает, на каком узле хранения должен размещаться каждый компонентный объект, и поддерживает «карты», показывающие, какие компонентные объекты являются частью групп стирающего кода (т.е. файлов). Он «реконструирует» все недостающие компонентные объекты в случае отказа узла хранения. Менеджер хранилища использует все карты, чтобы узнать, какие из объектов отсутствуют, а какие необходимо использовать как часть групп стирающего кода для восстановления недостающих компонентных объектов. Он также определяет, на каких узлах хранения будут размещаться создаваемые им новые компонентные объекты.

Это гарантирует, что все узлы хранения будут сбалансированы по емкости и будут перемещать компонентные объекты будут перемещаться, если это необходимо (т.н. «автоматическая балансировка емкости»).

Шлюзы протоколов NFS и SMB

Помимо внутреннего протокола DirectFlow, решение PanFS обеспечивает масштабируемый доступ для клиентских систем через стандартные протоколы NFSv3 или SMB. Шлюзы, работающие на узлах управления позволяют интегрировать систему PanFS в гетерогенные среды, включающие в себя клиенты Linux, macOS и Windows.

Используя протокол SMB, вы можете легко работать с файлами, созданными в среде Microsoft Windows, macOS или Linux. Доступны различные варианты управления аутентификацией пользователей, включая Active Directory и LDAP. PanFS предоставляет администраторам возможность сопоставлять идентификаторы безопасности Windows (SID) с идентификаторами пользователей Linux, чтобы квоты хранилища можно было одновременно применять к учетным записям Windows, macOS и Linux данного пользователя.

Службы управления кластером

Каждая система хранения ActiveStor представляет собой кластер узлов хранения и управления, называемый областью. На каждом узле области работает общая служба управления кластером PanFS, дополненная службами, которые обеспечивают мониторинг оборудования, управление конфигурацией узла и управление службами, работающими непосредственно на узле.

Вы выбираете произвольное подмножество из трех или более узлов управления в области, чтобы они стали частью «набора реплик» — узлов управления, на которых будет размещена реплицированная копия глобальной базы данных конфигурации.

Узлы управления в репозитории выбирают один из узлов «президентом области».

Президент запускает службу управления кластером для области. Этот процесс позволяет избежать так называемых условий «Split-Brain», которые обычно встречаются в других горизонтально масштабируемых архитектурах хранения, и являются причиной того, что для нормальной работы требуется как минимум три узла управления в области.

Президент области отвечает за модификации глобальной конфигурации системы для определения, какие службы запускаются на каких узлах области, за обнаружение отказов узлов кластера и реагирование на них, а также за обработку обновлений программного обеспечения.

Администраторы Panasas PanActive Manager Storage взаимодействуют с системой PanFS через Panasas PanActive Manager, инструмент, обладающий интуитивно понятным веб-интерфейсом и интерфейсом командной строки в соответствии с отраслевыми стандартами. PanActive Manager позволяет администраторам хранилищ управлять кластером корпусов ActiveStor как единым целым независимо от масштаба, обеспечивая единую точку управления хранилищем для всего пространства имен.

PanActive Manager автоматизирует ключевые операции, такие как обнаружение новых хранилищ, балансировка нагрузки для оптимизации производительности, а также службы данных, такие как создание отчетов, моментальные снимки и соблюдение пользовательских квот. Также поддерживается стандартный протокол SNMP.

Panasas PanFS программное обеспечение узлов хранения

На узлах хранения размещаются все пользовательские данные и метаданные файловой системы хранилища Panasas, они составляют «плоскость данных» в рамках архитектуры. Узлы хранения запускают образ программного обеспечения, разработанный компанией Panasas, которое называется OSDFS. Оно взаимодействует с остальной частью архитектуры Panasas, в том числе напрямую с клиентскими системами, и хранит данные и метаданные клиента на SSD-накопителях и жестких дисках. Система PanFS распределяет файлы по узлам хранения, создавая независимые компонентные объекты для каждой части каждого файла и распределяя их по разным подмножествам узлов хранения

Файловая система объектного хранилища

Panasas поддерживает две разные версии OSDFS. Версия 2 работает на семействе продуктов ActiveStor Prime, а версия 4 работает на семействе продуктов ActiveStor Ultra. См. Раздел «Варианты развертывания Panasas ActiveStor» для получения дополнительной информации об этих двух семействах. Обе версии OSDFS выполняют одну и ту же роль в архитектуре Panasas, но каждая оптимизирована для аппаратной платформы, на которой работает.

Для обеспечения максимальной производительности OSDFS включает расширенные возможности кэширования и интеллектуальное размещение объектных данных на доступных SSD-накопителях и жестких дисках.

В дополнение к чтению кэша для улучшения поиска данных OSDFS кэширует вновь записанные данные в энергозащищенной памяти DRAM или в энергонезависимых модулях памяти NVDIMM. Объединение вновь записанных данных в крупных последовательные области уменьшает фрагментацию данных, поэтому последующее чтение данных также будет последовательным.

OSDFS определяет лучшее физическое запоминающее устройство в узле хранения для каждого объекта в зависимости от его размера. Метаданные PanFS и пользовательские файлы размером менее 60 КБ размещаются на твердотельных накопителях узла хранения; все пользовательские данные размером более 60 КБ хранятся на жестких дисках узла хранения.

Разделение метаданных и данных

Решение Panasas обеспечивает расширенное разделение метаданных и данных на уровне файловой системы PanFS в OSDFS версии 4. По сути, все инструменты работы с метаданными файловой системы полностью отдельны от методов работы с массовыми пользовательскими данными. Элементы метаданных обычно очень маленькие и обычно изменяются независимо друг от друга. Это рабочая нагрузка, для которой важно количество операций ввода-вывода в секунду. Данные же обычно имеют большой или очень большой размер по сравнению с метаданными и чаще всего читаются или записываются в файл последовательно. Это рабочая нагрузка, для которой важнее большая пропускная способность.

OSDFS версии 4 поддерживает три различных метода хранения информации, каждый из которых оптимизирован для разных целей. Метаданные размещаются в базе, оптимизированной для небольших произвольных операций чтения/записи, они хранятся на SSD с энергонезависимой памятью (NVMe). Небольшие файлы хранятся в обычном виде в локальной файловой системе Linux, на твердотельных накопителях Serial ATA (SATA), а большие массивы данных — в локальной файловой системе Linux на жестких дисках SATA.

OSDFS версии 2 имеет внутреннюю структуру, больше похожую на обычную локальную файловую систему. Он хранит метаданные для объекта как часть этого объекта и разделяет хранение вынося все метаданные и небольшие файлы на SSD, а большие файлы на жесткие диски.

Метаданные на уровне файлов и на уровне блоков

Система PanFS поддерживает несколько различных типов метаданных о файлах, включая обычную, видимую пользователю информацию, например сведения о владельце, размере и времени модификации. Кроме того, он поддерживает карту для каждого файла, по которой клиентская система может найти набор компонентных объектов, составляющих файл.

Только программный стек OSDFS внутри каждого узла хранения содержит информацию, на каком SSD или жестком диске хранится каждый компонентный объект.

В традиционных системах NAS управление метаданными на уровне блоков часто занимает значительную часть доступных вычислительных ресурсов. Делегируя низкоуровневое управление дисками и оптимизацию размещения данных в режиме горизонтального масштабирования каждому узлу хранения, узлы управления PanFS выполняют на порядок меньше работы, чем диспетчеры эквивалентной сети хранения данных (SAN) или файловых систем NAS, которые должны отслеживать все блокировки на всех устройствах хранения и файлах в системе.

Программное обеспечение клиентской системы Panasas PanFS

Определяемые стандартами протоколы NAS, такие как NFS и SMB, не поддерживают параллельную передачу данных, напрямую взаимодействуя с массово-параллельными масштабируемыми хранилищами объектов. Поддержка NFS и SMB в системе PanFS служит ценной цели, соединяя клиентские системы, которые не принимают или не могут принять реализацию пользовательского протокола. Установка протокола Panasas DirectFlow в клиентской системе (Linux и macOS) дает значительные преимущества.

Протокол Panasas DirectFlow

Протокол параллельного доступа к данным Panasas DirectFlow позволяет избежать традиционных узких мест в производительности, позволяя клиентским системам напрямую обращаться к узлам хранения, на которых размещены файлы, без необходимости проходить через какой-либо другой узел в системе хранения.

Это обеспечивает более высокую производительность по сравнению со стандартными отраслевыми протоколами (NFS и SMB), а также добавляет поддержку когерентности кэша доступа к файлам между клиентскими системами, которые эти протоколы не поддерживают.

Реализация протокола DirectFlow в клиентской системе предоставляется в виде модуля файловой системы, который запускается внутри ядра операционной системы клиента. Он реализует стандартный интерфейс виртуальной файловой системы (VFS). Клиенты могут получить доступ к PanFS как к стандартной файловой системе POSIX так же, как к локальной файловой системе.

Стирающий код для каждого файла

Решение PanFS обеспечивает защиту данных стирающим кодом уровня N + 2 для каждого файла, который распределяется по узлам хранения в кластере. Это позволяет исправлять до двух одновременных сбоев, даже если это отдельные диски или целые узлы. Клиенты DirectFlow разделяют файлы между узлами хранения, создавая компонентные объекты для каждой части, и распределяя их по подмножеству узлов хранения.

При записи данные файла сначала разделяются на компонентные объекты, затем алгоритм стирающего кода применяется к этим частям, чтобы сгенерировать данные для защиты данных части файла. Данные, сгенерированные алгоритмом, рассматриваются как дополнительные части файла и сохраняются в дополнительных компонентных объектах. Все компонентные объекты записываются на соответствующие узлы хранения независимо и параллельно.

Точно так же происходит чтение: клиент извлекает данные из карты компонентных объектов файла узла управления, затем находит эти компонентные объекты непосредственно на узлах хранения параллельно и объединяет их в файл.