Программное обеспечение KumoScale™

Дезагрегированное управление хранением данных NVMe-oF™ для дата-центров

В программном обеспечении KumoScale™ реализована технология NVMe™ over Fabrics (NVMe-oF™). Благодаря чему продукт обеспечивает быструю, сетевую службу блочного хранения между инициирующим обмен данными устройством и целевым устройством через высокоскоростное сетевое подключение. Программное обеспечение выполняется на узле хранения, оснащенном SSD NVMe™, и реализует дезагрегирование хранилища. Программное обеспечение KumoScale поддерживает как RDMA, так и NVMe over TCP для сетевого транспорта и предоставляет общий кластерный пул хранения для обеспечения логического разделения по пространству имен NVMe на группу твердотельных накопителей. По сравнению с системой хранения данных с прямым подключением (DAS) возможности управления томами KumoScale обеспечивают большую гибкость для управления большим пулом хранения, состоящим из больших отдельных твердотельных накопителей.

Вариант использования

Типичное применение и вариант использования

  • Высокопроизводительный сервис хранения для облачных приложений
  • Служба постоянного хранения данных для OpenStack™ и Kubernetes®
  • Служба высокоскоростного блочного хранения для приложений высокопроизводительных вычислений и других научных приложений
  • Внутреннее хранилище для приложений AI/ML/DL

Программное обеспечение KumoScale™ должно работать с общедоступным программным обеспечением инициирующего обмен данными устройства NVMe-oF™, а также со стандартными твердотельными накопителями на базе NVMe. Запатентованный программный драйвер или аппаратное обеспечение не требуются.

Функция

Повышение эффективности использования хранилища и гибкости для управления объединенными в пул быстрыми твердотельными накопителями NVMe™

Емкость и производительность новейшего твердотельного накопителя PCIe® Gen 4 NVMe значительно выше, чем у PCIe Gen 3, и они намного больше, чем может потреблять один вычислительный узел. Совместное использование твердотельных накопителей для различных пользовательских приложений и серверов/виртуальных машин является насущной необходимостью. До появления и широкого распространения NVMe-oF™ сетевые хранилища были медленными и/или дорогими. С NVMe-oF™ это уже не так. Программное обеспечение KumoScale™ повышает эффективность использования хранилища за счет совместного использования SSD, разделения общего SSD по пространству имен NVMe и обеспечивает большую гибкость для предоставления необходимого объема емкости из пула с помощью программного обеспечения с производительностью NVMe™ SSD.

Поддерживает протоколы RDMA и NVMe over TCP

Программное обеспечение KumoScale поддерживает транспортные протоколы RDMA и TCP. Если вам необходима более быстрая служба хранения данных с низким значением задержки на базе ПО KumoScale, вам подойдет RoCEv2 (RDMA over Converged Ethenet). С другой стороны, если вы предпочитаете сетевую совместимость в уже имеющейся сети центра обработки данных, для программного обеспечения KumoScale можно использовать TCP/IP. Сетевую карту, проверенную с помощью последней версии программного обеспечения KumoScale, см. в HCL (Список совместимого оборудования).

Адаптация клиентской архитектуры инициализации и телеметрии

  • Для OpenStack® программное обеспечение KumoScale™ предоставляет драйвер OpenStack Cynder®, поддерживающий версию Wallaby и более поздние версии.
  • Для Kubernetes® контейнерные приложения подключаются к узлу хранения KumoScale™ с помощью драйвера KumoScale Container Storage Interface (CSI).
  • Для среды без операционной системы для автоматизации развертывания и выделения ресурсов хранения для вычислительных узлов можно использовать наборы сценариев Ansible™ или другие популярные инструменты автоматизации.
  • Для интеграции телеметрии программное обеспечение KumoScale™ предоставляет интерфейс для обеспечения обмена данными push/pull для уже имеющейся инфраструктуры телеметрии (показатели временных рядов) и регистрации (асинхронные события).

Защита данных и высокая доступность

Защита данных -Междоменная репликация данных (CDDR)-
Программное обеспечение KumoScale™ обеспечивает защиту данных с помощью технологии междоменной репликации данных (CDDR).  CDDR создает несколько копий логического тома поверх объединенных в пул твердотельных накопителей и сопоставляет их с узлами хранения, расположенными в различных доменах отказа. Репликация основана на инициирующем обмен данными устройстве, а реплика может быть размещена во 2-м или 3-м узле хранилища KumoScale™. Для репликации агент KumoScale запускается на инициирующем обмен данными устройстве для проверки доступности тома. Как только агент  обнаруживает сбой тома по какой-либо причине, том автоматически повторно подключается к реплицированному тому на другом узле хранения. После восстановления отказоустойчивого тома все данные автоматически перестраиваются в новый отказоустойчивый том.

Обеспечение высокой доступности
Узел хранения KumoScale™ поддерживает L3 BGP (протокол динамической маршрутизации), и при возникновении проблем с сетевым подключением сетевой путь автоматически перенаправляется на доступный сетевой путь на основе предопределенной таблицы оптимальной маршрутизации.

3.20 Выделение

Дополнительные варианты развертывания:
В дополнение к упрощенной установке программного обеспечения KumoScale на устройстве, версия 3.20 программного обеспечения KumoScale добавляет возможность развертывания на общедоступных коммерческих операционных системах. Для крупных центров обработки данных необходимо, чтобы инфраструктура хранения тесно взаимодействовала с различными подсистемами, такими как инициализация, мониторинг, телеметрия и сеть. «Управляемый режим» KumoScale максимально удобен для инженеров и администраторов безопасности в плане настройки, интеграции и управления средой ОС уровня хранения, в то время как «режим устройства» программного обеспечения KumoScale обеспечивает более простую установку и автоматизированное развертывание с меньшей сложностью развертывания для клиентов малых и средних предприятий, но имеет более ограниченные возможности конфигурирования ОС.

Поддержка NVIDIA GPUDirect® Storage:
В версии 3.20 добавлена поддержка NVIDIA GPUDirect Storage. GPUDirect Storage — это технология, представленная в графических процессорах NVIDIA Kepler™ и NVIDIA CUDA™ 5.0, которая обеспечивает прямой обмен данными между графическим процессором и сторонним одноранговым устройством с использованием стандартных функций PCI Express®. Примеры устройств сторонних производителей включают сетевые интерфейсы, устройства сбора видеоданных и адаптеры хранения. Программное обеспечение KumoScale выполняет роль адаптера хранилища для GPUDirect Storage.

Поддержка OpenID® Connect™:
В версии 3.20 добавлена поддержка стороннего OpenID Connect 1.0. OpenID Connect — это уровень идентификации поверх протокола OAuth 2.0, который позволяет клиентам проверять идентификаторы пользователей и сеансов на основе проверки подлинности, выполняемой сервером авторизации для разрешений учетной записи службы. Поддержка программного обеспечения KumoScale для OpenID Connect упрощает интеграцию системы безопасности в среды центров обработки данных CSP.

Архитектура

Архитектура системы центра обработки данных

Архитектура KumoScale™ Архитектура KumoScale™

Функции (модули)

1. Узел хранения KumoScale™
Сервер хранения с программным обеспечением KumoScale™

2. Маршрут передачи данных
Сетевой маршрут передачи данных для соединения серверного приложения с хранилищем с помощью NVMe-oF

3. Канал управления
Сетевой канал управления для управления внутренними службами данных, предоставляемыми KumoScale.

4. Служба Provisioner
Выделите подходящую емкость хранилища и предоставьте предпочтительное качество обслуживания на узле хранения с помощью предопределенных параметров.

5. Драйвер CSI
Драйвер интерфейса контейнерного хранилища для KumoScale. Тесно связан с драйвером CSI.

6. База данных телеметрии
База данных для хранения разнообразной статистической информации на сервере и узле хранения KumoScale.

Требования к платформе

Программное обеспечение KumoScale™ было протестировано как на «голом железе», так и в развернутых средах OpenStack и Kubernetes® на широком спектре стандартных серверов. Можно использовать любое инициирующее обмен данными устройство, совместимое с NVMe-oF™, включая ядро Linux® вер. 4.8 или более поздней версии. Ниже показана поддерживаемая платформа.

Компоненты

Минимальные требования

Память

64 ГБ DDR4

Системный диск

2 x 128 ГБ SATA DOM

Сетевая карта

Сетевая интерфейсная карта MCX516A-CCAT или MCX545A-CCAN ConnectX-5 EN, 100 GbE с двумя/одним портом QSFP28, сетевая интерфейсная карта PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN, 100 GbE с двумя/одним портом QSFP28, Ethernet-контроллер PCIe®3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G

Электрическое питание

Двойной источник питания, с возможностью горячей замены

Интерфейс управления

Выделенный порт управления не является обязательным. KumoScale™ может использовать порт данных для управления трафиком или выделенный порт управления.

KumoScale™ Provisioner

KumoScale™ Provisioner не требует ни дополнительных серверов, ни контейнера.

Документы

В настоящем документе представлен обзор с описанием функций и преимуществ программного обеспечения KumoScale™, а также типичный пример использования и информация о среде для развертывания.

В этом документе обсуждается архитектура и развертывание междоменной репликации данных, которая обеспечивает защиту данных для KumoScale. CDDR от KumoScale реализует механизм защиты и автоматического самовосстановления при возникновении системных проблем.

В этом документе обсуждается преимущество в производительности программного обеспечения KumoScale™ в случае его работы в качестве целевого устройства  NVMe-oF™ по сравнению с ПО Ceph, обеспечивающим аналогичные функциональные возможности систем хранения в масштабе центра обработки данных.

В этом документе обсуждаются результаты тестирования производительности при работе KumoScale™ в качестве целевого устройства NVMe-oF™ с транспортом RDMA на серверной платформе PCIe® Gen 4 и SSD CM6. Результат производительности включает производительность одного SSD-накопителя, а также масштабируемость за счет увеличения количества SSD.

Запросы

Свяжитесь с нами, отправив форму запроса.

  •  Перед отправкой запроса внимательно прочитайте важные рекомендации и примите их, затем выберите "KumoScale" в выпадающем меню "Продукты" формы запроса.
  • : добавление задержки 15 мкс при чтении 4KB по сравнению с DAS. Измерения проведены компанией KIOXIA в июне 2020 г. с использованием указанного ею измерительного инструмента. 15 мкс — это разница в задержке чтения 4 КБ между DAS и конфигурацией хранилища NVMe-oF™ на одном и том же оборудовании.
  • NVMe и NVMe-oF являются зарегистрированными или незарегистрированными знаками NVM Express, Inc. в США и других странах.
  • PCIe является зарегистрированной торговой маркой PCI-SIG.
  • Kubernetes является зарегистрированной торговой маркой компании The Linux Foundation в США и/или других странах.
  • Ansible является зарегистрированным товарным знаком компании Red Hat, Inc. в США и других странах.
  • Linux является зарегистрированной торговой маркой компании Linus Torvalds в США и других странах.
  • Словесный знак OpenStack Word является зарегистрированным товарным знаком компании OpenStack Foundation в США и других странах и используется с разрешения этой компании. Наша компания не связана, не поддерживается и не спонсируется компанией OpenStack Foundation или сообществом OpenStack.
  • Prometheus является зарегистрированным товарным знаком компании The Linux Foundation.
  • Grafana и Loki являются товарными знаками или зарегистрированными товарными знаками компании Grafana Labs, Inc.
  • Все другие названия компаний, продуктов и услуг, упомянутые в данном документе, могут являться товарными знаками соответствующих компаний.