Please select your location and preferred language where available.
Программное обеспечение KumoScale™
- ВАЖНОЕ УВЕДОМЛЕНИЕ -
Благодарим вас за интерес к программному обеспечению KumoScaleη ("Продукт "). План по усовершенствованию после версии 3.22 отсутствует, поскольку для продукта теперь осуществляется только техническое обслуживание, и новые лицензии на оценку или производство не предоставляются. По любым вопросам обращайтесь к нам здесь.
Дезагрегированное управление хранением данных NVMe-oF™ для дата-центров
В программном обеспечении KumoScale™ реализована технология NVMe™ over Fabrics (NVMe-oF™). Благодаря чему продукт обеспечивает быструю, сетевую службу блочного хранения между инициирующим обмен данными устройством и целевым устройством через высокоскоростное сетевое подключение. Программное обеспечение выполняется на узле хранения, оснащенном SSD NVMe™, и реализует дезагрегирование хранилища. Программное обеспечение KumoScale поддерживает как RDMA, так и NVMe over TCP для сетевого транспорта и предоставляет общий кластерный пул хранения для обеспечения логического разделения по пространству имен NVMe на группу твердотельных накопителей. По сравнению с системой хранения данных с прямым подключением (DAS) возможности управления томами KumoScale обеспечивают большую гибкость для управления большим пулом хранения, состоящим из больших отдельных твердотельных накопителей.
-
27-07-2022
Вариант использования
Типичное применение и вариант использования
- Высокопроизводительный сервис хранения для облачных приложений
- Служба постоянного хранения данных для OpenStack™ и Kubernetes®
- Служба высокоскоростного блочного хранения для приложений высокопроизводительных вычислений и других научных приложений
- Внутреннее хранилище для приложений AI/ML/DL
Программное обеспечение KumoScale™ должно работать с общедоступным программным обеспечением инициирующего обмен данными устройства NVMe-oF™, а также со стандартными твердотельными накопителями на базе NVMe. Запатентованный программный драйвер или аппаратное обеспечение не требуются.
Функция
Повышение эффективности использования хранилища и гибкости для управления объединенными в пул быстрыми твердотельными накопителями NVMe™
Емкость и производительность новейшего твердотельного накопителя PCIe® Gen 4 NVMe значительно выше, чем у PCIe Gen 3, и они намного больше, чем может потреблять один вычислительный узел. Совместное использование твердотельных накопителей для различных пользовательских приложений и серверов/виртуальных машин является насущной необходимостью. До появления и широкого распространения NVMe-oF™ сетевые хранилища были медленными и/или дорогими. С NVMe-oF™ это уже не так. Программное обеспечение KumoScale™ повышает эффективность использования хранилища за счет совместного использования SSD, разделения общего SSD по пространству имен NVMe и обеспечивает большую гибкость для предоставления необходимого объема емкости из пула с помощью программного обеспечения с производительностью NVMe™ SSD.
Поддерживает протоколы RDMA и NVMe over TCP
Программное обеспечение KumoScale поддерживает транспортные протоколы RDMA и TCP. Если вам необходима более быстрая служба хранения данных с низким значением задержки на базе ПО KumoScale, вам подойдет RoCEv2 (RDMA over Converged Ethenet). С другой стороны, если вы предпочитаете сетевую совместимость в уже имеющейся сети центра обработки данных, для программного обеспечения KumoScale можно использовать TCP/IP. Сетевую карту, проверенную с помощью последней версии программного обеспечения KumoScale, см. в HCL (Список совместимого оборудования).
Адаптация клиентской архитектуры инициализации и телеметрии
- Для OpenStack® программное обеспечение KumoScale™ предоставляет драйвер OpenStack Cynder®, поддерживающий версию Wallaby и более поздние версии.
- Для Kubernetes® контейнерные приложения подключаются к узлу хранения KumoScale™ с помощью драйвера KumoScale Container Storage Interface (CSI).
- Для среды без операционной системы для автоматизации развертывания и выделения ресурсов хранения для вычислительных узлов можно использовать наборы сценариев Ansible™ или другие популярные инструменты автоматизации.
- Для интеграции телеметрии программное обеспечение KumoScale™ предоставляет интерфейс для обеспечения обмена данными push/pull для уже имеющейся инфраструктуры телеметрии (показатели временных рядов) и регистрации (асинхронные события).
Защита данных и высокая доступность
Защита данных -Междоменная репликация данных (CDDR)-
Программное обеспечение KumoScale™ обеспечивает защиту данных с помощью технологии междоменной репликации данных (CDDR). CDDR создает несколько копий логического тома поверх объединенных в пул твердотельных накопителей и сопоставляет их с узлами хранения, расположенными в различных доменах отказа. Репликация основана на инициирующем обмен данными устройстве, а реплика может быть размещена во 2-м или 3-м узле хранилища KumoScale™. Для репликации агент KumoScale запускается на инициирующем обмен данными устройстве для проверки доступности тома. Как только агент обнаруживает сбой тома по какой-либо причине, том автоматически повторно подключается к реплицированному тому на другом узле хранения. После восстановления отказоустойчивого тома все данные автоматически перестраиваются в новый отказоустойчивый том.
Обеспечение высокой доступности
Узел хранения KumoScale™ поддерживает L3 BGP (протокол динамической маршрутизации), и при возникновении проблем с сетевым подключением сетевой путь автоматически перенаправляется на доступный сетевой путь на основе предопределенной таблицы оптимальной маршрутизации.
Отличительная особенность V3.22
Дополнительные варианты развертывания:
В дополнение к упрощенной установке программного обеспечения KumoScale на устройстве, версия 3.20 программного обеспечения KumoScale добавляет возможность развертывания на общедоступных коммерческих операционных системах. Для крупных центров обработки данных необходимо, чтобы инфраструктура хранения тесно взаимодействовала с различными подсистемами, такими как инициализация, мониторинг, телеметрия и сеть. «Управляемый режим» KumoScale максимально удобен для инженеров и администраторов безопасности в плане настройки, интеграции и управления средой ОС уровня хранения, в то время как «режим устройства» программного обеспечения KumoScale обеспечивает более простую установку и автоматизированное развертывание с меньшей сложностью развертывания для клиентов малых и средних предприятий, но имеет более ограниченные возможности конфигурирования ОС.
Поддержка NVIDIA GPUDirect® Storage:
В версии 3.20 добавлена поддержка NVIDIA GPUDirect Storage. GPUDirect Storage — это технология, представленная в графических процессорах NVIDIA Kepler™ и NVIDIA CUDA™ 5.0, которая обеспечивает прямой обмен данными между графическим процессором и сторонним одноранговым устройством с использованием стандартных функций PCI Express®. Примеры устройств сторонних производителей включают сетевые интерфейсы, устройства сбора видеоданных и адаптеры хранения. Программное обеспечение KumoScale выполняет роль адаптера хранилища для GPUDirect Storage.
Поддержка OpenID® Connect™:
В версии 3.20 добавлена поддержка стороннего OpenID Connect 1.0. OpenID Connect — это уровень идентификации поверх протокола OAuth 2.0, который позволяет клиентам проверять идентификаторы пользователей и сеансов на основе проверки подлинности, выполняемой сервером авторизации для разрешений учетной записи службы. Поддержка программного обеспечения KumoScale для OpenID Connect упрощает интеграцию системы безопасности в среды центров обработки данных CSP.
Миграция томов:
Усовершенствованная миграция томов позволяет администратору перемещать тома между узлами хранения без перерыва на обслуживание и использование. Тома остаются в сети и продолжают работать с операциями ввода-вывода в процессе перемещения данных в новое место. Операция полностью прозрачна для приложений, использующих том, что повышает отказоустойчивость кластерного хранилища.
Интерфейс командной строки диспетчера кластера вер.2:
Усовершенствованный интерфейс командной строки диспетчера кластера расширяет интерфейс командной строки 3.21 вер.1, добавляя управляемые оператором возможности автоматизации жизненного цикла, доступные в плоскости управления KumoScale™. Теперь интерфейс командной строки диспетчера кластера 3.22 предоставляет администраторам полный доступ как к функциям управления службами кластеров, так и к функциям выделения ресурсов хранения через единый интуитивно понятный интерфейс командной строки.
Класс гибких томов:
Новый класс гибких томов позволяет поставщикам инфраструктуры центров обработки данных запускать своих участников с нереплицированного тома, а затем продавать их отказоустойчивому реплицированному тому. Это позволяет поставщикам инфраструктуры центров обработки данных быстро развертывать своих участников и добавлять соответствующую отказоустойчивость на более позднем этапе.
В комплект программного обеспечения KumoScale™ версии 3.22 также входит улучшенная техническая онлайн-документация, рефакторинг Ansible® для упрощения адаптации сценария администратора хранилища и изменяемый VIP-адрес кластера.
Архитектура
Архитектура системы центра обработки данных
Функции (модули)
1. Узел хранения KumoScale™
Сервер хранения с программным обеспечением KumoScale™
2. Маршрут передачи данных
Сетевой маршрут передачи данных для соединения серверного приложения с хранилищем с помощью NVMe-oF
3. Канал управления
Сетевой канал управления для управления внутренними службами данных, предоставляемыми KumoScale.
4. Служба Provisioner
Выделите подходящую емкость хранилища и предоставьте предпочтительное качество обслуживания на узле хранения с помощью предопределенных параметров.
5. Драйвер CSI
Драйвер интерфейса контейнерного хранилища для KumoScale. Тесно связан с драйвером CSI.
6. База данных телеметрии
База данных для хранения разнообразной статистической информации на сервере и узле хранения KumoScale.
Требования к платформе
Программное обеспечение KumoScale™ было протестировано как на «голом железе», так и в развернутых средах OpenStack и Kubernetes® на широком спектре стандартных серверов. Можно использовать любое инициирующее обмен данными устройство, совместимое с NVMe-oF™, включая ядро Linux® вер. 4.8 или более поздней версии. Ниже показана поддерживаемая платформа.
|
Компоненты |
Минимальные требования |
|---|---|
|
Память |
64 ГБ DDR4 |
|
Системный диск |
2 x 128 ГБ SATA DOM |
|
Сетевая карта |
Сетевая интерфейсная карта MCX516A-CCAT или MCX545A-CCAN ConnectX-5 EN, 100 GbE с двумя/одним портом QSFP28, сетевая интерфейсная карта PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN, 100 GbE с двумя/одним портом QSFP28, Ethernet-контроллер PCIe®3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G
|
|
Электрическое питание |
Двойной источник питания, с возможностью горячей замены |
|
Интерфейс управления |
Выделенный порт управления не является обязательным. KumoScale™ может использовать порт данных для управления трафиком или выделенный порт управления. |
|
KumoScale™ Provisioner |
KumoScale™ Provisioner не требует ни дополнительных серверов, ни контейнера. |
- Список совместимого оборудования (HCL)
- Какой режим развертывания KumoScale следует использовать?
- Примечания к выпуску
- Руководство по установке режима прибора
- Руководство по установке управляемого режима с Kubernetes
- Исправление хоста NVMe™
- Руководство пользователя
- Интерфейс командной строки диспетчера кластера
- Руководство по драйверам интерфейса командной строки Kubernetes™
- Руководство пользователя Openstack™
- Руководство API-интерфейса REST службы Provisioner
- Метрическая коллекция KumoScale
- Руководство по панели приборов Grafana™
- Руководство пользователя Ansible™
Документы
В этом документе обсуждаются результаты тестирования производительности при работе KumoScale™ в качестве целевого устройства NVMe-oF™ с транспортом RDMA на серверной платформе PCIe® Gen 4 и SSD CM6. Результат производительности включает производительность одного SSD-накопителя, а также масштабируемость за счет увеличения количества SSD.
Компания KIOXIA продолжает разрабатывать более точные алгоритмы надежности в дополнение к существующей технологии ECC для устройств памяти NAND. В этом документе обсуждается вариант внутреннего использования программного обеспечения KumoScale™, которое запускает для этой цели быстрое блочное хранение для обработки машинного и глубокого обучения.
Быстрое блочное хранение становится все более важным для обработки AI/ML. В этом документе обсуждаются результаты тестирования хранилища NVIDIA GPUDirect в сочетании с хранилищем NVMe™ с помощью программного обеспечения KumoScale™, а также то, как это сочетание сокращает время обработки для всего рабочего процесса.
Быстрое блочное хранение становится все более важным для обработки AI/ML. В этом документе обсуждаются результаты тестирования хранилища NVIDIA GPUDirect в сочетании с хранилищем NVMe™ с помощью программного обеспечения KumoScale™, а также то, как это сочетание сокращает время обработки для всего рабочего процесса.
Запросы
Свяжитесь с нами, отправив форму запроса.
- Перед отправкой запроса внимательно прочитайте важные рекомендации и примите их, затем выберите "KumoScale" в выпадающем меню "Продукты" формы запроса.
Пресс-релиз
-
27-07-2022
-
13-04-2022
-
22-06-2021
- : добавление задержки 15 мкс при чтении 4KB по сравнению с DAS. Измерения проведены компанией KIOXIA в июне 2020 г. с использованием указанного ею измерительного инструмента. 15 мкс — это разница в задержке чтения 4 КБ между DAS и конфигурацией хранилища NVMe-oF™ на одном и том же оборудовании.
- NVMe и NVMe-oF являются зарегистрированными или незарегистрированными знаками NVM Express, Inc. в США и других странах.
- PCIe является зарегистрированной торговой маркой PCI-SIG.
- Kubernetes является зарегистрированной торговой маркой компании The Linux Foundation в США и/или других странах.
- Ansible является зарегистрированным товарным знаком компании Red Hat, Inc. в США и других странах.
- Linux является зарегистрированной торговой маркой компании Linus Torvalds в США и других странах.
- Словесный знак OpenStack Word является зарегистрированным товарным знаком компании OpenStack Foundation в США и других странах и используется с разрешения этой компании. Наша компания не связана, не поддерживается и не спонсируется компанией OpenStack Foundation или сообществом OpenStack.
- Prometheus является зарегистрированным товарным знаком компании The Linux Foundation.
- Grafana и Loki являются товарными знаками или зарегистрированными товарными знаками компании Grafana Labs, Inc.
- Intel является товарным знаком корпорации Intel или ее дочерних компаний.
- Все другие названия компаний, продуктов и услуг, упомянутые в данном документе, могут являться товарными знаками соответствующих компаний.
Корпоративные SSD-накопители подходят для высокопроизводительных Tier 0 вычислений, серверов и систем хранения, которым требуется высокий уровень производительности и надежности. Корпоративные SSD-накопители KIOXIA обеспечивают высокую надежность, защиту данных, включая защиту от отказов системы электропитания (PLP) и технологию шифрования для поддержки корпоративных сред и приложений.
Твердотельные накопители для центров обработки данных KIOXIA предназначены для гипермасштабируемых и экономичных серверов в облачных центрах обработки данных, где требуется низкое энергопотребление, эффективный воздушный поток и управляемая производительность. Эти твердотельные накопители включают в себя защиту от отказов системы электропитания (PLP) и технологию шифрования.
