Software KumoScale™

Gestão de Armazenamento NVMe-oF™ Desagregada para Centros de Dados

O software KumoScale™ implementa o NVMe™ sobre Tecidos (NVMe-oF™). Através do qual o produto fornece um serviço de armazenamento de blocos rápido e em rede entre o iniciador e o alvo através de uma ligação de rede de alta velocidade. O software é executado num nó de armazenamento preenchido com NVMe™ SSD e realiza a desagregação do armazenamento. O software KumoScale suporta RDMA e NVMe através de TCP para transporte de rede e fornece um conjunto de armazenamento partilhado e agrupado para permitir a divisão lógica pelo espaço de nomes NVMe num conjunto de SSD. Comparando com o Armazenamento Directo Anexado (DAS), a capacidade de gestão de volume KumoScale oferece muita flexibilidade para controlar um grande conjunto de armazenamento que consiste em grandes SSD individuais.

Caso de utilização

Aplicação típica e caso de utilização

  • Serviço de armazenamento de alto desempenho para aplicações nativas da cloud
  • Serviço de armazenamento persistente para OpenStack™ e eletrónica®
  • Serviço de armazenamento de blocos de alta velocidade para aplicações HPC e outras aplicações perfumadas
  • Armazenamento de backend para aplicações AI/ML/DL

O software KumoScale™ deve funcionar com o software iniciador NVMe-oF™ geralmente disponível, bem como com SSD NVMe padrão. Não é necessário um controlador de software ou hardware proprietário.

Função

Melhorar a utilização do armazenamento e melhor flexibilidade para gerir a SSD NVMe™ rápida agrupada

A capacidade e o desempenho da SSD PCIe® Gen 4 NVMe mais recente é explodida do que a PCIe Gen 3 e é muito mais do que um único nó informático pode consumir. Partilhar SSDs em diferentes aplicações de utilizador e servidores/VMs é uma necessidade urgente. Até ao NVMe-oF™ ser introduzido e amplamente espalhado, o armazenamento em rede tem sido lento ou dispendioso, ou ambos. Já não é verdade com o NVMe-oF™. O software KumoScale™ aumenta a utilização de armazenamento ao partilhar SSD, dividir SSD partilhada pelo espaço de nome NVMe e adiciona mais flexibilidade para fornecer a quantidade certa de capacidade do pool através do software no desempenho da SSD NVMe™.

Suporta RDMA e NVMe através do protocolo TCP

O software KumoScale suporta o protocolo de transporte RDMA e TCP. Se procurar um serviço de armazenamento mais rápido e de baixa latência por parte do software KumoScale, o RoCEv2(RDMA over Converged Ethenet) deve ser adequado. Por outro lado, se preferir a compatibilidade de rede na rede de centro de dados existente, o TCP/IP pode ser utilizado para o software KumoScale. Para a placa de rede validada com o software KumoScale mais recente, consulte HCL (Lista de compatibilidade de hardware).

Adaptar a arquitetura de aprovisionamento e telemetria do cliente

  • Para OpenStack®, o software KumoScale™ fornece uma chave de fendas OpenStack Cynder® que suporta a versão Wallaby e não só.
  • Paraa , as aplicações em contentor estão ligadas ao nó de armazenamento KumoScale™ pelo controlador da Interface de Armazenamento de Contentores (CSI) KumoScale.
  • Para o ambiente baremetal, podem ser utilizados livros Ansible™ ou outras ferramentas de automatização populares para a automatização da implementação e aprovisionamento de armazenamento para nós informáticos.
  • Para a integração de telemetria, o software KumoScale™ fornece interface para permitir a troca de dados push/pull para a telemetria existente (métricas da série temporal como Prometheus™ e Grafana™) e infraestrutura de registo (eventos assíncronos).

Proteção de Dados e Alta Disponibilidade

Proteção de Dados - Replicação de Dados de Domínio Cruzado (CDDR)-
O software KumoScale™ fornece protecção de dados através de uma técnica chamada Replicação de Dados de Domínio Cruzado (CDDR).  A CDDR cria múltiplas réplicas de um volume lógico para além de SSD agrupadas e mapeia-as para nós de armazenamento localizados em diferentes domínios de falha. A replicação baseia-se no iniciador e a réplica pode ser colocada no 2.o ou 3.o nó de armazenamento KumoScale™. Para replicação, o agente KumoScale é executado no iniciador para verificar a disponibilidade do volume. Assim que o agente  detetar a falha de volume, independentemente dos motivos, o volume é automaticamente ligado novamente ao volume replicado num nó de armazenamento diferente. Depois de o volume resiliente regressar da falha, todos os dados são reconstruídos automaticamente para um volume resistente novo.

Garantir alta disponibilidade
O nó de armazenamento KumoScale™ suporta L3 BGP (Protocolo de delimitação de margens) para que o caminho de rede seja automaticamente redirecionado para o caminho de rede disponível com base na tabela de encaminhamento ideal predefinida quando existe um problema de ligação de rede.

3.20 Destaque

Opções de implementação adicionais:
Para além da instalação simplificada do aparelho do software KumoScale, a versão 3.20 do software KumoScale acrescenta uma opção para implementar em sistemas operativos comerciais geralmente disponíveis. Para grandes centros de dados, infraestrutura de armazenamento de necessidade fortemente integrada com vários subsistemas, tais como aprovisionamento, monitorização, telemetria e rede. O “modo gerido” KumoScale permite uma flexibilidade completa para os administradores de engenharia e segurança configurarem, integrarem e controlarem o ambiente de SO da camada de armazenamento, enquanto o “modo de instalação” do software KumoScale proporciona uma instalação mais simples e implementação automatizada com complexidade de implementação reduzida para clientes de pequenas e & médias empresas, mas com configuração do SO mais limitada.

Suportede armazenamento GPUDirect® NVIDIA:
A versão 3.20 acrescenta suporte para o armazenamento GPUDirect NVIDIA. GPUDirect Storage é uma tecnologia introduzida nas GPU NVIDIA Kepler™ e NVIDIA CUDA™ 5.0 que permite um caminho direto para a troca de dados entre a GPU e um dispositivo de pares de terceiros utilizando funcionalidades padrão do PCI Express®. Exemplos de dispositivos de terceiros incluem interfaces de rede, dispositivos de aquisição de vídeo e adaptadores de armazenamento. O software KumoScale comporta-se como um adaptador de armazenamento para GPUDirect Storage.

Suporte OpenID® Connect™:
A versão 3.20 adiciona suporte para OpenID Connect 1.0 de terceiros. OpenID Connect é uma camada de identidade no topo do protocolo OAuth 2.0 que permite aos clientes verificar a identidade dos utilizadores e sessão com base na autenticação realizada por um Servidor de Autorização para permissões de conta de serviço. O suporte de software KumoScale para OpenID Connect simplifica a integração de segurança em ambientes de centros de dados CSP.

Arquitetura

Arquitetura do Sistema do Centro de Dados

Arquitetura KumoScale™ Arquitetura KumoScale™

Funções (Módulos)

1. Nó de Armazenamento KumoScale™
Servidor de Armazenamento que executa o Software KumoScale™

2. Caminho de dados
Caminho de dados de rede para ligar entre a aplicação do servidor e o armazenamento através do NVMe-oF

3. Caminho de controlo
Caminho de controlo de rede para gerir serviços de dados internos fornecidos pela KumoScale.

4. Serviço do Provisionário
Esculpa a capacidade de armazenamento adequada e provisione a QoS preferida do nó de armazenamento por parâmetros predefinidos.

5. Controlador CSI
Unidade da interface de armazenamento de recipientes para KumoScale. Estreitamente acoplado com o controlador CSI.

6. Base de dados de telemetria
Base de dados para armazenar várias informações estatísticas no servidor e no nó de armazenamento KumoScale.

Requisitos da plataforma

O software KumoScale™foi testado tanto em implementações de metal nu, OpenStack como de cuba ® numa vasta gama de servidores padrão da indústria. Qualquer iniciador compatível com NVMe-oF™ pode ser utilizado, incluindo o kernel Linux® versão 4.8 ou posterior. A plataforma suportada é apresentada abaixo.

Componentes

Requisito mínimo

Memória

DDR4 de 64GB

Disco do sistema

2 x 128 GB SATA DOM

NIC

MCX516A-CCAT ou MCX545A-CCAN ConnectX-5 EN placa de interface de rede, 100GbE porta dupla/única QSFP28, PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN placa de interface de rede, 100GbE porta dupla/única QSFP28, PCIe®3.0 x16 ROHS R6 Comunicações Solarflare XtremeScale SFC9250 10/25/40/50/100G Controlador Ethernet

Fonte de alimentação

Fonte de alimentação dupla, substituível a quente

Interface de gestão

Uma porta de gestão dedicada é opcional. O KumoScale™ pode utilizar a porta de dados para tráfego de gestão ou pode utilizar uma porta de gestão dedicada.

Provisório KumoScale™

O KumoScale™ Provisioner não requer quaisquer servidores adicionais nem um contentor.

Documentos

Este documento descreve as características gerais, características e vantagens do software KumoScale™, bem como o caso de utilização típico e informações ambientais para a implementação.

Este documento aborda a arquitetura e a implementação da replicação de dados de domínio cruzado que fornece proteção de dados para o KumoScale. A KumoScale CDDR implementa proteção e mecanismo de autorregeneração automático quando existe um problema no sistema.

Este documento discute a vantagem de desempenho do software KumoScale™ em execução como alvo  NVMe-oF™ em comparação com a Ceph que fornece funcionalidades de sistemas de armazenamento semelhantes à escala do centro de dados.

Este documento aborda o resultado dos testes de desempenho com o KumoScale™ a ser executado como alvo NVMe-oF™ com transporte RDMA na plataforma de servidor PCIe® Gen 4 e SSD CM6. O resultado do desempenho inclui um único desempenho SSD, bem como escalabilidade, aumentando o número de SSD.

O KIOXIA está ainda a desenvolver algoritmos de fiabilidade mais precisos para além da tecnologia ECC existente para dispositivos de memória NAND. Este documento discute o caso de utilização interna do software Softwware KumoScale™ do KIOXIA que executa armazenamento de blocos rápido para aprendizagem automática e processamento de aprendizagem profunda para este fim.

O armazenamento rápido de blocos é cada vez mais importante para o processamento de IA/ML. Este documento discute o resultado do teste da combinação com o armazenamento GPUDirect NVIDIA e o armazenamento NVMe™ do software KumoScale™ e como esta combinação reduz o tempo de processamento para todo o fluxo de trabalho.

Esclarecimentos

Contacte-nos a partir do formulário Consulta.

  •  Antes de enviar um pedido de informação, leia atentamente as considerações importantes e aceite-as, depois selecione "KumoScale" no menu pendente "Produtos" do formulário de pedido de informação.
  • : Adição de latência 15us a 4KB lida em comparação com DAS. Medido pela KIOXIA em junho de 2020 utilizando a ferramenta de medição especificada pela KIOXIA. 15us é a diferença da latência de leitura de 4KB entre a configuração de armazenamento DAS e NVMe-oF™ no mesmo hardware.
  • NVM Express, NVMe, NVMe-MI, NVMe-oF são marcas registadas ou não registadas da NVM Express, Inc. nos Estados Unidos e em outros países.
  • PCIe é uma marca comercial registada da PCI-SIG.
  • A deslocação é uma marca comercial registada da The Linux Foundation nos Estados Unidos e/ou noutros países.
  • Ansible é uma marca comercial registada da Red Hat, Inc. nos Estados Unidos e noutros países.
  • Linux é uma marca comercial registada ou marca comercial da Linus Torvalds nos EUA e noutros países.
  • A Marca OpenStack Word é uma marca comercial registada da OpenStack Foundation, nos Estados Unidos e noutros países e é utilizada com a permissão da OpenStack Foundation. Não somos afiliados, apoiados ou patrocinados pela OpenStack Foundation ou pela comunidade OpenStack.
  • Prometheus é uma marca comercial registada da The Linux Foundation.
  • Grafana e Loki são marcas comerciais ou marcas comerciais registadas da Grafana Labs, Inc.
  • Outros nomes de empresas, nomes de produtos e nomes de serviços podem ser marcas comerciais das respetivas empresas.