Please select your location and preferred language where available.
Software KumoScale™
- AVISO IMPORTANTE -
Obrigado pelo seu interesse no software KumoScale™ ("Produto"). Não existe qualquer plano de melhoria para além da Versão 3.22, uma vez que o Produto transitou apenas para manutenção e não serão concedidas novas licenças de avaliação ou produção. Se tiver alguma dúvida, contacte-nos por aqui.
Gestão de armazenamento NVMe-oF™ desagregada para centros de dados
O software KumoScale™ implementa o NVMe™ over Fabrics (NVMe-oF™). É através do mesmo que o Produto fornece um serviço de armazenamento de bloco rápido e em rede entre o iniciador e o destino por meio de uma ligação de rede de alta velocidade. O software é executado num nó de armazenamento preenchido com a SSD NVMe™ e realiza a desagregação do armazenamento. O software KumoScale suporta RDMA e NVMe via TCP para transporte de rede, fornecendo um conjunto de armazenamento partilhado e em cluster para permitir a divisão lógica por espaço de nomes NVMe num conjunto de SSD. Comparando com o armazenamento direto anexado (DAS), a capacidade de gestão de volumes do KumoScale oferece muita flexibilidade para controlar um grande conjunto de armazenamento que consiste em grandes SSD individuais.
-
27-07-2022
Caso de utilização
Aplicação típica e caso de utilização
- Serviço de armazenamento de alto desempenho para aplicações nativas da nuvem
- Serviço de armazenamento persistente para OpenStack™ e Kubernetes®
- Serviço de armazenamento de bloco de alta velocidade para aplicações de HPC e outras aplicações científicas
- Armazenamento de back-end para aplicações de IA/AA/AP
O software KumoScale™ deve funcionar com o software iniciador NVMe-oF™ disponível de forma geral, bem como com SSD NVMe padrão. Não é necessário um controlador de software ou hardware registado.
Função
Melhoria da utilização do armazenamento e melhor flexibilidade para gerir a SSD NVMe™ rápida agrupada
A capacidade e o desempenho da SSD PCIe® NVMe de 4.ª geração mais recente são superiores aos da PCIe de 3.ª geração e é muito mais do que um único nó informático pode consumir. Partilhar SSD em diferentes aplicações de utilizador e servidores/VM é uma necessidade urgente. Até ao NVMe-oF™ ser introduzido e amplamente distribuído, o armazenamento em rede tem sido lento ou dispendioso, ou ambos. Já não é verdade com o NVMe-oF™. O software KumoScale™ aumenta a utilização do armazenamento ao partilhar SSD e dividir a SSD partilhada pelo espaço de nomes NVMe e acrescenta mais flexibilidade para fornecer a quantidade certa de capacidade do conjunto através do software com o desempenho da SSD NVMe™.
Suporte de RDMA e NVMe através do protocolo TCP
O software KumoScale suporta o protocolo de transporte RDMA e TCP. Se procura um serviço de armazenamento mais rápido e de baixa latência com o software KumoScale, o RoCEv2 (RDMA over Converged Ethernet) será adequado. Por outro lado, se preferir a compatibilidade de rede na rede de centro de dados existente, o TCP/IP pode ser utilizado para o software KumoScale. Para a placa de rede validada com o software KumoScale mais recente, consulte a HCL (Lista de compatibilidade de hardware).
Adaptação da arquitetura de aprovisionamento e telemetria do cliente
- Para OpenStack®, o software KumoScale™ fornece um controlador OpenStack Cynder® que suporta a versão Wallaby e não só.
- Para Kubernetes®, as aplicações em contentor estão ligadas ao nó de armazenamento KumoScale™ pelo controlador da interface de armazenamento de contentores (CSI) KumoScale.
- Para o ambiente baremetal, podem ser utilizados os manuais de procedimentos de Ansible™ ou outras ferramentas de automatização conhecidas para a automatização da implementação e o aprovisionamento de armazenamento para nós informáticos.
- Para a integração de telemetria, o software KumoScale™ fornece uma interface que permite a troca de inserir/extrair dados para a infraestrutura existente de telemetria (métricas da série temporal) e registo (eventos assíncronos).
Proteção de dados e alta disponibilidade
Proteção de dados – Replicação de dados entre domínios (CDDR) –
O software KumoScale™ fornece proteção de dados através de uma técnica chamada replicação de dados entre domínios (CDDR). A CDDR cria múltiplas réplicas de um volume lógico para além das SSD agrupadas e mapeia-as em nós de armazenamento localizados em diferentes domínios de falha. A replicação baseia-se no iniciador e a réplica pode ser colocada no 2.º ou 3.º nó de armazenamento do KumoScale™. Para a replicação, o agente KumoScale é executado no iniciador para verificar a disponibilidade do volume. Assim que o agente detetar a falha do volume, independentemente dos motivos, o volume é automaticamente ligado novamente ao volume replicado num nó de armazenamento diferente. Depois de o volume resiliente regressar da falha, todos os dados são reconstruídos automaticamente para um volume resiliente novo.
Garantia de alta disponibilidade
O nó de armazenamento KumoScale™ suporta L3 BGP (Border Gate Protocol) para que o caminho de rede seja automaticamente reencaminhado para o caminho de rede disponível com base na tabela de encaminhamento ideal predefinida quando existe um problema de ligação de rede.
Destaques da V3.22
Opções de implementação adicionais:
Para além da instalação simplificada do aparelho do software KumoScale, a versão 3.20 do software KumoScale acrescenta uma opção para implementar em sistemas operativos comerciais geralmente disponíveis. Para grandes centros de dados, infraestrutura de armazenamento de necessidade fortemente integrada com vários sub-sistemas, tais como aprovisionamento, monitorização, telemetria e rede. O “modo gerido” KumoScale permite uma flexibilidade completa para os administradores de engenharia e segurança configurarem, integrarem e controlarem o ambiente de SO da camada de armazenamento, enquanto o “modo de aparelho” do software KumoScale proporciona uma instalação mais simples e uma implementação automatizada com complexidade de implementação reduzida para clientes de pequenas e & médias empresas, mas com configuração do SO mais limitada.
Suporte de armazenamento GPUDirect® NVIDIA:
A versão 3.20 acrescenta suporte para o armazenamento GPUDirect NVIDIA. GPUDirect Storage é uma tecnologia introduzida nas GPU NVIDIA Kepler™ e NVIDIA CUDA™ 5.0 que permite um caminho direto para a troca de dados entre a GPU e um dispositivo de pares de terceiros utilizando funcionalidades padrão do PCI Express®. Exemplos de dispositivos de terceiros incluem interfaces de rede, dispositivos de aquisição de vídeo e adaptadores de armazenamento. O software KumoScale comporta-se como um adaptador de armazenamento para o GPUDirect Storage.
Suporte OpenID® Connect™:
A versão 3.20 adiciona suporte para OpenID Connect 1.0 de terceiros. OpenID Connect é uma camada de identidade no topo do protocolo OAuth 2.0 que permite aos clientes verificar a identidade dos utilizadores e sessão com base na autenticação realizada por um Servidor de Autorização para permissões de conta de serviço. O suporte de software KumoScale para OpenID Connect simplifica a integração de segurança em ambientes de centros de dados CSP.
Migração de volume:
A migração de volume melhorada permite que um administrador migre um volume nos nós de armazenamento sem perturbar a manutenção e utilização. Os volumes permanecem online e continuam a servir E/S durante o processo de transferência dos dados para a sua nova localização. A operação é completamente transparente para as aplicações que utilizam o volume, aumentando a resiliência do cluster de armazenamento.
Cluster Manager CLI v2:
Um Cluster Manager CLI melhorado alarga a versão 3.21 do CLI v1 ao adicionar capacidades de automatização do ciclo de vida orientadas pelo operador, disponíveis no painel de controlo do KumoScale™. O Cluster Manager CLI 3.22 já concede aos administradores acesso total às funções de gestão de serviços de cluster e aprovisionamento de armazenamento através de um único CLI intuitivo.
Classe de volume flexível:
Uma nova classe de volume flexível permite aos fornecedores de infraestruturas de centros de dados fazer com que os seus inquilinos comecem com um volume não replicado e, mais tarde, vender-lhes um volume replicado resiliente. Isto permite aos fornecedores de infraestruturas de centros de dados implementar rapidamente os seus inquilinos e adicionar resiliência adequada numa fase posterior.
O software KumoScale™ V3.22 também inclui documentação técnica online melhorada, refatorização de Ansible® para uma adaptação mais fácil do script do administrador de armazenamento e endereço VIP de cluster modificável.
Arquitetura
Arquitetura do sistema do centro de dados
Funções (módulos)
1. Nó de armazenamento KumoScale™
Servidor de armazenamento que executa o software KumoScale™
2. Caminho de dados
Caminho de dados de rede para ligação entre a aplicação do servidor e o armazenamento através do NVMe-oF
3. Caminho de controlo
Caminho de controlo de rede para gerir serviços de dados internos fornecidos pelo KumoScale.
4. Serviço do aprovisionador
Molde a capacidade de armazenamento adequada e aprovisione o QoS preferencial do nó de armazenamento por parâmetros predefinidos.
5. Controlador da CSI
Unidade da interface de armazenamento de contentores para o KumoScale. Estreitamente acoplado ao controlador da CSI.
6. Base de dados de telemetria
Base de dados para armazenar várias informações estatísticas no servidor e no nó de armazenamento do KumoScale.
Requisitos da plataforma
O software KumoScale™ foi testado em implementações baremetal, OpenStack e Kubernetes® numa vasta gama de servidores padrão da indústria. Qualquer iniciador compatível com NVMe-oF™ pode ser utilizado, incluindo o kernel Linux® versão 4.8 ou posterior. A plataforma suportada é apresentada abaixo.
|
Componentes |
Requisito mínimo |
|---|---|
|
Memória |
DDR4 de 64 GB |
|
Disco do sistema |
2 DOM SATA de 128 GB |
|
NIC |
MCX516A-CCAT ou MCX545A-CCAN ConnectX-5 EN placa de interface de rede, 100GbE porta dupla/única QSFP28, PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN placa de interface de rede, 100GbE porta dupla/única QSFP28, PCIe®3.0 x16 ROHS R6 Comunicações Solarflare XtremeScale SFC9250 10/25/40/50/100G Controlador Ethernet
|
|
Fonte de alimentação |
Fonte de alimentação dupla, substituível a quente |
|
Interface de gestão |
Uma porta de gestão dedicada é opcional. O KumoScale™ pode utilizar a porta de dados para tráfego de gestão ou pode utilizar uma porta de gestão dedicada. |
|
Aprovisionador do KumoScale™ |
O aprovisionador do KumoScale™ não requer quaisquer servidores adicionais nem um contentor. |
- Lista de compatibilidade de hardware (HCL)
- Que modo de implementação do KumoScale devo utilizar?
- Notas de versão
- Guia de instalação para o modo de aplicação
- Guia de instalação para o modo gerido com Kubernetes
- Patch de anfitrião NVMe™
- Guia do Utilizador
- Cluster Manager CLI
- Guia do controlador da CSI de Kubernetes™
- Guia do Utilizador do OpenStack™
- Guia da API REST do aprovisionador
- Coleção de métricas do KumoScale
- Guia do Painel de Controlo Grafana™
- Guia do Utilizador do Ansible™
Documentos
Este documento aborda o resultado dos testes de desempenho com o KumoScale™ a ser executado como destino do NVMe-oF™ com transporte de RDMA na plataforma de servidor PCIe® de 4.ª geração e SSD CM6. O resultado do desempenho inclui um único desempenho SSD, bem como escalabilidade, aumentando o número de SSD.
O KIOXIA está ainda a desenvolver algoritmos de fiabilidade mais precisos para além da tecnologia ECC existente para dispositivos de memória NAND. Este documento aborda o caso de utilização interno KIOXIA do software KumoScale™, que executa armazenamento de bloco rápido para o processamento de aprendizagem automática e aprendizagem profunda para este fim.
O armazenamento rápido de blocos é cada vez mais importante para o processamento de IA/ML. Este documento discute o resultado do teste da combinação com o armazenamento GPUDirect NVIDIA e o armazenamento NVMe™ do software KumoScale™ e como esta combinação reduz o tempo de processamento para todo o fluxo de trabalho.
O armazenamento de bloco rápido é cada vez mais importante para o processamento de IA/AA. Este documento aborda o resultado dos testes da combinação com o armazenamento NVIDIA GPUDirect e o armazenamento NVMe™ do software KumoScale™ e como esta combinação reduz o tempo de processamento de todo o fluxo de trabalho.
Esclarecimentos
Contacte-nos a partir do formulário de pedido de informação.
- Antes de enviar um pedido de informação, leia atentamente as considerações importantes e aceite-as. Em seguida, selecione "KumoScale" no menu pendente "Produtos" do formulário de pedido de informação.
Comunicado de imprensa
-
27-07-2022
-
13-04-2022
-
22-06-2021
- Adição de latência 15us a uma leitura de 4 KB em comparação com DAS. Medido pela KIOXIA em junho de 2020 utilizando a ferramenta de medição especificada pela KIOXIA. 15us é a diferença da latência de leitura de 4 KB entre a configuração de armazenamento DAS e NVMe-oF™ no mesmo hardware.
- NVMe e NVMe-oF são marcas registadas ou não registadas da NVM Express, Inc. nos Estados Unidos e noutros países.
- PCIe é uma marca comercial registada da PCI-SIG.
- Kubernetes é uma marca comercial registada da The Linux Foundation nos Estados Unidos e/ou noutros países.
- Ansible é uma marca comercial registada da Red Hat, Inc. nos Estados Unidos e noutros países.
- Linux é uma marca comercial registada da Linus Torvalds nos Estados Unidos e noutros países.
- A marca nominativa OpenStack é uma marca comercial registada da OpenStack Foundation, nos Estados Unidos e noutros países, e é utilizada com a permissão da OpenStack Foundation. Não somos afiliados, apoiados nem patrocinados pela OpenStack Foundation ou pela comunidade OpenStack.
- Prometheus é uma marca comercial registada da The Linux Foundation.
- Grafana e Loki são marcas comerciais ou marcas comerciais registadas da Grafana Labs, Inc.
- Intel é uma marca comercial da Intel Corporation ou das suas subsidiárias.
- Todos os outros nomes de empresas, nomes de produtos e nomes de serviços aqui presentes poderão ser marcas comerciais das respetivas empresas.
As SSD empresariais são adequadas para sistemas de armazenamento, servidor e computação de nível 0 de alto desempenho que exigem elevados níveis de desempenho e fiabilidade. As SSD KIOXIA Enterprise oferecem uma elevada fiabilidade, proteção de dados que incorporam proteção contra perda de energia (PLP) e tecnologia de encriptação para suportar ambientes e aplicações empresariais.
As unidades SSD para Centro de Dados KIOXIA foram concebidas para servidores otimizados em hiperescala e com custos otimizados em Centro de Dados na nuvem que requerem um baixo consumo energético, um fluxo de ar eficiente e um desempenho gerido. Estas unidades SSD incluem proteção de dados com proteção contra perda de energia (PLP) e opções de tecnologia de encriptação.
