Software KumoScale™

Gestione dello storage NVMe-oF™ disaggregato per data center

Il software KumoScale™ implementa NVMe™ over Fabrics (NVMe-oF™). Grazie al quale il prodotto fornisce un servizio di block storage veloce e in rete tra l’iniziatore e il target attraverso una connessione di rete ad alta velocità.Il software viene eseguito sul nodo di storage popolato con l’unità SSD NVMe™ e realizza la disaggregazione dello storage. Il software KumoScale supporta sia RDMA che NVMe su TCP per il trasporto di rete e fornisce un pool di storage condiviso e in cluster per consentire la suddivisione logica per namespace NVMe su un gruppo di SSD. Rispetto a Direct Attached Storage (DAS), la funzionalità di gestione del volume di KumoScale offre molta flessibilità per controllare un grande pool di storage costituito da SSD individuali di grandi dimensioni.

Caso d’uso

Applicazione tipica e caso d’uso

  • Servizio di storage ad alte prestazioni per applicazioni cloud-native
  • Servizio di storage persistente per OpenStack™ e Kubernetes®
  • Servizio di block storage ad alta velocità per applicazioni HPC e altre applicazioni profumate
  • Storage backend per applicazioni AI/ML/DL

Il software KumoScale™ dovrebbe funzionare con il software di avvio NVMe-oF™ generalmente disponibile e con le SSD NVMe standard. Non sono necessari driver software o hardware proprietari.

Funzione

Migliora l’utilizzo dello storage e la flessibilità per gestire l’unità SSD NVMe™ veloce in pool

La capacità e le prestazioni dell’unità SSD NVMe PCIe® Gen 4 più recente sono esplose rispetto a quelle di PCIe Gen 3 e sono molto più di quanto un singolo nodo di calcolo possa consumare. La condivisione di SSD su diverse applicazioni utente e server/VM è un’esigenza urgente. Fino a quando NVMe-oF™ non viene introdotto e ampiamente diffuso, lo storage in rete è stato lento o costoso, o entrambi. Non è più vero con NVMe-oF™. Il software KumoScale™ aumenta l’utilizzo dello storage condividendo l’SSD, dividendo l’SSD condivisa per lo spazio dei nomi NVMe e aggiunge maggiore flessibilità per fornire la giusta quantità di capacità dal pool attraverso il software alle prestazioni dell’SSD NVMe™.

Supporta RDMA e NVMe su protocollo TCP

Il software KumoScale supporta il protocollo di trasporto RDMA e TCP. Se cerchi un servizio di storage più veloce e a bassa latenza con il software KumoScale, RoCEv2(RDMA su Converged Ethenet) dovrebbe essere adatto. D’altra parte, se si preferisce la compatibilità di rete nella rete del data center esistente, TCP/IP potrebbe essere utilizzato per il software KumoScale. Per la scheda di rete convalidata con il software KumoScale più recente, fare riferimento a HCL (Hardware Compatibility List).

Adattamento dell'architettura di provisioning e telemetria dei clienti

  • Per OpenStack®, il software KumoScale™ fornisce il driver OpenStack Cynder® che supporta il rilascio di Wallaby e oltre.
  • Per Kubernetes®, le applicazioni containerizzate sono collegate al nodo di storage KumoScale™ dal driver CSI (KumoScale Container Storage Interface).
  • Per l'ambiente baremetal, i playbook Ansible™ o altri strumenti di automazione popolari possono essere utilizzati per l'automazione della distribuzione e il provisioning dello storage nei nodi di calcolo.
  • Per l’integrazione della telemetria, il software KumoScale™ fornisce un’interfaccia per consentire lo scambio di dati push/pull per l’infrastruttura di telemetria esistente (parametri delle serie temporali come Prometheus™ e Grafana™) e di registrazione (eventi asincroni).

Protezione dei dati e alta disponibilità

Protezione dei dati -Replica dei dati di dominio incrociato (CDDR)-
Il software KumoScale™ fornisce protezione dei dati tramite una tecnica chiamata Cross Domain Data Replication (CDDR).  Il CDDR crea più repliche di un volume logico sopra gli SSD raggruppati e le mappa ai nodi di storage situati in domini di errore diversi. La replica si basa sull’iniziatore e la replica può essere posizionata sul 2° o 3° nodo di archiviazione KumoScale™. Per la replica, l'agente KumoScale viene eseguito sull'iniziatore per verificare la disponibilità del volume. Una volta che l'agente  rileva il volume falure per qualsiasi motivo, il volume viene ricollegato automaticamente al volume replicato su un nodo di memorizzazione diverso. Dopo che il volume resiliente è tornato dall'errore, tutti i dati vengono ricostruiti automaticamente in volume resiliente fresco.

Garantire un'elevata disponibilità
Il nodo di archiviazione KumoScale™ supporta L3 BGP (Border Gate Protocol) in modo che il percorso di rete venga automaticamente reindirizzato al percorso di rete disponibile in base alla tabella di instradamento ottimale predefinita in caso di problemi di connessione di rete.

3.20 Evidenzia

Opzioni di distribuzione aggiuntive:
Oltre all’installazione semplificata dell’appliance del software KumoScale, la versione 3.20 del software KumoScale aggiunge un’opzione da implementare sui sistemi operativi commerciali generalmente disponibili. Per i data center di grandi dimensioni, l'infrastruttura di storage di necessità è strettamente integrata con una varietà di sottosistemi come provisioning, monitoraggio, telemetria e rete. La “modalità gestita” di KumoScale consente agli amministratori ingegneristici e di sicurezza di configurare, integrare e controllare l’ambiente del sistema operativo a livello di storage, mentre la “modalità di applicazione” del software KumoScale offre un’installazione e una distribuzione automatizzate più semplici con una complessità di implementazione ridotta per i clienti delle piccole e & medie imprese, ma con una configurabilità del sistema operativo più limitata.

Supporto per lo storage NVIDIA GPUDirect®:
La versione 3.20 aggiunge il supporto per NVIDIA GPUDirect Storage. GPUDirect Storage è una tecnologia introdotta nelle GPU NVIDIA Kepler™ e NVIDIA CUDA™ 5.0 che consente un percorso diretto per lo scambio di dati tra la GPU e un dispositivo peer di terze parti utilizzando le funzionalità standard di PCI Express®. Esempi di dispositivi di terze parti includono interfacce di rete, dispositivi di acquisizione video e adattatori di archiviazione. Il software KumoScale si comporta come un adattatore di storage per GPUDirect Storage.

Supporto OpenID® Connect™:
La versione 3.20 aggiunge il supporto per OpenID Connect 1.0 di terze parti. OpenID Connect è un livello di identità in cima al protocollo OAuth 2.0 che consente ai client di verificare l'identità degli utenti e della sessione in base all'autenticazione eseguita da un server di autorizzazione per le autorizzazioni dell'account di servizio. Il supporto software KumoScale per OpenID Connect semplifica l’integrazione della sicurezza negli ambienti dei data center CSP.

Architettura

Architettura del sistema del data center

Architettura KumoScale™ Architettura KumoScale™

Funzioni (moduli)

*1 : Nodo di archiviazione KumoScale™
Server di archiviazione che esegue il software KumoScale™

*2 : Percorso dati
Percorso dati di rete per connettersi tra l'applicazione server e lo storage tramite NVMe-oF

3. Percorso di controllo
Percorso di controllo della rete per gestire i servizi di dati interni forniti da KumoScale.

4. Servizio del fornitore
Scavare la capacità di storage appropriata e fornire la QoS preferita dal nodo di storage in base a parametri predefiniti.

5. Driver CSI
Unità di interfaccia di archiviazione container per KumoScale. Strettamente accoppiato con il driver CSI.

6. Database di telemetria
Database per memorizzare diverse informazioni statistiche nel server e nel nodo di archiviazione KumoScale.

Requisiti della piattaforma

Il software KumoScale™ è stato testato sia sulle distribuzioni bare metal che su OpenStack e Kubernetes® su un’ampia gamma di server standard del settore. È possibile utilizzare qualsiasi iniziatore conforme a NVMe-oF™, inclusoLinux ® kernel versione 4.8 o successiva. La piattaforma supportata è mostrata di seguito.

Componenti

Requisito minimo

Memoria

DDR4 da 64GB

Disco di sistema

2 x 128 GB SATA DOM

NIC

MCX516A-CCAT o MCX545A-CCAN ConnectX-5 EN scheda di interfaccia di rete, QSFP28 a doppia/singola porta 100GbE, PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN scheda di interfaccia di rete, QSFP28 a doppia/singola porta 100GbE, PCIe®3.0 x16 ROHS R6 Comunicazioni Solarflare XtremeScale SFC9250 10/25/40/50/100G Controllore Ethernet

Alimentazione

Doppia alimentazione, sostituibile a caldo

Interfaccia di gestione

Una porta di gestione dedicata è opzionale. KumoScale™ può utilizzare la porta dati per il traffico di gestione o una porta di gestione dedicata.

Provvisore KumoScale™

KumoScale™ Provisioner non richiede server aggiuntivi né container.

Documenti

Questo documento descrive la panoramica, le caratteristiche e i vantaggi del software KumoScale™, nonché il caso d’uso tipico e le informazioni ambientali per l’implementazione.

Questo documento illustra l’architettura e la distribuzione della replica dei dati tra domini che fornisce protezione dei dati per KumoScale. KumoScale CDDR implementa la protezione e il meccanismo automatico di auto-riparazione in caso di problemi di sistema.

Questo documento illustra i vantaggi prestazionali del software KumoScale™ in esecuzione come target  NVMe-oF™ rispetto a Ceph, che fornisce funzionalità simili dei sistemi di storage su scala del data center.

Questo documento illustra i risultati dei test delle prestazioni con KumoScale™ in esecuzione come target NVMe-oF™ con trasporto RDMA su piattaforma server PCIe® Gen 4 e SSD CM6. Il risultato delle prestazioni include prestazioni di un singolo SSD e scalabilità aumentando il numero di SSD.

KIOXIA sta ulteriormente sviluppando algoritmi di affidabilità più accurati oltre alla tecnologia ECC esistente per i dispositivi di memoria NAND. Questo documento tratta il caso d’uso interno di KIOXIA di KumoScale™ Softwware che esegue un rapido block storage per il machine learning e l’elaborazione del deep learning a questo scopo.

Il block storage rapido è sempre più importante per l'elaborazione IA/ML. Questo documento illustra i risultati dei test della combinazione con lo storage NVIDIA GPUDirect e lo storage NVMe™ del software KumoScale™ e spiega come questa combinazione riduce i tempi di elaborazione per l'intero flusso di lavoro.

Richieste

Contattaci dal modulo Richiesta.

  •  Prima di inviare una richiesta, leggi attentamente le considerazioni importanti e accettale, quindi seleziona "KumoScale" nel menu a discesa "Prodotti" del modulo di richiesta.
  • : aggiunta di latenza 15us a 4KB di lettura rispetto al DAS. Misurato da KIOXIA a giugno 2020 utilizzando lo strumento di misurazione specificato da KIOXIA. 15us è la differenza della latenza di lettura di 4KB tra la configurazione di storage DAS e NVMe-oF™ sullo stesso hardware.
  • NVM Express, NVMe, NVMe-MI, NVMe-oF sono marchi registrati o non registrati di NVM Express, Inc. negli Stati Uniti e in altri Paesi.
  • PCIe è un marchio registrato di PCI-SIG.
  • Kubernetes è un marchio registrato di The Linux Foundation negli Stati Uniti e/o in altri Paesi.
  • Ansible è un marchio registrato di Red Hat, Inc. negli Stati Uniti e in altri Paesi.
  • Linux è un marchio registrato o un marchio di Linus Torvalds negli Stati Uniti e in altri Paesi.
  • OpenStack Word Mark è un marchio registrato della OpenStack Foundation, negli Stati Uniti e in altri Paesi e viene utilizzato con il permesso della OpenStack Foundation. Non siamo affiliati, approvati o sponsorizzati dalla OpenStack Foundation o dalla comunità OpenStack.
  • Prometheus è un marchio registrato di The Linux Foundation.
  • Grafana e Loki sono marchi o marchi registrati di Grafana Labs, Inc.
  • Altri nomi di società, prodotti e servizi possono essere marchi delle rispettive società.