Software KumoScale™

- AVVISO IMPORTANTE -

Grazie per il tuo interesse verso il software KumoScale™ ("Prodotto"). Non sono previsti miglioramenti oltre la versione 3.22, poiché il prodotto è passato alla sola manutenzione e non saranno concesse nuove licenze di valutazione o di produzione. In caso di domande, contattaci qui.

Gestione dello storage NVMe-oF™ disaggregato per data center

Il software KumoScale™ implementa NVMe™ over Fabrics (NVMe-oF™), grazie al quale il prodotto fornisce un servizio di archiviazione su blocco veloce e in rete tra l’initiator e il target attraverso una connessione di rete ad alta velocità. Il software viene eseguito sul nodo di storage popolato con l’SSD NVMe™ e realizza la disaggregazione dello storage. Il software KumoScale supporta sia RDMA che NVMe over TCP per il trasporto di rete e fornisce un pool di storage condiviso e in cluster per consentire la suddivisione logica per namespace NVMe su un gruppo di SSD. Rispetto a Direct Attached Storage (DAS), la funzionalità di gestione del volume di KumoScale offre molta flessibilità per controllare un grande pool di storage costituito da SSD individuali di grandi dimensioni.

Caso d’uso

Applicazione tipica e caso d’uso

  • Servizio di storage ad alte prestazioni per applicazioni cloud-native
  • Servizio di storage persistente per OpenStack™ e Kubernetes®
  • Servizio di archiviazione su blocchi ad alta velocità per applicazioni HPC e altre applicazioni del settore scientifico
  • Storage backend per applicazioni AI/ML/DL

Il software KumoScale™ dovrebbe funzionare con il software per  initiator NVMe-oF™ generalmente disponibili e con gli SSD NVMe standard. Non sono necessari driver software o hardware proprietari.

Funzione

Migliora l’utilizzo dello storage e la flessibilità per gestire l’unità SSD NVMe™ veloce in pool

La capacità e le prestazioni delle unità SSD NVMe PCIe® Gen 4 più recenti sono aumentate in modo esponenziale rispetto a quelle di PCIe Gen 3 e sono molto più di quanto un singolo nodo di calcolo possa consumare. La condivisione di SSD su diverse applicazioni utente e server/VM è un’esigenza urgente. Fino a quando NVMe-oF™ non viene introdotto e ampiamente diffuso, lo storage in rete è lento oppure dispendioso, o entrambi. Ciò non è più vero con NVMe-oF™. Il software KumoScale™ aumenta l’utilizzo dello storage condividendo l’SSD, dividendo l’SSD condivisa per il namespace NVMe e aggiunge maggiore flessibilità per fornire la giusta quantità di capacità dal pool attraverso il software con le prestazioni dell’SSD NVMe™.

Supporta RDMA e NVMe su protocollo TCP

Il software KumoScale supporta il protocollo di trasporto RDMA e TCP. Se cerchi un servizio di storage più veloce e a bassa latenza con il software KumoScale, RoCEv2 (RDMA su Ethenet convergente) dovrebbe essere esattamente ciò che cerchi. D’altra parte, se preferisci la compatibilità di rete nella rete del data center esistente, TCP/IP potrebbe essere utilizzato per il software KumoScale. Per la scheda di rete convalidata con il software KumoScale più recente, fare riferimento a HCL (Hardware Compatibility List).

Adattamento dell'architettura di provisioning e telemetria dei clienti

  • Per OpenStack®, il software KumoScale™ fornisce il driver OpenStack Cynder® che supporta la versione Wallaby e oltre.
  • Per Kubernetes®, le applicazioni containerizzate sono collegate al nodo di storage KumoScale™ dal driver CSI (KumoScale Container Storage Interface).
  • Per l'ambiente baremetal, i playbook Ansible™ o altri strumenti di automazione comuni possono essere utilizzati per l'automazione della distribuzione e il provisioning dello storage ai nodi di calcolo.
  • Per l’integrazione della telemetria, il software KumoScale™ fornisce un’interfaccia per consentire lo scambio di dati push/pull per l’infrastruttura esistente di telemetria (parametri delle serie temporali) e di registrazione (eventi asincroni).

Protezione dei dati e alta disponibilità

Protezione dei dati -Replica dei dati di dominio incrociato (CDDR, Cross Domain Data Replication)-
Il software KumoScale™ fornisce protezione dei dati tramite una tecnica chiamata replica dei dati di dominio incrociato (CDDR, Cross Domain Data Replication).  Il CDDR crea più repliche di un volume logico sopra gli SSD raggruppati e le mappa ai nodi di storage situati in domini di errore diversi. La replicazione si basa sull’initiator e la replica può essere posizionata sul 2° o 3° nodo di archiviazione KumoScale™. Per la replica, l'agente KumoScale viene eseguito sull'initiator per verificare la disponibilità del volume. Una volta che l'agente  rileva un errore nel volume per qualsiasi motivo, il volume viene ricollegato automaticamente al volume replicato su un nodo di memorizzazione diverso. Una volta risolto l’errore sul volume resiliente, tutti i dati vengono ricostruiti automaticamente nel volume resiliente nuovo.

Garantisce un’elevata disponibilità
Il nodo di archiviazione KumoScale™ supporta L3 BGP (Border Gate Protocol) in modo che il percorso di rete venga automaticamente reindirizzato al percorso di rete disponibile in base alla tabella di instradamento ottimale predefinita in caso di problemi di connessione di rete.

Aspetti salienti della versione 3.22

Opzioni di distribuzione aggiuntive:
Oltre all’installazione semplificata dell’appliance del software KumoScale, la versione 3.20 del software KumoScale aggiunge un’opzione da implementare sui sistemi operativi commerciali generalmente disponibili. Per i data center di grandi dimensioni, l'infrastruttura di storage di necessità è strettamente integrata con una varietà di sottosistemi come provisioning, monitoraggio, telemetria e rete. La “modalità gestita” di KumoScale consente agli amministratori ingegneristici e di sicurezza di configurare, integrare e controllare l’ambiente del sistema operativo a livello di storage, mentre la “modalità di applicazione” del software KumoScale offre un’installazione e una distribuzione automatizzate più semplici con una complessità di implementazione ridotta per i mdelle piccole e medie imprese, ma con una configurabilità del sistema operativo più limitata.

Supporto per lo storage NVIDIA GPUDirect®:
La versione 3.20 aggiunge il supporto per NVIDIA GPUDirect Storage. GPUDirect Storage è una tecnologia introdotta nelle GPU NVIDIA Kepler™ e NVIDIA CUDA™ 5.0 che consente un percorso diretto per lo scambio di dati tra la GPU e un dispositivo peer di terze parti utilizzando le funzionalità standard di PCI Express®. Esempi di dispositivi di terze parti includono interfacce di rete, dispositivi di acquisizione video e adattatori di archiviazione. Il software KumoScale si comporta come un adattatore di storage per GPUDirect Storage.

Supporto OpenID® Connect™:
la versione 3.20 aggiunge il supporto per OpenID Connect 1.0 di terze parti. OpenID Connect è un livello di identità posizionato sopra al protocollo OAuth 2.0, che consente ai client di verificare l'identità degli utenti e della sessione in base all'autenticazione eseguita da un server di autorizzazione per le autorizzazioni dell'account di servizio. Il supporto software KumoScale per OpenID Connect semplifica l’integrazione della sicurezza negli ambienti dei data center CSP.

Migrazione del volume:
La migrazione avanzata dei volumi consente all'amministratore di migrare un volume tra i nodi di storage senza interruzioni per la manutenzione e l'utilizzo. I volumi rimangono online e continuano a servire l'I/O durante il processo di spostamento dei dati nella nuova posizione. L'operazione è completamente trasparente per le applicazioni che utilizzano il volume, migliorando la resilienza del cluster di storage. 

Cluster Manager CLI v2:
Una CLI migliorata di Cluster Manager estende la CLI v1 3.21 per aggiungere funzionalità di automazione del ciclo di vita guidate dall'operatore e disponibili nel piano di controllo di KumoScale™. La CLI di Cluster Manager 3.22 offre ora agli amministratori pieno accesso alle funzioni di gestione dei servizi cluster e provisioning dello storage tramite un'unica e intuitiva CLI.

Classe di volume flessibile:
Una nuova classe di volumi flessibili consente ai fornitori di infrastrutture per data center di avviare i propri tenant con un volume non replicato e di vendere successivamente un volume replicato resiliente. Consente ai fornitori di infrastrutture per data center di distribuire rapidamente i propri tenant e aggiungere la resilienza appropriata nella fase successiva.

La versione 3.22 del software KumoScale™ include anche una documentazione tecnica online migliorata, il refactoring di Ansible® per facilitare l'adattamento degli script dell'amministratore dello storage e l'indirizzo VIP del cluster modificabile.

Architettura

Architettura del sistema del data center

Architettura KumoScale™ Architettura KumoScale™

Funzioni (moduli)

1. Nodo di archiviazione KumoScale™
Server di archiviazione che esegue il software KumoScale™

2. Percorso dati
Percorso dati di rete per connettersi tra l'applicazione server e lo storage tramite NVMe-oF

3. Percorso di controllo
Percorso di controllo della rete per gestire i servizi di dati interni forniti da KumoScale.

4. Servizio del fornitore
Scorporare la capacità di storage appropriata e fornire la QoS preferita dal nodo di storage in base a parametri predefiniti.

5. Driver CSI
Unità di interfaccia di archiviazione container per KumoScale. Strettamente abbinato al driver CSI.

6. Database di telemetria
Database per memorizzare varie informazioni statistiche nel server e nel nodo di archiviazione KumoScale.

Requisiti della piattaforma

Il software KumoScale™ è stato testato sia sulle distribuzioni bare metal che su OpenStack e Kubernetes® su un’ampia gamma di server standard del settore. È possibile utilizzare qualsiasi initiator conforme a NVMe-oF™, incluso Linux® kernel versione 4.8 o successiva. La piattaforma supportata è mostrata di seguito.

Componenti

Requisiti minimi

Memoria

DDR4 da 64 GB

Disco di sistema

2 x 128 GB SATA DOM

NIC

Scheda di interfaccia di rete MCX516A-CCAT o MCX545A-CCAN ConnectX-5 EN, QSFP28 a doppia/singola porta 100GbE, PCIe®3.0 x16 ROHS R6 scheda di interfaccia di rete MCX416A-CCAT ConnectX-4 EN , QSFP28 a doppia/singola porta 100GbE, PCIe®3.0 x16 ROHS R6 Controller ethernet Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G

  • Scheda di interfaccia di rete MCX516A-CCAT o MCX545A-CCAN ConnectX®-5 EN, porta doppia/singola QSFP28 da 100GbE, PCIe® 3.0 x16 ROHS R6
  • Scheda di interfaccia di rete MCX416A-CCAT ConnectX®-4 EN, porta doppia/singola QSFP28 da 100GbE, PCIe® 3.0 x16 ROHS R6
  • Intel® 810

Alimentazione

Doppia alimentazione, hot swap

Interfaccia di gestione

Una porta di gestione dedicata è opzionale. KumoScale™ può utilizzare la porta dati per il traffico di gestione o una porta di gestione dedicata.

Provisioner KumoScale™

KumoScale™ Provisioner non richiede server aggiuntivi né container.

Manuale utente della versione 3.22

Il manuale utente della versione 3.22 di KumoScale comprende:

  • Elenco di compatibilità hardware (HCL)
  • Quale modalità di distribuzione di KumoScale devo utilizzare?
  • Note di rilascio
  • Guida all'installazione per la modalità di applicazione
  • Guida all'installazione per la modalità gestita con Kubernetes
  • Patch host NVMe™
  • Guida per l’utente
  • CLI di Cluster Manager
  • Guida per il driver Kubernetes™ CSI
  • Guida per l'utente di Openstack™
  • Guida all'API REST del Provisioner
  • Collezione KumoScale Metric
  • Guida alla dashboard di Grafana™
  • Guida per l’utente di Ansible™

Documenti

Questo documento descrive la panoramica, le caratteristiche e i vantaggi del software KumoScale™, nonché il caso d’uso tipico e le informazioni ambientali per l’implementazione.

Questo documento illustra l’architettura e la distribuzione della replica dei dati tra domini che fornisce la protezione dei dati per KumoScale. La replica dei dati tra domini di KumoScale implementa la protezione e il meccanismo automatico di auto-riparazione in caso di problemi di sistema.

Questo documento illustra i vantaggi prestazionali del software KumoScale™ in esecuzione come target  NVMe-oF™ rispetto a Ceph, che fornisce funzionalità simili dei sistemi di storage su scala del data center.

Questo documento illustra i risultati dei test delle prestazioni con KumoScale™ in esecuzione come target NVMe-oF™ con trasporto RDMA su piattaforma server PCIe® Gen 4 e SSD CM6. Il risultato delle prestazioni include prestazioni di un singolo SSD e scalabilità aumentando il numero di SSD.

KIOXIA sta ulteriormente sviluppando algoritmi di affidabilità più accurati oltre alla tecnologia ECC esistente per i dispositivi di memoria NAND. Questo documento tratta il caso d’uso interno del software di KIOXIA KumoScale™, che esegue un’archiviazione su blocchi rapida per il machine learning e l’elaborazione del deep learning a questo scopo.

L’archiviazione su blocchi rapida è sempre più importante per l'elaborazione IA/ML. Questo documento illustra i risultati dei test della combinazione con lo storage NVIDIA GPUDirect e lo storage NVMe™ del software KumoScale™ e spiega come questa combinazione riduce i tempi di elaborazione per l'intero flusso di lavoro.

L’archiviazione su blocchi rapida è sempre più importante per l'elaborazione IA/ML. Questo documento illustra i risultati dei test della combinazione con lo storage NVIDIA GPUDirect e lo storage NVMe™ del software KumoScale™ e spiega come questa combinazione riduce i tempi di elaborazione per l'intero flusso di lavoro.

Richieste

Contattaci tramite il modulo di richiesta.

  •  Prima di inviare una richiesta, leggi attentamente le informazioni importanti e accettale, quindi seleziona "KumoScale" nel menu a discesa "Prodotti" del modulo di richiesta.
  • : aggiunta di 15us di latenza a 4 KB di lettura rispetto al DAS. Misurato da KIOXIA a giugno 2020 utilizzando lo strumento di misurazione specificato da KIOXIA. 15us è la differenza della latenza di lettura di 4 KB tra la configurazione di storage DAS e NVMe-oF™ sullo stesso hardware.
  • NVMe e NVMe-oF sono marchi registrati o non registrati di NVM Express, Inc. negli Stati Uniti e in altri Paesi.
  • PCIe è un marchio registrato di PCI-SIG.
  • Kubernetes è un marchio registrato di The Linux Foundation negli Stati Uniti e/o in altri Paesi.
  • Ansible è un marchio registrato di Red Hat, Inc. negli Stati Uniti e in altri Paesi.
  • Linux è un marchio registrato di Linus Torvalds negli Stati Uniti e in altri Paesi.
  • OpenStack Word Mark è un marchio registrato della OpenStack Foundation, negli Stati Uniti e in altri Paesi e viene utilizzato con il permesso della OpenStack Foundation. Non siamo affiliati, promossi o sponsorizzati dalla OpenStack Foundation o dalla comunità OpenStack.
  • Prometheus è un marchio registrato di The Linux Foundation.
  • Grafana e Loki sono marchi o marchi registrati di Grafana Labs, Inc.
  • Intel è un marchio di Intel Corporation o delle sue consociate.
  • Tutti gli altri nomi di società, prodotti e servizi menzionati possono essere marchi delle rispettive società.