Logiciel KumoScale™

AVIS IMPORTANT

Nous vous remercions de votre intérêt pour le logiciel KumoScale™ ("Produit"). Aucune amélioration n’est prévue au-delà de la version 3.22, car le Produit est passé au mode maintenance uniquement, et aucune nouvelle licence d’évaluation ou de production ne sera accordée. Si vous avez des questions, veuillez nous contacter ici.

Gestion du stockage NVMe-oF™ désagrégé pour les centres de données

Le logiciel KumoScale™ implémente le système NVMe™ over Fabrics (NVMe-oF™). Par lequel le produit fournit un service de stockage en bloc rapide et en réseau entre l’initiateur et la cible via une connexion réseau à haut débit. Le logiciel s’exécute sur un nœud de stockage avec des SSD NVMe et effectue une désagrégation du stockage. Le logiciel KumoScale prend en charge à la fois RDMA et NVMe sur TCP pour le transport réseau et fournit un pool de stockage partagé pour permettre une division logique par espace de noms NVMe sur un ensemble de disques SSD. Comparée au DAS (Direct Attached Storage), la capacité de gestion du volume de KumoScale offre une grande flexibilité pour contrôler un grand pool de stockage composé de SSD individuels volumineux.

Cas d’utilisation

Application et cas d’utilisation typiques

  • Service de stockage haute performance pour les applications cloud natives
  • Service de stockage continu pour OpenStack™ et Kubernetes®
  • Service de stockage en bloc à grande vitesse pour les applications HPC et autres applications scientifiques
  • Stockage de backend pour les applications IA/ML/DL

Le logiciel KumoScale™ devrait fonctionner avec les logiciels NVMe-oF™ initiateurs généralement disponibles ainsi qu’avec les SSD NVMe standard. Il n’est pas nécessaire de disposer d’un pilote ou d’un matériel logiciel propriétaire.

Fonction

Améliorer l’utilisation du stockage et la flexibilité pour gérer les SSD NVMe™

La capacité et les performances du dernier SSD NVMe PCIe® Gen 4 vont bien plus loin que celles du PCIe Gen 3 et dépassent largement la consommation d’un seul nœud de calcul. Le partage de disques SSD sur différentes applications utilisateur et serveurs/VM représente un besoin urgent. Le stockage en réseau a toujours été lent ou coûteux, quelquefois les deux, jusqu’à la sortie du NVMe-oF™. NVMe-oF™ a vraiment tout changé en la matière. Le logiciel KumoScale™ augmente l’utilisation du stockage en partageant le SSD, en divisant le SSD partagé par l’espace de noms NVMe et en ajoutant plus de flexibilité pour fournir la bonne quantité de capacité du pool via le logiciel aux performances des SSD NVMe™.

Prend en charge le protocole RDMA et NVMe sur TCP

Le logiciel KumoScale prend en charge RDMA et le protocole de transport TCP. Si vous recherchez un service de stockage plus rapide et à faible latence avec le logiciel KumoScale, RoCEv2 (RDMA sur Converged Ethenet) devrait vous convenir. Par contre, si vous préférez la compatibilité avec le réseau du centre de données existant, le logiciel KumoScale peut aussi utiliser le protocole TCP/IP. Pour les cartes réseau validées avec le dernier logiciel KumoScale, veuillez vous référer à la HCL (Hardware Compatibility List/Liste de compatibilité du matériel).

Adaptation de l’architecture de télémétrie et de provisionnement client

  • Pour OpenStack®, le logiciel KumoScale™ fournit un pilote OpenStack Cynder® prenant en charge la version Wallaby et au-delà.
  • Pour Kubernetes® , les applications conteneurisées sont connectées au nœud de stockage KumoScale™ par le pilote KumoScale Container Storage Interface (CSI).
  • Pour l’environnement bare-metal, les playbooks Ansible ou d’autres outils d’automatisation courantes peuvent être utilisés pour l’automatisation du déploiement et l’approvisionnement du stockage vers les nœuds de calcul.
  • En matière d’intégration de la télémétrie, le logiciel KumoScale™ fournit une interface permettant l’échange de données push/pull pour l’infrastructure de télémétrie (mesures de séries temporelles) et d’enregistrement (événements asynchrones) existante.

Protection des données et haute disponibilité

Protection des données et Réplication des données interdomaines (CDDR)-
Le logiciel KumoScale™ assure la protection des données via une technique appelée réplication de données interdomaines (CDDR).  Le CDDR crée plusieurs répliques d’un volume logique en plus des SSD regroupés et les mappe aux nœuds de stockage situés dans différents domaines de défaillance. La réplication est basée sur l’initiateur et la réplique peut être placée sur le 2e ou 3e nœud de stockage KumoScale™. Pour la réplication, l’agent KumoScale s’exécute sur l’initiateur pour vérifier la disponibilité du volume. Une fois que l’agent  détecte les erreurs de volume, quelle qu’en soit la raison, le volume est automatiquement reconnecté au volume répliqué sur un nœud de stockage différent. Une fois que le volume résilient est revenu de la défaillance, toutes les données sont automatiquement reconstruites pour atteindre un nouveau volume résilient.

Garantir une haute disponibilité
Le nœud de stockage KumoScale™ prend en charge le protocole BGP (Border Gate Protocol) L3 afin que le chemin réseau soit automatiquement réacheminé vers le chemin réseau disponible en fonction d’une table de routage optimale prédéfinie en cas de problème de connexion réseau.

Highlight V3.22

Options de déploiement supplémentaires :
En plus de l’installation simplifiée de l’appliance du logiciel KumoScale, la version 3.20 du logiciel KumoScale ajoute une option de déploiement sur les systèmes d’exploitation commerciaux généralement disponibles. Pour les grands centres de données, l’infrastructure de stockage de nécessité est étroitement intégrée à divers sous-systèmes tels que l’approvisionnement, la surveillance, la télémétrie et le réseau. Le « mode géré » de KumoScale offre une flexibilité totale aux administrateurs d’ingénierie et de sécurité pour configurer, intégrer et contrôler l’environnement de système d’exploitation de la couche de stockage, tandis que le « mode d’application » du logiciel KumoScale permet une installation et un déploiement automatisés plus simples avec une complexité de déploiement réduite pour les petites & moyennes entreprises, mais avec une configurabilité du système d’exploitation plus limitée.

Prise en charge du stockage NVIDIA GPUDirect®  :
La version 3.20 prend en charge NVIDIA GPUDirect Storage. GPUDirect Storage est une technologie utilisée dans NVIDIA Kepler™ GPUs et NVIDIA CUDA™ 5.0 qui permet un chemin direct pour l’échange de données entre le GPU et un périphérique tiers avec les fonctionnalités standard de PCI Express®. Les interfaces réseau, les dispositifs d’acquisition vidéo et les adaptateurs de stockage sont des exemples de dispositifs tiers. Le logiciel KumoScale se comporte comme un adaptateur de stockage GPUDirect Storage.

Assistance OpenID® Connect™  :
La version 3.20 ajoute la prise en charge d’OpenID Connect 1.0 tiers. OpenID Connect est une couche d’identité au-dessus du protocole OAuth 2.0 qui permet aux clients de vérifier l’identité des utilisateurs et de la session en fonction de l’authentification effectuée par un serveur d’autorisation pour les autorisations de compte de service. La prise en charge du logiciel KumoScale pour OpenID Connect simplifie l’intégration de la sécurité dans les environnements de centres de données CSP.

Migration du volume :
Une migration de volume améliorée permet à l’administrateur de migrer un volume entre les nœuds de stockage sans interrompre la maintenance ou l’utilisation. Les volumes restent en ligne et continuent de servir les E/S pendant le processus de déplacement des données vers leur nouvel emplacement. L’opération est entièrement transparente pour les applications utilisant le volume, améliorant ainsi la résilience du cluster de stockage. 

Gestionnaire de cluster CLI v2 :
Un gestionnaire de cluster amélioré permet d’étendre la version 3.21 de la CLI v1 pour y ajouter les capacités d’automatisation du cycle de vie pilotées par l’opérateur disponibles dans le plan de contrôle KumoScale™. La version 3.22 du Gestionnaire de cluster CLI offre désormais aux administrateurs un accès complet aux fonctions de gestion des services de cluster et de provisionnement du stockage via une CLI unique et intuitive.

Classe de volume flexible :
La nouvelle classe de volume flexible permet aux fournisseurs d’infrastructure de centre de données de démarrer avec des locataires ayant un volume non répliqué et de les faire monter en gamme plus tard à un volume répliqué résilient. Elle permet aux fournisseurs d’infrastructure de centre de données de déployer rapidement des locataires et d’ajouter une résilience appropriée dans la phase ultérieure.

La version 3.22 du logiciel de KumoScale™ inclut également une documentation technique en ligne améliorée, une refonte d’Ansible® pour une adaptation plus facile du script de l’administrateur de stockage ainsi qu’une adresse VIP de cluster modifiable.

Architecture

Architecture du système de centres de données

Architecture KumoScale™ Architecture KumoScale™

Fonctions (modules)

1. Nœud de stockage KumoScale™
Serveur de stockage qui exécute le logiciel KumoScale™

2. Chemin de données
Chemin de données réseau pour la connexion entre l’application serveur et le stockage via NVMe-oF

3. Chemin de contrôle
Chemin de contrôle réseau pour gérer les services de données internes fournis par KumoScale.

4. Service du fournisseur
Découpe la capacité de stockage appropriée et provisionne la QoS choisie à partir du nœud de stockage par des paramètres prédéfinis.

5. Pilote CSI
Lecteur d’interface de stockage de conteneurs pour KumoScale. Étroitement couplé avec le driver CSI.

6. Base de données de télémétrie
Base de données pour stocker diverses informations statistiques dans le serveur et le nœud de stockage KumoScale.

Exigences pour la plate-forme

Le logiciel KumoScale™ a été testé sur des déploiements bare metal, OpenStack et Kubernetes® sur une large gamme de serveurs standard. Tout initiateur compatible NVMe-oF™ peut être utilisé, y compris le noyau Linux® version 4.8 ou ultérieure. La plateforme prise en charge est présentée ci-dessous.

Composants

Exigences minimales

Mémoire

DDR4 64 Go

Disque système

2 x DOM SATA 128 Go

NIC

Carte d'interface réseau MCX516A-CCAT ou MCX545A-CCAN réseau ConnectX-5 EN, 100GbE port double/simple QSFP28, PCIe®3.0 x16 ROHS R6 MCX416A-CCAT Carte d'interface réseau ConnectX-4 EN, 100GbE port double/simple QSFP28, PCIe®3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 Contrôleur Ethernet 10/25/40/50/100G

  • Carte d’interface réseau MCX516A-CCAT ou MCX545A-CCAN ConnectX®-5 EN, QSFP28 100 GbE double/port unique, PCIe® 3,0 x16 ROHS R6
  • Carte d’interface réseau MCX416A-CCAT ConnectX®-4 EN, QSFP28 100 GbE double/port unique, PCIe® 3,0 x16 ROHS R6
  • Intel® 810

Alimentation électrique

Alimentation double, extractible à chaud

Interface de gestion

Un port de gestion dédié est facultatif. KumoScale™ peut utiliser le port de données pour le trafic de gestion, ou un port de gestion dédié.

KumoScale™ Provisioner

KumoScale™ Provisioner ne nécessite aucun serveur ni conteneur supplémentaire.

Manuel de l’utilisateur V3.22

Le manuel de l’utilisateur de KumoScale V3.22 inclut :

  • Liste de compatibilité matérielle (HCL)
  • Quel mode de déploiement KumoScale dois-je utiliser ?
  • Notes de publication
  • Guide d’installation du Mode Appareil
  • Guide d’installation du Mode géré avec Kubernetes
  • Correctif d’hôte NVMe™
  • Guide de l’utilisateur
  • Gestionnaire de cluster CLI
  • Guide du pilote CSI de Kubernetes™
  • Guide de l’utilisateur Openstack™
  • Guide de l’API REST du fournisseur
  • Collecte de métriques KumoScale
  • Guide du tableau de bord Grafana™
  • Guide de l’utilisateur Ansible™

Documents

Ce document décrit l’aperçu, les fonctionnalités et les avantages du logiciel KumoScale™, ainsi que les cas d’utilisation typiques et les informations environnementales pour son déploiement.

Ce document traite de l’architecture et du déploiement de la réplication de données interdomaines qui fournit une protection des données pour KumoScale. KumoScale CDDR met en œuvre un mécanisme de protection et d’auto-réparation automatique en cas de problème système.

Ce document traite des avantages en termes de performances du logiciel KumoScale™ s’exécutant comme cible  NVMe-oF™ par rapport à Ceph qui fournit des fonctionnalités de systèmes de stockage similaires à l’échelle du centre de données.

Ce document traite des résultats des tests de performance avec KumoScale™ fonctionnant comme cible NVMe-oF™ avec transport RDMA sur une plate-forme de serveur PCIe® Gen 4 et un SSD CM6. Le résultat de la performance inclut la performance d’un seul SSD ainsi que l’évolutivité en augmentant le nombre de disques SSD.

KIOXIA développe des algorithmes de fiabilité plus précis en plus de la technologie ECC existante des dispositifs de mémoire NAND. Ce document traite du cas d’utilisation interne du logiciel KumoScale™ par KIOXIA qui exécute un stockage en bloc rapide pour l’apprentissage automatique et le traitement de l’apprentissage profond à cette fin.

Le stockage en bloc rapide est de plus en plus important lorsqu’il s’agit de traitement IA/ML. Ce document traite des résultats des tests de la combinaison du stockage NVIDIA GPUDirect avec le stockage NVMe™ par le logiciel KumoScale™ et explique en quoi cette combinaison réduit le temps de traitement de l’ensemble du workflow.

Le stockage en bloc rapide est de plus en plus important lorsqu’il s’agit de traitement IA/ML. Ce document traite des résultats des tests de la combinaison du stockage NVIDIA GPUDirect avec le stockage NVMe™ par le logiciel KumoScale™ et explique en quoi cette combinaison réduit le temps de traitement de l’ensemble du workflow.

Requêtes

Veuillez nous contacter à partir du formulaire de demande.

  •  Avant de soumettre une demande, veuillez lire attentivement les considérations importantes et les accepter, puis sélectionnez "KumoScale" dans le menu déroulant "Produits" du formulaire de demande.
  •  : ajout d’une latence de 15us à 4 Ko de lecture par rapport au DAS. Mesuré par KIOXIA en juin 2020 à l’aide de l’outil de mesure spécifié par KIOXIA. 15us est la différence de latence de lecture de 4KB entre la configuration de stockage DAS et NVMe-oF™ sur le même matériel.
  • NVMe et NVMe-oF sont des marques déposées ou non déposées de NVM Express, Inc. aux États-Unis et dans d’autres pays.
  • PCIe est une marque déposée de PCI-SIG.
  • Kubernetes est une marque déposée de The Linux Foundation aux États-Unis et/ou dans d’autres pays.
  • Ansible est une marque déposée de Red Hat, Inc. aux États-Unis et dans d’autres pays.
  • Linux est une marque déposée de Linus Torvalds aux États-Unis et dans d’autres pays.
  • La marque OpenStack est une marque déposée de la Fondation OpenStack, aux États-Unis et dans d’autres pays, et est utilisée avec l’autorisation de la Fondation OpenStack. Nous ne sommes pas affiliés à la Fondation OpenStack ou à la communauté OpenStack, ne les soutenons pas et ne les parrainons pas.
  • Prometheus est une marque déposée de The Linux Foundation.
  • Grafana et Loki sont des marques commerciales ou des marques déposées de Grafana Labs, Inc.
  • Intel est une marque déposée d’Intel Corporation ou de ses filiales.
  • Tous les autres noms de société, de produits et de services mentionnés ici sont des marques de leurs détenteurs respectifs.