Please select your location and preferred language where available.
Software KumoScale™
- AVISOS IMPORTANTES -
Gracias por su interés en el software KumoScale ("Producto"). No hay ningún plan de mejora más allá de la versión 3.22, puesto que el producto ha pasado a ser únicamente de mantenimiento, y no se concederán nuevas licencias de evaluación o producción. Si tiene alguna pregunta, póngase en contacto con nosotros aquí.
Gestión de almacenamiento NVMe-oF™ desagregado para centros de datos
El software KumoScale™ implementa NVMe™ over Fabrics (NVMe-oF™). A través de este, el producto proporciona un servicio de almacenamiento de bloques rápido y en red entre el iniciador y el destino a través de una conexión de red de alta velocidad. El software se ejecuta en un nodo de almacenamiento lleno de unidades SSD NVMe™ y realiza la desagregación del almacenamiento. El software KumoScale es compatible con RDMA y NVMe sobre TCP para el transporte de red y proporciona un pool de almacenamiento compartido y agrupado que permite la división lógica por espacio de nombres NVMe en un grupo de unidades SSD. En comparación con el almacenamiento de conexión directa (DAS), la capacidad de gestión de volumen de KumoScale proporciona mucha flexibilidad para controlar grandes pools de almacenamiento que consisten en grandes unidades SSD individuales.
-
27-07-2022
Usos
Aplicación típica y uso
- Servicio de almacenamiento de alto rendimiento para aplicaciones nativas de la nube
- Servicio de almacenamiento persistente para OpenStack™ y Kubernetes®
- Servicio de almacenamiento de bloques de alta velocidad para aplicaciones HPC y otras aplicaciones científicas
- Almacenamiento backend para aplicaciones de AI/ML/DL
El software KumoScale™ debe funcionar con el software iniciador NVMe-oF™ de disponibilidad general, así como con las unidades SSD NVMe estándares. No es necesario un controlador de software o hardware patentado.
Función
Mejore la utilización del almacenamiento y consiga una mayor flexibilidad para gestionar una unidad SSD NVMe™ rápida agrupada
La capacidad y el rendimiento de la última unidad SSD PCIe® Gen 4 NVMe son mucho mayores que las de PCIe Gen 3 y son mucho más de lo que puede consumir un solo nodo computacional. Compartir unidades SSD en diferentes aplicaciones de usuario y servidores o máquinas virtuales es una necesidad urgente. Hasta que se introdujo NVMe-oF™ y se adoptó ampliamente, el almacenamiento en red ha sido lento, caro o ambos. Esto ya no ocurre con NVMe-oF™. El software KumoScale™ aumenta la utilización del almacenamiento al compartir unidades SSD, dividiendo las SSD compartidas por el espacio de nombres NVMe y añade más flexibilidad para aprovisionar la cantidad correcta de capacidad del pool a través del software con el rendimiento de las unidades SSD NVMe™.
Compatible con RDMA y NVMe sobre protocolo TCP
El software KumoScale es compatible con el protocolo de transporte RDMA y TCP. Si busca un servicio de almacenamiento de baja latencia y más rápido con el software KumoScale, RoCEv2 (RDMA sobre Ethenet convergente) podría ser una buena solución. Por otro lado, si prefiere compatibilidad de red en una red de centro de datos existente, TCP/IP podría utilizarse para el software KumoScale. Para obtener información sobre la tarjeta de red validada con el software KumoScale más reciente, consulte la Lista de compatibilidad de hardware.
Adaptación de la arquitectura de aprovisionamiento y telemetría del cliente
- Para OpenStack®,el software KumoScale™ proporciona un controlador OpenStack Cynder® compatible con la versión Wallaby y posteriores.
- Para Kubernetes® , las aplicaciones en contenedores están conectadas al nodo de almacenamiento KumoScale™ mediante el controlador de la interfaz de almacenamiento de contenedores KumoScale (CSI).
- Para entornos de tipo bare-metal, se pueden utilizar los playbooks de Ansible™ u otras herramientas de automatización populares para la automatización de despliegue y suministro de almacenamiento para nodos de computación.
- Para la integración de telemetría, el software de KumoScale™ proporciona una interfaz que permite el intercambio de datos Push/Pull para la infraestructura existente de telemetría (métricas de series temporales) y registro (eventos asíncronos).
Protección de datos y alta disponibilidad
Protección de datos -Replicación de datos entre dominios (CDDR)-
El software de KumoScale™ proporciona protección de datos mediante una técnica llamada Replicación de datos entre dominios (CDDR). La CDDR crea múltiples réplicas de un volumen lógico sobre las unidades SSD agrupadas y las asigna a nodos de almacenamiento ubicados en diferentes dominios de fallos. La replicación se basa en el iniciador y la réplica se puede situar en el segundo o tercer nodo de almacenamiento KumoScale™. Para la replicación, el agente KumoScale se ejecuta en el iniciador para comprobar la disponibilidad del volumen. Una vez que el agente detecta un fallo del volumen, independientemente del motivo, el volumen se vuelve a conectar automáticamente al volumen replicado en un nodo de almacenamiento diferente. Después de que el volumen resiliente se recupera del fallo, todos los datos se reconstruyen para obtener un volumen resiliente nuevo automáticamente.
Garantizar una alta disponibilidad
El nodo de almacenamiento de KumoScale™ es compatible con L3 BGP (Protocolo de puerta de enlace de frontera) para que la ruta de red se redirija automáticamente a la ruta de red disponible en función de la tabla de enrutamiento óptima predefinida cuando haya un problema de conexión de red.
Aspectos destacados de la versión 3.22
Opciones de despliegue adicionales:
Además de la instalación optimizada del dispositivo del software KumoScale, la versión 3.20 del software KumoScale añade una opción para implementar en sistemas operativos comerciales disponibles a nivel general. Para grandes centros de datos, la infraestructura de almacenamiento necesaria está estrechamente integrada con diversos subsistemas, como aprovisionamiento, supervisión, telemetría y red. El “modo gestionado” de KumoScale permite una flexibilidad total para que los administradores de ingeniería y seguridad configuren, integren y controlen el entorno del sistema operativo de la capa de almacenamiento, al tiempo que el “modo de aplicación” del software KumoScale proporciona una instalación más sencilla y una implementación automatizada con menor complejidad de implementación para clientes de pequeñas y & medianas empresas, pero con una configurabilidad del sistema operativo más limitada.
Soporte NVIDIA GPUDirect® Storage:
La versión 3.20 añade compatibilidad con NVIDIA GPUDirect Storage. GPUDirect Storage es una tecnología introducida en las GPU NVIDIA Kepler™ y NVIDIA CUDA™ 5.0 que permite una ruta directa para el intercambio de datos entre la GPU y un dispositivo homólogo de terceros utilizando características estándar de PCI Express®. Algunos ejemplos de dispositivos de terceros incluyen interfaces de red, dispositivos de adquisición de vídeo y adaptadores de almacenamiento. El software KumoScale se comporta como un adaptador de almacenamiento para GPUDirect Storage.
Compatibilidad con OpenID® Connect™:
La versión 3.20 añade compatibilidad con OpenID Connect 1.0 de terceros. OpenID Connect es una capa de identidad sobre el protocolo OAuth 2.0 que permite a los clientes verificar la identidad de los usuarios y la sesión basándose en la autenticación realizada por un servidor de autorización para permisos de cuentas de servicio. La compatibilidad del software KumoScale con OpenID Connect simplifica la integración de seguridad en entornos de centros de datos CSP.
Migración de volumen:
La migración de volumen mejorada permite a un administrador migrar un volumen a través de nodos de almacenamiento sin interrupciones para el mantenimiento y la utilización. Los volúmenes permanecen en línea y continúan prestando servicios de E/S durante el proceso de traslado de los datos a su nueva ubicación. La operación se lleva a cabo de forma totalmente transparente para las aplicaciones que utilizan el volumen, lo que mejora la capacidad de recuperación del clúster de almacenamiento.
Cluster Manager CLI v2:
Una versión mejorada de Cluster Manager CLI amplía la versión 3.21 CLI v1 para añadir funciones de automatización del ciclo de vida dirigidas por el operador y disponibles en el plano de control de KumoScale™. El CLI de Cluster Manager 3.22 ofrece ahora a los administradores acceso completo tanto a la gestión de servicios de clúster como a las funciones de aprovisionamiento de almacenamiento a través de un CLI único e intuitivo.
Clase de volumen flexible:
Una nueva clase de volumen flexible permite a los proveedores de infraestructuras de centros de datos ofrecer a sus inquilinos un volumen no replicado al principio y, posteriormente, venderles un volumen replicado resistente. Permite a los proveedores de infraestructura de centros de datos configurar sus inquilinos rápidamente y añadir la capacidad de recuperación adecuada en una fase posterior.
La versión 3.22 del software KumoScale™ también incluye una documentación técnica en línea mejorada, una refactorización de Ansible® para facilitar la adaptación del script del administrador de almacenamiento y una dirección VIP de clúster modificable.
Arquitectura
Arquitectura del sistema del centro de datos
Funciones (módulos)
1. Nodo de almacenamiento KumoScale™
Servidor de almacenamiento que ejecuta el software KumoScale™
2. Ruta de datos
Ruta de datos de red para establecer la conexión entre la aplicación del servidor y el almacenamiento mediante NVMe-oF
3. Ruta de control
Ruta de control de red para gestionar los servicios de datos internos proporcionados por KumoScale.
4. Servicio de aprovisionamiento
Determinar la capacidad de almacenamiento adecuada y proporcionar la calidad de servicio preferida del nodo de almacenamiento mediante parámetros predefinidos.
5. Controlador CSI
Unidad de interfaz de almacenamiento de contenedores para KumoScale. Acoplado firmemente con el controlador CSI.
6. Base de datos de telemetría
Base de datos para almacenar una variedad de información estadística en el servidor y en el nodo de almacenamiento KumoScale.
Requisitos de la plataforma
El software KumoScale™ se ha probado en despliegues tanto de tipo bare-metal, como de OpenStack y Kubernetes® en una amplia gama de servidores estándar del sector. Se puede utilizar cualquier iniciador compatible con NVMe-oF™, incluida la versión 4.8 o posterior del núcleo Linux®. La plataforma compatible se muestra a continuación.
|
Componentes |
Requisito mínimo |
|---|---|
|
Memoria |
64GB DDR4 |
|
Disco del sistema |
2 unidades SATA DOM de 128 GB |
|
NIC |
Tarjeta de interfaz de red MCX516A-CCAT o MCX545A-CCAN ConnectX-5 EN, puerto dual/único 100 GbE QSFP28, PCIe® Tarjeta de interfaz de red 3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN, puerto dual/único 100 GbE QSFP28, PCIe® Controladora Ethernet 3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G
|
|
Fuente de alimentación |
Fuente de alimentación doble, intercambiable en caliente |
|
Interfaz de gestión |
Un puerto de gestión dedicado es opcional. KumoScale™ puede utilizar el puerto de datos para el tráfico de gestión, o puede utilizar un puerto de gestión dedicado. |
|
Proveedor KumoScale™ |
El proveedor KumoScale™ no requiere ningún servidor adicional ni un contenedor. |
- Lista de compatibilidad de hardware (HCL)
- ¿Qué modo de implementación de KumoScale debo utilizar?
- Notas de la versión
- Guía de instalación para el modo de dispositivo
- Guía de instalación para el modo gestionado con Kubernetes
- Parche de host NVMe™
- Guía del usuario
- Cluster Manager CLI
- Guía del controlador CSI de Kubernetes™
- Guía del usuario de Openstack™
- Guía de la API REST para el proveedor
- Colección de mediciones de KumoScale
- Guía del panel de control de Grafana™
- Guía del usuario de Ansible™
Documentos
En este documento se analiza el resultado de las pruebas de rendimiento con KumoScale™ ejecutándose como objetivo NVMe-oF™ con transporte RDMA en la plataforma de servidor PCIe® Gen 4 y unidad SSD CM6. El resultado de rendimiento incluye un rendimiento de SSD único, así como escalabilidad, al aumentar el número de unidades SSD.
KIOXIA está desarrollando algoritmos de fiabilidad más precisos, además de la tecnología ECC existente para dispositivos de memoria NAND. Este documento analiza el caso de uso interno de KIOXIA del software KumoScale™ que ejecuta un almacenamiento de bloques rápido para el aprendizaje automático y el procesamiento de aprendizaje profundo para este fin.
El almacenamiento rápido en bloque es cada vez más importante para el procesamiento de IA/ML. En este documento se analiza el resultado de las pruebas de la combinación con el almacenamiento NVIDIA GPUDirect y el almacenamiento NVMe™ del software KumoScale™ y cómo esta combinación reduce el tiempo de procesamiento para todo el flujo de trabajo.
El almacenamiento rápido en bloque es cada vez más importante para el procesamiento de IA/ML. En este documento se analiza el resultado de las pruebas de la combinación con el almacenamiento NVIDIA GPUDirect y el almacenamiento NVMe™ del software KumoScale™ y cómo esta combinación reduce el tiempo de procesamiento para todo el flujo de trabajo.
Consultas
Póngase en contacto con nosotros a través del formulario de consulta.
- Antes de enviar una consulta, lea detenidamente las consideraciones importantes y acéptelas, luego seleccione "KumoScale" en el menú desplegable "Productos" del formulario de consulta.
Comunicado de prensa
-
27-07-2022
-
13-04-2022
-
22-06-2021
- : 15us de adición de latencia para lectura de 4 KB en comparación con DAS. Medido por KIOXIA en junio de 2020 utilizando la herramienta de medición especificada por KIOXIA. 15us es la diferencia de latencia para lectura de 4 KB entre la configuración de almacenamiento DAS y NVMe-oF™ en el mismo hardware.
- NVMe y NVMe-oF son marcas registradas o no registradas de NVM Express, Inc. en los Estados Unidos y otros países.
- PCIe es una marca registrada de PCI-SIG.
- Kubernetes es una marca comercial registrada de The Linux Foundation en los Estados Unidos y/o en otros países.
- Ansible es una marca registrada de Red Hat, Inc. en los Estados Unidos y en otros países.
- Linux es una marca registrada de Linus Torvalds en EE. UU. y otros países.
- La marca OpenStack Word es una marca comercial registrada de OpenStack Foundation, en los Estados Unidos y otros países, y se utiliza con el permiso de OpenStack Foundation. No estamos afiliados, avalados ni patrocinados por OpenStack Foundation o la comunidad de OpenStack.
- Prometheus es una marca comercial registrada de The Linux Foundation.
- Grafana y Loki son marcas comerciales o marcas comerciales registradas de Grafana Labs, Inc.
- Intel es una marca comercial de Intel Corporation o sus filiales.
- Todos los demás nombres de empresas, nombres de productos y nombres de servicios mencionados aquí podrán ser marcas comerciales de sus respectivas compañías.
Las unidades SSD para empresas son adecuadas para sistemas informáticos, de servidores y de almacenamiento de alto rendimiento de nivel 0 que necesitan un alto nivel de rendimiento y fiabilidad. Las unidades SSD para empresas de KIOXIA ofrecen una alta fiabilidad y protección de datos, incorporando tecnología de protección contra la pérdida de energía (PLP) y de cifrado, para respaldar entornos y aplicaciones empresariales.
Las unidades SSD para centros de datos KIOXIA están diseñadas para servidores en hiperescala y optimizados para reducir costes en centros de datos en la nube que requieren un bajo consumo de energía, un flujo de aire eficiente y un rendimiento gestionado. Estas unidades SSD incluyen protección de datos con protección contra pérdida de energía (PLP) y opciones de tecnología de cifrado.
