Oprogramowanie KumoScale™

Zdezagregowane zarządzanie przechowywaniem danych NVMe-oF™ dla centrów danych

Oprogramowanie KumoScale™ wykorzystuje protokół NVMe™ over Fabrics (NVMe-oF™). Dzięki temu produkt zapewnia szybką, sieciowe usługi przechowywania blokowego pomiędzy inicjatorem a celem przez szybkie połączenia sieciowe. Oprogramowanie działa na węźle pamięci masowej wyposażonym w dyski SDD NVMe™ i realizuje dezagregację pamięci masowej. Oprogramowanie KumoScale obsługuje zarówno RDMA, jak i NVMe przez TCP do transportu sieciowego i zapewnia współdzieloną, klastrową pulę pamięci masowej, umożliwiając logiczny podział z wykorzystaniem przestrzeni nazw NVMe na wielu dyskach SSD. W porównaniu z magazynem danych DAS funkcja zarządzania wolumenem KumoScale daje dużą elastyczność w zakresie kontrolowania dużej puli pamięci masowej złożonej z dużych, pojedynczych dysków SSD.

Przypadek użycia

Typowe zastosowanie i przypadek użycia

  • Wysokowydajna usługa przechowywania dla natywnych aplikacji chmurowych
  • Usługa magazynu trwałego dla OpenStack™ i Kubernetes®
  • Usługa przechowywania blokowego dużej prędkości do zastosowań HPC i innych zastosowań naukowych
  • Pamięć wewnętrznych baz danych do zastosowań AI/ML/DL

Oprogramowanie KumoScale™ powinno współpracować z powszechnie dostępnym oprogramowaniem inicjującym NVMe-oF™, jak również standardowymi dyskami SSD NVMe. Opatentowany sterownik oprogramowania ani sprzęt nie są konieczne.

Funkcja

Lepsze wykorzystanie pamięci masowej i lepsza elastyczność zarządzania pulą szybkich dysków SSD NVMe™

Pojemność i wydajność najnowszego dysku SSD PCIe® Gen 4 NVMe jest znacznie większa niż w przypadku PCIe Gen 3 i znacznie przekracza ewentualne zużycie przez pojedynczy węzeł obliczeniowy. Udostępnianie dysków SSD za pośrednictwem różnych aplikacji i serwerów/maszyn wirtualnych jest pilnie potrzebne. Do momentu wprowadzenia protokołu NVMe-oF™ i jego szerokiego rozpowszechnienia, sieciowy magazyn danych był albo powolny, albo kosztowny, albo jedno i drugie. Dzięki NVMe-oF™ to już przeszłość. Oprogramowanie KumoScale™ zwiększa wykorzystanie przestrzeni dyskowej, udostępniając dyski SSD i dzieląc tak udostępnione dyski po przestrzeni nazw NVMe, i nadaje większą elastyczność zapewniania odpowiedniej pojemności od puli przez oprogramowanie z wydajnością NVMe™ SSD.

Obsługuje RDMA i NVMe przez protokół TCP

Oprogramowanie KumoScale obsługuje dostęp RDMA i protokół transportu TCP. Jeśli szukasz szybszej usługi przechowywania danych o niskich opóźnieniach, oprogramowanie KumoScale, RoCEv2 (RDMA przez konwergentny Ethenet) powinno być odpowiednie. Z drugiej strony, jeśli preferujesz kompatybilność sieciową w istniejącej sieci centrum danych, oprogramowanie KumoScale może korzystać z protokołu TCP/IP. Informacje na temat kart sieciowych zatwierdzonych do użycia z najnowszym oprogramowaniem KumoScale można znaleźć w dokumencie HCL (Hardware Compatibility List).

Dostosowywanie architektury obsługi klientów i telemetrii

  • W przypadku OpenStack® oprogramowanieKumoScale™ zapewnia sterownik OpenStack Cynder® wspierający wersję Wallaby i nowsze.
  • W przypadku Kubernetes® aplikacje kontenerowe są połączone z węzłem pamięci KumoScale™ za pomocą sterownika KumoScale CSI (Container Storage Interface).
  • W przypadku środowiska bez warstwy pośredniej do automatyzacji wdrożenia i udostępniania pamięci masowej węzłom obliczeniowym można wykorzystać podręczniki Ansible™ lub inne popularne narzędzia automatyzacji.
  • W przypadku integracji telemetrii oprogramowanie KumoScale™ zapewnia interfejs umożliwiający wymianę danych typu push/pull dla istniejącej infrastruktury telemetrycznej (metryki serii czasowych, takie jak Prometheus™ i Grafana™) i rejestrującej (zdarzenia asynchroniczne).

Ochrona danych i wysoka dostępność

Ochrona danych – Międzydomenowa replikacja danych (CDDR) –
Oprogramowanie KumoScale™ zapewnia ochronę danych za pomocą techniki o nazwie Cross Domain Data Replication (CDDR).  Technik CDDR tworzy wiele replik o wolumenach logicznych na poziomie nad dyskami SSD w puli i mapuje je na węzły pamięci zlokalizowane w różnych domenach awarii. Replikacja opiera się na inicjatorze, a repliki można umieścić na drugim lub trzecim węźle pamięci masowej KumoScale™. W przypadku replikacji agent KumoScale działa na inicjatorze, sprawdzając dostępność miejsca. Gdy agent  wykryje awarię wolumenu niezależnie od przyczyny, wolumen zostanie automatycznie ponownie połączony ze zreplikowanym wolumenem na innym węźle pamięci masowej. Po przywróceniu odpornego wolumenu z awarii wszystkie dane są automatycznie przenoszone do nowego odpornego wolumenu.

Zapewnij wysoką dostępność
Węzeł pamięci masowej KumoScale™ obsługuje protokół L3 BGP (Border Gate Protocol), dzięki czemu ścieżka sieciowa jest automatycznie przekierowywana do dostępnej ścieżki sieciowej w oparciu o wstępnie zdefiniowaną optymalną tabelę routingu w przypadku problemów z połączeniem sieciowym.

Najważniejsze funkcje wersji 3.20

Dodatkowe opcje wdrożenia:
Oprócz usprawnionej instalacji urządzeń w oprogramowaniu KumoScale, oprogramowanie KumoScale w wersji 3.20 dodaje opcję wdrożenia w ogólnie dostępnych komercyjnych systemach operacyjnych. W przypadku dużych centrów danych infrastruktura pamięci masowej jest z konieczności ściśle zintegrowana z różnymi podsystemami, takimi jak udostępnianie, monitorowanie, telemetria i sieć. „Tryb zarządzania” KumoScale zapewnia pełną elastyczność inżynierom i administratorom bezpieczeństwa w zakresie konfiguracji, integracji i kontroli środowiska warstwy pamięci masowej systemu operacyjnego, podczas gdy „tryb aplikacji” oprogramowania KumoScale zapewnia prostszą instalację i zautomatyzowane wdrażanie przy zmniejszonej złożoności wdrożenia dla małych i średnich klientów biznesowych, ale z bardziej ograniczonymi możliwościami konfigurowania systemu operacyjnego.

Obsługa NVIDIA GPUDirect® Storage:
Wersja 3.20 dodaje obsługę NVIDIA GPUDirect Storage. GPUDirect Storage to technologia wprowadzona w układach GPU NVIDIA Kepler™ i NVIDIA CUDA™ 5.0, która aktywuje bezpośrednią ścieżkę wymiany danych między układem GPU a urządzeniem innych producentów za pomocą standardowych funkcji PCI Express®. Przykładami urządzeń innych firm są interfejsy sieciowe, urządzenia do akwizycji wideo i adaptery pamięci masowej. Oprogramowanie KumoScale działa jak adapter pamięci masowej dla funkcji GPUDirect Storage.

Obsługa OpenID® Connect™:
Wersja 3.20 dodaje obsługę OpenID Connect 1.0 dla urządzeń innych firm. OpenID Connect to warstwa tożsamości znajdująca się na górze protokołu OAuth 2.0, która umożliwia klientom weryfikację tożsamości użytkowników i sesji w oparciu o uwierzytelnianie wykonywane przez serwer autoryzacji dla uprawnień konta usługi. Obsługa OpenID Connect przez oprogramowanie KumoScale upraszcza integrację zabezpieczeń ze środowiskami centrów danych CSP.

Architektura

Architektura systemu centrum danych

Architektura KumoScale™ Architektura KumoScale™

Funkcje (moduły)

1. Węzeł pamięci masowej KumoScale™
Serwer pamięci masowej, na którym uruchomione jest oprogramowanie KumoScale™

2. Ścieżka danych
Ścieżka danych sieciowych umożliwiająca łączenie aplikacji serwerowej z pamięcią masową za pośrednictwem protokołu NVMe-oF

3. Ścieżka kontroli
Ścieżka kontroli sieci do zarządzania wewnętrznymi usługami danych dostarczanymi przez KumoScale.

4. Usługa obiektu inicjującego
„Wycina” odpowiednią pojemność pamięci masowej i zapewnia preferowany QoS z węzła pamięci według wstępnie zdefiniowanych parametrów.

5. Sterownik CSI
Napęd Container Storage Interface dla KumoScale. Ściśle połączony ze sterownikiem CSI.

6. Baza danych telemetrii
Baza danych do przechowywania różnych informacji statystycznych na serwerze i węźle pamięci masowej KumoScale.

Wymagania dotyczące platformy

Oprogramowanie KumoScale™ zostało przetestowane na wdrożeniach bez warstwy pośredniej oraz z OpenStack i Kubernetes® na szerokiej gamie serwerów zgodnych ze standardami branżowymi. Można użyć dowolnego inicjatora zgodnego z NVMe-oF™, w tym jądra Linux® w wersji 4.8 lub nowszej. Obsługiwane platformy są przedstawione poniżej.

Komponenty

Minimalne wymagania

Pamięć

64GB DDR4

Dysk systemowy

2 x 128 GB SATA DOM

NIC

Karta interfejsu sieciowego MCX516A-CCAT lub MCX545A-CCAN ConnectX-5 EN, karta interfejsu sieciowego 100GbE dwu/jednoportowa QSFP28, PCIe®3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN, 100GbE dwu/jednoportowa QSFP28, kontroler Ethernet PCIe®3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100G

Zasilanie

Podwójny zasilacz, z możliwością wymiany podczas pracy

Interfejs zarządzania

Dedykowany port zarządzania jest opcjonalny. KumoScale™ może używać portu danych do zarządzania ruchem lub może korzystać z dedykowanego portu zarządzania.

Obiekt inicjujący KumoScale™

Obiekt inicjujący KumoScale™ nie wymaga żadnych dodatkowych serwerów ani kontenera.

Dokumenty

W tym dokumencie opisano pokrótce oprogramowanie KumoScale™, jego cechy i zalety, a także typowy przypadek użycia i informacje środowiskowe dotyczące wdrożenia.

W tym dokumencie omówione architekturę i wdrożenie międzydomenowej replikacji danych (CDDR), która zapewnia ochronę danych dla oprogramowania KumoScale. KumoScale CDDR wdraża ochronę i automatyczny mechanizm samonaprawiania w przypadku problemów z systemem.

W tym dokumencie omówiono zalety wydajnościowe oprogramowania KumoScale™ działającego jako cel protokołu NVMe-oF™ i porównano z Ceph, które zapewnia podobną funkcjonalność systemów pamięci masowej w skali centrum danych.

W tym dokumencie omówiono wyniki testów wydajności oprogramowania KumoScale™ działającego jako cel protokołu NVMe-oF™ z transportem RDMA na platformie serwerowej PCIe® Gen 4 i dysku SSD CM6. Wyniki wydajności obejmują rezultaty dla pojedynczego dysku SSD, jak również ich skalowalność poprzez zwiększenie liczby dysków SSD.

Firma KIOXIA opracowuje ciągle bardziej dokładne algorytmy niezawodności oprócz istniejącej technologii ECC dla urządzeń pamięci NAND. W tym dokumencie omówiono wewnętrzny przypadek użycia przez firmę KIOXIA oprogramowania KumoScale™, które uruchamia szybkie przechowywanie blokowe na potrzeby uczenia maszynowego i głębokiego uczenia.

Szybkie przechowywanie blokowe staje się coraz ważniejsze dla przetwarzania AI/ML. W tym dokumencie omówiono wynik testów przeprowadzanych w połączeniu z rozwiązaniami NVIDIA GPUDirect i NVMe™ z wykorzystaniem oprogramowania KumoScale™, oraz sposób, w jaki to połączenie skraca czas przetwarzania całego przepływu pracy.

Zapytania

Skontaktuj się z nami za pomocą formularza zapytania.

  •  Przed wysłaniem zapytania należy uważnie zapoznać się z ważnymi informacjami i potwierdzić ich zaakceptowanie, a następnie wybrać "KumoScale" z menu rozwijanego "Produkty" w formularzu zapytania.
  • : zwiększenie opóźnienia o 15us przy odczycie 4KB w porównaniu z DAS. Pomiar dokonany przez firmę KIOXIA w czerwcu 2020 r. za pomocą narzędzia pomiarowego określonego przez firmę KIOXIA. 15us to różnica opóźnień odczytu 4KB pomiędzy konfiguracją pamięci DAS i NVMe-oF™ na tym samym sprzęcie.
  • NVM Express i NVMe-oF są zastrzeżonymi lub niezarejestrowanymi znakami NVM Express, Inc. w Stanach Zjednoczonych i innych krajach.
  • PCIe jest zarejestrowanym znakiem towarowym PCI-SIG.
  • Kubernetes jest zarejestrowanym znakiem towarowym Linux Foundation w Stanach Zjednoczonych i/lub innych krajach.
  • Ansible jest zarejestrowanym znakiem towarowym firmy Red Hat, Inc. w Stanach Zjednoczonych i innych krajach.
  • Linux jest zarejestrowanym znakiem towarowym Linusa Torvaldsa w Stanach Zjednoczonych i innych krajach.
  • OpenStack Word Mark jest zarejestrowanym znakiem towarowym fundacji OpenStack Foundation w Stanach Zjednoczonych i innych krajach i jest używany za zgodą fundacji OpenStack Foundation. Nie jesteśmy powiązani z OpenStack Foundation i społecznością OpenStack, ani wspierani lub sponsorowani przez nie.
  • Prometheus jest zarejestrowanym znakiem towarowym Linux Foundation.
  • Grafana i Loki są znakami towarowymi lub zarejestrowanymi znakami towarowymi Grafana Labs, Inc.
  • Wszystkie inne nazwy firm, produkty i nazwy usług tu wspomniane mogą być znakami towarowymi odpowiednich firm.