Λογισμικό KumoScale™

ΠΡΟΣΟΧΗ

Σας ευχαριστούμε για το ενδιαφέρον σας για το λογισμικό KumoScale™ ("Προϊόν"). Δεν σχεδιάζονται περαιτέρω βελτιώσεις πέραν της Έκδοσης 3.22, καθώς το Προϊόν έχει περάσει αποκλειστικά σε συντήρηση και δεν θα εκχωρηθούν νέες άδειες αξιολόγησης ή παραγωγής. Εάν έχετε οποιεσδήποτε ερωτήσεις, επικοινωνήστε μαζί μας εδώ.

Τμηματοποιημένη διαχείριση αποθήκευσης NVMe-oF™ για Data Center

Το λογισμικό KumoScale™ εφαρμόζει το πρωτόκολλο το NVMe™ over Fabrics (NVMe-oF™). Χάρη στο συγκεκριμένο πρωτόκολλο, το προϊόν προσφέρει μια γρήγορη, δικτυωμένη υπηρεσία αποθήκευσης μπλοκ μεταξύ εκκινητή και στόχου μέσω σύνδεσης δικτύου υψηλής ταχύτητας. Το λογισμικό εκτελείται σε κόμβο αποθήκευσης ο οποίος είναι κατειλημμένος από μονάδα SSD NVMe™ και πραγματοποιεί τμηματοποίηση του χώρου αποθήκευσης. Το λογισμικό KumoScale υποστηρίζει τόσο τεχνολογία RDMA όσο και NVMe over TCP για μεταφορά μέσω δικτύου και παρέχει μια κοινόχρηστη, συγκεντρωτική δεξαμενή αποθήκευσης που επιτρέπει τον λογικό διαχωρισμό από τον χώρο ονομάτων NVMe σε μια ομάδα μονάδων SSD. Σε σύγκριση με την απευθείας προσαρτημένη μονάδα αποθήκευσης (DAS), η δυνατότητα διαχείρισης όγκου KumoScale παρέχει μεγάλη ευελιξία στον έλεγχο μιας μεγάλης δεξαμενής αποθήκευσης που αποτελείται από μεμονωμένες μονάδες SSD μεγάλης χωρητικότητας.

Περίπτωση χρήσης

Τυπική περίπτωση εφαρμογής και χρήσης

  • Υπηρεσία αποθήκευσης υψηλής απόδοσης για εγγενείς εφαρμογές στο cloud
  • Υπηρεσία αδιάλειπτης αποθήκευσης για τα OpenStack™ και Kubernetes®
  • Υπηρεσία αποθήκευσης μπλοκ υψηλής ταχύτητας για εφαρμογές HPC και άλλες επιστημονικές εφαρμογές
  • Αποθήκευση παρασκηνίου για εφαρμογές AI/ML/DL

Το λογισμικό KumoScale™ θα πρέπει να λειτουργεί με το γενικά διαθέσιμο λογισμικό εκκίνησης NVMe-oF™ καθώς και με τις τυπικές μονάδες SSD NVMe. Δεν είναι απαραίτητη η χρήση προγράμματος οδήγησης ή υλικού αποκλειστικής εκμετάλλευσης

Λειτουργία

Βελτιώστε τη χρήση του αποθηκευτικού χώρου και ενισχύστε την ευελιξία στη διαχείριση των ενοποιημένων, γρήγορων μονάδων SSD NVMe™

Η χωρητικότητα και η απόδοση της μονάδας SSD τελευταίας γενιάς PCIe® Gen 4 NVMe είναι εκθετικά μεγαλύτερες σε σχέση με εκείνες μιας μονάδας PCIe Gen 3 και είναι πολύ περισσότερο από αυτό που μπορεί να καταναλώσει ένας μόνο υπολογιστικός κόμβος. Η κοινή χρήση μονάδων SSD για διαφορετικές εφαρμογές χρηστών καθώς και διαφορετικούς διακομιστές / VM αποτελούν επιτακτική ανάγκη. Μέχρι να κυκλοφορήσει και να διαδοθεί ευρέως η τεχνολογία NVMe-oF™, ο δικτυωμένος χώρος αποθήκευσης χαρακτηριζόταν είτε από αργές ταχύτητες είτε από υψηλό κόστος, ή και τα δύο. Με την τεχνολογία NVMe-oF™ αυτό είναι πλέον παρελθόν. Το λογισμικό KumoScale™ βελτιώνεi τη χρήση του αποθηκευτικού χώρου χάρη στην κοινή χρήση SSD και στον διαχωρισμό της κοινόχρηστης μονάδας SSD μέσω του χώρου ονομάτων NVMe και προσθέτει περισσότερη ευελιξία παρέχοντας την κατάλληλη χωρητικότητα από τη δεξαμενή μέσω του λογισμικού στην απόδοση της μονάδας SSD NVMe™.

Υποστήριξη πρωτοκόλλων RDMA και NVMe μέσω TCP

Το λογισμικό KumoScale υποστηρίζει τα πρωτόκολλα μεταφοράς RDMA και TCP. Εάν ψάχνετε ταχύτερη υπηρεσία αποθήκευσης με χαμηλούς χρόνους καθυστέρησης μέσω του λογισμικού KumoScale, τότε το RoCEv2 (RDMA μέσω Converged Ethenet) είναι για εσάς. Από την άλλη, εάν το ζητούμενο για σας είναι η συμβατότητα δικτύου στο υπάρχον δίκτυο data center, μπορεί να χρησιμοποιηθεί TCP/IP για το λογισμικό KumoScale. Για κάρτες δικτύου επικυρωμένες με το πιο πρόσφατο λογισμικό KumoScale, ανατρέξτε στη λίστα HCL (λίστα συμβατότητας υλικού).

Προσαρμοσμένες παροχές πελάτη και αρχιτεκτονική τηλεμετρίας

  • Για το OpenStack®, το λογισμικό KumoScale™ παρέχει πρόγραμμα οδήγησης OpenStack Cynder® που υποστηρίζει την έκδοση Wallaby και μεταγενέστερες.
  • Για το Kubernetes®, οι εφαρμογές σε περιέκτη συνδέονται στον κόμβο αποθήκευσης KumoScale™ μέσω του προγράμματος οδήγησης Container Storage Interface (CSI) του KumoScale.
  • Για τα περιβάλλοντα bare metal, τα σενάρια (playbooks) του Ansible™ ή άλλα δημοφιλή εργαλεία αυτοματισμού μπορούν να χρησιμοποιηθούν για τον αυτοματισμό υλοποιήσεων και την παροχή αποθήκευσης σε υπολογιστικούς κόμβους.
  • Για την ενσωμάτωση τηλεμετρίας, το λογισμικό KumoScale™ προσφέρει διασύνδεση που επιτρέπει την ανταλλαγή δεδομένων push/pull για τις υπάρχουσες υποδομές τηλεμετρίας (συστήματα μετρικών στοιχείων χρονοσειρών) και καταγραφής (ασύγχρονα συμβάντα).

Προστασία δεδομένων και υψηλή διαθεσιμότητα

Προστασία δεδομένων - Αντιγραφή δεδομένων μεταξύ τομέων (CDDR)
Το λογισμικό KumoScale™ προσφέρει προστασία δεδομένων μέσω μιας τεχνικής που ονομάζεται αντιγραφή δεδομένων μεταξύ τομέων (Cross Domain Data Replication - CDDR).  Η τεχνική CDDR δημιουργεί πολλαπλά αντίγραφα ενός λογικού τόμου πάνω στους ομαδοποιημένους δίσκους SSD και τα χαρτογραφεί σε κόμβους αποθήκευσης που βρίσκονται σε διαφορετικούς τομείς αποτυχίας. Η αντιγραφή βασίζεται στον εκκινητή και το αντίγραφο μπορεί να τοποθετηθεί στον 2ο ή 3ο κόμβο αποθήκευσης KumoScale™. Για την αντιγραφή, η ρουτίνα του KumoScale εκτελείται στον εκκινητή για τον έλεγχο της διαθεσιμότητας του τόμου. Μόλις η ρουτίνα  ανιχνεύσει αποτυχία τόμου για οποιονδήποτε λόγο, ο τόμος επανασυνδέεται αυτόματα στο αντίγραφο του τόμου σε διαφορετικό κόμβο αποθήκευσης. Μόλις ο αδιάλειπτος τόμος επανέρθει από το σφάλμα, όλα τα δεδομένα του αποκαθίστανται αυτόματα σε νέο αδιάλειπτο τόμο.

Διασφάλιση υψηλής διαθεσιμότητας
Ο κόμβος αποθήκευσης του KumoScale™ υποστηρίζει το πρωτόκολλο L3 BGP (Border Gate Protocol) με το οποίο γίνεται αυτόματη ανακατεύθυνση της διαδρομής δικτύου σε διαθέσιμη διαδρομή δικτύου με βάση τον προκαθορισμένο πίνακα βέλτιστης δρομολόγησης όταν υπάρχει πρόβλημα σύνδεσης δικτύου.

Σημαντική προσθήκη της έκδοσης 3.22

Πρόσθετες επιλογές υλοποίησης:
Εκτός από την απλοποιημένη εγκατάσταση συσκευών του λογισμικού KumoScale, η έκδοση λογισμικού 3.20 του KumoScale προσθέτει μια επιλογή υλοποίησης σε ελεύθερα διαθέσιμα εμπορικά λειτουργικά συστήματα. Για data center μεγάλης κλίμακας, η υποδομή αποθήκευσης αναγκαιότητας είναι στενά ενσωματωμένη με ποικιλία υποσυστημάτων όπως η παροχή, η παρακολούθηση, η τηλεμετρία και το δίκτυο. Η «διαχειριζόμενη λειτουργία» του KumoScale παρέχει πλήρη ευελιξία στους διαχειριστές αρχιτεκτονικής και ασφάλειας για τη διαμόρφωση, την ενσωμάτωση και τον έλεγχο του περιβάλλοντος επιπέδου αποθήκευσης του λειτουργικού συστήματος, ενώ η «λειτουργία εφαρμογής» του λογισμικού KumoScale παρέχει απλούστερη εγκατάσταση και αυτοματοποιημένη υλοποίηση με μειωμένη πολυπλοκότητα υλοποίησης για τους πελάτες μικρομεσαίων επιχειρήσεων, αλλά με πιο περιορισμένη δυνατότητα διαμόρφωσης λειτουργικού συστήματος.

Υποστήριξη αποθήκευσης NVIDIA GPUDirect®:
Η έκδοση 3.20 περιλαμβάνει επιπλέον υποστήριξη για την αποθήκευση NVIDIA GPUDirect. Η τεχνολογία αποθήκευσης GPUDirect Storage είναι μια τεχνολογία που εισάγεται στις μονάδες GPU NVIDIA Kepler™ και NVIDIA CUDA™ 5.0 και επιτρέπει την άμεση διαδρομή για την ανταλλαγή δεδομένων μεταξύ της μονάδας GPU και μιας ομότιμης συσκευής τρίτου μέρους, χρησιμοποιώντας τις τυπικές δυνατότητες του PCI Express®. Παραδείγματα συσκευών τρίτων περιλαμβάνουν διασυνδέσεις δικτύου, συσκευές λήψης βίντεο και προσαρμογείς αποθήκευσης. Το λογισμικό KumoScale συμπεριφέρεται ως προσαρμογέας αποθήκευσης για το GPUDirect Storage.

Υποστήριξη OpenID® Connect™:
Η Έκδοση 3.20 παρέχει επιπλέον υποστήριξη για το OpenID Connect 1.0 τρίτου κατασκευαστή. Το OpenID Connect είναι ένα επίπεδο ταυτότητας πέραν του πρωτοκόλλου OAuth 2.0, το οποίο επιτρέπει στους πελάτες να επαληθεύουν την ταυτότητα των χρηστών και τη συνεδρία με βάση τον έλεγχο ταυτότητας που πραγματοποιείται από έναν Διακομιστή Εξουσιοδότησης για δικαιώματα λογαριασμού υπηρεσίας. Η υποστήριξη λογισμικού του KumoScale για το OpenID Connect απλοποιεί την ενσωμάτωση ασφαλείας σε περιβάλλοντα κέντρων δεδομένων CSP.

Μετεγκατάσταση τόμων:
Η βελτιωμένη μετεγκατάσταση τόμων επιτρέπει σε έναν διαχειριστή να μετεγκαταστήσει έναν τόμο σε περισσότερους κόμβους αποθήκευσης χωρίς διακοπή για συντήρηση και χρήση. Οι τόμοι παραμένουν συνδεδεμένοι και συνεχίζουν να εξυπηρετούν την είσοδο/έξοδο κατά τη διάρκεια της διαδικασίας μετακίνησης των δεδομένων στη νέα θέση τους. Η λειτουργία είναι εντελώς διαφανής για τις εφαρμογές που χρησιμοποιούν τον τόμο, ενισχύοντας την ανθεκτικότητα του συμπλέγματος αποθήκευσης. 

Cluster Manager CLI έκδοση 2:
Μια βελτιωμένη εφαρμογή διαχείρισης συμπλέγματος Cluster Manager CLI επεκτείνει το 3.21 CLI έκδοση 1 για να προσθέσει δυνατότητες αυτοματοποίησης του κύκλου ζωής με την καθοδήγηση του χειριστή, οι οποίες είναι διαθέσιμες στο επίπεδο ελέγχου του KumoScale™. Το 3.22 Cluster Manager CLI παρέχει πλέον στους διαχειριστές πλήρη πρόσβαση τόσο στις λειτουργίες διαχείρισης υπηρεσιών συμπλέγματος όσο και στις λειτουργίες παροχής αποθήκευσης μέσω ενός και μόνου εύχρηστου CLI.

Ευέλικτη κατηγορία τόμων:
Μια νέα, ευέλικτη κατηγορία τόμων επιτρέπει στους παρόχους υποδομών data center να ξεκινούν τους ενοικιαστές τους με έναν μη αναπαραγόμενο τόμο και αργότερα να τους προτείνουν την αναβάθμιση σε έναν ανθεκτικό αναπαραγόμενο τόμο. Επιτρέπει στους παρόχους υποδομών data center να αναπτύσσουν γρήγορα τους ενοικιαστές τους και να προσθέτουν την κατάλληλη ανθεκτικότητα σε μεταγενέστερη φάση.

H έκδοση 3.22 του λογισμικού KumoScale™ περιλαμβάνει επίσης βελτιωμένη διαδικτυακή τεχνική τεκμηρίωση, αναδιαμόρφωση του Ansible® για ευκολότερη προσαρμογή των σεναρίων του διαχειριστή αποθήκευσης και τροποποιήσιμη διεύθυνση συμπλέγματος VIP.

Αρχιτεκτονική

Αρχιτεκτονική συστήματος data center

Αρχιτεκτονική του KumoScale™ Αρχιτεκτονική του KumoScale™

Λειτουργίες (λειτουργικά τμήματα)

1. Κόμβος αποθήκευσης KumoScale™
Ο διακομιστής αποθήκευσης που εκτελεί το λογισμικό KumoScale™

2. Διαδρομή δεδομένων
Διαδρομή δεδομένων δικτύου για τη σύνδεση μεταξύ της εφαρμογής διακομιστή και του αποθηκευτικού χώρου μέσω NVMe-oF

3. Διαδρομή ελέγχου
Διαδρομή ελέγχου δικτύου για τη διαχείριση των υπηρεσιών εσωτερικών δεδομένων που παρέχονται από το KumoScale.

4. Υπηρεσία παροχών (provisioner)
Προσφέρει διαμόρφωση κατάλληλης χωρητικότητας αποθήκευσης και παρέχει το προτιμώμενο επίπεδο QoS από τον κόμβο αποθήκευσης με προκαθορισμένες παραμέτρους.

5. Οδηγός CSI
Μονάδα διασύνδεσης αποθήκευσης περιέκτη για το KumoScale. Συνδέεται στενά με τον οδηγό CSI.

6. Βάση δεδομένων τηλεμετρίας
Βάση δεδομένων για την αποθήκευση ποικίλων στατιστικών πληροφοριών στον διακομιστή και στον κόμβο αποθήκευσης KumoScale.

Απαιτήσεις πλατφόρμας

Το λογισμικό KumoScale™ έχει δοκιμαστεί τόσο σε υλοποιήσεις bare metal όσο και σε OpenStack και Kubernetes® σε ένα ευρύ φάσμα πρότυπων διακομιστών του κλάδου. Μπορεί να χρησιμοποιηθεί οποιοσδήποτε εκκινητής συμβατός με NVMe-oF™, συμπεριλαμβανομένης της έκδοσης 4.8 ή μεταγενέστερης του πυρήνα Linux®. Η υποστηριζόμενη πλατφόρμα εμφανίζεται παρακάτω.

Λειτουργικά τμήματα

Ελάχιστη απαίτηση

Μνήμη

DDR4 64 GB

Δίσκος συστήματος

2 x 128 GB SATA DOM

NIC

Kάρτα διασύνδεσης δικτύου MCX516A-CCAT ή MCX545A-CCAN ConnectX-5 EN, QSFP28 διπλής/μονής θύρας 100 GbE, Κάρτα διασύνδεσης δικτύου PCIe® 3.0 x16 ROHS R6 MCX416A-CCAT ConnectX-4 EN, QSFP28 διπλής/μονής θύρας 100GbE, Ελεγκτής Ethernet PCIe®3.0 x16 ROHS R6 Solarflare Communications XtremeScale SFC9250 10/25/40/50/100 G

  • Κάρτα διασύνδεσης δικτύου MCX516A-CCAT ή MCX545A-CCAN ConnectX®-5 EN, 100GbE διπλή/μονή θύρα QSFP28, PCIe® 3.0 x 16 ROHS R6
  • Κάρτα διασύνδεσης δικτύου MCX416A-CCAT ConnectX®-4 EN, 100GbE διπλή/μονή θύρα QSFP28, PCIe® 3.0 x 16 ROHS R6
  • Intel® 810

Τροφοδοσία ρεύματος

Διπλή τροφοδοσία ρεύματος, με δυνατότητα αντικατάστασης εν λειτουργία (hot swap)

Διασύνδεση διαχείρισης

Αποκλειστική θύρα διαχείρισης προαιρετική. Το KumoScale™ μπορεί να χρησιμοποιήσει τη θύρα δεδομένων για ανταλλαγή δεδομένων διαχείρισης ή μπορεί να χρησιμοποιήσει μια αποκλειστική θύρα διαχείρισης.

KumoScale™ Provisioner

Το KumoScale™ Provisioner δεν απαιτεί πρόσθετους διακομιστές, ούτε περιέκτη.

Εγχειρίδιο χρήσης της έκδοσης 3.22

Το εγχειρίδιο χρήσης του KumoScale έκδοση 3.22 περιλαμβάνει:

  • Λίστα συμβατότητας υλικού (HCL)
  • Ποια λειτουργία ανάπτυξης του KumoScale να χρησιμοποιήσω;
  • Σημειώσεις έκδοσης
  • Οδηγός εγκατάστασης για λειτουργία εφαρμογής
  • Οδηγός εγκατάστασης για διαχειριζόμενη λειτουργία με Kubernetes
  • NVMe™ Host Patch
  • Οδηγός χρήσης
  • Cluster Manager CLI
  • Οδηγός προγράμματος οδήγησης Kubernetes™ CSI
  • Οδηγός χρήσης Openstack™
  • Οδηγός Provisioner REST API
  • Συλλογή μετρήσεων του KumoScale
  • Οδηγός πίνακα εργαλείων Grafana™
  • Οδηγός χρήσης Ansible™

Έγγραφα

Αυτό το έγγραφο περιέχει την επισκόπηση και περιγράφει τις δυνατότητες και τα πλεονεκτήματα του λογισμικού KumoScale™, καθώς και τις πληροφορίες τυπικής περίπτωσης χρήσης και περιβάλλοντος για την υλοποίηση.

Αυτό το έγγραφο πραγματεύεται την αρχιτεκτονική και την υλοποίηση της αντιγραφής δεδομένων μεταξύ τομέων που παρέχει προστασία δεδομένων για το KumoScale. Το KumoScale CDDR εφαρμόζει μηχανισμό προστασίας και αυτοΐασης όταν υπάρχει πρόβλημα με το σύστημα.

Αυτό το έγγραφο εξετάζει το πλεονέκτημα απόδοσης του λογισμικού KumoScale™ όταν εκτελείται ως στόχος  NVMe-oF™ σε σύγκριση με το Ceph που παρέχει παρόμοια λειτουργικότητα για συστήματα αποθήκευσης σε κλίμακα data center.

Αυτό το έγγραφο εξετάζει τα αποτελέσματα δοκιμών απόδοσης με το KumoScale™ να εκτελείται ως στόχος NVMe-oF™ με μεταφορά RDMA σε πλατφόρμα διακομιστή PCIe® Gen 4 και SSD της σειράς CM6. Το αποτέλεσμα της απόδοσης περιλαμβάνει την απόδοση μεμονωμένου SSD, καθώς και την επεκτασιμότητα με την αύξηση του αριθμού των SSD.

Η KIOXIA αναπτύσσει διαρκώς ακριβέστερους αλγόριθμους αξιοπιστίας, πέραν της υπάρχουσας τεχνολογίας ECC για συσκευές μνήμης NAND. Αυτό το έγγραφο εξετάζει την εσωτερική περίπτωση χρήσης της KIOXIA για το λογισμικό KumoScale™ που εκτελεί ταχεία αποθήκευση μπλοκ για διαδικασίες μηχανικής και βαθιάς μάθησης.

Η ταχεία αποθήκευση μπλοκ είναι όλο και πιο σημαντική για την επεξεργασία AI/ML. Αυτό το έγγραφο εξετάζει το αποτέλεσμα δοκιμών του συνδυασμού αποθήκευσης NVIDIA GPUDirect και NVMe™ από το λογισμικό KumoScale™ και πώς αυτός ο συνδυασμός μειώνει τον χρόνο επεξεργασίας για ολόκληρη τη ροή εργασιών.

Η ταχεία αποθήκευση μπλοκ είναι όλο και πιο σημαντική για την επεξεργασία AI/ML. Αυτό το έγγραφο εξετάζει το αποτέλεσμα δοκιμών του συνδυασμού αποθήκευσης NVIDIA GPUDirect και NVMe™ από το λογισμικό KumoScale™ και πώς αυτός ο συνδυασμός μειώνει τον χρόνο επεξεργασίας για ολόκληρη τη ροή εργασιών.

Ερωτήσεις

Επικοινωνήστε μαζί μας μέσω της φόρμας ερωτήσεων.

  •  Πριν υποβάλετε ένα ερώτημα, διαβάστε προσεκτικά τα σημαντικά θέματα που πρέπει να λάβετε υπόψη και, στη συνέχεια, επιλέξτε "KumoScale" στο αναπτυσσόμενο μενού "Προϊόντα" της φόρμας ερωτήσεων.
  • : προσθήκη 15us χρόνου καθυστέρησης σε ανάγνωση στα 4KB σε σύγκριση με συστήματα DAS. Μετρήθηκε από την KIOXIA τον Ιούνιο του 2020 χρησιμοποιώντας το εργαλείο μέτρησης που καθορίστηκε από την KIOXIA. 15us είναι η διαφορά του χρόνου καθυστέρησης ανάγνωσης στα 4 KB μεταξύ των διαμορφώσεων αποθήκευσης DAS και NVMe-oF™ στο ίδιο υλικό.
  • Τα NVMe, και NVMe-oF είναι εμπορικά σήματα κατατεθέντα ή μη της NVM Express, Inc. στις Ηνωμένες Πολιτείες και σε άλλες χώρες.
  • Το PCIe είναι εμπορικό σήμα κατατεθέν της PCI-SIG.
  • Το Kubernetes είναι εμπορικό σήμα κατατεθέν του Ιδρύματος Linux στις Ηνωμένες Πολιτείες και σε άλλες χώρες.
  • Το Ansible είναι εμπορικό σήμα κατατεθέν της Red Hat, Inc. στις Ηνωμένες Πολιτείες και σε άλλες χώρες.
  • Το Linux είναι εμπορικό σήμα κατατεθέν της Linus Torvalds στις Η.Π.Α. και σε άλλες χώρες.
  • Το OpenStack Word Mark είναι εμπορικό σήμα κατατεθέν του OpenStack Foundation, στις Ηνωμένες Πολιτείες και σε άλλες χώρες και χρησιμοποιείται με την άδεια του OpenStack Foundation. Δεν συνεργαζόμαστε, δεν υποστηριζόμαστε και δεν χρηματοδοτούμαστε από το OpenStack Foundation ή την κοινότητα του OpenStack.
  • Το Prometheus είναι εμπορικό σήμα κατατεθέν του Ιδρύματος Linux.
  • Τα Grafana και Loki είναι εμπορικά σήματα ή σήματα κατατεθέντα της Grafana Labs, Inc.
  • Το Intel είναι εμπορικό σήμα της Intel Corporation ή των θυγατρικών της.
  • Όλες οι υπόλοιπες εταιρικές επωνυμίες, ονόματα προϊόντων και υπηρεσιών που αναφέρονται εδώ ενδέχεται να αποτελούν εμπορικά σήματα των αντίστοιχων εταιρειών.