Το Κινεζικό Πανεπιστήμιο Αναπτύσσει Διακομιστές HPE ProLiant DL380 Gen11 για την Τροφοδοσία Έρευνας Τεχνητής Νοημοσύνης και Φόρτων Εργασίας HPC
Επισκόπηση Έργου
Ένα κορυφαίο πολυεπιστημονικό πανεπιστήμιο στην Κίνα (όνομα πελάτη παρακρατείται για λόγους εμπιστευτικότητας), ολοκλήρωσε την ανάπτυξη HPE ProLiant DL380 Gen11 στο ερευνητικό κέντρο υπολογιστών του campus του. Το έργο αντικαθιστά ένα πενταετές διπλού επεξεργαστή cluster που είχε γίνει το σημείο συμφόρησης για τις ερευνητικές ομάδες τεχνητής νοημοσύνης, υπολογιστικής ρευστοδυναμικής και επιστήμης υλικών του πανεπιστημίου. Συνεργαζόμενοι με το Κέντρο Πληροφορικής του πανεπιστημίου, παραδώσαμε μια πλήρως διαμορφωμένη, ενσωματωμένη σε rack και δοκιμασμένη πλατφόρμα που υποστηρίζει πλέον περισσότερους από 1.200 ερευνητές και μεταπτυχιακούς φοιτητές σε εννέα σχολές.
Η Πρόκληση
Πριν από την αναβάθμιση, το κοινό cluster του πανεπιστημίου δυσκολευόταν να συμβαδίσει με την ταχεία ανάπτυξη της έρευνας που επιταχύνεται από GPU και είναι εντατικής σε δεδομένα. Τα κύρια προβλήματα που αναφέρθηκαν από το Κέντρο Πληροφορικής ήταν:
- Κορεσμός υπολογιστικής ισχύος: οι ουρές εργασιών στους παλαιότερους κόμβους τακτικά ξεπερνούσαν τις 72 ώρες κατά τις περιόδους αιχμής υποβολής διατριβών και αιτήσεων επιχορήγησης.
- Όρια ισχύος και ψύξης: η υπάρχουσα αίθουσα διακομιστών λειτουργούσε ήδη κοντά στο ηλεκτρικό της όριο, οπότε οποιαδήποτε νέα χωρητικότητα έπρεπε να προσφέρει πολύ περισσότερη απόδοση ανά watt.
- Πίεση κλιμάκωσης: νέες ερευνητικές κατευθύνσεις στην ΤΝ απαιτούσαν πυκνή τοπική αποθήκευση NVMe και δικτύωση υψηλού εύρους ζώνης που η παλιά πλατφόρμα δεν μπορούσε να φιλοξενήσει.
- Διαχειρισιμότητα: οι μικτές γενιές υλικού καθιστούσαν την ενημέρωση firmware, την παρακολούθηση και την απομακρυσμένη αντιμετώπιση προβλημάτων όλο και πιο χειροκίνητες και επιρρεπείς σε σφάλματα.
- Λογοδοσία προϋπολογισμού: ως δημόσιο ίδρυμα, το πανεπιστήμιο χρειαζόταν μια λύση με προβλέψιμο συνολικό κόστος ιδιοκτησίας και σαφή πολυετή κύκλο ζωής.
Η Λύση: HPE ProLiant DL380 Gen11
Μετά από έναν ανταγωνιστικό τεχνικό έλεγχο, το πανεπιστήμιο τυποποίησε τον HPE ProLiant DL380 Gen11 2U. Η πλατφόρμα επιλέχθηκε για την ισορροπία πυκνότητας υπολογιστικής ισχύος, εύρους ζώνης μνήμης, ενεργειακής απόδοσης και μακροπρόθεσμης σταθερότητας εφοδιασμού. Η παραδοθείσα διαμόρφωση συντονίστηκε για μικτές φόρτους εργασίας HPC και ΤΝ-inference:
| Στοιχείο | Διαμόρφωση | Γιατί έχει σημασία |
|---|---|---|
| Επεξεργαστής | Διπλοί επεξεργαστές Intel® Xeon® Scalable 4ης γενιάς (32 πυρήνες ο καθένας) | Υψηλότερη πυκνότητα πυρήνων για παράλληλη προσομοίωση και inference παρτίδων |
| Μνήμη | 512 GB DDR5 RDIMM, αρχιτεκτονική 12 καναλιών | Ευρύτερο εύρος ζώνης μνήμης για μεγάλα σύνολα δεδομένων και ανάλυση εντός μνήμης |
| Αποθήκευση | 8 × 3,84 TB NVMe SSD με ελεγκτή HPE MR416i | Γρήγορος τοπικός χώρος scratch για δεδομένα εκπαίδευσης και σημεία ελέγχου |
| Δικτύωση | 2 × 25 GbE συν αποκλειστική θύρα διαχείρισης iLO | Διασύνδεση cluster χαμηλής καθυστέρησης και έλεγχος εκτός ζώνης |
| Τροφοδοσία | Διπλές εφεδρικές μονάδες τροφοδοσίας 1600 W Titanium hot-plug | Εφεδρεία με την υψηλότερη βαθμίδα ενεργειακής απόδοσης |
| Διαχείριση | HPE iLO 6 με ενσωμάτωση OneView | Διαχείριση firmware, υγείας και κύκλου ζωής με ενιαία οθόνη |
Διαδικασία Ανάπτυξης
Η ανάπτυξη ακολούθησε ένα σχέδιο τεσσάρων φάσεων που ελαχιστοποίησε τη διαταραχή στην τρέχουσα έρευνα:
- Αξιολόγηση: προφίλ φόρτου εργασίας του παλαιότερου cluster για τον προσδιορισμό αναλογιών CPU, μνήμης και αποθήκευσης έναντι πραγματικών τηλεμετρικών δεδομένων εργασιών.
- Στάδιο και δοκιμή αντοχής: κάθε μονάδα τοποθετήθηκε σε rack, καλωδιώθηκε, τέθηκε σε βασική γραμμή firmware και υποβλήθηκε σε δοκιμή αντοχής στις εγκαταστάσεις μας πριν από την αποστολή, οπότε η εργασία επί τόπου περιορίστηκε στην εγκατάσταση και την αποδοχή.
- Μεταφορά: οι νέοι κόμβοι προστέθηκαν στον υπάρχοντα προγραμματιστή εργασιών Slurm ως ξεχωριστό τμήμα, επιτρέποντας στους ερευνητές να επικυρώσουν τα αποτελέσματα έναντι του παλιού υλικού πριν από την απόσυρση.
- Παράδοση: μια διήμερη συνεδρία τεχνικής εκπαίδευσης για το προσωπικό πληροφορικής και υποστήριξης έρευνας του πανεπιστημίου κάλυψε τις λειτουργίες iLO 6, τη συμμόρφωση με το firmware και τη διάγνωση σφαλμάτων.
Αποτελέσματα
Μετά την ανάθεση σε λειτουργία, το πανεπιστήμιο ανέφερε μετρήσιμες βελτιώσεις στις βασικές ερευνητικές ροές εργασίας του:
- 3,4× υψηλότερη απόδοση σε παράλληλες εργασίες προσομοίωσης σε σύγκριση με τους κόμβους προηγούμενης γενιάς.
- Έως και 28% χαμηλότερη κατανάλωση ενέργειας ανά πυρήνα υπολογιστικής ισχύος, μειώνοντας την πίεση στον προϋπολογισμό ηλεκτρικής ενέργειας της υπάρχουσας αίθουσας διακομιστών.
- Οι χρόνοι αναμονής στην ουρά μειώθηκαν από πάνω από 70 ώρες σε κάτω από 9 ώρες κατά τις περιόδους αιχμής υποβολής.
- Η τοπική αποθήκευση scratch NVMe αφαίρεσε μια μακροχρόνια εξάρτηση από το δίκτυο αποθήκευσης SAN για ενδιάμεσα δεδομένα.
- Μηδενικός απρόβλεπτος χρόνος διακοπής λειτουργίας τους πρώτους έξι μήνες λειτουργίας παραγωγής, υποστηριζόμενος από εφεδρική τροφοδοσία και προγνωστική παρακολούθηση δίσκων.
Σχόλια Πελάτη
«Η πλατφόρμα DL380 Gen11 μας έδωσε την πυκνότητα που χρειαζόμασταν χωρίς να μας αναγκάσει σε ανακατασκευή της αίθουσας διακομιστών. Η προ-διαμορφωμένη, δοκιμασμένη παράδοση σήμαινε ότι η ομάδα μας μπορούσε να επικεντρωθεί στην υποστήριξη των ερευνητών αντί της ενσωμάτωσης υλικού», δήλωσε ο αναπληρωτής διευθυντής του Κέντρου Πληροφορικής του πανεπιστημίου.
Συμπέρασμα
Αυτή η ανάπτυξη αποδεικνύει πώς μια προσεκτικά καθορισμένη πλατφόρμα HPE ProLiant DL380 Gen11 μπορεί να επεκτείνει τη χρησιμοποιήσιμη ζωή ενός υπάρχοντος κέντρου δεδομένων campus, ενώ παράλληλα ξεκλειδώνει νέα ερευνητική χωρητικότητα ΤΝ και HPC. Για πανεπιστήμια και ερευνητικά ιδρύματα που αντιμετωπίζουν παρόμοιους περιορισμούς - όρια ισχύος, μικτούς φόρτους εργασίας και αυστηρή λογοδοσία προϋπολογισμού - μια τυποποιημένη, διαχειριζόμενη ως προς τον κύκλο ζωής πλατφόρμα διακομιστών rack προσφέρει ένα πρακτικό μονοπάτι για τον εκσυγχρονισμό χωρίς διαταραχές.
Η ταυτότητα του πελάτη έχει ανωνυμοποιηθεί κατόπιν αιτήματος του πανεπιστημίου. Οι λεπτομέρειες διαμόρφωσης αντικατοπτρίζουν το παραδοθέν δελτίο υλικών.