มหาวิทยาลัยจีนใช้เซอร์เวอร์ HPE ProLiant DL380 Gen11 เพื่อขับเคลื่อนการวิจัย AI และภาระงาน HPC
ภาพรวมโครงการ
มหาวิทยาลัยชั้นนำแบบสหสาขาวิชาชีพในประเทศจีน(ชื่อลูกค้าถูกระงับไว้เพื่อรักษาความลับ)ได้ดำเนินการติดตั้งตัวตนของลูกค้าถูกปกปิดตามคำขอของมหาวิทยาลัย รายละเอียดการกำหนดค่าสะท้อนถึงรายการวัสดุที่ส่งมอบเซิร์ฟเวอร์แร็คที่ศูนย์คอมพิวเตอร์วิจัยของมหาวิทยาลัย โครงการนี้เข้ามาแทนที่คลัสเตอร์แบบ dual-socket ที่มีอายุห้าปี ซึ่งกลายเป็นคอขวดสำหรับกลุ่มวิจัยปัญญาประดิษฐ์ พลศาสตร์ของไหลเชิงคำนวณ และวัสดุศาสตร์ของมหาวิทยาลัย การทำงานร่วมกับศูนย์เทคโนโลยีสารสนเทศของมหาวิทยาลัย เราได้ส่งมอบแพลตฟอร์มที่กำหนดค่าเต็มแบบครบวงจรและผ่านการทดสอบการใช้งาน ซึ่งขณะนี้รองรับนักวิจัยและนักศึกษาระดับบัณฑิตศึกษามากกว่า 1,200 คนจากเก้าคณะ
ความท้าทาย
ก่อนการอัปเกรด คลัสเตอร์ที่ใช้ร่วมกันของมหาวิทยาลัยประสบปัญหาในการตามให้ทันกับการเติบโตอย่างรวดเร็วของการวิจัยที่เร่งด้วย GPU และการวิจัยที่ใช้ข้อมูลจำนวนมาก ปัญหาหลักที่รายงานโดยศูนย์เทคโนโลยีสารสนเทศคือ:
- ความอิ่มตัวของการประมวลผล:คิวงานบนโหนดเดิมมักจะเกิน 72 ชั่วโมงในช่วงเวลาที่มีการส่งวิทยานิพนธ์และการขอทุนสูงสุด
- ข้อจำกัดด้านพลังงานและการระบายความร้อน:ห้องเซิร์ฟเวอร์ที่มีอยู่กำลังทำงานใกล้ถึงขีดจำกัดทางไฟฟ้าแล้ว ดังนั้นความจุใหม่ใดๆ จะต้องให้ประสิทธิภาพต่อวัตต์ที่สูงขึ้นมาก
- แรงกดดันด้านความสามารถในการปรับขนาด:ทิศทางการวิจัย AI ใหม่ๆ ต้องการพื้นที่จัดเก็บ NVMe ในตัวที่หนาแน่นและเครือข่ายแบนด์วิดท์สูงที่แพลตฟอร์มเก่าไม่สามารถรองรับได้
- การจัดการ:ฮาร์ดแวร์หลายรุ่นทำให้การอัปเดตเฟิร์มแวร์ การตรวจสอบ และการแก้ไขปัญหาจากระยะไกลมีความเป็นอัตโนมัติและผิดพลาดได้ยากขึ้น
- ความรับผิดชอบด้านงบประมาณ:ในฐานะสถาบันของรัฐ มหาวิทยาลัยต้องการโซลูชันที่มีต้นทุนรวมในการเป็นเจ้าของที่คาดการณ์ได้และวงจรชีวิตหลายปีที่ชัดเจน
โซลูชัน: HPE ProLiant DL380 Gen11
หลังจากการประเมินทางเทคนิคที่มีการแข่งขัน มหาวิทยาลัยได้กำหนดมาตรฐานสำหรับตัวตนของลูกค้าถูกปกปิดตามคำขอของมหาวิทยาลัย รายละเอียดการกำหนดค่าสะท้อนถึงรายการวัสดุที่ส่งมอบเซิร์ฟเวอร์แร็ค 2U แพลตฟอร์มนี้ได้รับเลือกเนื่องจากมีความสมดุลระหว่างความหนาแน่นของการประมวลผล แบนด์วิดท์หน่วยความจำ ประสิทธิภาพการใช้พลังงาน และความเสถียรในการจัดหาในระยะยาว การกำหนดค่าที่ส่งมอบได้รับการปรับแต่งสำหรับเวิร์กโหลด HPC และ AI-inference แบบผสมผสาน:
| ส่วนประกอบ | การกำหนดค่า | เหตุผลที่สำคัญ |
|---|---|---|
| โปรเซสเซอร์ | โปรเซสเซอร์ Intel® Xeon® Scalable รุ่นที่ 4 แบบ Dual (32 คอร์ต่อตัว) | ความหนาแน่นของคอร์ที่สูงขึ้นสำหรับการจำลองแบบขนานและการอนุมานแบบแบทช์ |
| หน่วยความจำ | 512 GB DDR5 RDIMM, สถาปัตยกรรม 12 ช่องสัญญาณ | แบนด์วิดท์หน่วยความจำที่กว้างขึ้นสำหรับชุดข้อมูลขนาดใหญ่และการวิเคราะห์ในหน่วยความจำ |
| พื้นที่จัดเก็บ | 8 × 3.84 TB NVMe SSD พร้อมคอนโทรลเลอร์ HPE MR416i | พื้นที่จัดเก็บข้อมูลชั่วคราวในเครื่องที่รวดเร็วสำหรับการฝึกข้อมูลและจุดตรวจสอบ |
| เครือข่าย | 2 × 25 GbE พร้อมพอร์ตจัดการ iLO โดยเฉพาะ | การเชื่อมต่อคลัสเตอร์ที่มีความหน่วงต่ำและการควบคุมนอกแบนด์ |
| พลังงาน | แหล่งจ่ายไฟแบบ Hot-plug Titanium 1600 W แบบ Redundant สองตัว | Redundancy พร้อมระดับประสิทธิภาพสูงสุด |
| การจัดการ | HPE iLO 6 พร้อมการรวม OneView | การจัดการเฟิร์มแวร์ สุขภาพ และวงจรชีวิตแบบ Single-pane |
กระบวนการติดตั้ง
การดำเนินการตามแผนสี่ระยะที่ลดการหยุดชะงักของการวิจัยอย่างต่อเนื่อง:
- การประเมิน:การทำโปรไฟล์เวิร์กโหลดของคลัสเตอร์เดิมเพื่อกำหนดขนาด CPU หน่วยความจำ และอัตราส่วนพื้นที่จัดเก็บเทียบกับข้อมูลการทำงานจริง
- การเตรียมการและการทดสอบ:ทุกยูนิตได้รับการติดตั้ง จัดสายไฟ กำหนดเฟิร์มแวร์พื้นฐาน และทดสอบอย่างหนักที่โรงงานของเราก่อนจัดส่ง ดังนั้นงานที่หน้างานจึงจำกัดอยู่เพียงการติดตั้งและการยอมรับ
- การย้าย:โหนดใหม่ถูกเพิ่มเข้าไปในตัวจัดคิว Slurm ที่มีอยู่เป็นพาร์ติชันแยกต่างหาก ทำให้ผู้วิจัยสามารถตรวจสอบผลลัพธ์เทียบกับฮาร์ดแวร์เดิมก่อนที่จะปลดประจำการ
- การส่งมอบ:การฝึกอบรมทางเทคนิคสองวันสำหรับเจ้าหน้าที่ IT และฝ่ายสนับสนุนการวิจัยของมหาวิทยาลัย ครอบคลุมการทำงานของ iLO 6 การปฏิบัติตามเฟิร์มแวร์ และการวินิจฉัยข้อผิดพลาด
ผลลัพธ์
หลังจากการติดตั้ง มหาวิทยาลัยรายงานการปรับปรุงที่วัดผลได้ในเวิร์กโฟลว์การวิจัยหลัก:
- ปริมาณงานสูงขึ้น 3.4 เท่าสำหรับงานจำลองแบบขนานเมื่อเทียบกับโหนดรุ่นก่อนหน้า
- ใช้พลังงานต่อคอร์ประมวลผลลดลงสูงสุด 28%ลดแรงกดดันต่อวงจรไฟฟ้าของห้องเซิร์ฟเวอร์ที่มีอยู่
- เวลารอคอยคิวลดลงจากกว่า 70 ชั่วโมงเหลือต่ำกว่า 9 ชั่วโมงในช่วงเวลาที่มีการส่งงานสูงสุด
- พื้นที่จัดเก็บข้อมูลชั่วคราว NVMe ในเครื่องขจัดความจำเป็นในการพึ่งพาเครือข่ายพื้นที่จัดเก็บข้อมูลที่ใช้ร่วมกันสำหรับข้อมูลชั่วคราวมานาน
- ไม่มีการหยุดทำงานโดยไม่ได้วางแผนในช่วงหกเดือนแรกของการดำเนินงาน โดยได้รับการสนับสนุนจากแหล่งจ่ายไฟแบบ Redundant และการตรวจสอบไดรฟ์แบบคาดการณ์ล่วงหน้า
ความคิดเห็นของลูกค้า
"แพลตฟอร์ม DL380 Gen11 ให้ความหนาแน่นที่เราต้องการโดยไม่ต้องสร้างห้องเซิร์ฟเวอร์ใหม่ การส่งมอบที่กำหนดค่าไว้ล่วงหน้าและผ่านการทดสอบการใช้งานหมายความว่าทีมของเราสามารถมุ่งเน้นไปที่การสนับสนุนนักวิจัยแทนการรวมฮาร์ดแวร์" รองผู้อำนวยการศูนย์เทคโนโลยีสารสนเทศของมหาวิทยาลัยกล่าว
บทสรุป
การติดตั้งนี้แสดงให้เห็นว่าแพลตฟอร์ม HPE ProLiant DL380 Gen11 ที่กำหนดค่าอย่างรอบคอบสามารถยืดอายุการใช้งานของศูนย์ข้อมูลในมหาวิทยาลัยที่มีอยู่ได้อย่างไร ในขณะเดียวกันก็ปลดล็อกศักยภาพการวิจัย AI และ HPC ใหม่ สำหรับมหาวิทยาลัยและสถาบันวิจัยที่เผชิญกับข้อจำกัดที่คล้ายคลึงกัน เช่น เพดานพลังงาน เวิร์กโหลดแบบผสมผสาน และความรับผิดชอบด้านงบประมาณที่เข้มงวด แพลตฟอร์มเซิร์ฟเวอร์แร็คที่เป็นมาตรฐานและมีการจัดการวงจรชีวิต นำเสนอเส้นทางปฏิบัติในการปรับปรุงให้ทันสมัยโดยไม่กระทบตัวตนของลูกค้าถูกปกปิดตามคำขอของมหาวิทยาลัย รายละเอียดการกำหนดค่าสะท้อนถึงรายการวัสดุที่ส่งมอบ