NVIDIA H100 NVL 94GB GPU สถาปัตยกรรม Hopper และ PCIe 5.0 x16
สรุปผลิตภัณฑ์
NVIDIA H100 NVL 94GB GPU มอบประสิทธิภาพ LLM ที่เร็วขึ้น 12 เท่า เทียบกับ A100 พร้อมหน่วยความจำ HBM3 ขนาด 188GB ในการกำหนดค่าแบบคู่ เหมาะสำหรับรุ่น GPT-175B ที่มี Transformer Engine และ PCIe 5.0 เพื่อการอนุมานและการฝึกอบรม AI ที่มีประสิทธิภาพในเซิร์ฟเวอร์มาตรฐาน
คุณสมบัติพื้นฐาน
ชื่อแบรนด์:
NVIDIA
หมายเลขรุ่น:
900-21010-0020-000
การซื้อขายอสังหาริมทรัพย์
ปริมาณการสั่งซื้อขั้นต่ำ:
10
ราคา:
24000USD
เงื่อนไขการชำระเงิน:
ที/ที
คําอธิบายสินค้า
NVIDIA H100 NVL GPU ขนาด 94GB
NVIDIA MPN: 900-21010-0020-000
GPU NVIDIA H100 NVL 94GB ถูกสร้างมาเพื่อประชาธิปไตยการสรุปและการฝึกแบบภาษาขนาดใหญ่ (LLM) โดยนําพลังงานของสถาปัตยกรรม Hopper มาสู่ระบบเซอร์เวอร์ที่ใช้ PCIe เป็นหลัก.ตัวแปรพิเศษนี้ตอบโจทย์ความต้องการความจําและการคํานวณที่แตกต่างของโมเดลสูงสุด 175 พันล้านพารามิเตอร์ เช่น GPT-175Bส่งผลงานได้อย่างดีเยี่ยม โดยยังคงให้มีประสิทธิภาพในการดําเนินงานในสภาพแวดล้อมของศูนย์ข้อมูลที่จํากัดพลังงาน.
เมื่อนําไปใช้ในระบบการปรับปรุง GPU สองแบบที่เชื่อมต่อกันผ่าน NVLink bridge, H100 NVL ให้ความจํา HBM3 รวมกัน 188 GB, ทําให้คู่ GPU สามารถทํางานได้อย่างมีประสิทธิภาพในฐานะพูลความจําที่รวมกัน.
รายละเอียดเทคนิค
H100 NVL มีความจํา HBM3 ขนาด 94 GB ที่ปรับปรุงให้เหมาะสมกับภาระงานสรุปที่ใช้ความจํามากและการปรับปรุงตัวอย่างภาษาขนาดใหญ่GPU ใช้ความสามารถเต็มที่ของสถาปัตยกรรม Hopperรวมถึงเครื่องยนต์ทรานฟอร์เมอร์ (Transformer Engine) ที่เร่งการดําเนินงาน LLM ด้วยการคิดเลขความละเอียดผสม
เมื่อเทียบกับระบบรุ่นก่อนหน้านี้, เซอร์เวอร์ที่มี GPU NVL H100 แสดงผลงานสูงถึง 12 เท่าในรุ่น GPT-175B กว่า NVIDIA DGX A100ด้วยคุณสมบัติความช้าที่ดีขึ้นอย่างมากการ์ดมีอินเตอร์เฟสผ่าน PCIe 5.0 x16 และรองรับเทคโนโลยี NVLink ผ่านพานทําให้การสื่อสาร GPU-to-GPU ความกว้างแบนด์ความสูงเป็นสิ่งจําเป็นสําหรับการปรับขนาดการขนานรูปแบบข้ามเร่งหลายตัว.
การออกแบบและความสอดคล้อง
ออกแบบมาเพื่อการจัดจําหน่ายศูนย์ข้อมูลทั่วไป H100 NVL ใช้รูปแบบแบบสองสล็อตที่มีตัวเลือกการเย็นแบบมีสัญลักษณ์หรือมีสัญลักษณ์ตามการปรับแต่งของ OEMGPU เป็นที่เข้ากันได้อย่างสมบูรณ์แบบกับ NVIDIA's enterprise software stack, รวมถึง CUDA, TensorRT และ NVIDIA AI Enterprise suite, รับประกันการบูรณาการอย่างต่อเนื่องกับสายท่อ AI ที่มีอยู่
การใช้งานหลักประกอบด้วยการสรุปในเวลาจริงสําหรับ AI การพูดคุย, การปรับรูปร่างแบบ, และการเรียกคืนการเติบโตการสร้าง (RAG)ผลประกอบการคํานวณ, และประสิทธิภาพการใช้พลังงาน the H100 NVL represents the optimal entry point for organizations seeking to operationalize large language models across their infrastructure without the complexity or cost of high-density SXM-based systems.
รายละเอียดสินค้า
เน้น:
การ์ดจอ NVIDIA H100 PCIe
,การ์ดจอ PCIe 94GB
,การ์ดจอ PCIe 5.0 x16
สินค้าที่เกี่ยวข้อง
-
FusionServer 1288H V7 1U 2-socket Rack Server พร้อม Intel Xeon รุ่นที่ 4 สามารถปรับขนาดได้
FusionServer 1288H V7: เซิร์ฟเวอร์แร็ค 1U พร้อม Intel Xeon เจนเนอเรชั่น 4, สล็อต DDR5 32 ช่อง, รองรับ NVMe SSD ขนาด 2.5 นิ้ว 8 ช่อง และสล็อต PCIe 5 ช่อง การประมวลผลความหนาแน่นสูงสำหรับศูนย์ข้อมูลพร้อมการจัดการ iBMC ขั้นสูง -
FusionServer 1288H V6 1U Rack Server พร้อม 8x 2.5" ไดรฟ์ Intel Xeon รุ่นที่ 3 สามารถปรับขนาดได้
FusionServer 1288H V6: เซิร์ฟเวอร์แร็ค 1U ความหนาแน่นสูงพร้อมโปรเซสเซอร์ Intel Xeon Scalable เจนเนอเรชั่น 3, DDR4 DIMM สูงสุด 32 ตัว และตัวเลือกไดรฟ์ 2.5 นิ้วที่ยืดหยุ่น เหมาะสำหรับระบบคลาวด์, HPC และข้อมูลขนาดใหญ่พร้อมการจัดการ DEMT/FDM ที่ได้รับสิทธิบัตร -
H3C UniServer R4300 G6 4U แร็คเซิร์ฟเวอร์ที่เพิ่มประสิทธิภาพการจัดเก็บข้อมูลพร้อมโปรเซสเซอร์ Intel Xeon ที่ปรับขนาดได้
H3C UniServer R4300 G6: เซิร์ฟเวอร์จัดเก็บข้อมูล 4U พร้อมโปรเซสเซอร์ Intel Xeon รุ่นที่ 4/5, คอร์เพิ่มขึ้น 60%, หน่วยความจำ DDR5 ขนาด 8TB, การกำหนดค่า 24/36 LFF, PCIe 5.0, รองรับ NVMe และอุปกรณ์จ่ายไฟระดับ Platinum