NVIDIA H100 NVL 94GB GPU हॉपर आर्किटेक्चर और PCIe 5.0 x16 के साथ
उत्पाद सारांश
NVIDIA H100 NVL 94GB GPU दोहरी कॉन्फ़िगरेशन में 188GB HBM3 मेमोरी के साथ, A100 की तुलना में 12x तेज़ LLM प्रदर्शन प्रदान करता है। GPT-175B मॉडल के लिए आदर्श, मानक सर्वर में कुशल AI अनुमान और प्रशिक्षण के लिए ट्रांसफार्मर इंजन और PCIe 5.0 की विशेषता।
मूलभूत गुण
ब्रांड नाम:
NVIDIA
मॉडल नंबर:
900-21010-0020-000
व्यापारिक संपत्तियाँ
न्यूनतम आदेश मात्रा:
10
कीमत:
24000USD
भुगतान की शर्तें:
टी/टी
उत्पाद का वर्णन
NVIDIA H100 NVL 94GB GPU
एनवीडिया एमपीएनः 900-21010-0020-000
NVIDIA H100 NVL 94GB GPU को मुख्यधारा के PCIe-आधारित सर्वर सिस्टम में हॉपर आर्किटेक्चर की शक्ति लाकर बड़े भाषा मॉडल (LLM) निष्कर्ष और प्रशिक्षण को लोकतांत्रिक बनाने के लिए बनाया गया है.यह विशेष संस्करण 175 अरब पैरामीटर तक के मॉडल की अद्वितीय मेमोरी और कंप्यूटिंग आवश्यकताओं को संबोधित करता है, जैसे कि GPT-175B,बिजली-प्रतिबंधित डेटा सेंटर वातावरण में परिचालन दक्षता बनाए रखते हुए असाधारण प्रदर्शन प्रदान करना.
जब दोहरी-जीपीयू कॉन्फ़िगरेशन में तैनात किया जाता है, जो एनवीलिंक ब्रिज के माध्यम से जुड़े होते हैं, तो एच100 एनवीएल एक संयुक्त 188 जीबी एचबीएम 3 मेमोरी प्रदान करता है, प्रभावी रूप से जीपीयू जोड़ी को एक एकीकृत मेमोरी पूल के रूप में काम करने में सक्षम बनाता है।
तकनीकी विनिर्देश
एच100 एनवीएल में 94 जीबी एचबीएम3 मेमोरी है, जो मेमोरी-गहन निष्कर्ष कार्यभार और बड़े भाषा मॉडल के ठीक-ठीक ट्यूनिंग के लिए अनुकूलित है।GPU हॉपर आर्किटेक्चर की पूरी क्षमताओं का लाभ उठाता है, जिसमें ट्रांसफार्मर इंजन भी शामिल है जो मिश्रित-सटीक कंप्यूटिंग के साथ एलएलएम संचालन को तेज करता है।
पिछली पीढ़ी के सिस्टम की तुलना में, H100 NVL GPU से लैस सर्वर NVIDIA DGX A100 कॉन्फ़िगरेशन की तुलना में GPT-175B मॉडल पर 12 गुना अधिक प्रदर्शन प्रदर्शित करते हैं,विलंबता विशेषताओं में काफी सुधार के साथकार्ड PCIe 5.0 x16 के माध्यम से इंटरफेस करता है और पुलों के माध्यम से NVLink प्रौद्योगिकी का समर्थन करता है,कई त्वरक में मॉडल समानांतरता को स्केलिंग करने के लिए आवश्यक अति-उच्च बैंडविड्थ GPU-to-GPU संचार को सक्षम करना.
डिजाइन और संगतता
मुख्यधारा के डेटा सेंटर तैनाती के लिए डिज़ाइन किया गया, एच100 एनवीएल ओईएम कॉन्फ़िगरेशन के आधार पर सक्रिय या निष्क्रिय शीतलन विकल्पों के साथ एक दो-स्लॉट फॉर्म फैक्टर को अपनाता है।GPU पूरी तरह से NVIDIA के एंटरप्राइज़ सॉफ्टवेयर स्टैक के साथ संगत है, जिसमें CUDA, TensorRT, और NVIDIA AI Enterprise सूट शामिल हैं, जो मौजूदा AI पाइपलाइन में निर्बाध एकीकरण सुनिश्चित करता है।
मुख्य अनुप्रयोगों में बातचीत एआई, मॉडल फाइन-ट्यूनिंग और पुनर्प्राप्ति-वर्धित पीढ़ी (आरएजी) वर्कलोड के लिए वास्तविक समय अनुमान शामिल हैं।गणना प्रदर्शन, और ऊर्जा दक्षता, the H100 NVL represents the optimal entry point for organizations seeking to operationalize large language models across their infrastructure without the complexity or cost of high-density SXM-based systems.
उत्पाद का विवरण
प्रमुखता देना:
एनवीडिया एच100 पीसीआई जीपीयू
,94GB पीसीआई जीपीयू
,पीसीआईई 5.0 x16 GPU
संबंधित उत्पाद
-
56 कोर 350W टीडीपी 4टीबी मेमोरी सपोर्ट वाला इंटेल ज़ीऑन प्लैटिनम 8480+ प्रोसेसर
Intel Xeon प्लैटिनम 8480+: 56 कोर, 112 थ्रेड, 3.8GHz टर्बो। उन्नत AI त्वरण (AMX), DDR5 मेमोरी, PCIe 5.0। एंटरप्राइज़-ग्रेड सुरक्षा सुविधाओं के साथ एचपीसी, क्लाउड और एआई वर्कलोड की मांग के लिए आदर्श। -
AMD EPYC 9224 प्रोसेसर 24 कोर Zen 4 आर्किटेक्चर और 200W TDP के साथ
AMD EPYC 9224: 24-कोर 'ज़ेन 4' CPU 3.7GHz बूस्ट, 128 PCIe 5.0 लेन और DDR5 सपोर्ट के साथ। अनुकूलित 200W टीडीपी सर्वर, वर्चुअलाइजेशन और एंटरप्राइज़ अनुप्रयोगों के लिए प्रति वाट बेहतर प्रदर्शन प्रदान करता है। -
32 कोर 64 थ्रेड और 4.1 गीगाहर्ट्ज़ टर्बो के साथ ज़ीऑन गोल्ड 6558Q प्रोसेसर
Intel Xeon Gold 6558Q: 4.1GHz टर्बो, DDR5-5200 सपोर्ट और AI एक्सेलेरेशन के साथ 32-कोर सर्वर CPU। एंटरप्राइज़ डेटा सेंटर, एचपीसी और क्लाउड वर्कलोड के लिए उन्नत सुरक्षा (टीडीएक्स, टीएमई) और वर्चुअलाइजेशन की सुविधा है।