NVIDIA H200 141GB HBM3e मेमोरी GPU 4.8 TB प्रति सेकंड बैंडविड्थ के साथ
NVIDIA H200 NVL हॉपर आर्किटेक्चर का नवीनतम विकास है, जिसे विशेष रूप से सबसे अधिक मांग वाले बड़े भाषा मॉडल (LLM) वर्कलोड और जनरेटिव AI कार्यों को संबोधित करने के लिए डिज़ाइन किया गया है।एचबीएम3ई मेमोरी के साथ पहला जीपीयू, एच200 एनवीएल डेटा सेंटर प्रदर्शन के लिए एक नया बेंचमार्क स्थापित करता है,अभूतपूर्व मेमोरी बैंडविड्थ प्रदान करना और सैकड़ों अरबों मापदंडों के साथ मॉडल के लिए प्रशिक्षण और निष्कर्ष दोनों को तेज करने की क्षमता.
यह पीसीआईई आधारित समाधान एनवीडिया के सबसे उन्नत एआई त्वरक की शक्ति को मुख्यधारा के सर्वर बुनियादी ढांचे में लाता है, जो मौजूदा एच 100 तैनाती के लिए एक निर्बाध उन्नयन पथ प्रदान करता है।
| स्मृति | 141 GB HBM3e |
|---|---|
| मेमोरी बैंडविड्थ | 4.8 टीबी/सेकंड |
| CUDA कोर | 14,592 |
| टेंसर कोर | 456 चौथी पीढ़ी |
| इंटरफेस | पीसीआईई 5.0 x16 |
| एनवीलिंक बैंडविड्थ | 900 जीबी/सेकेंड तक |
| रूप कारक | डबल स्लॉट, पूर्ण ऊंचाई पर निष्क्रिय शीतलन के साथ |
| बिजली की खपत | 600W विशिष्ट (700W चोटी) |
- सात अलग-अलग उदाहरणों में सुरक्षित विभाजन के लिए मल्टी-इंस्टेंस GPU (MIG) तकनीक
- ट्रांसफार्मर इंजन बड़े भाषा मॉडल के लिए 9 गुना तेज़ एआई प्रशिक्षण प्रदान करता है
- FP8 सटीकता समर्थन तक पहुँचने के लिए 1,979 TFLOPS
- FP64 प्रदर्शन 34 TFLOPS पर नामित
- रैक अनुकूलित डेटा केंद्र वातावरण के लिए अनुकूलित
NVIDIA H200 NVL एआई अनुमान, एचपीसी सिमुलेशन, वैज्ञानिक कंप्यूटिंग अनुप्रयोगों के लिए आदर्श रूप से उपयुक्त है,और असाधारण मेमोरी बैंडविड्थ और कम्प्यूटेशनल पावर की आवश्यकता वाले सबसे अधिक मांग वाले जनरेटिव एआई वर्कलोड.
एचबीएम3ई मेमोरी जीपीयू
,141 जीबी मेमोरी जीपीयू
,141 जीबी वर्कस्टेशन जीपीयू
-
Xeon Gold 6448Y सर्वर प्रोसेसर 32 कोर 64 थ्रेड तक 4.10 GHz टर्बो के साथ
ज़ीऑन गोल्ड 6448Y: 4.1GHz टर्बो, 60MB कैश और 225W TDP के साथ 32-कोर सर्वर प्रोसेसर। इसमें PCIe 5.0, DDR5 मेमोरी और AMX/DL बूस्ट के माध्यम से AI एक्सेलेरेशन की सुविधा है। वर्चुअलाइजेशन, क्लाउड और डेटा-गहन कार्यभार के लिए आदर्श। -
इंटेल Xeon 6748P प्रोसेसर 48 कोर 192 एमबी L3 कैश और 4.1 GHz टर्बो फ्रीक्वेंसी के साथ
Intel® Xeon® 6748P: 48 कोर, 96 थ्रेड, 192MB L3 कैश। एचपीसी, एआई और डेटा एनालिटिक्स के लिए 4 अंतर्निहित एक्सेलेरेटर (क्यूएटी, डीएलबी, डीएसए, आईएए) की सुविधा है। DDR5-6400 और PCIe 5.0 को सपोर्ट करता है। -
AMD EPYC™ 9534 प्रोसेसर 64 कोर 280W TDP और Zen 4 आर्किटेक्चर के साथ
AMD EPYC™ 9534: 280W TDP के साथ 64-कोर 'ज़ेन 4' प्रोसेसर, ऊर्जा-कुशल क्लाउड परिनियोजन के लिए प्रति वाट असाधारण प्रदर्शन प्रदान करता है। इसमें 128 PCIe 5.0 लेन और 12-चैनल DDR5 मेमोरी है।