English
Deutsch
Italiano
Русский
Español
Português
Nederlandse
Ελληνικά
日本語
한국
العربية
हिन्दी
Türkçe
Indonesia
Tiếng Việt
ไทย
বাংলা
فارسی
Polski
GPU NVIDIA H100 NVL de 94 Go avec architecture Hopper et PCIe 5.0 x16
Résumé du produit
Le GPU NVIDIA H100 NVL 94 Go offre des performances LLM 12 fois plus rapides que l'A100, avec 188 Go de mémoire HBM3 dans des configurations doubles. Idéal pour les modèles GPT-175B, doté de Transformer Engine et PCIe 5.0 pour une inférence IA efficace et une formation sur les serveurs standard.
Propriétés de base
Nom de la marque:
NVIDIA
Numéro de modèle:
900-21010-0020-000
Propriétés commerciales
Quantité minimum de commande:
10
Prix:
24000USD
Conditions de paiement:
T/T
Description de produit
Graphique graphique de 94 Go pour NVIDIA H100 NVL
NVIDIA MPN: 900-21010-0020-000
Le GPU NVIDIA H100 NVL de 94 Go est spécialement conçu pour démocratiser l'inférence et la formation du modèle de langage grand (LLM) en apportant la puissance de l'architecture Hopper aux systèmes de serveurs PCIe..Cette variante spécialisée répond aux exigences uniques de mémoire et de calcul des modèles jusqu'à 175 milliards de paramètres, tels que GPT-175B,fournir des performances exceptionnelles tout en maintenant l'efficacité opérationnelle dans des environnements de centres de données à consommation limitée.
Lorsqu'il est déployé dans des configurations à double GPU liées via des ponts NVLink, le H100 NVL fournit une mémoire HBM3 combinée de 188 Go, permettant effectivement à la paire de GPU de fonctionner comme un pool de mémoire unifié.
Spécifications techniques
Le H100 NVL dispose de 94 Go de mémoire HBM3, optimisée pour les charges de travail d'inférence à forte intensité de mémoire et le réglage fin des grands modèles de langage.Le GPU exploite toutes les capacités de l'architecture Hopper, y compris le Transformer Engine qui accélère les opérations LLM avec un calcul mixte de précision.
Comparativement aux systèmes de génération précédente, les serveurs équipés de GPU H100 NVL présentent des performances jusqu'à 12 fois plus élevées sur les modèles GPT-175B que les configurations NVIDIA DGX A100,avec des caractéristiques de latence significativement amélioréesLa carte est connectée via PCIe 5.0 x16 et prend en charge la technologie NVLink via des ponts.permettant une communication GPU-GPU à bande passante ultra-haute essentielle pour l'échelle du parallélisme des modèles sur plusieurs accélérateurs.
Conception et compatibilité
Conçu pour le déploiement de centres de données traditionnels, le H100 NVL adopte un facteur de forme à double fente avec des options de refroidissement actif ou passif selon la configuration OEM.Le GPU est entièrement compatible avec la pile de logiciels d'entreprise de NVIDIA, y compris CUDA, TensorRT et la suite NVIDIA AI Enterprise, assurant une intégration transparente dans les pipelines d'IA existants.
Les principales applications incluent l'inférence en temps réel pour l'IA conversationnelle, le réglage des modèles et les charges de travail de génération augmentée par récupération (RAG).les performances de calcul, et efficacité énergétique, the H100 NVL represents the optimal entry point for organizations seeking to operationalize large language models across their infrastructure without the complexity or cost of high-density SXM-based systems.
Détails de produit
Mettre en évidence:
Nvidia H100 PCI GPU
,Une carte graphique de 94 Go.
,La carte graphique PCIe 5.0 x16
Produits connexes
-
Xeon Silver 4416+ Processeur serveur avec 20 cœurs 40 fils Prise en charge de la mémoire DDR5
Xeon Silver 4416+ : 20 cœurs, 40 threads, turbo 3,9 GHz. Mémoire DDR5, PCIe 5.0, sécurité avancée et accélération de l'IA. Idéal pour la virtualisation, le cloud et l'analyse des données. -
Processeur serveur Intel Xeon Silver 4516Y+ avec 24 cœurs DDR5 4400 MT/s
Intel Xeon Silver 4516Y+ : 24 cœurs, 48 threads, turbo 3,7 GHz. Comprend une mémoire DDR5, PCIe 5.0, une accélération avancée de l'IA (AMX/DL Boost) et une sécurité d'entreprise (TDX/TME). Idéal pour les serveurs à double socket, la virtualisation et les charges de travail des centres de données. -
Processeur Intel Xeon 6728P avec 24 cœurs 4,1 GHz Turbo Frequency et 144 MB L3 Cache
Intel® Xeon® 6728P : processeur d'entreprise à 24 cœurs avec turbo de 4,1 GHz, 144 Mo de cache et accélérateurs intégrés. Idéal pour la virtualisation, les bases de données et l'infrastructure avec mémoire DDR5 et prise en charge PCIe 5.0.
