English
Français
Deutsch
Italiano
Русский
Español
Português
Nederlandse
Ελληνικά
日本語
한국
العربية
हिन्दी
Türkçe
Indonesia
Tiếng Việt
ไทย
বাংলা
فارسی
NVIDIA H100 NVL 94GB GPU z architekturą Hopper i PCIe 5.0 x16
Podsumowanie produktu
Karta graficzna NVIDIA H100 NVL 94 GB zapewnia 12 razy większą wydajność LLM w porównaniu z A100, ze 188 GB pamięci HBM3 w podwójnych konfiguracjach. Idealny do modeli GPT-175B, wyposażonych w silnik Transformer Engine i PCIe 5.0 do wydajnego wnioskowania AI i szkolenia na standardowych serwerach.
Podstawowe właściwości
Nazwa marki:
NVIDIA
Numer modelu:
900-21010-0020-000
Nieruchomości handlowe
Minimalna ilość zamówienia:
10
Cena:
24000USD
Warunki płatności:
T/T
Opis produktu
Karta graficzna NVIDIA H100 NVL 94GB
NVIDIA MPN: 900-21010-0020-000
Karta graficzna NVIDIA H100 NVL 94GB została zaprojektowana z myślą o demokratyzacji wnioskowania i trenowania dużych modeli językowych (LLM), przenosząc moc architektury Hopper do standardowych systemów serwerowych opartych na PCIe. Ta specjalistyczna wersja odpowiada na unikalne wymagania dotyczące pamięci i mocy obliczeniowej modeli z maksymalnie 175 miliardami parametrów, takich jak GPT-175B, zapewniając wyjątkową wydajność przy jednoczesnym zachowaniu efektywności operacyjnej w środowiskach centrów danych z ograniczonym poborem mocy.
Po wdrożeniu w konfiguracjach dwukartowych połączonych mostkami NVLink, H100 NVL zapewnia łączną pamięć HBM3 o pojemności 188 GB, umożliwiając parze kart graficznych działanie jako zunifikowana pula pamięci.
Specyfikacje techniczne
H100 NVL posiada 94 GB pamięci HBM3, zoptymalizowanej pod kątem intensywnych obciążeń wnioskowania i dostrajania dużych modeli językowych. Karta graficzna wykorzystuje pełne możliwości architektury Hopper, w tym Transformer Engine, który przyspiesza operacje LLM dzięki obliczeniom o mieszanej precyzji.
W porównaniu do systemów poprzedniej generacji, serwery wyposażone w karty graficzne H100 NVL wykazują do 12 razy wyższą wydajność na modelach GPT-175B niż konfiguracje NVIDIA DGX A100, ze znacznie poprawionymi charakterystykami opóźnień. Karta komunikuje się przez PCIe 5.0 x16 i obsługuje technologię NVLink za pośrednictwem mostków, umożliwiając komunikację GPU-GPU o bardzo wysokiej przepustowości, niezbędną do skalowania równoległości modeli na wielu akceleratorach.
Konstrukcja i kompatybilność
Zaprojektowana do standardowego wdrożenia w centrach danych, H100 NVL przyjmuje dwuslotowy format z opcjami chłodzenia aktywnego lub pasywnego, w zależności od konfiguracji OEM. Karta graficzna jest w pełni kompatybilna ze stosem oprogramowania korporacyjnego NVIDIA, w tym CUDA, TensorRT i pakietem NVIDIA AI Enterprise, zapewniając bezproblemową integrację z istniejącymi potokami AI.
Kluczowe zastosowania obejmują wnioskowanie w czasie rzeczywistym dla konwersacyjnej sztucznej inteligencji, dostrajanie modeli i obciążenia generowania rozszerzonego przez wyszukiwanie (RAG). Dzięki zrównoważonemu połączeniu pojemności pamięci, wydajności obliczeniowej i efektywności energetycznej, H100 NVL stanowi optymalny punkt wejścia dla organizacji, które chcą operacjonalizować duże modele językowe w swojej infrastrukturze, bez złożoności lub kosztów systemów opartych na gęstych modułach SXM.
Szczegóły produktu
Podkreślić:
Nvidia H100 PCIE GPU
,94GB PCI GPU
,PCIe 5.0 x16 GPU
ZAŁĄCZONE PRODUKTY
-
Procesor serwerowy Xeon Bronze 3508U z 8 rdzeniami, obsługą pamięci DDR5, TDP 125W
Xeon Bronze 3508U: 8-rdzeniowy procesor serwerowy o częstotliwości bazowej 2,1 GHz, TDP 125 W, obsłudze pamięci DDR5, PCIe 5.0 i zaawansowanych funkcjach zabezpieczeń. Idealny do serwerów klasy podstawowej, obliczeń brzegowych i platform pamięci masowej. -
Xeon Gold 6538Y+ 32 rdzenia 5. generacja skalowalny procesor serwerowy z 225W TDP dla centrów danych i chmury obliczeniowej
Intel Xeon Gold 6538Y+ zapewnia 32 rdzenie, 60 MB pamięci podręcznej i 4,0 GHz Turbo dla centrów danych. Zawiera pamięć DDR5-5200, PCIe 5.0, wbudowane akceleratory AI i zabezpieczenia korporacyjne z TDP 225 W. -
Xeon Gold 6558Q Procesor z 32 rdzeniami, 64 wątkami i 4,1 GHz Turbo
Intel Xeon Gold 6558Q: 32-rdzeniowy procesor serwerowy z częstotliwością turbo 4,1 GHz, obsługą pamięci DDR5-5200 i akceleracją AI. Oferuje zaawansowane zabezpieczenia (TDX, TME) i wirtualizację dla korporacyjnych centrów danych, HPC i obciążeń w chmurze.
