English
Français
Deutsch
Italiano
Русский
Español
Português
Nederlandse
Ελληνικά
日本語
한국
العربية
हिन्दी
Türkçe
Indonesia
ไทย
বাংলা
فارسی
Polski
NVIDIA H100 NVL 94GB GPU với Hopper Architecture và PCIe 5.0 x16
Tóm tắt sản phẩm
GPU NVIDIA H100 NVL 94GB mang lại hiệu suất LLM nhanh hơn 12 lần so với A100, với bộ nhớ HBM3 188GB ở cấu hình kép. Lý tưởng cho các mẫu GPT-175B, có Transformer Engine và PCIe 5.0 để suy luận và đào tạo AI hiệu quả trong các máy chủ tiêu chuẩn.
Thuộc tính cơ bản
Tên thương hiệu:
NVIDIA
Số mô hình:
900-21010-0020-000
Giao dịch Bất động sản
Số lượng đặt hàng tối thiểu:
10
Giá:
24000USD
Điều khoản thanh toán:
T/T
Mô tả sản phẩm
GPU NVIDIA H100 NVL 94GB
NVIDIA MPN: 900-21010-0020-000
GPU NVIDIA H100 NVL 94GB được chế tạo đặc biệt để dân chủ hóa việc suy luận và huấn luyện các mô hình ngôn ngữ lớn (LLM) bằng cách mang sức mạnh của kiến trúc Hopper đến các hệ thống máy chủ dựa trên PCIe phổ thông. Phiên bản chuyên dụng này giải quyết các yêu cầu về bộ nhớ và tính toán độc đáo của các mô hình có tới 175 tỷ tham số, chẳng hạn như GPT-175B, mang lại hiệu suất vượt trội đồng thời duy trì hiệu quả hoạt động trong môi trường trung tâm dữ liệu bị hạn chế về năng lượng.
Khi được triển khai trong cấu hình hai GPU được kết nối qua cầu NVLink, H100 NVL cung cấp tổng cộng 188 GB bộ nhớ HBM3, cho phép cặp GPU hoạt động hiệu quả như một nhóm bộ nhớ hợp nhất.
Thông số kỹ thuật
H100 NVL có bộ nhớ HBM3 94 GB, được tối ưu hóa cho các tác vụ suy luận đòi hỏi nhiều bộ nhớ và tinh chỉnh các mô hình ngôn ngữ lớn. GPU tận dụng toàn bộ khả năng của kiến trúc Hopper, bao gồm cả Transformer Engine giúp tăng tốc các hoạt động LLM bằng tính toán độ chính xác hỗn hợp.
So với các hệ thống thế hệ trước, các máy chủ được trang bị GPU H100 NVL cho thấy hiệu suất cao hơn tới 12 lần trên các mô hình GPT-175B so với cấu hình NVIDIA DGX A100, với đặc tính độ trễ được cải thiện đáng kể. Card giao tiếp qua PCIe 5.0 x16 và hỗ trợ công nghệ NVLink qua cầu, cho phép giao tiếp GPU-GPU băng thông cực cao, cần thiết để mở rộng quy mô song song mô hình trên nhiều bộ tăng tốc.
Thiết kế & Tương thích
Được thiết kế để triển khai trong các trung tâm dữ liệu phổ thông, H100 NVL có dạng yếu tố hai khe cắm với các tùy chọn làm mát chủ động hoặc thụ động tùy thuộc vào cấu hình OEM. GPU hoàn toàn tương thích với ngăn xếp phần mềm doanh nghiệp của NVIDIA, bao gồm CUDA, TensorRT và bộ NVIDIA AI Enterprise, đảm bảo tích hợp liền mạch vào các quy trình AI hiện có.
Các ứng dụng chính bao gồm suy luận thời gian thực cho AI đàm thoại, tinh chỉnh mô hình và các tác vụ tạo sinh tăng cường truy xuất (RAG). Với sự kết hợp cân bằng giữa dung lượng bộ nhớ, hiệu suất tính toán và hiệu quả năng lượng, H100 NVL đại diện cho điểm khởi đầu tối ưu cho các tổ chức muốn vận hành các mô hình ngôn ngữ lớn trên cơ sở hạ tầng của họ mà không gặp phải sự phức tạp hoặc chi phí của các hệ thống dựa trên SXM mật độ cao.
Chi tiết sản phẩm
Làm nổi bật:
Nvidia H100 PCI GPU
,94GB PCI GPU
,GPU PCIe 5.0 x16
Sản phẩm liên quan
-
P42044-B21 Mellanox MCX631102AS-ADAT Ethernet 10/25Gb 2-port SFP28 Adapter for HPE
Bộ điều hợp OCP3 được HPE chứng nhận với hai cổng SFP+ 10Gb. Có chipset Broadcom BCM57412, hỗ trợ SR-IOV, RoCE v2 và mức tiêu thụ điện năng thấp. Bao gồm bảo hành 1 năm và vận chuyển toàn cầu. -
Bộ xử lý Intel Xeon Silver 4510 2.4GHz 12 Lõi 150W cho Máy tính Hiệu năng Cao
Bộ xử lý Intel Xeon Silver 4510 Gia đình bộ xử lý Intel Xeon Silver Mô hình 4510 Tốc độ đồng hồ 2.4GHz Số lượng lõi 12 lõi Năng lượng thiết kế nhiệt 150W Tổng quan sản phẩm Bộ vi xử lý Intel Xeon Silver 4510 cung cấp hiệu suất cấp doanh nghiệp với 12 lõi hoạt động ở tần số cơ sở 2,4GHz.bộ vi xử lý ... -
Bộ vi xử lý Intel Xeon 6714P với tần số cơ bản 4,0 GHz 8 lõi 16 luồng và 165W TDP
Intel Xeon 6714P: bộ xử lý 8 nhân với tốc độ turbo 4,3 GHz, bộ nhớ đệm 48 MB và bộ tăng tốc tích hợp để suy luận AI, khối lượng công việc cơ sở dữ liệu và phân phối nội dung. Có bộ nhớ DDR5, PCIe 5.0 và khả năng mở rộng bằng nhiều khe cắm.
