H100 Hopper Accelerator Sekarang Dalam Produksi Penuh, Pengiriman DGX

Dengan acara GTC musim gugur NVIDIA dalam ayunan penuh, perusahaan menyentuh sebagian besar bisnis intinya dalam satu atau lain cara di keynote pagi ini. Di sisi perusahaan, salah satu pembaruan yang paling lama ditunggu-tunggu adalah status pengiriman akselerator “Hopper” NVIDIA H100, yang pada perkenalannya dijadwalkan mendarat pada Q3 tahun ini. Ternyata, dengan Q3 sudah hampir di atas H100 tidak akan membuat tanggal ketersediaan Q3-nya. Namun, menurut NVIDIA, akselerator sedang dalam produksi penuh, dan sistem pertama akan dikirimkan dari OEM pada bulan Oktober.

Pertama kali diungkapkan pada bulan Maret di acara GTC musim semi tahunan NVIDIA, H100 adalah akselerator kinerja tinggi generasi mendatang NVIDIA untuk server, hyperscaler, dan pasar serupa. Berdasarkan arsitektur Hopper dan dibangun di atas proses 4nm “4N” TSMC, H100 adalah tindak lanjut dari akselerator A100 NVIDIA yang sangat sukses. Di antara perubahan lainnya, akselerator terbaru dari perusahaan mengimplementasikan memori HBM3, dukungan untuk model transformator dalam inti tensornya, dukungan untuk pemrograman dinamis, versi terbaru dari GPU multi-instance dengan isolasi yang lebih kuat, dan throughput komputasi yang jauh lebih banyak untuk keduanya. tipe data vektor dan tensor. Berbasis sekitar 80 miliar transistor GPU GH100 NVIDIA yang besar dan kuat, akselerator H100 juga mendorong amplop dalam hal konsumsi daya, dengan TDP maksimum 700 Watt.

Mengingat bahwa acara GTC musim semi NVIDIA tidak tepat selaras dengan jendela manufaktur mereka untuk generasi ini, pengumuman H100 awal tahun ini menyatakan bahwa NVIDIA akan mengirimkan sistem H100 pertama di Q3. Namun, tujuan pengiriman NVIDIA yang diperbarui yang diuraikan hari ini berarti bahwa tanggal Q3 telah tergelincir. Kabar baiknya adalah bahwa H100 dalam “produksi penuh”, seperti istilah NVIDIA. Kabar buruknya adalah tampaknya produksi dan integrasi tidak dimulai tepat waktu; pada titik ini perusahaan tidak mengharapkan sistem produksi pertama untuk mencapai pelanggan sampai Oktober, awal Q4.

Melempar kunci pas lebih jauh ke dalam masalah, urutan sistem dan produk yang diluncurkan pada dasarnya terbalik dari strategi NVIDIA yang biasa. Daripada memulai dengan sistem berdasarkan bagian faktor bentuk SXM berkinerja tertinggi terlebih dahulu, mitra NVIDIA malah memulai dengan kartu PCIe berperforma lebih rendah. Artinya, pengiriman sistem pertama pada bulan Oktober akan menggunakan kartu PCIe, dan baru pada akhir tahun ini mitra NVIDIA mengirimkan sistem yang mengintegrasikan kartu SXM yang lebih cepat dan papan operator HGX mereka.

Perbandingan Spesifikasi Akselerator NVIDIA
H100 SXM H100 PCIe A100 SXM A100 PCIe
FP32 CUDA Core 16896 14592 6912 6912
Inti Tensor 528 456 432 432
Meningkatkan Jam ~1.78GHz
(Belum Selesai)
~1.64GHz
(Belum Selesai)
1,41GHz 1,41GHz
Jam Memori 4.8Gbps HBM3 3.2Gbps HBM2e 3.2Gbps HBM2e 3.0Gbps HBM2e
Lebar Bus Memori 5120-bit 5120-bit 5120-bit 5120-bit
Bandwidth Memori 3TB/dtk 2 TB/dtk 2 TB/dtk 2 TB/dtk
VRAM 80GB 80GB 80GB 80GB
FP32 Vektor 60 TFLOPS 48 TFLOPS 19.5 TFLOPS 19.5 TFLOPS
FP64 Vektor 30 TFLOPS 24 TFLOPS 9.7 TFLOPS
(1/2 tarif FP32)
9.7 TFLOPS
(1/2 tarif FP32)
Tensor INT8 2000 TOPS 1600 TOPS 624 TOPS 624 TOPS
Tensor FP16 1000 TFLOPS 800 TFLOPS 312 TFLOPS 312 TFLOPS
Tensor TF32 500 TFLOPS 400 TFLOPS 156 TFLOPS 156 TFLOPS
Tensor FP64 60 TFLOPS 48 TFLOPS 19.5 TFLOPS 19.5 TFLOPS
Interkoneksi NVLink 4
18 Tautan (900GB/dtk)
NVLink 4
(600GB/dtk)
NVLink 3
12 Tautan (600GB/dtk)
NVLink 3
12 Tautan (600GB/dtk)
GPU GH100
(814mm2)
GH100
(814mm2)
GA100
(826mm2)
GA100
(826mm2)
Hitungan Transistor 80B 80B 54.2B 54.2B
TDP 700W 350W 400W 300W
Proses Manufaktur TSMC 4N TSMC 4N TSMC 7N TSMC 7N
Antarmuka SXM5 PCIe 5.0
(Slot Ganda)
SXM4 PCIe 4.0
(Slot Ganda)
Arsitektur Hopper Hopper Amper Amper

Sementara itu, sistem DGX andalan NVIDIA, yang didasarkan pada platform HGX mereka dan biasanya merupakan salah satu sistem pertama yang dikirimkan, sekarang akan menjadi yang terakhir. NVIDIA membuka pre-order untuk sistem DGX H100 hari ini, dengan pengiriman dijadwalkan untuk Q1 tahun 2023 – 4 hingga 7 bulan dari sekarang. Ini adalah kabar baik bagi mitra server NVIDIA, yang dalam beberapa generasi terakhir harus menunggu untuk mengejar NVIDIA, tetapi ini juga berarti bahwa H100 sebagai produk tidak akan dapat memberikan yang terbaik saat mulai dikirimkan dalam sistem. bulan depan.

Dalam pre-briefing dengan pers, NVIDIA tidak memberikan penjelasan rinci mengapa H100 akhirnya tertunda. Meskipun berbicara pada tingkat tinggi, perwakilan perusahaan menyatakan bahwa penundaan itu bukan karena alasan komponen. Sementara itu, perusahaan menyebutkan kesederhanaan relatif dari kartu PCIe dengan alasan bahwa sistem PCIe dikirim terlebih dahulu; itu sebagian besar plug-and-play di dalam infrastruktur PCIe generik, sedangkan sistem H100 HGX/SXM lebih kompleks dan membutuhkan waktu lebih lama untuk diselesaikan.

Ada beberapa perbedaan fitur penting antara dua faktor bentuk, juga. Versi SXM adalah satu-satunya yang menggunakan memori HBM3 (PCIe menggunakan HBM2e), dan versi PCIe membutuhkan lebih sedikit SM yang berfungsi (114 vs. 132). Jadi ada ruang gerak di sini bagi NVIDIA untuk menyembunyikan masalah hasil awal, jika memang itu faktornya.

Masalah rumit untuk NVIDIA, sisi CPU DGX H100 didasarkan pada Intel yang berulang kali tertunda 4th generasi prosesor Xeon Scalable (Sapphire Rapids), yang saat ini masih belum memiliki rilis data yang sepenuhnya dipaku. Proyeksi yang kurang optimis telah meluncurkannya di Q1, yang memang sejalan dengan tanggal rilis NVIDIA sendiri – meskipun ini mungkin hanya kebetulan. Either way, kurangnya ketersediaan umum untuk Sapphire Rapids tidak membantu NVIDIA di sini.

Pada akhirnya, dengan NVIDIA tidak dapat mengirimkan DGX hingga tahun depan, mitra server NVIDIA tidak hanya akan mengalahkan mereka dengan sistem berbasis PCIe, tetapi mereka juga akan menjadi yang pertama keluar dengan sistem berbasis HGX. Agaknya sistem awal tersebut akan menggunakan host generasi saat ini, atau mungkin platform Genoa AMD jika sudah siap pada waktunya. Di antara perusahaan yang dijadwalkan untuk mengirimkan sistem H100 adalah tersangka yang biasa, termasuk Supermicro, Dell, HPE, Gigabyte, Fujitsu, Cisco, dan Atos.

Sementara itu, bagi pelanggan yang ingin mencoba H100 sebelum membeli perangkat keras apa pun, H100 kini tersedia di layanan LaunchPad NVIDIA.

Akhirnya, sementara kami membahas masalah H100, NVIDIA juga menggunakan GTC minggu ini untuk mengumumkan pembaruan lisensi untuk tumpukan perangkat lunak NVIDIA AI Enterprise mereka. H100 sekarang hadir dengan lisensi 5 tahun untuk perangkat lunak, yang penting karena langganan 5 tahun biasanya $8000 per soket CPU.

Perangkat Keras