Nvidia GH100 Hopper vociferato per caratterizzare oltre 140 miliardi di transistor, architettura MCM GPU basata su COPA può teoricamente offrire fino a 233 GB HBM2 VRAM
Nvidia Hopper è un nome che ha sollevato la sua testa nel mulino delle voci di tanto in tanto per un bel po' di tempo. GH100 Hopper è destinato a succedere a GA100 Ampere e sarà una scheda focalizzata sul calcolo ad alte prestazioni (HPC) mentre la sua controparte consumer dovrebbe essere AD102 Lovelace. Noi avevamo precedentemente riportato sulle dimensioni del die di GH100, e ora siamo venuti a conoscenza del probabile numero di transistor.
Questa informazione arriva tramite un poster Zhangzhonghao sul forum di Chiphell. L'OP non ha effettivamente menzionato GH100 o Hopper per nome, ma ha postato: "140 miliardi+... è davvero spaventoso, una super bomba nucleare" (traduzione automatica dal cinese). Ma non è troppo difficile indovinare che si riferiva più o meno al prossimo acceleratore HPC a 5 nm di Nvidia. Se vero, questo conteggio di transistor vociferato per Hopper è circa 2,58x più di quello di GA100 Ampere (54,2 miliardi) e 2,40x quello di AMD Aldebaran Instinct MI200 (58,2 miliardi).
Recentemente, il noto leaker @kopite7kimi su Twitter ha affermato che GH100 Hopper potrebbe avere un'area die appena inferiore a 1000 mm2. Tuttavia, l'attuale limite del reticolo litografico di 858 mm2 rende la sua affermazione un po' difficile da credere per ora. Se in qualche modo assumiamo un'area di 900 mm2, GH100 Hopper potrebbe sfoggiare un enorme 150 milioni di transistor per mm2 sul nodo a 5 nm. 3DCenter ha fatto alcuni rapidi calcoli su https://www.3dcenter.org/news/news-des-7-februar-2022 ed è venuto fuori con numeri che indicano 486 o 972 milioni di transistor per multiprocessore in shading (144 SMs in totale) a seconda che Hopper avrà un "modesto" 70 miliardi di transistor o i 140 miliardi reali.
Questi numeri indicano che Hopper sarebbe probabilmente un modulo multi-chip (MCM) come è stato speculato da tempo. Tuttavia, voci recenti indicano che vedremo un die monolitico per la maggior parte. Non è chiaro a questo punto se Nvidia offrirà Hopper in entrambe le varianti monolitica e MCM.
In un recente documento di ricerca https://dl.acm.org/doi/10.1145/3484505 pubblicato sulla rivista ACM Transactions on Architecture and Code Optimization, Nvidia solleva la questione della combinazione di carichi di lavoro deep learning (DL) basati su FP16 e carichi di lavoro HPC basati su FP32 e superiori su una singola GPU
Il documento postula i vantaggi di un'architettura composita di GPU on-package (COPA-GPU) con un design MCM e allude anche a una misteriosa GPU-N con 8.576 core CUDA e 100 GB di HBM2 VRAM.
Nvidia ha anche fatto riferimento a diversi design con last-level cache (LLC) che varia da 60 MB (in GPU-N) a 1.920 MB (in COPA-GPU 5) e capacità di RAM che vanno da 100 GB a 233 GB. Naturalmente, la maggior parte di questo è teorico, ma è possibile che alcune di queste varianti faranno parte della famiglia Hopper.
Ci aspettiamo che Nvidia parli di GH100 Hopper durante il keynote del GTC 2022 dell'azienda il 21 marzo.
Fonte(i)
Chiphell Forum (Cinese)
