d-Matrix presenta la scheda Corsair C8, 9 volte più veloce della GPU H100 di Nvidia nei carichi di lavoro di AI generativa
Mentre TSMC avverte che le GPU AI H100 di Nvidia continueranno ad avere forniture limitate nei prossimi 18 mesi a causa dell'insufficiente capacità di confezionamento di chip-on-wafer-on-substrate (CoWoS), altre aziende stanno vedendo l'opportunità di intervenire e soddisfare la domanda schiacciante di hardware AI generativo. Una di queste è una nuova startup chiamata d-Matrix, che di recente è riuscita a ottenere 110 milioni di dollari da investitori come Microsoft dimostrando l'impareggiabile velocità della sua scheda di calcolo Corsair C8, che si dice abbia un throughput 9 volte superiore a quello di una Nvidia H100 Nei carichi di lavoro di intelligenza artificiale generativa.
Le impressionanti velocità sono ottenute grazie alla tecnologia Digital-in-Memory Computer (DIMC) di d-Matrix. A differenza della GPU Nvidia A100 e H100 di Nvidia, progettate per una più ampia gamma di attività di calcolo ad alte prestazioni, le schede Corsair C8 di d-Matrix sono state create specificamente per i carichi di lavoro di IA generativa e inferenza. Una singola scheda Corsair C8 integra 2.048 core DIMC raggruppati in 8 chiplet con un totale di 130 miliardi di transistor, e dispone anche di 256 GB di RAM LPDDR5 per inserire facilmente interi modelli di IA nella memoria. Tutti i chiplet sono interconnessi tramite PCIe 5.0 con una larghezza di banda di 1 TB/s, per un totale di 8 TB/s di larghezza di banda da die a die. d-Matrix include anche 2 GB di SRAM con una larghezza di banda di 150 TB/s. A seconda del carico di lavoro AI, il Corsair C8 fornisce tra 2400 e 9600 TFLOPS.
Grazie alla capacità di scalare ottimizzata e alla natura priva di attriti dello stack software open source, d-Matrix sostiene che un cluster di schede Corsair C8 potrebbe portare a un'efficienza energetica 20 volte superiore, a una latenza 20 volte inferiore e a costi fino a 30 volte inferiori rispetto a soluzioni simili di Nvidia.
