Il processore Cerebras CS-2 scala fino a 163 milioni di core per battere la complessità del cervello umano
Cerebras Systems è nota per i più grandi processori del mondo che integrano centinaia di migliaia di core per singolo chip. Questi core non sono i soliti X86 che vediamo nei processori per computer in questi giorni. Invece, sono core ottimizzati per l'intelligenza artificiale simili ai core Tensor di Nvidia, quindi i chip sono progettati per elaborare modelli di calcolo complicati che rivaleggiano con la complessità del cervello umano. Ora, il Cerebras CS-2 che attualmente detiene il record per il più grande e veloce processore single-chip del mondo è stato introdotto un paio di anni fa, ma l'azienda ha lavorato per migliorare il suo throughput ed è ora in grado di offrire un sistema basato su CS-2 che può elaborare 120 trilioni di modelli AI, battendo teoricamente il cervello umano che può sparare 100 trilioni di sinapsi. Per riferimento, gli attuali cluster di supercomputer GPU arrivano a 1 trilione di parametri.
Apparentemente, un singolo processore CS-2 con 850.000 core può ora battere il cervello umano, ma Cerebras offre anche una soluzione di scala che permette a 192 sistemi CS-2 di lavorare in tandem e destreggiarsi con ancora più trilioni di parametri attraverso ben 162 milioni di core ottimizzati per l'IA. Il chip CS-2 ha le dimensioni di un grande tablet ed è prodotto su Nodi da 7 nm di TSMC con 40 GB di SRAM su chip. Questa quantità di memoria non è sufficiente per i modelli su scala cerebrale, così Cerebras ha ideato armadi MemoryX esterni che forniscono più memoria e memorizzano i parametri del modello off-chip, liberando la memoria on-chip per il modello stesso. Questo approccio combinato con il nuovo SwarmX Fabric permette a Cerebras di scalare le prestazioni in modo quasi lineare su 192 sistemi CS-2.
Lo SwarmX Fabric integra Ethernet a livello PHY e comprime i dati per trasferirli più velocemente attraverso i nodi esistenti fino a 32 sistemi CS-2 con ~1 Tb di larghezza di banda per nodo. Tutti gli switch SwarmX Fabric si collegano direttamente al box MemoryX che può supportare fino a 2,4 PB di memoria in un mix di flash e DRAM. Con la piena capacità di memoria, il box è in grado di memorizzare fino a 120 trilioni di parametri.
Questi sistemi molto probabilmente costano così tanto che la lista dei clienti Cerebras include solo entità militari, di intelligence e scientifiche come l'Argonne National Laboratory.
Fonte(i)
