Tre chip e Google Tensor è in fase di salvataggio

Gli smartphone Pixel di Google sono sempre stati all'avanguardia nell'uso dell'apprendimento automatico e dell'AI per offrire esperienze uniche, il tutto sfruttando l'esperienza software di Google nella creazione di algoritmi intelligenti. Il modello originale Pixel è stato il primo smartphone Android a disporre di Google Assistant, mentre è stato anche il primo smartphone, più in generale, a disporre di funzioni di fotografia computazionale alimentate dall'AI, come Lens Blur e Smartburst. Ogni telefono successivo ha costruito su questa eredità e fino al Pixel 5, Google ha collaborato con Qualcomm per utilizzare i suoi chip Snapdragon per alimentare queste esperienze AI e ML.

La situazione è cambiata con il lancio del Pixel 6 e Pixel 6 Pro nel 2021, alimentati da Google Tensor, il suo primo chip personalizzato. All'epoca, Google ha dichiarato che il suo obiettivo era quello di creare il proprio chip in modo da poter "... offrire capacità totalmente nuove agli utenti Pixel, tenendo il passo con gli ultimi progressi nel campo della ML" L'implicazione è che se fosse rimasta con Qualcomm, semplicemente non sarebbe stata in grado di raggiungere i suoi obiettivi. In particolare:

La co-progettazione di Google Tensor con Google Research ci ha permesso di capire dove si stanno dirigendo i modelli di ML, non dove si trovano oggi. Questo ci ha permesso di costruire una piattaforma AI/ML in grado di tenere il passo con il nostro lavoro in Google.

Ha anche evidenziato come il Tensor abbia permesso alle nuove funzionalità AI come Live Translate di "lavorare su media come i video, utilizzando modelli vocali e di traduzione sul dispositivo" Per quanto riguarda le capacità di apprendimento automatico originali del primo Tensor, ha fatto centro. Se la serie di chip Google Tensor è stata creata appositamente per supportare le funzioni AI di Google - sia per tenere il passo con i modelli AI di Google che per supportarli sul dispositivo come previsto - qualcosa è andato storto.

Lo sviluppo di chip personalizzati leader di mercato è un'impresa costosa. Applela decisione dell'azienda di investire in chip completamente personalizzati basati su Arm risale all'epoca di Steve Jobs, quando acquisì un paio di aziende di progettazione di chip specializzate in silicio a basso consumo e ad alte prestazioni. Anche il suo primo prototipo di Mac basato su Arm risale all'era di Jobs, con voci sulla sua esistenza emerse per la prima volta nel 2011l'anno prima che Jobs venisse purtroppo a mancare a causa di un cancro al pancreas. Nello stesso anno, il team di Apple chip era già stato costruito fino a almeno 1.000 persone. Ha anche investito molto in TSMC per assicurarsi un accesso prioritario alle sue ultime tecnologie di produzione. In breve, Apple ha investito molti miliardi di dollari con i suoi sforzi di silicio personalizzato per il motivo che avrebbe fornito un'unione senza pari tra il suo hardware e il suo software.

Anche Google ha voluto emulare l'approccio di Apple, adattando il silicio per allinearsi meglio alle sue capacità di software AI leader del mercato. Tuttavia, finora i suoi sforzi non sono stati così ambiziosi come quelli di Apple. I primi tre chip Tensor sono considerati progetti semi-custom, essendo stati co-progettati e sviluppati con Samsung LSI, il team dietro i chip Exynos di Samsung. Sono anche prodotti da Samsung Foundry. La provenienza del Tensor originale e la sua stretta relazione con i chip Exynos di Samsung è stata identificata da Andrei Frumansu da Andrei Frumansu, che allora scriveva per Anandtech. (Frumansu, da allora, è passato a cose più grandi e migliori e ora è un Principal Engineer presso Qualcomm che lavora sul chip Chip Snapdragon X Elite -- quindi ne sa qualcosa di chip).

Quindi, mentre Apple ha sviluppato CPU completamente personalizzate basate su Arm per molti anni e, più recentemente, anche core GPU completamente personalizzatii chip Tensor di Google, co-progettati e sviluppati da Samsung, hanno utilizzato core CPU Arm Cortex e core GPU Arm Mali. Tuttavia, presentano blocchi IP di Google completamente personalizzati, tra cui l'unità di elaborazione Tensor (TPU), l'enclave sicura Titan M e altri blocchi IP personalizzati, come descritto da Frumansu. Questo si basa sull'IP di silicio personalizzato che Google aveva sviluppato quando utilizzava ancora i chip Qualcomm Snapdragon, tra cui il Pixel Visual Core visto per la prima volta nel Pixel 2 e il primo Titan M che ha debuttato nel Pixel 3. Questo è stato l'approccio che Google ha seguito per tutti i suoi chip Tensor finora - il Tensor originale, Tensor G2 e il più recente Tensor G3.

Secondo le ultime indiscrezioni, Google avrebbe progettato un tensor completamente personalizzato. Questo sarà fabbricato su uno dei nodi a 3 nm di TSMC, anziché sui nodi di Samsung - anche se Samsung sembra stia riconquistando alcuni dei clienti che ha perso negli ultimi due o tre anni a favore di TSMC, sembra che Google abbia perso la pazienza con il gigante coreano. Purtroppo per i fan dei Pixel, questo chip non dovrebbe arrivare prima del 2025, il che significa che possiamo aspettarci almeno un altro chip Tensor dall'attuale collaborazione con Samsung. I primi segnali, tuttavia, non sono promettenti. Come il Tensor G2, che era un aggiornamento modesto rispetto al Tensor OG, il Tensor G4 dovrebbe essere un aggiornamento modesto rispetto al Tensor G3. Questo potrebbe essere un problema per Google, dato che il Tensor G3 non è in grado di gestire l'ultima AI di Google non è in grado di gestire gli ultimi algoritmi AI di Google sul dispositivo come da piani originali.

Anche se il Tensor G3 significativi aggiornamenti architettonicile sue prestazioni nei benchmark si collocano tra il Qualcomm Snapdragon 7+ Gen 2 di fascia media e il Qualcomm Snapdragon 7+ Gen 2 e lo Snapdragon 8+ Gen 1. Sebbene le prestazioni siano sufficienti a mantenere il Pixel 8 Pro eseguire senza problemi l'interfaccia utente di sistema e altre attività, nell'esperienza di questo scrittore è comunque incline a scaldarsi per svolgere attività semplici come il download di app e la ripresa di video. Quando i telefoni si scaldano in questo modo nell'uso generale, ciò riflette il tipo di inefficienza che è una caratteristica nota dei chip caratteristica nota dei chip prodotti sui nodi a 5 nm e 4 nm di Samsung, compreso il nodo 4LPP utilizzato per fabbricare il Tensor G3. Google ha cercato di mascherare queste carenze termiche caricando il Pixel 8 Pro con molta grafite. La stessa inefficienza è evidente anche in numerosi test standardizzati della batteria che si trovano su e che in genere mostrano il Pixel 8 Pro molto indietro rispetto al Pixel 8 Pro il Pixel 8 Pro molto indietro rispetto all iPhone 15 Pro Max e dell'iPhone Galaxy S23 Ultrai suoi due principali concorrenti.

Il problema più grande, forse, con il Tensor G3 è (come abbiamo evidenziato di recente), che molte delle ultime funzioni AI che Google ha pubblicizzato in occasione del lancio del Pixel 8 Pro non possono essere gestite sul dispositivo. Questo nonostante Google abbia dichiarato che il chip è in grado di farlo sul suo blog ufficiale. Sebbene Google abbia chiarito al momento del lancio che la nuova funzione Video Boost viene scaricata sul cloud per l'elaborazione, non ha chiarito esattamente quali funzioni richiedono una connessione a Internet. L'unico indizio del fatto che l'elaborazione dell'intelligenza artificiale viene scaricata sul cloud per il funzionamento di una nuova funzione di intelligenza artificiale è quando Google indica specificamente in piccolo che una funzione "richiede l'applicazione Google Photos". Le nuove funzioni AI che il Tensor G3 non è abbastanza potente per elaborare sul dispositivo includono l'Assistente Google con Bard, Night Sight Video, Gboard proof-read, Magic Editor, AI Wallpaper, Audio Magic Eraser e l'aggiornamento AI generativo in arrivo per Magic Eraser.

È chiaro che a soli tre chip di distanza, e con così tante nuove funzioni AI che vengono distribuite a Google Cloud, il progetto Google Tensor è in fase di supporto vitale. Ricorderete che Google ha dichiarato di essere passata dall'utilizzo dei chip Snapdragon, come stava facendo perché:

La co-progettazione di Google Tensor con Google Research ci ha permesso di capire dove si stanno dirigendo i modelli ML, non dove si trovano oggi. Questo ci ha permesso di costruire una piattaforma AI/ML in grado di tenere il passo con il nostro lavoro in Google.

Il Tensor G3 semplicemente non si avvicina alla ragion d'essere originaria di Google per la creazione dei propri chip. Secondo Google, i vantaggi di un chip in grado di elaborare compiti di AI sul dispositivo includono: bassa latenza (poiché l'elaborazione è gestita localmente); privacy (poiché i dati dell'utente non vengono scaricati su server remoti); e migliore durata della batteria (poiché le connessioni cellulari o Wi-Fi consumano energia). Invece, scaricando i compiti AI sul cloud, la latenza sul Pixel 8 Pro aumenta, la privacy diminuisce e la durata della batteria subisce un calo ogni volta che un utente utilizza una delle nuove funzioni AI che necessita di una connessione cellulare o Wi-Fi.

Nel lanciare il potente Snapdragon 8 Gen 3 a poche settimane di distanza dal Tensor G3, Qualcomm non ha perso l'occasione di inviare un messaggio a Google che non avrebbe mai dovuto abbandonarli. Durante l'evento di lancio, Qualcomm ha posto l'accento sulle capacità di elaborazione AI generativa on-device di Snapdragon 8 Gen 3, definendolo un "Titano dell'intelligenza on-device". Qualcomm non ha esagerato: lo Snapdragon 8 Gen 3 è il primo SoC mobile in grado di supportare la Diffusione Stabile on-device e modelli AI di grandi dimensioni fino a 10 miliardi di parametri.

Lo Snapdragon 8 Gen 3 ha anche smascherato l'affermazione di Google secondo cui le "metriche tradizionali delle prestazioni" non sono importanti. Il motivo per cui lo Snapdragon 8 Gen 3 distrugge le capacità di elaborazione AI on-device del Tensor G3 è che lo distrugge anche nei benchmark lo schiaccia nei benchmark. Qualcomm chiama la combinazione di CPU, GPU e NPU dello Snapdragon 8 Gen 3 come il suo "motore AI". Questo perché la CPU, la GPU e la NPU di un SoC per smartphone vengono utilizzate in modo estensivo durante l'elaborazione dei modelli di apprendimento automatico che alimentano le funzioni AI degli smartphone. I benchmark mostrano chiaramente che il Tensor G3 ha una CPU e una GPU relativamente deboli, mentre la sua TPU personalizzata non è sufficiente a compensare questo aspetto.

La potenza grezza conta, e conta più che mai grazie all'ascesa dell'AI generativa negli ultimi 12-18 mesi. A questo punto, l'unico vantaggio del Tensor G3 per i fan dei Pixel è che Google ha promesso 7 anni di aggiornamenti del sistema operativo per la serie Pixel 8, che è sostanzialmente più di quanto sarebbe stato possibile con Qualcomm. Tuttavia, in questa fase, si tratta solo di una promessa e ci devono essere dei punti interrogativi sulla capacità del Tensor G3 di supportare effettivamente Android 21, che è apparentemente l'ultimo degli aggiornamenti del sistema operativo che i Pixel 8 Pro e Pixel 8 riceveranno.

Non sembra che le cose migliorino molto per il Pixel 9 Pro quando verrà lanciato nel 2024, poiché le prime indicazioni sono che il Tensor G4 continuerà con l'attuale architettura della CPU del Tensor G3, mentre potrebbe ricevere un aggiornamento della TPU e della GPU. Si tratterebbe di un approccio simile a quello del Tensor G2, che era un aggiornamento modesto rispetto al Tensor OG. Solo nel 2025 potremo finalmente vedere Google consegnare un Tensor in grado di mantenere la promessa originale di Google, un Tensor completamente personalizzatoma - cosa fondamentale - fabbricato sul nodo 3NE di TSMC. In questo modo, il Tensor G5 dovrebbe essere molto più competitivo rispetto agli altri chip di punta presenti sul mercato.

Al momento, però, il Pixel 8 Pro è appena in grado di resistere così com'è: può sopravvivere ad un aggiornamento simile al Tensor G2, quando è necessaria un'architettura completamente nuova e un processo di fabbricazione molto migliore il prima possibile? Una soluzione ovvia a breve termine sarebbe quella di inserire uno Snapdragon 8 Gen 3 nel Pixel 9 Pro del prossimo anno. Tuttavia, ciò rappresenterebbe una sfida di marketing, dato l'impegno massiccio che Google ha profuso per il marchio Tensor, prima di prendere in considerazione i costi irrecuperabili sostenuti per lo sviluppo del Tensor G4 e i costi di reingegnerizzazione del cambio di chip. Si tratta di un ostacolo talmente grande che sembra che Google sia bloccata nella sua attuale traiettoria. Se Google procede come previsto, potrebbe uccidere qualsiasi cache rimasta nei marchi Tensor e Pixel.

Anche in questa fase iniziale, sembra che le vendite della serie Pixel 8 siano un po' deboli. Mentre Google tradizionalmente sconta i suoi Pixel per le vendite del Black Friday, sconti enormi di oltre 400 dollari AUD erano già disponibili sul Pixel 8 Pro solo quattro settimane dopo il suo lancio e una settimana e mezza prima dell'inizio ufficiale delle vendite del Black Friday. Questo è estremamente insolito. La serie Pixel continua ad offrire un ottimo software e prestazioni eccellenti della fotocamera. Google è stato il pioniere delle funzioni AI on-device sugli smartphone e le sue funzioni AI rimangono leader della categoria. Ma i suoi chip Tensor sono il suo tallone d'Achille.