Esclusivo: Il fondatore di Geekbench risponde alla polemica sul blocco dei benchmark del Pixel 8

Notebookcheck ha recentemente pubblicato la notizia del fatto che Google sembra aver bloccato abbia bloccato gli scrittori che recensiscono il suo nuovo Pixel 8 e Pixel 8 Pro di poter installare facilmente applicazioni di benchmark popolari come Geekbench 6 e 3D Mark durante il periodo di embargo. È stata una mossa molto insolita e ha sollevato domande sulle motivazioni di Google. Google ha reso note le capacità del Tensor G3 al centro dei suoi ultimi Pixel, in particolare le sue prestazioni AI. Tuttavia, non potendo installare l'app, molti recensori non hanno potuto testare le affermazioni di Google eseguendo i benchmark, come è prassi per la maggior parte delle recensioni, in quanto fornisce un modo oggettivo e standardizzato di valutare le prestazioni del chip.

Uno dei principali benchmark utilizzati dai recensori è Geekbench. Si tratta di una popolare utility di benchmarking multipiattaforma che viene utilizzata principalmente per valutare le prestazioni della CPU, sebbene disponga anche di una suite di calcolo della GPU. Il test valuta sia le prestazioni single-core di un chip che le sue prestazioni multi-core ed è anche un test "multipiattaforma". Ciò significa che i risultati che produce possono essere confrontati tra diversi dispositivi, come telefoni cellulari e laptop, sistemi operativi come Android e Windows, e tra chip prodotti da aziende del calibro di Apple, Intel, Qualcomm, Google, Samsung, MediaTek e AMD.

Quando Geekbench è stato recentemente aggiornato alla versione 6, ha aggiunto la possibilità di testare nuove aree applicative, tra cui le prestazioni AR, ponendo inoltre maggiore enfasi sull'apprendimento automatico, che alimenta il potenziale AI di un chip. Inoltre, è utilizzato e approvato da aziende come Samsung, Microsoft, AMD, Dell, HP, LG, MediaTek e altre ancora. Di conseguenza, si potrebbe pensare che, visto il modo in cui Google pubblicizza le prestazioni AI dei suoi chipset Tensor, questo sarebbe un benchmark che Google sarebbe felice di far installare ai recensori sulle loro unità Pixel 8 e Pixel 8 Pro. Ci sono stati recensori con le conoscenze necessarie per aggirare il blocco del Play Store di Google, scaricando semplicemente il pacchetto di app per Geekbench 6 e installandolo manualmente con un processo noto come side-loading.

I risultati Geekbench 6 prodotti dal Tensor G3 sono stati poco lusinghieri - sia durante il periodo di embargo della recensione che in seguito. Alcuni fan dei Pixel hanno pubblicato teorie secondo cui c'era un problema di compatibilità con i benchmark e Android 14, e che Google non aveva deliberatamente bloccato la loro facile installazione. Questo però non spiega perché le app potevano essere sideloadate e potevano essere eseguite con successo, o perché i risultati pre- e post-blocco post-blocco non erano diversi. Abbiamo contattato Google per un commento, ma non abbiamo ricevuto risposta al momento in cui scriviamo. Abbiamo anche contattato Primate Labs, i produttori di Geekbench 6, che ci ha fornito una risposta.

Nel contattare Primate Labs, abbiamo chiesto se fossero a conoscenza di eventuali problemi di compatibilità che avrebbero impedito l'installazione di Geekbench 6 sui Pixel 8 e Pixel 8 Pro durante il periodo di embargo sulle recensioni. John Poole, creatore della versione originale di Geekbench e fondatore dell'azienda, ha fornito a Notebookcheck questa risposta:

Non sappiamo perché Geekbench 6 non fosse disponibile sui dispositivi Pixel 8 (anche se sospettiamo che abbia a che fare con l'embargo). Non siamo a conoscenza di alcun problema di compatibilità con Geekbench 6 su Pixel 8 o Pixel 8 Pro.

In seguito alla nostra copertura di questo problema, Arun Maini, uno YouTuber meglio conosciuto con il suo nome d'arte di @Mrwhosetheboss ha rivelato che le nuove funzioni chiave alimentate dall'AI che incorporano tecniche di AI generativa, tra cui Magic Editor, AI Wallpaper e Best Take, richiedono una connessione Internet persistente per funzionare come annunciato. Durante la presentazione del lancio, Google ha lasciato intendere che queste funzioni vengono elaborate dal chip Tensor G3. Questo è un messaggio rafforzato sul blog ufficiale di Google, che esalta le virtù del chip e lo posiziona come "AI-first".

Nel bloggoogle VP of Product Management afferma quanto segue:

Il nostro lavoro con Tensor non è mai stato incentrato su velocità e feed, o sulle tradizionali metriche delle prestazioni. Si tratta di far progredire l'esperienza informatica mobile. E nel nostro nuovo chip Tensor G3, tutti i principali sottosistemi sono stati aggiornati, aprendo la strada all'IA generativa on-device. Include l'ultima generazione di CPU ARM, una GPU aggiornata, nuovi ISP e Imaging DSP e la nostra TPU di nuova generazione, che è stata progettata su misura per eseguire i modelli AI di Google.

Abbiamo testato le affermazioni di Maini in merito alla necessità di una connessione Internet persistente per far funzionare alcune di queste nuove funzioni di AI generativa. Nonostante le affermazioni di Google sulla capacità di Tensor G3 di alimentare l'AI generativa sul dispositivo, Google sta di fatto scaricando i requisiti di elaborazione di queste funzioni sul cloud per l'elaborazione da parte dei suoi server molto più potenti - anche se inizialmente una parte dell'elaborazione potrebbe essere eseguita sul dispositivo. Tuttavia, date le prestazioni relativamente scarse di Google Tensor G3 in benchmark come Geekbench 6, è chiaro perché Google ha dovuto ricorrere all'off-loading dell'elaborazione.

Come spiega il designer di chip Arm sul suo sito web (tenendo presente che il Tensor G3 utilizza core di CPU progettati da Arm), la sua intera architettura è stata progettata tenendo conto delle prestazioni dell'AI e gli algoritmi di apprendimento automatico vengono eseguiti sull'intero chip. Ciò significa che se un chip non ottiene buone prestazioni nei benchmark di CPU e GPU, è altamente improbabile che dimostri forti prestazioni di AI. Questo perché i compiti di apprendimento automatico sono gestiti dalla CPU e dalla GPU insieme all'acceleratore AI a bordo del SoC, noto come Neural Processing Unit (NPU) -- o, come lo chiama Google, Tensor Processing Unit (TPU). Sui forum e nelle chat si legge spesso che "i benchmark non contano", è il modo in cui il dispositivo si comporta "nel mondo reale" che conta. E in una certa misura, questa opinione è vera: i benchmark sono una parte dell'equazione complessiva.

Tuttavia, non si può sfuggire al fatto che anche la potenza di elaborazione grezza è una necessità per un dispositivo che viene promosso come AI-first. L'IA generativa richiede chiaramente una potenza di elaborazione superiore a quella che il Tensor G3 è in grado di fornire, nonostante le affermazioni di Google del contrario - altrimenti, non ci sarebbe bisogno di una connessione Internet persistente e di scaricare questi compiti nel cloud per l'elaborazione, prima che il risultato venga restituito al dispositivo dell'utente. Verrebbe elaborato a bordo. Sembra che gli algoritmi software alimentati dall'AI di Google abbiano raggiunto il loro limite con la capacità di Tensor G3 di gestirli localmente, e la narrazione di Google sull'irrilevanza delle "metriche tradizionali delle prestazioni" si è arenata.

Aggiornamento: L' articolo è stato aggiornato con gli screenshot della pagina del prodotto Pixel 8 Pro di Google, con gli screenshot di Google che descrivono le nuove funzioni AI avanzate, comprese le funzioni AI generative menzionate nell'articolo. È incluso anche uno screenshot della nota a piè di pagina in caratteri piccoli '7' che spiega i requisiti e le limitazioni. Si noti che Google non fa alcun riferimento al requisito di una connessione Internet persistente per il funzionamento delle funzioni, né al fatto che il contenuto debba essere scaricato sui server di Google nel cloud per l'elaborazione dell'AI.

Acquisti il Google Pixel 8 Pro su Amazon a partire da 999 dollari.