Google ha ragione! L'era dei benchmark e delle schede tecniche deve finire negli smartphone

Quindi qualcuno alla fine l'ha detto. Una persona molto notevole in questo. In un recente podcast Made by Google, Monika Gupta, Senior Director of Product Management per Google Silicon Teams, ha affermato ciò che un certo numero di persone nel campo della tecnologia già sapeva ma aveva evitato di dire perché era totalmente contro la percezione popolare:

Specifiche e benchmark sono utili, ma è la funzionalità che conta.

Rispondendo alle critiche al chip Tensor di Google per i suoi scarsi punteggi di benchmarking, Gupta è stato abbastanza diretto:

Penso che i benchmark classici siano serviti a uno scopo in un determinato momento, ma penso che il settore si sia evoluto da allora... i benchmark classici sono stati creati in un'epoca in cui l'IA e i telefoni non esistevano nemmeno. Potrebbero raccontare una storia, ma non ci sembra che raccontino la storia completa... Ciò che analizziamo sono i carichi di lavoro software effettivi che stiamo eseguendo sul nostro chip. Quindi ci impegniamo con ogni generazione del chip Tensor per renderli migliori, sia che si tratti di una migliore qualità, di migliori prestazioni o di una minore potenza.

Vuoi sapere quanto è buono un telefono? Controllali benchmark

Alcuni potrebbero trovare tracce di ironia in questa affermazione, poiché i benchmark e le specifiche tecniche sono davvero entrati nel quadro delle recensioni e delle analisi degli smartphone con l'arrivo di Android. Prima di allora, nell'era di Nokia e BlackBerry, era raro conoscere il nome e la velocità del processore e della RAM in un dispositivo, per non parlare dei punteggi di benchmark di processori. Le uniche specifiche generalmente considerate erano i megapixel della fotocamera, le dimensioni del display (la risoluzione non era un fattore determinante) e, in una certa misura, le dimensioni della batteria.

Confrontalo con oggi, quando quasi tutto all'interno di un telefono ha una sorta di test di riferimento: il processore, il display, le fotocamere, la batteria... lo chiami e lo troverai. Anche questi esistevano in passato, ma negli ultimi tempi sono diventati gli attori principali nello spettacolo degli smartphone invece di essere attori secondari. Oggi è normale vedere un marchio iniziare a condividere i punteggi dei benchmark del processore di un telefono, le valutazioni DXO della sua fotocamera e/o i dettagli della valutazione del display ben prima del suo rilascio.

Si può capire da dove vengono i marchi in questo senso. Questi benchmark e valutazioni sono visti come "terze parti" e prove oggettive di prestazioni e qualità e spesso sono un modo per mostrare come un prodotto sia il migliore in una determinata categoria o migliore dei suoi rivali. E questo è certamente un approccio abbastanza equo. Dopotutto, i benchmark e le valutazioni sono ideati per testare i componenti, quindi non si può ignorare quanto bene se la cavano in quel reparto.

Blues di riferimento: "Potrebbero raccontare una storia, ma non la storia completa"

Il problema arriva quando i benchmark sono visti come il punto di riferimento per quanto riguarda un dispositivo. Un pilota di Formula 1 una volta aveva detto che i numeri su un'auto non andavano bene se non era facile da maneggiare e guidare, e lo stesso vale per i benchmark degli smartphone. Come ha osservato Gupta: “ Potrebbero raccontare una storia, ma non pensiamo che raccontino la storia completa. ” Un processore potrebbe ottenere ottimi punteggi di benchmark, ma non può compensare il software difettoso. Una valutazione DXO elevata per una fotocamera potrebbe mascherare un'elaborazione lenta. Ci sono solo così tanti benchmark e valutazioni che possono fare. Sono come condizioni di prova, non di vita reale. Quel che è peggio, i marchi hanno ora iniziato a concentrarsi su ottimi punteggi di benchmark anziché su un'autentica esperienza del consumatore. In effetti, il punteggio di riferimento è diventato una parte importante di qualsiasi presentazione di lancio del marchio!

A suo merito, Google ha cercato per un po' di uscire da questo sistema basato sui benchmark. Quando ha rilevato Motorola, è uscito con dispositivi come Moto G e Moto X, che hanno sottolineato prestazioni fluide e innovative piuttosto che specifiche. Anche quando sembrava essere stato risucchiato dalle guerre delle specifiche con la gamma Pixel, Google è uscito con varianti "A" del Pixel che offrivano buone prestazioni con schede tecniche relativamente modeste. E quando l'anno scorso è passato alla propria piattaforma di processore Tensor per i Pixel, il gigante della ricerca ha chiarito che stava dando la priorità alla funzionalità intelligente rispetto alla "potenza". Potenza che è stata definita dai punteggi di riferimento.

Tensor: roba per rendere tesi i benchmark

I Pixel sono stati criticati per non essere potenti come i dispositivi guidati dai chip di punta di Qualcomm e MediaTek. Tuttavia, un punto da notare qui è che tendono a rimanere indietro solo in condizioni molto specifiche, ad esempio con impostazioni massime di un gioco di fascia alta o durante l'elaborazione di un video lungo. Nella maggior parte delle attività di utilizzo tradizionali, i Pixel sono buoni come qualsiasi ammiraglia Android, se non migliori, e sono dotati di una serie di funzionalità intelligenti che mancano a molte ammiraglie. Sì, potrebbero non caricare i giochi così rapidamente come altri flagship e potrebbero far cadere il frame dispari qua e là, ma la differenza non è così disastrosa come indicano i punteggi dei benchmark. Come ha sottolineato una volta un dirigente di un marchio tecnologico, " I punteggi dei benchmark dovrebbero essere importanti se il telefono funziona senza problemi per un utente? È un po' ingiusto chiamare un telefono sottodimensionato in base al nome del suo processore o ai suoi punteggi di riferimento. Dovrebbe riguardare quanto bene funziona, non quali sono i suoi punteggi di riferimento . ”

Questo non vuol dire che i benchmark siano del tutto inutili e una perdita di tempo. Sono inestimabili nel fornirci una misura delle prestazioni e anche una scala di confronto. Tuttavia, devono integrare la narrativa della tecnologia dei consumatori piuttosto che guidarla. I benchmark sono un po' come gli esami accademici: forniscono una misura di ciò che una persona sa ma non sono affatto una prova inconfutabile della conoscenza di una persona. Anche Einstein fu bocciato agli esami. Abbiamo francamente perso il conto del numero di dispositivi che vantavano punteggi di benchmark impressionanti ma balbettavano e inciampavano nel mondo reale.

Google ha fatto un audace passo avanti in un mondo ossessionato dai benchmark optando per l'intelligenza piuttosto che per la velocità assoluta con i suoi chip Tensor. È meraviglioso vederlo anche indietro, anche se alcuni esperti di tecnologia disprezzano i suoi punteggi di riferimento. " Quello che esaminiamo sono i carichi di lavoro software effettivi che stiamo eseguendo sul nostro chip ", ha detto Gupta nel podcast. Pensiamo che abbia ragione. Alla fine della giornata, dovrebbe essere su come funziona qualcosa. I telefoni con benchmark elevati e prestazioni mediocri/battute sono simili a piatti che hanno ingredienti e presentazione eccellenti ma finiscono per avere comunque un sapore strano. I benchmark sono senza dubbio utili, ma è ora di iniziare a guardare oltre.