Google are dreptate! Epoca benchmark-urilor și a fișelor de specificații trebuie să se încheie în smartphone-uri

Deci cineva a spus-o în sfârșit. O persoană foarte notabilă la asta. Într-un podcast recent Made by Google, Monika Gupta, director senior de management de produs pentru echipele Google Silicon, a spus ceea ce un număr de oameni din tehnologie știau deja, dar au evitat să spună, deoarece era total împotriva percepției populare:

Specificațiile și benchmark-urile sunt la îndemână, dar funcționalitatea contează.

Răspunzând criticilor aduse cipul Tensor de la Google pentru scorurile sale slabe de benchmarking, Gupta a fost destul de direct:

Cred că benchmark-urile clasice au avut un scop la un moment dat, dar cred că industria a evoluat de atunci... benchmark-urile clasice au fost create într-un moment în care AI și telefoanele nici măcar nu existau. S-ar putea să spună o poveste, dar nu avem impresia că ei spun povestea completă... Ceea ce evaluăm sunt încărcăturile de lucru reale de software pe care le rulăm pe cipul nostru. Apoi ne străduim cu fiecare generație de cip Tensor să le facem mai bune, fie că este vorba de o calitate mai bună, performanță mai bună sau putere mai mică.

Vrei să știi cât de bun este un telefon? Verificați-le repere

Unii ar putea găsi urme de ironie în această declarație, pentru că parametrii de referință și specificațiile tehnice au intrat într-adevăr în imaginea de analiză și revizuire a smartphone-ului odată cu sosirea Android. Înainte de asta, în epoca Nokia și BlackBerry, era rar să se cunoască numele și viteza procesorului și a memoriei RAM dintr-un dispozitiv, cu atât mai puțin să se facă benchmark zeci de procesoare. Singurele specificații care au fost luate în considerare în general au fost megapixelii camerei, dimensiunea afișajului (rezoluția nu a fost un factor atât de important) și, într-o oarecare măsură, dimensiunea bateriei.

Comparați asta cu astăzi, când aproape totul din interiorul unui telefon are un fel de test de referință - procesorul, afișajul, camerele, bateria... spuneți-l și îl veți găsi. Aceștia au existat și în trecut, dar în ultima vreme au devenit de fapt artiștii vedete în show-ul pentru smartphone-uri, în loc să fie actori secundari. Astăzi, este obișnuit să vezi că o marcă începe să împărtășească scorurile de referință ale procesorului unui telefon, evaluările DXO ale camerei sale și/sau detaliile evaluării afișajului cu mult înainte de lansare.

Se poate înțelege de unde vin mărcile în acest sens. Aceste repere și evaluări sunt văzute ca „terți” și dovezi obiective ale performanței și calității și sunt adesea o modalitate de a arăta cum un produs este cel mai bun dintr-o anumită categorie sau mai bun decât rivalii săi. Și asta cu siguranță este o abordare destul de corectă. La urma urmei, benchmark-urile și evaluările sunt concepute pentru a testa componentele, așa că cât de bine se descurcă în acel departament nu poate fi ignorat.

Blues de referință: „Poate spune o poveste, dar nu povestea completă”

Problema apare atunci când benchmark-urile sunt văzute ca fiind toate și sfârșitul în ceea ce privește un dispozitiv. Un pilot de Formula 1 a spus odată că numerele de pe o mașină nu sunt bune dacă nu era ușor de manevrat și condus, și același lucru este valabil și pentru standardele de referință pentru smartphone-uri. Așa cum a remarcat Gupta: „ Poate să spună o poveste, dar nu avem impresia că spun povestea completă. „Un procesor poate obține scoruri grozave de referință, dar nu poate compensa software-ul defectuos. O evaluare DXO ridicată pentru o cameră poate ascunde o procesare lentă. Există doar atât de multe benchmark-uri și evaluări care pot face. Sunt ca condițiile de testare, nu cele din viața reală. Mai rău, mărcile au început să se concentreze acum pe scoruri excelente de referință în loc de experiența autentică a consumatorilor. Într-adevăr, scorul de referință a devenit o parte importantă a oricărei prezentări de lansare a mărcii!

Spre meritul său, Google încearcă de ceva vreme să iasă din acest sistem bazat pe benchmark-uri. Când a preluat Motorola, a apărut dispozitive precum Moto G și Moto X, care au subliniat performanța netedă și inovatoare mai degrabă decât specificațiile. Chiar și atunci când părea că a fost absorbit de războaiele de specificații cu gama Pixel, Google a apărut cu variante „A” ale Pixel care au oferit performanțe bune cu specificații relativ modeste. Și când s-a mutat la propria sa platformă de procesor Tensor pentru Pixels anul trecut, gigantul căutării a arătat clar că acordă prioritate funcționalității inteligente în locul „puterii”. Puterea care a fost definită de scorurile de referință, adică.

Tensor: lucruri pentru a face benchmark-urile tensionate

Pixelii au fost criticați pentru că nu sunt la fel de puternici ca dispozitivele conduse de cipuri emblematice de la Qualcomm și MediaTek. Cu toate acestea, un punct de remarcat aici este că au tendința de a rămâne în urmă doar în condiții foarte specifice - de exemplu, la setările maxime ale unui joc de ultimă generație sau în timpul procesării unui videoclip lung. În majoritatea sarcinilor de utilizare obișnuite, Pixelii sunt la fel de buni ca orice produs emblematic Android, dacă nu chiar mai buni, și vin cu o serie de funcții inteligente de care le lipsesc multe produse emblematice. Da, s-ar putea să nu încarce jocurile la fel de repede ca alte modele emblematice și ar putea scăpa de un cadru ciudat ici și colo, dar diferența nu este atât de calamioasă pe cât indică scorurile de referință. După cum a subliniat odată un director de la o marcă de tehnologie, „ Ar trebui să conteze scorurile de referință dacă telefonul funcționează fără probleme pentru un utilizator? Este oarecum nedrept să suni un telefon cu putere redusă pe baza numelui procesorului său sau a scorurilor sale de referință. Ar trebui să fie vorba despre cât de bine funcționează, nu despre care sunt scorurile sale de referință .”

Acest lucru nu înseamnă că criteriile de referință sunt complet inutile și sunt o pierdere de timp. Sunt de neprețuit pentru a ne oferi o măsură a performanței și, de asemenea, o scară de comparație. Cu toate acestea, trebuie să completeze narațiunea tehnologică a consumatorilor, mai degrabă decât să o conducă. Benchmark-urile sunt un pic ca examenele academice – ele oferă o măsură a ceea ce știe o persoană, dar nu sunt deloc o dovadă de nerefuzat a cunoștințelor unei persoane. Până și Einstein a respins examenele. Sincer, am pierdut numărul de dispozitive care s-au lăudat cu scoruri de referință impresionante, dar s-au bâlbâit și s-au împiedicat în lumea reală.

Google a făcut un pas îndrăzneț înainte într-o lume obsedată de benchmark-uri, optând mai degrabă pentru inteligență decât pentru viteza absolută cu cipurile sale Tensor. Este minunat să-l vezi înapoi, deși unii experți în tehnologie disprețuiesc scorurile sale de referință. „ Ceea ce noi evaluăm sunt încărcăturile de lucru software reale pe care le rulăm pe cipul nostru ”, a spus Gupta în podcast. Credem că are rost. La sfârșitul zilei, ar trebui să fie vorba despre cât de bine funcționează ceva. Telefoanele cu valori de referință ridicate și performanțe mediocre/buggy sunt asemănătoare cu preparatele care au ingrediente și prezentare excelente, dar totuși ajung să aibă un gust ciudat. Benchmark-urile sunt, fără îndoială, utile, dar este timpul să începem să privim dincolo de ele.