Google a raison ! L'ère des benchmarks et des fiches techniques doit se terminer dans les smartphones

Alors quelqu'un l'a finalement dit. Quelqu'un de très remarquable. Dans un récent podcast Made by Google, Monika Gupta, directrice principale de la gestion des produits pour Google Silicon Teams, a déclaré ce qu'un certain nombre de personnes dans le domaine de la technologie savaient déjà mais avaient évité de dire car cela allait totalement à l'encontre de la perception populaire :

Les spécifications et les références sont pratiques, mais c'est la fonctionnalité qui compte.

Répondant aux critiques de la puce Tensor de Google pour ses mauvais scores d'analyse comparative, Gupta a été assez direct :

Je pense que les benchmarks classiques ont servi à quelque chose à un moment donné, mais je pense que l'industrie a évolué depuis lors… les benchmarks classiques ont été créés à une époque où l'IA et les téléphones n'existaient même pas. Ils peuvent raconter une histoire, mais nous n'avons pas l'impression qu'ils racontent toute l'histoire… Ce que nous comparons, ce sont les charges de travail logicielles réelles que nous exécutons sur notre puce. Ensuite, nous nous efforçons avec chaque génération de la puce Tensor de les améliorer, qu'il s'agisse d'une meilleure qualité, de meilleures performances ou d'une puissance réduite.

Vous voulez savoir à quel point un téléphone est bon? Vérifiez les points de repère

Certains pourraient trouver des traces d'ironie dans cette déclaration, car les références et les spécifications techniques sont vraiment entrées dans l'image de l'examen et de l'analyse des smartphones avec l'arrivée d'Android. Avant cela, à l'ère de Nokia et de BlackBerry, il était rare de connaître le nom et la vitesse du processeur et de la RAM d'un appareil, sans parler des scores de référence des processeurs. Les seules spécifications généralement prises en compte étaient les mégapixels de l'appareil photo, la taille de l'écran (la résolution n'était pas un facteur aussi important) et, dans une certaine mesure, la taille de la batterie.

Comparez cela à aujourd'hui, quand à peu près tout à l'intérieur d'un téléphone a une sorte de test de référence - le processeur, l'écran, les caméras, la batterie... vous le nommez, et vous le trouverez. Ceux-ci existaient également dans le passé, mais ces derniers temps, ils sont en fait devenus les vedettes de l'émission sur les smartphones au lieu d'être des acteurs secondaires. Aujourd'hui, il est courant de voir une marque commencer à partager des scores de référence du processeur d'un téléphone, des notes DXO de son appareil photo et/ou des détails sur sa note d'affichage bien avant sa sortie.

On peut comprendre d'où viennent les marques à cet égard. Ces repères et notes sont considérés comme des "tiers" et des preuves objectives de performance et de qualité et sont souvent un moyen de montrer comment un produit est le meilleur dans une certaine catégorie ou meilleur que ses rivaux. Et c'est certainement une approche assez juste. Après tout, les repères et les évaluations sont conçus pour tester les composants, donc leur performance dans ce département ne peut être ignorée.

Benchmark blues : "Ils racontent peut-être une histoire, mais pas toute l'histoire"

Le problème survient lorsque les références sont considérées comme l'alpha et l'oméga en ce qui concerne un appareil. Un pilote de Formule 1 avait dit un jour que les chiffres sur une voiture n'étaient pas bons si elle n'était pas facile à manier et à conduire, et il en va de même pour les benchmarks des smartphones. Comme l'a fait remarquer Gupta : « Ils peuvent raconter une histoire, mais nous n'avons pas l'impression qu'ils racontent l'histoire complète. « Un processeur peut atteindre d'excellents scores de référence, mais il ne peut pas compenser les logiciels bogués. Une cote DXO élevée pour un appareil photo peut masquer un traitement lent. Il n'y a qu'un nombre limité de points de repère et de notations qui peuvent le faire. Ce sont comme des conditions de test, pas des conditions réelles. Pire encore, les marques ont maintenant commencé à se concentrer sur d'excellents scores de référence plutôt que sur une véritable expérience client. En effet, le score de référence est devenu un élément important de toute présentation de lancement de marque !

À son crédit, Google essaie depuis un certain temps de sortir de ce système basé sur des références. Lorsqu'il a repris Motorola, il est sorti avec des appareils comme le Moto G et le Moto X, qui mettaient l'accent sur des performances fluides et innovantes plutôt que sur des spécifications. Même lorsqu'il semblait avoir été aspiré dans la guerre des spécifications avec la gamme Pixel, Google a sorti des variantes "A" du Pixel qui offraient de bonnes performances avec des fiches techniques relativement modestes. Et lorsqu'il est passé à sa propre plate-forme de processeur Tensor pour les Pixels l'année dernière, le géant de la recherche a clairement indiqué qu'il accordait la priorité aux fonctionnalités intelligentes plutôt qu'à la "puissance". Puissance qui a été définie par des scores de référence qui est.

Tensor : des trucs pour rendre les benchmarks tendus

Les Pixels ont été critiqués pour ne pas être aussi puissants que les appareils pilotés par les puces phares de Qualcomm et MediaTek. Cependant, un point à noter ici est qu'ils ont tendance à être à la traîne uniquement dans des conditions très spécifiques - par exemple, aux paramètres maximaux d'un jeu haut de gamme ou lors du traitement d'une longue vidéo. Dans la plupart des tâches d'utilisation courantes, les pixels sont aussi bons que n'importe quel produit phare d'Android, sinon mieux, et sont dotés d'un certain nombre de fonctionnalités intelligentes qui manquent à de nombreux produits phares. Oui, ils pourraient ne pas charger les jeux aussi rapidement que certains autres produits phares et pourraient laisser tomber le cadre étrange ici et là, mais la différence n'est pas aussi calamiteuse que les scores de référence l'indiquent. Comme l'a un jour souligné un dirigeant d'une marque technologique, « Les scores de référence doivent-ils être importants si le téléphone fonctionne correctement pour un utilisateur ? » Il est un peu injuste d'appeler un téléphone sous-alimenté en fonction du nom de son processeur ou de ses scores de référence. Il devrait s'agir de son bon fonctionnement, et non de ses scores de référence . ”

Cela ne veut pas dire que les repères sont totalement inutiles et une perte de temps. Ils sont précieux pour nous fournir une mesure de la performance et aussi une échelle de comparaison. Cependant, ils doivent compléter le récit de la technologie grand public plutôt que de le conduire. Les points de repère sont un peu comme les examens académiques – ils fournissent une mesure de ce qu'une personne sait mais ne sont en aucun cas une preuve irréfutable des connaissances d'une personne. Même Einstein a raté des examens. Nous avons franchement perdu le compte du nombre d'appareils qui affichaient des scores de référence impressionnants mais bégayaient et trébuchaient dans le monde réel.

Google a fait un pas en avant audacieux dans un monde obsédé par les références en optant pour l'intelligence plutôt que la vitesse pure avec ses puces Tensor. C'est merveilleux de le voir aussi, même si certains experts en technologie font pleuvoir le mépris sur ses scores de référence. " Ce que nous comparons, ce sont les charges de travail logicielles réelles que nous exécutons sur notre puce ", a déclaré Gupta dans le podcast. Nous pensons qu'elle a raison. En fin de compte, il devrait s'agir de la façon dont quelque chose fonctionne. Les téléphones avec des références élevées et des performances médiocres / buggy s'apparentent à des plats qui ont d'excellents ingrédients et une excellente présentation mais qui finissent toujours par avoir un goût étrange. Les repères sont sans aucun doute utiles, mais il est temps que nous commencions à regarder au-delà.