Google hat Recht! Die Ära der Benchmarks und Datenblätter muss bei Smartphones enden

Also hat es endlich jemand gesagt. Eine sehr bemerkenswerte Person noch dazu. In einem kürzlich erschienenen Made by Google-Podcast sagte Monika Gupta, Senior Director of Product Management für Google Silicon Teams, was eine Reihe von Technikern bereits wussten, aber vermieden hatten zu sagen, weil es völlig gegen die allgemeine Wahrnehmung verstieß:

Spezifikationen und Benchmarks sind praktisch, aber die Funktionalität zählt.

Auf die Kritik am Tensor-Chip von Google wegen seiner schlechten Benchmarking-Ergebnisse reagierte Gupta ziemlich direkt:

Ich denke, dass klassische Benchmarks irgendwann einmal einen Zweck erfüllt haben, aber ich denke, dass sich die Branche seitdem weiterentwickelt hat … klassische Benchmarks wurden zu einer Zeit verfasst, als KI und Telefone noch nicht einmal existierten. Sie erzählen vielleicht eine Geschichte, aber wir haben nicht das Gefühl, dass sie die ganze Geschichte erzählen … Was wir bewerten, sind die tatsächlichen Software-Workloads, die wir auf unserem Chip ausführen. Dann streben wir mit jeder Generation des Tensor-Chips danach, sie besser zu machen, sei es in besserer Qualität, besserer Leistung oder geringerem Stromverbrauch.

Möchten Sie wissen, wie gut ein Telefon ist? Überprüfen Sie die Benchmarks

Einige mögen in dieser Aussage Spuren von Ironie finden, denn Benchmarks und technische Spezifikationen kamen mit der Einführung von Android wirklich in die Smartphone-Überprüfung und -Analyse. Davor, im Zeitalter von Nokia und BlackBerry, war es selten, den Namen und die Geschwindigkeit des Prozessors und des RAM in einem Gerät zu kennen, geschweige denn Benchmark-Werte von Prozessoren. Die einzigen Spezifikationen, die allgemein berücksichtigt wurden, waren Kamera-Megapixel, Displaygröße (die Auflösung war nicht so wichtig) und in gewissem Maße die Akkugröße.

Vergleichen Sie das mit heute, wo fast alles in einem Telefon eine Art Benchmark-Test hat – der Prozessor, das Display, die Kameras, der Akku … Sie nennen es, und Sie werden es finden. Diese gab es in der Vergangenheit auch, aber in letzter Zeit sind sie eher die Stardarsteller in der Smartphone-Show geworden, als nur Nebendarsteller zu sein. Heutzutage ist es üblich, dass eine Marke damit beginnt, Benchmark-Ergebnisse des Prozessors eines Telefons, DXO-Bewertungen seiner Kamera und/oder Details seiner Anzeigebewertung lange vor seiner Veröffentlichung zu teilen.

Man kann verstehen, woher die Marken in dieser Hinsicht kommen. Diese Benchmarks und Bewertungen werden als „Drittanbieter“ und objektiver Beweis für Leistung und Qualität angesehen und sind oft eine Möglichkeit zu zeigen, wie ein Produkt das beste in einer bestimmten Kategorie oder besser als seine Konkurrenten ist. Und das ist sicherlich ein fairer Ansatz. Schließlich werden Benchmarks und Ratings entwickelt, um Komponenten zu testen, daher kann nicht ignoriert werden, wie gut sie in dieser Abteilung abschneiden.

Benchmark-Blues: „Sie erzählen vielleicht eine Geschichte, aber nicht die ganze Geschichte“

Problematisch wird es, wenn Benchmarks als das A und O eines Gerätes angesehen werden. Ein Formel-1-Fahrer hatte einmal gesagt, dass die Zahlen auf einem Auto nichts nützen, wenn es nicht einfach zu handhaben und zu fahren sei, und dasselbe gilt für Smartphone-Benchmarks. Wie Gupta bemerkte: „ Sie erzählen vielleicht eine Geschichte, aber wir haben nicht das Gefühl, dass sie die ganze Geschichte erzählen. „Ein Prozessor kann großartige Benchmark-Ergebnisse erzielen, aber fehlerhafte Software kann er nicht kompensieren. Eine hohe DXO-Bewertung für eine Kamera kann eine träge Verarbeitung verschleiern. Es gibt nur so viele Benchmarks und Bewertungen, die das können. Sie sind wie Testbedingungen, nicht reale. Was noch schlimmer ist, Marken haben jetzt damit begonnen, sich auf großartige Benchmark-Ergebnisse zu konzentrieren, anstatt auf ein echtes Verbrauchererlebnis. Tatsächlich ist der Benchmark-Score zu einem wichtigen Bestandteil jeder Markenpräsentation geworden!

Man muss Google zugutehalten, dass Google seit einiger Zeit versucht, aus diesem Benchmark-gesteuerten System auszubrechen. Als es Motorola übernahm, brachte es Geräte wie das Moto G und das Moto X heraus, die eher eine reibungslose und innovative Leistung als Spezifikationen betonten. Selbst als es mit der Pixel-Reihe in den Spezifikationskrieg hineingezogen zu sein schien, brachte Google „A“-Varianten des Pixels heraus, die eine gute Leistung mit relativ bescheidenen Datenblättern lieferten. Und als es letztes Jahr zu seiner eigenen Tensor-Prozessorplattform für die Pixels wechselte, machte der Suchgigant deutlich, dass er intelligenter Funktionalität Vorrang vor „Leistung“ einräumt. Leistung, die durch Benchmark-Ergebnisse definiert wurde.

Tensor: Zeug, um Benchmarks angespannt zu machen

Die Pixel haben die Flak genommen, weil sie nicht so leistungsfähig sind wie Geräte, die von Flaggschiff-Chips von Qualcomm und MediaTek angetrieben werden. Hierbei ist jedoch zu beachten, dass sie nur unter ganz bestimmten Bedingungen zurückbleiben – beispielsweise bei maximalen Einstellungen eines High-End-Spiels oder während der Verarbeitung eines langen Videos. Bei den meisten Mainstream-Nutzungsaufgaben sind die Pixel so gut wie jedes Android-Flaggschiff, wenn nicht sogar besser, und verfügen über eine Reihe intelligenter Funktionen, die vielen Flaggschiffen fehlen. Ja, sie laden Spiele möglicherweise nicht so schnell wie einige andere Flaggschiffe und lassen hier und da den einen oder anderen Frame fallen, aber der Unterschied ist nicht so katastrophal, wie Benchmark-Ergebnisse vermuten lassen. Wie ein leitender Angestellter einer Technologiemarke einmal betonte: „ Sollen Benchmark-Ergebnisse eine Rolle spielen, wenn das Telefon für einen Benutzer reibungslos funktioniert? Es ist irgendwie unfair, ein Telefon aufgrund des Namens seines Prozessors oder seiner Benchmark-Ergebnisse als zu schwach zu bezeichnen. Es sollte darum gehen, wie gut es funktioniert, nicht um seine Benchmark-Ergebnisse .“

Das soll nicht heißen, dass Benchmarks völlig nutzlos und Zeitverschwendung sind. Sie sind von unschätzbarem Wert, da sie uns ein Maß für die Leistung und auch eine Vergleichsskala liefern. Sie müssen jedoch das technische Narrativ der Verbraucher ergänzen, anstatt es voranzutreiben. Benchmarks sind ein bisschen wie akademische Prüfungen – sie liefern zwar ein Maß für das Wissen einer Person, sind aber keinesfalls ein unwiderlegbarer Beweis für das Wissen einer Person. Sogar Einstein ist bei Prüfungen durchgefallen. Wir haben ehrlich gesagt die Anzahl der Geräte verloren, die beeindruckende Benchmark-Ergebnisse vorweisen konnten, aber in der realen Welt stotterten und stolperten.

Google hat in einer von Benchmarks besessenen Welt einen mutigen Schritt nach vorne gemacht, indem es sich mit seinen Tensor-Chips für Intelligenz statt für schiere Geschwindigkeit entschieden hat. Es ist wunderbar zu sehen, dass es auch zurückkommt, auch wenn einige Technikexperten seine Benchmark-Ergebnisse verachten. „ Was wir bewerten, sind die tatsächlichen Software-Workloads, die wir auf unserem Chip ausführen“, sagte Gupta im Podcast. Wir denken, sie hat Recht. Am Ende des Tages sollte es darum gehen, wie gut etwas funktioniert. Telefone mit hohen Benchmarks und mittelmäßiger/fehlerhafter Leistung ähneln Gerichten, die hervorragende Zutaten und Präsentation haben, aber am Ende trotzdem seltsam schmecken. Benchmarks sind zweifellos nützlich, aber es ist an der Zeit, über sie hinauszublicken.