Google ma rację! Era benchmarków i specyfikacji musi się skończyć na smartfonach

Więc ktoś w końcu to powiedział. To bardzo godna uwagi osoba. W niedawnym podcaście Made by Google Monika Gupta, starszy dyrektor ds. zarządzania produktami w Google Silicon Teams, powiedziała to, co wiele osób z branży technologicznej już wiedziało, ale unikało tego, ponieważ było to całkowicie wbrew powszechnemu przekonaniu:

Specyfikacje i testy porównawcze są przydatne, ale liczy się funkcjonalność.

Odpowiadając na krytykę układu Tensor firmy Google za słabe wyniki testów porównawczych, Gupta był dość bezpośredni:

Myślę, że klasyczne benchmarki służyły kiedyś celowi, ale myślę, że branża ewoluowała od tego czasu… klasyczne benchmarki powstały w czasie, gdy sztuczna inteligencja i telefony nawet nie istniały. Mogą opowiedzieć jakąś historię, ale nie wydaje nam się, aby opowiadali całą historię… Testujemy rzeczywiste obciążenia oprogramowania, które uruchamiamy na naszym chipie. Następnie staramy się, aby każda generacja chipów Tensor była lepsza, niezależnie od tego, czy jest to lepsza jakość, lepsza wydajność, czy mniejsza moc.

Chcesz wiedzieć, jak dobry jest telefon? Sprawdź ich benchmarki

Niektórzy mogą znaleźć w tym stwierdzeniu ślady ironii, ponieważ testy porównawcze i specyfikacje techniczne naprawdę pojawiły się w przeglądzie i analizie smartfonów wraz z pojawieniem się Androida. Wcześniej, w epoce Nokii i BlackBerry, rzadko znano nazwę i szybkość procesora i pamięci RAM w urządzeniu, nie mówiąc już o wynikach testów procesorów. Jedynymi specyfikacjami, które brano pod uwagę ogólnie, były megapiksele aparatu, rozmiar wyświetlacza (rozdzielczość nie miała tak dużego znaczenia) i do pewnego stopnia rozmiar baterii.

Porównaj to do dnia dzisiejszego, kiedy prawie wszystko w telefonie ma jakiś test porównawczy – procesor, wyświetlacz, kamery, bateria… nazwij to, a znajdziesz to. Istniały one również w przeszłości, ale ostatnio stały się gwiazdami w pokazie smartfonów, zamiast być aktorami pobocznymi. Dzisiaj często można zobaczyć, jak marka zaczyna udostępniać wyniki testów porównawczych procesora telefonu, oceny DXO aparatu i/lub szczegóły dotyczące oceny wyświetlacza na długo przed premierą.

Można zrozumieć, skąd pochodzą marki w tym zakresie. Te wzorce i oceny są postrzegane jako „strona trzecia” i obiektywny dowód wydajności i jakości i często są sposobem na pokazanie, jak produkt jest najlepszy w określonej kategorii lub lepszy od swoich konkurentów. I to z pewnością jest wystarczająco uczciwe podejście. W końcu benchmarki i oceny są opracowywane do testowania komponentów, więc nie można zignorować tego, jak dobrze radzą sobie w tym dziale.

Benchmarkowy blues: „Mogą opowiedzieć jakąś historię, ale nie całą”

Problem pojawia się, gdy testy porównawcze są postrzegane jako najważniejsze, jeśli chodzi o urządzenie. Kierowca Formuły 1 powiedział kiedyś, że liczby dotyczące samochodu nie byłyby dobre, jeśli nie był łatwy w prowadzeniu i prowadzeniu, i to samo dotyczy benchmarków smartfonów. Jak zauważył Gupta: „ Mogą opowiadać jakąś historię, ale nie wydaje nam się, żeby opowiadali całą historię. Procesor może uzyskiwać świetne wyniki testów, ale nie może zrekompensować wadliwego oprogramowania. Wysoka ocena DXO dla aparatu może maskować powolne przetwarzanie. Jest tylko tyle testów porównawczych i ocen, które mogą to zrobić. Są jak warunki testowe, a nie rzeczywiste. Co gorsza, marki zaczęły teraz skupiać się na świetnych wynikach testów porównawczych zamiast na autentycznych doświadczeniach konsumentów. Rzeczywiście, wynik benchmarku stał się ważną częścią prezentacji każdej marki!

Trzeba przyznać, że Google od jakiegoś czasu próbuje wyrwać się z tego opartego na benchmarkach systemu. Kiedy przejął Motorolę, wyszedł z urządzeniami takimi jak Moto G i Moto X, które kładły nacisk na płynną i innowacyjną wydajność, a nie specyfikacje. Nawet gdy wydawało się, że został wciągnięty w wojny specyfikacji z gamą Pixel, Google wyszedł z wariantami „A” Pixela, które zapewniały dobrą wydajność przy stosunkowo skromnych arkuszach specyfikacji. A kiedy w zeszłym roku przeniósł się na własną platformę procesorów Tensor dla Pixels, gigant wyszukiwania dał jasno do zrozumienia, że ​​przedkłada inteligentną funkcjonalność nad „moc”. Moc, która została zdefiniowana przez wyniki testów porównawczych.

Tensor: rzeczy, które sprawiają, że testy porównawcze są napięte

Piksele są pod ostrzałem, ponieważ nie są tak potężne, jak urządzenia napędzane flagowymi układami Qualcomm i MediaTek. Należy jednak zauważyć, że mają tendencję do pozostawania w tyle tylko w bardzo specyficznych warunkach – na przykład przy maksymalnych ustawieniach gry z najwyższej półki lub podczas przetwarzania długiego wideo. W większości głównych zadań użytkowych piksele są tak dobre, jak każdy flagowiec Androida, jeśli nie lepszy, i są wyposażone w wiele inteligentnych funkcji, których brakuje w wielu flagowcach. Tak, mogą nie ładować gier tak szybko, jak niektóre inne flagowce i mogą tu i tam upuszczać dziwną ramkę, ale różnica nie jest tak katastrofalna, jak wskazują wyniki testów. Jak zauważył kiedyś dyrektor firmy technologicznej: „ Czy wyniki testów porównawczych powinny mieć znaczenie, jeśli telefon działa płynnie dla użytkownika? To trochę niesprawiedliwe, aby dzwonić do telefonu o słabej mocy na podstawie nazwy procesora lub wyników testów porównawczych. Powinno dotyczyć tego, jak dobrze działa, a nie tego, jakie są jego wyniki testów porównawczych ”.

Nie oznacza to, że testy porównawcze są całkowicie bezużyteczne i są stratą czasu. Są nieocenione w dostarczaniu nam miernika wydajności, a także skali porównawczej. Muszą jednak uzupełniać narrację dotyczącą technologii konsumenckich, a nie ją napędzać. Benchmarki są trochę jak egzaminy akademickie – dają miarę tego, co dana osoba wie, ale w żadnym wypadku nie są niezbitym dowodem wiedzy danej osoby. Nawet Einstein oblał egzaminy. Szczerze mówiąc, straciliśmy rachubę urządzeń, które mogły pochwalić się imponującymi wynikami testów porównawczych, ale zacinały się i potykały w prawdziwym świecie.

Google zrobił śmiały krok naprzód w świecie mającym obsesję na punkcie benchmarków, decydując się na spryt, a nie na samą szybkość dzięki chipom Tensor. Wspaniale jest go również zobaczyć, nawet gdy niektórzy eksperci techniczni gardzą jego wynikami testów porównawczych. „ To, co testujemy, to rzeczywiste obciążenia oprogramowania, które uruchamiamy na naszym chipie ”, powiedział Gupta w podkaście. Uważamy, że ma rację. Pod koniec dnia powinno dotyczyć tego, jak dobrze coś działa. Telefony z wysokimi standardami i przeciętną/buggy wydajnością są podobne do potraw, które mają doskonałe składniki i prezentację, ale nadal mają dziwny smak. Benchmarki są bez wątpienia przydatne, ale czas zacząć wychodzić poza nie.