Google benar! Era tolok ukur dan lembar spesifikasi harus diakhiri di smartphone

Jadi seseorang akhirnya mengatakannya. Seseorang yang sangat terkenal pada saat itu. Dalam podcast Made by Google baru-baru ini, Monika Gupta, Direktur Senior Manajemen Produk untuk Google Silicon Teams, mengatakan apa yang sudah diketahui oleh sejumlah orang di bidang teknologi tetapi dihindari karena itu sama sekali bertentangan dengan persepsi populer:

Spesifikasi dan tolok ukur memang berguna, tetapi fungsionalitaslah yang diperhitungkan.

Menanggapi kritik terhadap chip Tensor Google karena skor pembandingannya yang buruk, Gupta cukup langsung:

Saya pikir benchmark klasik memiliki tujuan pada suatu saat, tetapi saya pikir industri telah berkembang sejak saat itu… benchmark klasik dibuat pada saat AI dan telepon bahkan belum ada. Mereka mungkin menceritakan beberapa kisah, tetapi kami tidak merasa mereka menceritakan kisah lengkapnya… Apa yang kami tolok ukur adalah beban kerja perangkat lunak aktual yang kami jalankan pada chip kami. Kemudian kami berusaha keras dengan setiap generasi chip Tensor untuk membuatnya lebih baik, baik itu kualitas yang lebih baik, kinerja yang lebih baik, atau daya yang lebih rendah.

Ingin tahu seberapa bagus ponsel itu? Periksa mereka tolok ukur

Beberapa mungkin menemukan jejak ironi dalam pernyataan itu, karena tolok ukur dan spesifikasi teknologi benar-benar masuk ke dalam tinjauan dan analisis smartphone dengan kedatangan Android. Sebelum itu, di zaman Nokia dan BlackBerry, jarang yang mengetahui nama dan kecepatan prosesor dan RAM dalam sebuah perangkat, apalagi tolok ukur skor prosesor. Satu-satunya spesifikasi yang dipertimbangkan secara umum adalah megapiksel kamera, ukuran layar (resolusi tidak terlalu menjadi faktor), dan sampai batas tertentu, ukuran baterai.

Bandingkan dengan hari ini, ketika hampir semua yang ada di dalam ponsel memiliki semacam tes benchmark – prosesor, layar, kamera, baterai… sebut saja, dan Anda akan menemukannya. Ini ada di masa lalu juga, tetapi belakangan ini, mereka benar-benar menjadi pemain bintang di acara smartphone alih-alih menjadi aktor sampingan. Saat ini, sudah umum untuk melihat merek mulai membagikan skor benchmark dari prosesor ponsel, peringkat DXO kameranya, dan/atau detail peringkat tampilannya jauh sebelum dirilis.

Orang dapat memahami dari mana merek berasal dalam hal ini. Tolok ukur dan peringkat ini dilihat sebagai "pihak ketiga" dan bukti obyektif dari kinerja dan kualitas dan seringkali merupakan cara untuk menunjukkan bagaimana suatu produk adalah yang terbaik dalam kategori tertentu atau lebih baik dari para pesaingnya. Dan itu tentu saja merupakan pendekatan yang cukup adil. Bagaimanapun, tolok ukur dan peringkat dirancang untuk menguji komponen, jadi seberapa baik kinerjanya di departemen itu tidak dapat diabaikan.

Benchmark blues: “Mereka mungkin menceritakan beberapa cerita, tetapi bukan cerita yang lengkap”

Masalahnya muncul ketika tolok ukur dilihat sebagai segalanya dan akhir segalanya sejauh menyangkut perangkat. Seorang pembalap Formula One pernah mengatakan bahwa angka pada mobil tidak bagus jika tidak mudah dikendalikan dan dikendarai, dan hal yang sama berlaku untuk benchmark smartphone. Seperti yang dikatakan Gupta: “ Mereka mungkin menceritakan beberapa kisah, tetapi kami tidak merasa mereka menceritakan kisah yang lengkap. ” Prosesor mungkin menghasilkan skor benchmark yang bagus, tetapi tidak dapat mengimbangi perangkat lunak yang bermasalah. Peringkat DXO yang tinggi untuk kamera mungkin menyamarkan pemrosesan yang lamban. Hanya begitu banyak benchmark dan rating yang bisa dilakukan. Mereka seperti kondisi ujian, bukan kondisi kehidupan nyata. Yang lebih buruk, merek kini mulai berfokus pada skor benchmark yang hebat daripada pengalaman konsumen yang sesungguhnya. Memang, skor benchmark telah menjadi bagian penting dari setiap presentasi peluncuran merek!

Untuk kreditnya, Google telah mencoba untuk keluar dari sistem berbasis benchmark ini untuk sementara waktu. Ketika mengambil alih Motorola, ia keluar dengan perangkat seperti Moto G dan Moto X, yang menekankan kinerja yang halus dan inovatif daripada spesifikasi. Bahkan ketika tampaknya telah tersedot ke dalam perang spesifikasi dengan rentang Pixel, Google keluar dengan varian 'A' dari Pixel yang memberikan kinerja yang baik dengan lembar spesifikasi yang relatif sederhana. Dan ketika pindah ke platform prosesor Tensornya sendiri untuk Pixel tahun lalu, raksasa pencarian itu memperjelas bahwa mereka memprioritaskan fungsionalitas cerdas daripada 'kekuatan'. Kekuatan yang ditentukan oleh skor benchmark itu.

Tensor: hal-hal untuk membuat benchmark tegang

Pixel telah menerima kritik karena tidak sekuat perangkat yang digerakkan oleh chip unggulan dari Qualcomm dan MediaTek. Namun, hal yang perlu diperhatikan di sini adalah bahwa mereka cenderung tertinggal hanya dalam kondisi yang sangat spesifik – katakanlah, pada pengaturan maksimal game kelas atas atau saat memproses video panjang. Dalam sebagian besar tugas penggunaan utama, Pixel sama bagusnya dengan flagship Android mana pun, jika tidak lebih baik, dan hadir dengan sejumlah fitur pintar yang tidak dimiliki oleh banyak flagships. Ya, mereka mungkin tidak memuat game secepat beberapa flagships lainnya dan mungkin menjatuhkan bingkai aneh di sana-sini, tetapi perbedaannya tidak separah yang ditunjukkan oleh skor benchmark. Sebagai seorang eksekutif dari merek teknologi pernah menunjukkan, “ Haruskah skor benchmark penting jika ponsel bekerja dengan lancar untuk pengguna? Agak tidak adil untuk menyebut ponsel yang kurang bertenaga berdasarkan nama prosesornya atau skor benchmarknya. Ini harus tentang seberapa baik kerjanya, bukan apa skor tolok ukurnya . ”

Ini bukan untuk mengatakan bahwa tolok ukur sama sekali tidak berguna dan membuang-buang waktu. Mereka sangat berharga dalam memberi kita ukuran kinerja dan juga skala perbandingan. Namun, mereka perlu melengkapi narasi teknologi konsumen daripada mendorongnya. Tolok ukur sedikit mirip dengan ujian akademik – mereka memberikan ukuran tentang apa yang diketahui seseorang tetapi sama sekali bukan bukti yang tak terbantahkan dari pengetahuan seseorang. Bahkan Einstein gagal dalam ujian. Kami terus terang kehilangan hitungan jumlah perangkat yang membanggakan skor benchmark yang mengesankan tetapi tergagap dan tersandung di dunia nyata.

Google telah mengambil langkah maju yang berani di dunia yang terobsesi dengan benchmark dengan memilih kecerdasan daripada kecepatan semata dengan chip Tensor-nya. Sungguh luar biasa melihatnya kembali juga, bahkan ketika beberapa pakar teknologi mencemooh skor benchmarknya. “ Apa yang kami tolok ukur adalah beban kerja perangkat lunak aktual yang kami jalankan di chip kami, ,” kata Gupta di podcast. Kami pikir dia ada benarnya. Pada akhirnya, ini harus tentang seberapa baik sesuatu bekerja. Ponsel dengan tolok ukur tinggi dan kinerja biasa-biasa saja/buggy mirip dengan hidangan yang memiliki bahan dan presentasi yang sangat baik tetapi tetap terasa aneh. Tolok ukur tidak diragukan lagi berguna, tetapi sudah saatnya kita mulai melihat lebih jauh dari itu.