グーグルは正しいです！ ベンチマークとスペックシートの時代は、スマートフォンで終わらせる必要があります

それで、誰かがついにそれを言いました。 その中で非常に注目すべき人物。 最近の Made by Google ポッドキャストで、Google Silicon Teams のプロダクト マネジメント担当シニア ディレクターである Monika Gupta 氏は、テクノロジー業界の多くの人々がすでに知っていたものの、一般的な認識に完全に反するため、発言を避けていたことを次のように述べています。

仕様とベンチマークは便利ですが、重要なのは機能です。

Google の Tensor チップのベンチマーク スコアが低いという批判に対して、Gupta 氏は率直に次のように述べています。

古典的なベンチマークはある時点で目的を果たしたと思いますが、業界はそれ以来進化していると思います... 古典的なベンチマークは、AI と電話が存在すらしていなかった時代に作成されました。 それらはいくつかのストーリーを語るかもしれませんが、完全なストーリーを語っているとは思えません…私たちがベンチマークするのは、チップ上で実行している実際のソフトウェア ワークロードです。 その後、Tensor チップのすべての世代で、品質の向上、パフォーマンスの向上、消費電力の削減など、より良いものにするために努力しています。

電話の良さを知りたいですか？ それらのベンチマークを確認してください

Android の登場により、ベンチマークと技術仕様がスマートフォンのレビューと分析の全体像に実際に登場したため、その声明に皮肉の痕跡を見つける人もいるかもしれません。 それ以前は、Nokia と BlackBerry の時代には、プロセッサのベンチマーク スコアはおろか、デバイス内のプロセッサと RAM の名前と速度を知ることはほとんどありませんでした。 一般的に考慮された唯一の仕様は、カメラのメガピクセル、ディスプレイのサイズ (解像度はそれほど大きな要因ではありませんでした)、そしてある程度はバッテリーのサイズでした。

プロセッサ、ディスプレイ、カメラ、バッテリーなど、携帯電話のほぼすべてに何らかのベンチマーク テストが実施されている今日と比較してみてください。 過去にも存在していましたが、最近は脇役ではなく、むしろスマホ番組の主役になっています。 今日、ブランドが携帯電話のプロセッサのベンチマーク スコア、カメラの DXO 評価、および/またはディスプレイ評価の詳細を発売前に共有し始めるのはよくあることです。

この点で、ブランドがどこから来ているのか理解できます。 これらのベンチマークと評価は、パフォーマンスと品質の「第三者」および客観的な証拠と見なされ、多くの場合、製品が特定のカテゴリでどのように最高であるか、または競合他社よりも優れているかを示す方法です. そして、それは確かに十分に公正なアプローチです。 結局のところ、ベンチマークと評価はコンポーネントをテストするために考案されたものであるため、その部門でどれだけうまく機能するかは無視できません.

ベンチマーク ブルース: 「彼らはいくつかのストーリーを語るかもしれませんが、完全なストーリーではありません」

デバイスに関する限り、ベンチマークがすべてであり最終的なものと見なされると、問題が発生します。 フォーミュラワンのドライバーは、扱いや運転が簡単でなければ、車の数値は良くないと言ったことがあります。スマートフォンのベンチマークも同じです。 Gupta 氏は次のように述べています。 プロセッサは優れたベンチマーク スコアを達成するかもしれませんが、バグのあるソフトウェアを補うことはできません。 カメラの DXO 評価が高いと、処理の遅さを隠すことができます。 実行できるベンチマークと評価は非常に多くあります。 それらは実際の条件ではなく、テスト条件のようなものです。 さらに悪いことに、ブランドは真の消費者体験ではなく、優れたベンチマーク スコアに注目し始めています。 実際、ベンチマーク スコアは、ブランド発表のプレゼンテーションの重要な部分になっています。

Google はしばらくの間、このベンチマーク主導のシステムから脱却しようとしてきました。 モトローラを買収したとき、Moto G や Moto X のような、スペックよりも滑らかで革新的なパフォーマンスを重視したデバイスを発表しました。 Pixelシリーズでスペック戦争に巻き込まれたように見えたときでさえ、GoogleはPixelの「A」バリアントを発表し、比較的控えめなスペックシートで優れたパフォーマンスを提供しました. 昨年、Pixels 用に独自の Tensor プロセッサ プラットフォームに移行したとき、検索の巨人は、「パワー」よりもスマートな機能を優先していることを明らかにしました。 つまり、ベンチマークスコアによって定義されたパワー。

Tensor: ベンチマークを緊張させるもの

Pixel は、Qualcomm や MediaTek のフラッグシップ チップで駆動されるデバイスほど強力ではないという批判を受けてきました。 ただし、ここで注意すべき点は、非常に特定の条件でのみ遅れる傾向があることです。たとえば、ハイエンド ゲームの最大設定や長いビデオの処理中などです。 ほとんどの主流の使用タスクでは、Pixel は他の Android フラッグシップと同等かそれ以上であり、多くのフラッグシップに欠けている多くのスマート機能を備えています. はい、他のいくつかのフラグシップほどゲームをロードしない可能性があり、あちこちで奇妙なフレームをドロップする可能性がありますが、違いはベンチマークスコアが示すほど悲惨ではありません. テクノロジー ブランドの幹部がかつて指摘したように、「電話がユーザーにとってスムーズに機能している場合、ベンチマーク スコアは重要なのでしょうか? プロセッサの名前やベンチマークスコアに基づいて、携帯電話の性能が低いと呼ぶのは不公平です. ベンチマーク スコアが何であるかではなく、それがどれだけうまく機能するかについてであるべきです。」

これは、ベンチマークがまったく役に立たず、時間の無駄だと言っているわけではありません。 それらは、パフォーマンスの尺度と比較の尺度を提供する上で非常に貴重です。 ただし、消費者向けテクノロジーの物語を推進するのではなく、補完する必要があります。 ベンチマークは学術試験に少し似ています。ベンチマークは人の知識の尺度を提供しますが、決して人の知識の反駁できない証拠ではありません。 アインシュタインでさえ試験に落ちた。 率直に言って、印象的なベンチマークスコアを誇っていたデバイスの数を数え切れませんでしたが、現実の世界ではつまずきました.

Google は、Tensor チップのスピードではなくスマートさを選択することで、ベンチマークに取りつかれた世界で大胆な一歩を踏み出しました。 一部の技術評論家がベンチマークスコアを軽蔑しているにもかかわらず、それが戻ってくるのを見るのは素晴らしいことです. 「私たちがベンチマークするのは、チップ上で実行している実際のソフトウェア ワークロードです」と Gupta 氏はポッドキャストで述べています。 彼女には一理あると思います。 結局のところ、それは何かがどれだけうまく機能するかということであるべきです。 ベンチマークが高く、パフォーマンスが平凡/バグの多い携帯電話は、優れた食材とプレゼンテーションを備えた料理に似ていますが、それでも味は奇妙になります. ベンチマークが役立つことは間違いありませんが、ベンチマークの先を見据える時が来ました。