谷歌是对的！ 基准测试和规格表的时代需要在智能手机中结束

所以终于有人说了。 一个非常值得注意的人。 在最近由 Google 制作的播客中，Google Silicon Teams 产品管理高级总监 Monika Gupta 说了一些技术人员已经知道但避免说的话，因为这完全违背了大众的看法：

规格和基准很方便，但重要的是功能。

对于谷歌的 Tensor 芯片的基准测试成绩不佳的批评，Gupta 相当直接：

我认为经典基准测试在某个时候起到了一定的作用，但我认为该行业从那时起已经发展......经典基准测试是在人工智能和手机甚至还不存在的时候编写的。 它们可能会讲述一些故事，但我们不觉得它们讲述了完整的故事……我们的基准是我们在芯片上运行的实际软件工作负载。 然后我们努力使每一代 Tensor 芯片变得更好，无论是更好的质量、更好的性能还是更低的功耗。

想知道手机有多好？ 检查他们的基准

有些人可能会在该声明中发现讽刺的痕迹，因为随着 Android 的到来，基准测试和技术规格确实进入了智能手机审查和分析的画面。 在此之前，在诺基亚和黑莓的时代，很少有人知道设备中处理器和 RAM 的名称和速度，更不用说处理器的基准测试分数了。 通常考虑的唯一规格是相机百万像素，显示器尺寸（分辨率不是一个因素），在某种程度上，电池尺寸。

与今天相比，当手机内的几乎所有东西都经过某种基准测试时——处理器、显示器、摄像头、电池……你说出它的名字，你就会找到它。 这些过去也有，但最近，他们实际上已经成为智能手机节目中的明星表演者，而不是配角。 今天，一个品牌在手机发布之前就开始分享手机处理器的基准分数、其相机的 DXO 评级和/或显示评级的详细信息是很常见的。

人们可以理解品牌在这方面的来源。 这些基准和评级被视为“第三方”和客观的性能和质量证明，并且通常是展示产品在某个类别中的最佳或优于其竞争对手的一种方式。 这当然是一个足够公平的方法。 毕竟，基准和评级是为测试组件而设计的，因此它们在该部门的表现如何不容忽视。

基准布鲁斯：“他们可能会讲述一些故事，但不是完整的故事”

就设备而言，当基准被视为最重要的和最终的一切时，问题就出现了。 一位一级方程式赛车手曾经说过，如果汽车不容易操控和驾驶，那么它的数字就不好，这同样适用于智能手机基准测试。 正如古普塔所说：“他们可能会讲述一些故事，但我们不觉得他们讲述了完整的故事。 ” 处理器可能会在基准测试中取得很好的成绩，但它无法弥补有缺陷的软件。 相机的高 DXO 评级可能会掩盖处理缓慢的情况。 只有这么多的基准和评级可以做。 它们就像测试条件，而不是现实生活中的条件。 更糟糕的是，品牌现在开始关注出色的基准分数，而不是真正的消费者体验。 事实上，基准分数已成为任何品牌发布演示的重要组成部分！

值得称赞的是，谷歌一直试图打破这种基准驱动的系统。 当它接管摩托罗拉时，它推出了 Moto G 和 Moto X 等设备，这些设备强调流畅和创新的性能，而不是规格。 即使它似乎被卷入了 Pixel 系列的规格大战，谷歌还是推出了 Pixel 的“A”变体，它以相对适中的规格表提供了良好的性能。 去年，当它为 Pixels 迁移到自己的 Tensor 处理器平台时，这家搜索巨头明确表示，它优先考虑智能功能而不是“电源”。 由基准分数定义的功率是。

张量：让基准变得紧张的东西

Pixels 一直受到批评，因为它们的功能不如高通和联发科的旗舰芯片驱动的设备强大。 然而，这里需要注意的一点是，它们往往仅在非常特定的条件下才会落后——例如，在高端游戏的最大设置或处理长视频时。 在大多数主流使用任务中，Pixels 与任何 Android 旗舰产品一样好，甚至更好，并且具有许多旗舰产品所缺乏的许多智能功能。 是的，他们可能不会像其他一些旗舰那样快速加载游戏，并且可能会在这里和那里丢掉奇怪的帧，但差异并不像基准分数所表明的那样严重。 正如一位科技品牌的高管曾经指出的那样，“如果手机对用户来说运行顺畅，基准分数是否重要？ 根据处理器的名称或基准分数来称呼手机功率不足是不公平的。 它应该是关于它的工作情况，而不是它的基准分数。”

这并不是说基准测试完全没用而且浪费时间。 它们在为我们提供绩效衡量标准和比较规模方面非常宝贵。 然而，他们需要补充消费者技术的叙述，而不是推动它。 基准有点像学术考试——它们确实提供了一个人知道什么的衡量标准，但绝不是一个人知识的无可辩驳的证明。 甚至爱因斯坦也没有通过考试。 坦率地说，我们已经记不清有多少设备拥有令人印象深刻的基准测试分数，但在现实世界中却步履蹒跚。

谷歌通过选择智能而不是其 Tensor 芯片的绝对速度，在一个痴迷于基准测试的世界中迈出了大胆的一步。 很高兴看到它也支持它，即使一些技术专家对其基准分数嗤之以鼻。 “我们的基准是我们在芯片上运行的实际软件工作负载，”古普塔在播客中说。 我们认为她说得有道理。 归根结底，它应该是关于某件事的效果如何。 具有高基准和平庸/错误性能的手机类似于具有出色成分和外观但最终味道仍然奇怪的菜肴。 基准无疑是有用的，但现在是我们开始超越它们的时候了。