O Google está certo! A era dos benchmarks e especificações precisa terminar em smartphones

Então alguém finalmente disse isso. Uma pessoa muito notável nisso. Em um recente podcast Made by Google, Monika Gupta, diretora sênior de gerenciamento de produtos do Google Silicon Teams, disse o que várias pessoas em tecnologia já sabiam, mas evitaram dizer porque era totalmente contra a percepção popular:

Especificações e benchmarks são úteis, mas é a funcionalidade que conta.

Respondendo às críticas ao chip Tensor do Google por suas baixas pontuações de benchmarking, Gupta foi bastante direto:

Acho que os benchmarks clássicos serviram a um propósito em algum momento, mas acho que a indústria evoluiu desde então... os benchmarks clássicos foram criados em uma época em que a IA e os telefones nem existiam. Eles podem contar alguma história, mas não sentimos que eles contam a história completa... O que nós comparamos são as cargas de trabalho de software reais que estamos executando em nosso chip. Em seguida, nos esforçamos com cada geração do chip Tensor para torná-los melhores, seja melhor qualidade, melhor desempenho ou menor consumo de energia.

Quer saber o quão bom é um telefone? Verifique-os benchmarks

Alguns podem encontrar traços de ironia nessa afirmação, pois benchmarks e especificações técnicas realmente entraram na análise e análise do smartphone com a chegada do Android. Antes disso, na era da Nokia e do BlackBerry, era raro saber o nome e a velocidade do processador e da RAM em um aparelho, sem falar nas pontuações de benchmark dos processadores. As únicas especificações que foram consideradas geralmente foram os megapixels da câmera, o tamanho da tela (a resolução não era um fator tão importante) e, até certo ponto, o tamanho da bateria.

Compare isso com hoje, quando quase tudo dentro de um telefone tem algum tipo de teste de benchmark – o processador, a tela, as câmeras, a bateria… Eles também existiam no passado, mas nos últimos tempos, eles se tornaram os atores principais do programa de smartphones, em vez de serem atores secundários. Hoje, é comum ver uma marca começar a compartilhar pontuações de benchmark do processador de um telefone, classificações DXO de sua câmera e/ou detalhes de sua classificação de exibição bem antes de seu lançamento.

Pode-se entender de onde as marcas estão vindo nesse sentido. Esses benchmarks e classificações são vistos como “terceiros” e provas objetivas de desempenho e qualidade e muitas vezes são uma forma de mostrar como um produto é o melhor em uma determinada categoria ou melhor que seus rivais. E isso certamente é uma abordagem bastante justa. Afinal, benchmarks e classificações são criados para testar componentes, portanto, o desempenho deles nesse departamento não pode ser ignorado.

Blues de referência: “Eles podem contar alguma história, mas não a história completa”

O problema surge quando os benchmarks são vistos como tudo no que diz respeito a um dispositivo. Um piloto de Fórmula 1 disse uma vez que os números de um carro não eram bons se não fosse fácil de manusear e dirigir, e o mesmo se aplica a benchmarks de smartphones. Como Gupta observou: “ Eles podem contar alguma história, mas não sentimos que eles contam a história completa. ” Um processador pode ter ótimas pontuações de benchmark, mas não pode compensar software com bugs. Uma alta classificação DXO para uma câmera pode disfarçar o processamento lento. Há apenas tantos benchmarks e classificações que podem fazer. Eles são como condições de teste, não as da vida real. O que é pior, as marcas agora começaram a se concentrar em ótimas pontuações de benchmark em vez da experiência genuína do consumidor. De fato, a pontuação de referência tornou-se uma parte importante de qualquer apresentação de lançamento de marca!

Para seu crédito, o Google vem tentando romper com esse sistema baseado em benchmarks há algum tempo. Quando assumiu a Motorola, lançou dispositivos como o Moto G e o Moto X, que enfatizavam o desempenho suave e inovador em vez de especificações. Mesmo quando parecia ter sido sugado para as guerras de especificações com a linha Pixel, o Google lançou variantes 'A' do Pixel que ofereceram bom desempenho com folhas de especificações relativamente modestas. E quando mudou para sua própria plataforma de processador Tensor para os Pixels no ano passado, a gigante das buscas deixou claro que estava priorizando a funcionalidade inteligente sobre o 'poder'. Poder que foi definido por pontuações de benchmark que é.

Tensor: coisas para tornar os benchmarks tensos

Os Pixels estão sendo criticados por não serem tão poderosos quanto os dispositivos movidos por chips emblemáticos da Qualcomm e MediaTek. No entanto, um ponto a ser observado aqui é que eles tendem a ficar para trás apenas em condições muito específicas – digamos, em configurações máximas de um jogo de última geração ou durante o processamento de um vídeo longo. Na maioria das tarefas de uso convencionais, os Pixels são tão bons quanto qualquer carro-chefe do Android, se não melhor, e vêm com vários recursos inteligentes que faltam em muitos carros-chefe. Sim, eles podem não carregar jogos tão rapidamente quanto alguns outros carros-chefe e podem diminuir o quadro estranho aqui e ali, mas a diferença não é tão calamitosa quanto as pontuações de benchmark indicam. Como um executivo de uma marca de tecnologia apontou certa vez: “ Será que as pontuações de benchmark importam se o telefone está funcionando sem problemas para um usuário? É meio injusto chamar um telefone de baixa potência com base no nome de seu processador ou em suas pontuações de benchmark. Deve ser sobre quão bem funciona, não quais são suas pontuações de referência .”

Isso não quer dizer que os benchmarks sejam totalmente inúteis e uma perda de tempo. Eles são inestimáveis ​​para nos fornecer uma medida de desempenho e também uma escala de comparação. No entanto, eles precisam complementar a narrativa de tecnologia do consumidor, em vez de conduzi-la. Os benchmarks são um pouco como os exames acadêmicos – eles fornecem uma medida do que uma pessoa sabe, mas não são de forma alguma uma prova irrefutável do conhecimento de uma pessoa. Até Einstein foi reprovado nos exames. Francamente, perdemos a conta do número de dispositivos que ostentavam pontuações de benchmark impressionantes, mas gaguejavam e tropeçavam no mundo real.

O Google deu um passo ousado em um mundo obcecado por benchmarks, optando pela inteligência em vez da pura velocidade com seus chips Tensor. É maravilhoso vê-lo de volta também, mesmo quando alguns especialistas em tecnologia desprezam suas pontuações de benchmark. “ O que comparamos são as cargas de trabalho de software reais que estamos executando em nosso chip ”, disse Gupta no podcast. Achamos que ela tem razão. No final do dia, deve ser sobre o quão bem algo funciona. Telefones com benchmarks altos e desempenho medíocre / buggy são semelhantes a pratos que têm excelentes ingredientes e apresentação, mas ainda assim acabam com um sabor estranho. Os benchmarks são, sem dúvida, úteis, mas é hora de começarmos a olhar além deles.