구글이 맞다! 벤치마크와 스펙 시트의 시대는 스마트폰에서 끝나야 한다

그래서 누군가 마침내 말했습니다. 그 점에서 매우 주목할만한 사람입니다. 최근 Made by Google 팟캐스트에서 Google Silicon Teams의 제품 관리 수석 이사인 Monika Gupta는 기술 분야의 많은 사람들이 이미 알고 있지만 대중의 인식에 완전히 반대되기 때문에 말하지 않는 것을 말했습니다.

사양과 벤치마크는 편리하지만 중요한 것은 기능입니다.

낮은 벤치마킹 점수에 대한 Google의 Tensor 칩에 대한 비판에 대해 Gupta는 상당히 직접적이었습니다.

고전적 벤치마크가 어느 순간 목적을 이루었다고 생각하지만, 그 이후로 업계가 발전했다고 생각합니다. 고전적 벤치마크는 AI와 전화가 존재하지도 않았던 시기에 작성되었습니다. 그들이 일부 이야기를 할 수는 있지만 완전한 이야기를 하는 것 같지는 않습니다... 우리가 벤치마킹하는 것은 우리 칩에서 실행 중인 실제 소프트웨어 워크로드입니다. 그런 다음 우리는 Tensor 칩의 모든 세대와 함께 더 나은 품질, 더 나은 성능, 더 낮은 전력 등 더 나은 제품을 만들기 위해 노력합니다.

전화가 얼마나 좋은지 알고 싶으십니까? 벤치마크 확인

일부 사람들은 이 진술에서 아이러니의 흔적을 찾을 수 있습니다. 벤치마크와 기술 사양이 Android의 등장과 함께 스마트폰 리뷰 및 분석 그림에 실제로 들어왔기 때문입니다. 그 전에는 노키아와 블랙베리 시대에 프로세서의 벤치마크 점수는 고사하고 기기의 프로세서와 RAM의 이름과 속도를 아는 것이 거의 없었습니다. 일반적으로 고려되는 유일한 사양은 카메라 메가픽셀, 디스플레이 크기(해상도는 그다지 중요하지 않음) 및 어느 정도는 배터리 크기였습니다.

오늘날 휴대폰 내부의 거의 모든 것이 일종의 벤치마크 테스트인 프로세서, 디스플레이, 카메라, 배터리… 이들은 과거에도 존재했지만 최근에는 실제로 스마트폰 쇼에서 조연이 아닌 스타 출연자로 떠올랐다. 오늘날 브랜드가 출시 훨씬 전에 휴대폰 프로세서의 벤치마크 점수, 카메라의 DXO 등급 및/또는 디스플레이 등급의 세부 정보를 공유하기 시작하는 것을 보는 것이 일반적입니다.

이와 관련하여 브랜드가 어디에서 왔는지 이해할 수 있습니다. 이러한 벤치마크 및 등급은 "제3자"이자 성능 및 품질에 대한 객관적인 증거로 간주되며 종종 제품이 특정 범주에서 최고이거나 경쟁 제품보다 우수하다는 것을 보여주는 방법입니다. 그리고 그것은 확실히 충분히 공정한 접근 방식입니다. 결국 벤치마크와 등급은 구성 요소를 테스트하기 위해 고안되었으므로 해당 부서에서 얼마나 잘 수행되는지 무시할 수 없습니다.

벤치마크 블루스: "일부 이야기는 할 수 있지만 완전한 이야기는 아닙니다."

문제는 벤치마크가 장치에 관한 한 모든 것과 최종적인 것으로 간주될 때 발생합니다. 한 포뮬러 원 드라이버는 핸들링과 운전이 쉽지 않으면 자동차의 숫자는 좋지 않다고 말했고, 이는 스마트폰 벤치마크에도 적용됩니다. Gupta는 다음과 같이 말했습니다 . " 프로세서는 훌륭한 벤치마크 점수를 올릴 수 있지만 버그가 있는 소프트웨어를 보상할 수는 없습니다. 카메라에 대한 높은 DXO 등급은 느린 처리를 위장할 수 있습니다. 할 수 있는 벤치마크와 등급이 너무 많습니다. 실제 조건이 아닌 테스트 조건과 같습니다. 설상가상으로 브랜드는 이제 진정한 소비자 경험 대신 훌륭한 벤치마크 점수에 집중하기 시작했습니다. 실제로 벤치마크 점수는 모든 브랜드 출시 프레젠테이션에서 중요한 부분이 되었습니다!

덕분에 Google은 한동안 이 벤치마크 중심 시스템에서 벗어나려고 노력해 왔습니다. 모토로라를 인수하면서 스펙보다 부드럽고 혁신적인 성능을 강조한 모토G, 모토X 등의 기기들이 나왔다. Pixel 제품군과의 사양 전쟁에 빨려 들어간 것처럼 보였지만 Google은 비교적 겸손한 사양 시트로 우수한 성능을 제공하는 Pixel의 'A' 변종을 출시했습니다. 그리고 작년에 픽셀을 위한 자체 Tensor 프로세서 플랫폼으로 이전했을 때 검색 대기업은 '힘'보다 스마트 기능을 우선시한다는 점을 분명히 했습니다. 벤치마크 점수로 정의된 전력입니다.

Tensor: 벤치마크를 긴장하게 만드는 요소

픽셀은 Qualcomm 및 MediaTek의 주력 칩으로 구동되는 장치만큼 강력하지 않다는 비난을 받아왔습니다. 그러나 여기서 주목해야 할 점은 고급 게임의 ​​최대 설정이나 긴 비디오를 처리하는 경우와 같이 매우 특정한 조건에서만 뒤쳐지는 경향이 있다는 것입니다. 대부분의 주류 사용 작업에서 Pixel은 Android 플래그십만큼 우수하며, 많은 플래그십에 부족한 여러 스마트 기능이 함께 제공됩니다. 예, 다른 플래그십만큼 빠르게 게임을 로드하지 못하고 여기저기서 이상한 프레임을 떨어뜨릴 수 있지만 그 차이는 벤치마크 점수가 나타내는 것만큼 재앙적이지 않습니다. 한 기술 브랜드의 임원이 한 번 지적한 바와 같이, “ 사용자에게 전화기가 원활하게 작동하는 경우 벤치마크 점수가 중요해야 합니까? 프로세서 이름이나 벤치마크 점수를 기준으로 성능이 떨어지는 전화기를 호출하는 것은 일종의 불공평합니다. 벤치마크 점수가 아니라 얼마나 잘 작동하는지에 관한 것이어야 합니다 .”

이것은 벤치마크가 완전히 쓸모없고 시간 낭비라는 말은 아닙니다. 그것들은 우리에게 성과 측정과 비교 척도를 제공하는 데 매우 중요합니다. 그러나 소비자 기술 내러티브를 주도하기보다는 보완해야 합니다. 벤치마크는 학업 시험과 약간 비슷합니다. 벤치마크는 사람이 알고 있는 것에 대한 척도를 제공하지만 결코 그 사람의 지식에 대한 반박할 수 없는 증거는 아닙니다. 아인슈타인도 시험에서 떨어졌다. 우리는 인상적인 벤치마크 점수를 자랑했지만 현실 세계에서 더듬거리고 비틀거리는 장치의 수를 솔직히 잃어버렸습니다.

Google은 Tensor 칩을 사용하여 속도보다는 스마트함을 선택함으로써 벤치마크에 집착하는 세상에서 과감한 발걸음을 내디뎠습니다. 일부 기술 전문가들이 벤치마크 점수를 경멸하는 데도 이를 뒷받침하는 것을 보는 것은 멋진 일입니다. 굽타는 팟캐스트에서 " 우리가 벤치마킹하는 것은 우리 칩에서 실행 중인 실제 소프트웨어 워크로드입니다 . 우리는 그녀가 요점을 가지고 있다고 생각합니다. 결국, 그것은 어떤 것이 얼마나 잘 작동하는지에 관한 것이어야 합니다. 높은 벤치마크와 평범한/버기 성능을 갖춘 전화기는 훌륭한 재료와 프레젠테이션을 제공하지만 여전히 이상한 맛을 내는 요리와 유사합니다. 벤치마크는 의심할 여지 없이 유용하지만 이제 그 너머를 살펴보기 시작할 때입니다.