Samsung en HTC manipuleren benchmarkresultaten
Wanneer je de hardwareprestaties van verschillende toestellen objectief met elkaar wilt vergelijken, is het normaal om benchmarkapplicaties te gebruiken. Maar die apps zijn lang niet altijd even betrouwbaar. Zeker niet wanneer fabrikanten de resultaten proberen te manipuleren. Collega Sander Tuit van Androidworld legt uit wat er aan de hand is.
Kloksnelheid aanpassen
De chipset van jouw toestel bevat een aantal chips, zoals een processor (CPU) en een grafische chip (GPU). Deze chips hebben een bepaalde maximale kloksnelheid, die aangeeft hoeveel keer per seconde een signaal gelezen wordt. Hoe hoger de kloksnelheid (op dezelfde processor), hoe sneller de processor werkt.
[related_article id=”161563″]
De maximale kloksnelheid wordt bepaald door de fabrikant en is afhankelijk van een aantal factoren. Aan de ene kant wil je natuurlijk dat de chip zo snel mogelijk werkt. Aan de andere kant zorgt een hogere kloksnelheid voor meer accuverbruik en loopt de temperatuur van de chip hoger op. Er wordt dus getracht hierin een balans te vinden. Het komt dan ook regelmatig voor dat smartphonefabrikanten hun chipsets een lagere maximale kloksnelheid meegeven dan door de chipsetfabrikant wordt vermeld als "maximaal".
Samsung Galaxy S4
In het geval van de de Samsung Galaxy S4 bleek er iets vreemds aan de hand te zijn. Iemand op het forum van Beyond3D was het opgevallen dat de maximale kloksnelheid van de grafische chip van de Galaxy S4 hoger leek bij bepaalde benchmarkapplicaties dan bij veeleisende games.
Benchmarkapps worden gebruikt om een score te berekenen die aangeeft hoe goed de hardwareprestaties van een bepaald toestel zijn. Het feit dat deze apps hogere kloksnelheden van het systeem leken te krijgen, was reden genoeg voor de mensen achter de populaire techblog Anandtech om hun Galaxy S4"s weer uit de kast te halen.
De Samsung Galaxy S4 is uitgebracht in een aantal varianten, waaronder één met een Samsung-chipset, de Exynos 5 Octa (5410). Deze chipset heeft een grafische chip met een maximale kloksnelheid van 533 MHz. Samsung lijkt deze maximale kloksnelheid in de S4 echter gezet te hebben op 480 MHz. Bij het spelen van games en het draaien van andere grafisch veeleisende apps kwam de gebruikte kloksnelheid nooit boven de 480 MHz uit. Wanneer bepaalde benchmark-applicaties gebruikt werden, bleek de grafische chip ineens wel tot de maximale snelheid van 533 MHz te komen. Dit bleek bij geen enkele game te gebeuren, maar wel bij een aantal specifieke (veelgebruikte) benchmarkapplicaties.
Vergelijking
Niet alle benchmarkapps kregen een hogere kloksnelheid. Dat de verschillende behandeling voor sommige benchmarkapplicaties voor grote verschillen in gemeten prestaties zorgt, wordt al snel duidelijk. Een veelgebruikte benchmarkapplicatie, GLBenchmark, is namelijk van naam veranderd (GFXBench). De oudere versie (die op de gemeten punten gelijk is aan de nieuwe versie volgens de makers van de benchmarkapps) draait op 533 MHz en de nieuwe versie op 480 MHz. Dit zorgt er voor dat de scores maar liefst 13,9% hoger liggen in de oude versie van de benchmarktool.
Samsung ontkent dat er gebruik is gemaakt van een "specifieke tool" om benchmarkapplicaties beter te laten draaien. Volgens het bedrijf is 533 MHz de normale maximale kloksnelheid en krijgen bepaalde apps, zoals de browser, de camera en benchmarkapplicaties toegang tot de volledige kloksnelheid. De meeste games zouden deze hogere kloksnelheid niet nodig hebben en de gemaakte wijzigingen zijn "niet bedoeld om bepaalde benchmarkresultaten te verbeteren".
Dat valt nog zeker wel te betwijfelen. Anandtech vond namelijk in de code van de applicatie die de kloksnelheid van de grafische chip regelt een aantal interessante teksten. In de tekst waren in ieder geval een aantal applicatienamen van bekende benchmarkapps als GLBenchmark, AnTuTu en Quadrant gevonden.
In de tekst werd ook duidelijk het woord "BenchmarkBooster" gevonden, wat op z"n minst gezegd nogal verdacht is. Inderdaad, het is logisch dat applicaties die veeleisend zijn (zoals benchmarkapps) een hogere kloksnelheid kunnen gebruiken, maar ook voor games kan zo"n hogere kloksnelheid nuttig zijn. Wanneer games deze hogere kloksnelheid niet krijgen, bijvoorbeeld om accuduur te besparen, zorgt de benchmarkscore op zijn minst voor een vertekend beeld.
Processor en andere toestellen
Ook de processor blijkt bij het opstarten van een benchmarkapplicatie voluit gezet te worden. In de code zijn overigens ook verwijzingen teruggevonden naar de versie van de Galaxy S4 die in Nederland verkrijgbaar is en ook daar zou een "boost" te vinden zijn.
Samsung is echter niet het enige bedrijf dat benchmarkapplicaties hogere kloksnelheden geeft. Journalist Arnoud Wokke van Tweakers.net deelde op Twitter een aantal screenshots met informatie over de maximale kloksnelheid van de processoren bij het openen van benchmarkapplicatie Quadrant op de HTC One. Deze geeft aan dat alle vier de processorkernen op het maximale niveau zitten. Dit is vreemd, aangezien het hoofdscherm van de applicatie nog helemaal geen hogere kloksnelheid vereist: er gebeurt helemaal niets op het scherm.
Het lijkt er dus op dat benchmarkresultaten nog minder betrouwbaar zijn dan we aanvankelijk dachten. We wisten al wel dat bepaalde benchmarkapplicaties gemanipuleerd werden, maar niet op deze schaal. Benchmarkresultaten zijn voor veel mensen een belangrijke factor bij het aanschaffen van een nieuwe toestel en deze benchmarkresultaten zijn dan ook een belangrijke marketingtool geworden.
Ook wij maken ons daar schuldig aan: wij hebben regelmatig benchmarkresultaten gebruikt om de prestaties van toestellen met elkaar te vergelijken, vooral omdat het lastig is om zonder een bepaalde referentie objectief aan te geven hoe snel een toestel nu eigenlijk is. Maar benchmarkresultaten geven natuurlijk altijd een onvolledig beeld: ze zijn nuttig, maar uiteindelijk gaat het er om hoe snel een toestel in de praktijk is. Nu blijkt dus dat ze niet alleen een onvolledig, maar ook een vertekend beeld schetsen.
Wanneer je de hardwareprestaties van verschillende toestellen objectief met elkaar wilt vergelijken, is het normaal om benchmarkapplicaties te gebruiken. Maar die apps zijn lang niet altijd even betrouwbaar. Zeker niet wanneer fabrikanten de resultaten proberen te manipuleren. Collega Sander Tuit van Androidworld legt uit wat er aan de hand is.
Kloksnelheid aanpassen
De chipset van jouw toestel bevat een aantal chips, zoals een processor (CPU) en een grafische chip (GPU). Deze chips hebben een bepaalde maximale kloksnelheid, die aangeeft hoeveel keer per seconde een signaal gelezen wordt. Hoe hoger de kloksnelheid (op dezelfde processor), hoe sneller de processor werkt.
[related_article id=”161563″]
De maximale kloksnelheid wordt bepaald door de fabrikant en is afhankelijk van een aantal factoren. Aan de ene kant wil je natuurlijk dat de chip zo snel mogelijk werkt. Aan de andere kant zorgt een hogere kloksnelheid voor meer accuverbruik en loopt de temperatuur van de chip hoger op. Er wordt dus getracht hierin een balans te vinden. Het komt dan ook regelmatig voor dat smartphonefabrikanten hun chipsets een lagere maximale kloksnelheid meegeven dan door de chipsetfabrikant wordt vermeld als "maximaal".
Samsung Galaxy S4
In het geval van de de Samsung Galaxy S4 bleek er iets vreemds aan de hand te zijn. Iemand op het forum van Beyond3D was het opgevallen dat de maximale kloksnelheid van de grafische chip van de Galaxy S4 hoger leek bij bepaalde benchmarkapplicaties dan bij veeleisende games.
Benchmarkapps worden gebruikt om een score te berekenen die aangeeft hoe goed de hardwareprestaties van een bepaald toestel zijn. Het feit dat deze apps hogere kloksnelheden van het systeem leken te krijgen, was reden genoeg voor de mensen achter de populaire techblog Anandtech om hun Galaxy S4"s weer uit de kast te halen.
De Samsung Galaxy S4 is uitgebracht in een aantal varianten, waaronder één met een Samsung-chipset, de Exynos 5 Octa (5410). Deze chipset heeft een grafische chip met een maximale kloksnelheid van 533 MHz. Samsung lijkt deze maximale kloksnelheid in de S4 echter gezet te hebben op 480 MHz. Bij het spelen van games en het draaien van andere grafisch veeleisende apps kwam de gebruikte kloksnelheid nooit boven de 480 MHz uit. Wanneer bepaalde benchmark-applicaties gebruikt werden, bleek de grafische chip ineens wel tot de maximale snelheid van 533 MHz te komen. Dit bleek bij geen enkele game te gebeuren, maar wel bij een aantal specifieke (veelgebruikte) benchmarkapplicaties.
Vergelijking
Niet alle benchmarkapps kregen een hogere kloksnelheid. Dat de verschillende behandeling voor sommige benchmarkapplicaties voor grote verschillen in gemeten prestaties zorgt, wordt al snel duidelijk. Een veelgebruikte benchmarkapplicatie, GLBenchmark, is namelijk van naam veranderd (GFXBench). De oudere versie (die op de gemeten punten gelijk is aan de nieuwe versie volgens de makers van de benchmarkapps) draait op 533 MHz en de nieuwe versie op 480 MHz. Dit zorgt er voor dat de scores maar liefst 13,9% hoger liggen in de oude versie van de benchmarktool.
Samsung ontkent dat er gebruik is gemaakt van een "specifieke tool" om benchmarkapplicaties beter te laten draaien. Volgens het bedrijf is 533 MHz de normale maximale kloksnelheid en krijgen bepaalde apps, zoals de browser, de camera en benchmarkapplicaties toegang tot de volledige kloksnelheid. De meeste games zouden deze hogere kloksnelheid niet nodig hebben en de gemaakte wijzigingen zijn "niet bedoeld om bepaalde benchmarkresultaten te verbeteren".
Dat valt nog zeker wel te betwijfelen. Anandtech vond namelijk in de code van de applicatie die de kloksnelheid van de grafische chip regelt een aantal interessante teksten. In de tekst waren in ieder geval een aantal applicatienamen van bekende benchmarkapps als GLBenchmark, AnTuTu en Quadrant gevonden.
In de tekst werd ook duidelijk het woord "BenchmarkBooster" gevonden, wat op z"n minst gezegd nogal verdacht is. Inderdaad, het is logisch dat applicaties die veeleisend zijn (zoals benchmarkapps) een hogere kloksnelheid kunnen gebruiken, maar ook voor games kan zo"n hogere kloksnelheid nuttig zijn. Wanneer games deze hogere kloksnelheid niet krijgen, bijvoorbeeld om accuduur te besparen, zorgt de benchmarkscore op zijn minst voor een vertekend beeld.
Processor en andere toestellen
Ook de processor blijkt bij het opstarten van een benchmarkapplicatie voluit gezet te worden. In de code zijn overigens ook verwijzingen teruggevonden naar de versie van de Galaxy S4 die in Nederland verkrijgbaar is en ook daar zou een "boost" te vinden zijn.
Samsung is echter niet het enige bedrijf dat benchmarkapplicaties hogere kloksnelheden geeft. Journalist Arnoud Wokke van Tweakers.net deelde op Twitter een aantal screenshots met informatie over de maximale kloksnelheid van de processoren bij het openen van benchmarkapplicatie Quadrant op de HTC One. Deze geeft aan dat alle vier de processorkernen op het maximale niveau zitten. Dit is vreemd, aangezien het hoofdscherm van de applicatie nog helemaal geen hogere kloksnelheid vereist: er gebeurt helemaal niets op het scherm.
Het lijkt er dus op dat benchmarkresultaten nog minder betrouwbaar zijn dan we aanvankelijk dachten. We wisten al wel dat bepaalde benchmarkapplicaties gemanipuleerd werden, maar niet op deze schaal. Benchmarkresultaten zijn voor veel mensen een belangrijke factor bij het aanschaffen van een nieuwe toestel en deze benchmarkresultaten zijn dan ook een belangrijke marketingtool geworden.
Ook wij maken ons daar schuldig aan: wij hebben regelmatig benchmarkresultaten gebruikt om de prestaties van toestellen met elkaar te vergelijken, vooral omdat het lastig is om zonder een bepaalde referentie objectief aan te geven hoe snel een toestel nu eigenlijk is. Maar benchmarkresultaten geven natuurlijk altijd een onvolledig beeld: ze zijn nuttig, maar uiteindelijk gaat het er om hoe snel een toestel in de praktijk is. Nu blijkt dus dat ze niet alleen een onvolledig, maar ook een vertekend beeld schetsen.
