OnePlus 5 speelt (opnieuw) vals in benchmarktests

OnePlus is er andermaal op betrapt vals te spelen om zijn nieuwste vlaggenschip, de OnePlus 5, beter te doen scoren in benchmarkresultaten. Dat blijkt uit onderzoek van XDA-Developers en weerspiegelt zich ook in onze eigen tests.

Benchmarktests zijn een populaire manier om objectief de snelheid en prestaties van hardware te meten en vooral ook te kunnen vergelijken met de concurrentie. Fabrikanten weten dit evenwel en kunnen niet altijd aan de verleiding weerstaan om hun toestellen te optimaliseren voor deze specifieke tests. Onder meer Samsung werd hier in het verleden al van beticht voor zowel zijn smartphones als tv’s, en ook HTC, LG en Sony zijn betrapt. Zelfs OnePlus maakte zich eerder al eens schuldig aan de praktijk met de OnePlus 3 en 3T, en heeft blijkbaar zijn les nog niet geleerd.

Bij de OnePlus 3 en 3T kwam het er op neer dat de processorkernen bij het openen van een benchmark-app permanent boven 1,29 GHz bleven voor de twee snelle Kryo-kernen en boven 0,98 GHz voor de trage kernen. Zelfs wanneer de belasting van de CPU 0% bedroeg. Normaal zouden alle vier de kernen in dat geval naar 0,31 GHz moeten terugvallen. Omdat dat niet het geval was, en er dus minder variatie optrad, waren ook de benchmarkresultaten beter. Het manipuleren van de benchmarks zou toen volgens OnePlus onbewust zijn gebeurd en het paste zijn software aan om dit te verhelpen.

Dat was begin dit jaar. We zijn nu enkele maanden verder en het bedrijf heeft de OnePlus 5 op de wereld losgelaten. XDA-Developers kon het toestel al uitgebreid aan de tand voelen en kwam tot de conclusie dat er opnieuw sprake was van gesjoemel in benchmarks. Ditmaal zou het volgens de publicatie evenwel ‘overduidelijk’ en ‘opzettelijk geïntroduceerd’ zijn om ‘scores te maximaliseren’.

Bij het draaien van de benchmark GeekBench 4 krikt de OnePlus 5 de kloksnelheid van alle trage kernen op naar het maximum van 1,9 Ghz voor het hele verloop van de test. Zonder vals te spelen zou dit maar ongeveer 25% van de tijd mogen zijn. Niet verwonderlijk haalt de smartphone daardoor de hoogste scores in GeekBench 4 van eender welke smartphone met een Snapdragon 835 die vandaag op de markt is. Het probleem is dat dit geen normaal gedrag is en niet representatief is voor hoe de processor zich gedraagt bij dagelijks gebruik.

We hebben ondertussen ons eigen reviewexemplaar van de OnePlus 5 ontvangen en namen de proef op de som met GeekBench 4. We draaiden de benchmark vijf keer op zowel de OnePlus 5 als de HTC U11, die allebei de Snapdragon 835 aan boord hebben. Gemiddeld genomen lagen de ‘Multi-Core’ scores van de OnePlus 5 zo’n vijf procent hoger dan die van de HTC U11, terwijl de ‘Single-Core’ scores erg vergelijkbaar bleven. Dat resultaat komt overeen met de bevindingen van XDA-Developers.

Andere benchmarks die volgens XDA-Developers worden gemanipuleerd, zijn AnTuTu, Androbench, GFXBench, Quadrant, Nenamark 2, en Vellamo. Dat is dezelfde lijst als bij de OnePlus 3 en 3T, en zijn niet toevallig enkele van de populairste en meest gebruikte benchmarks.

OnePlus heeft op de aantijgingen gereageerd met volgende verklaring: “We hebben de OnePlus 5 ingesteld om benchmarks op een niveau van hoge prestaties te draaien dat natuurlijk en houdbaar is voor alle toestellen, zodat gebruikers het ware potentieel van het toestel kunnen zien wanneer ze intensieve apps en games draaien.Op geen enkel punt overklokken we de CPU of stellen we een basisfrequentie in. We zijn ervan overtuigd dat onze aanpak het best de ware capaciteiten van de OnePlus 5 weerspiegelt.”

Het bedrijf geeft dus min of meer toe dat het benchmarks manipuleert, niet met kwaad opzet, maar om het ware potentieel van de smartphone te tonen. Feit blijft evenwel dat dat ‘ware potentieel’ niet representatief is voor hoe de smartphone bij dagelijks gebruik presteert. Beschouw de benchmarkresultaten van de OnePlus 5 dus als een indicatie van hoe ver de smartphone tot het uiterste kan worden gedreven, maar ook niet meer – of minder – dan dat.

OnePlus is er andermaal op betrapt vals te spelen om zijn nieuwste vlaggenschip, de OnePlus 5, beter te doen scoren in benchmarkresultaten. Dat blijkt uit onderzoek van XDA-Developers en weerspiegelt zich ook in onze eigen tests.

Benchmarktests zijn een populaire manier om objectief de snelheid en prestaties van hardware te meten en vooral ook te kunnen vergelijken met de concurrentie. Fabrikanten weten dit evenwel en kunnen niet altijd aan de verleiding weerstaan om hun toestellen te optimaliseren voor deze specifieke tests. Onder meer Samsung werd hier in het verleden al van beticht voor zowel zijn smartphones als tv’s, en ook HTC, LG en Sony zijn betrapt. Zelfs OnePlus maakte zich eerder al eens schuldig aan de praktijk met de OnePlus 3 en 3T, en heeft blijkbaar zijn les nog niet geleerd.

Bij de OnePlus 3 en 3T kwam het er op neer dat de processorkernen bij het openen van een benchmark-app permanent boven 1,29 GHz bleven voor de twee snelle Kryo-kernen en boven 0,98 GHz voor de trage kernen. Zelfs wanneer de belasting van de CPU 0% bedroeg. Normaal zouden alle vier de kernen in dat geval naar 0,31 GHz moeten terugvallen. Omdat dat niet het geval was, en er dus minder variatie optrad, waren ook de benchmarkresultaten beter. Het manipuleren van de benchmarks zou toen volgens OnePlus onbewust zijn gebeurd en het paste zijn software aan om dit te verhelpen.

Dat was begin dit jaar. We zijn nu enkele maanden verder en het bedrijf heeft de OnePlus 5 op de wereld losgelaten. XDA-Developers kon het toestel al uitgebreid aan de tand voelen en kwam tot de conclusie dat er opnieuw sprake was van gesjoemel in benchmarks. Ditmaal zou het volgens de publicatie evenwel ‘overduidelijk’ en ‘opzettelijk geïntroduceerd’ zijn om ‘scores te maximaliseren’.

Bij het draaien van de benchmark GeekBench 4 krikt de OnePlus 5 de kloksnelheid van alle trage kernen op naar het maximum van 1,9 Ghz voor het hele verloop van de test. Zonder vals te spelen zou dit maar ongeveer 25% van de tijd mogen zijn. Niet verwonderlijk haalt de smartphone daardoor de hoogste scores in GeekBench 4 van eender welke smartphone met een Snapdragon 835 die vandaag op de markt is. Het probleem is dat dit geen normaal gedrag is en niet representatief is voor hoe de processor zich gedraagt bij dagelijks gebruik.

We hebben ondertussen ons eigen reviewexemplaar van de OnePlus 5 ontvangen en namen de proef op de som met GeekBench 4. We draaiden de benchmark vijf keer op zowel de OnePlus 5 als de HTC U11, die allebei de Snapdragon 835 aan boord hebben. Gemiddeld genomen lagen de ‘Multi-Core’ scores van de OnePlus 5 zo’n vijf procent hoger dan die van de HTC U11, terwijl de ‘Single-Core’ scores erg vergelijkbaar bleven. Dat resultaat komt overeen met de bevindingen van XDA-Developers.

Andere benchmarks die volgens XDA-Developers worden gemanipuleerd, zijn AnTuTu, Androbench, GFXBench, Quadrant, Nenamark 2, en Vellamo. Dat is dezelfde lijst als bij de OnePlus 3 en 3T, en zijn niet toevallig enkele van de populairste en meest gebruikte benchmarks.

OnePlus heeft op de aantijgingen gereageerd met volgende verklaring: “We hebben de OnePlus 5 ingesteld om benchmarks op een niveau van hoge prestaties te draaien dat natuurlijk en houdbaar is voor alle toestellen, zodat gebruikers het ware potentieel van het toestel kunnen zien wanneer ze intensieve apps en games draaien.Op geen enkel punt overklokken we de CPU of stellen we een basisfrequentie in. We zijn ervan overtuigd dat onze aanpak het best de ware capaciteiten van de OnePlus 5 weerspiegelt.”

Het bedrijf geeft dus min of meer toe dat het benchmarks manipuleert, niet met kwaad opzet, maar om het ware potentieel van de smartphone te tonen. Feit blijft evenwel dat dat ‘ware potentieel’ niet representatief is voor hoe de smartphone bij dagelijks gebruik presteert. Beschouw de benchmarkresultaten van de OnePlus 5 dus als een indicatie van hoe ver de smartphone tot het uiterste kan worden gedreven, maar ook niet meer – of minder – dan dat.