UL-Benchmarks is klaar met het cheaten in benchmarks door Huawei en verwijderd scores
Sinds de dag dat benchmarks bestaan is het daarbij al bekend dat bedrijven proberen de beste scores uit hun telefoons te halen. Dat dit niet zonder meer gebeurd door te cheaten was eerder ook al bij stil gestaan. UL-Benchmarks, eigenaar van het bekende 3D Mark heeft nu echter stappen genomen om cheaten op grotere schaal, zoals nu het geval was bij Huawei, stop te zetten.
De belangrijkste stap gezet door UL-Benchmarks is het verwijderen van Huawei’s smartphones uit de “Best Smartphones” lijst die was opgesteld binnen de benchmark-app. Om specifiek te zijn gaat het om de Huawei P20 en P20 Pro, de recent gelanceerde Huawei Nova 3 en de Honor Play. De Huawei P20 Pro, Nova 3 en Honor Play werden naar aanleiding van eigen testen verwijderd, bij de P20 gebeurde dat op basis van testen uitgevoerd door AnandTech.
Benchmark-regels
Om eerlijke resultaten te verkrijgen heeft UL-Benchmarks een specifieke set aan regels opgesteld. Afhankelijk van de ernst van de overtreding van deze regels kan besloten worden om een actie uit te voeren zoals UL-Benchmarks nu heeft gedaan. Volgende de eigenaar achter de benchmark-app wordt er toegestaan dat apparaten op een slimme manier opschalen op basis van de te verwerken workloads. Op basis van uitgevoerde testen was echter zichtbaar dat dit niet het geval was.
Huawei P20 Pro, P20, Nova 3 and Honor Play smartphones just delisted by @ul_benchmarks 3DMark. Ouch. pic.twitter.com/afyKha3HQP
— Patrick Moorhead (@PatrickMoorhead) September 6, 2018
Volgens Huawei schalen de smartphones in zijn gamma slim op als ze zware applicaties als games, en dus ook benchmarks, herkennen. Dit zou volgens Huawei gebeuren door middel van slimme AI-technieken, al blijkt daar nu vrij weinig waar van te zijn. UL-Benchmarks voerde testen uit met de versie van 3D Mark die in de Google Play Store verkrijgbaar is. Het bedrijf heeft echter ook een andere versie beschikbaar met een aantal aanpassingen, deze scoorde verrassend genoeg een stuk lager. Daarmee verkreeg het bedrijf voldoende informatie om te concluderen dat Huawei cheat door de telefoons op te schalen op basis van de gedraaide benchmarks.
Niet het eerste bedrijf
Zoals al eerder genoemd is dit fenomeen geen nieuwigheid – juist het tegenovergestelde daarvan. In 2013 werd al bekend dat ook Samsung bezig wat met het cheaten in benchmarks. In 2014 en nog later werd ook OnePlus verdacht van het cheaten in benchmarks. Daarmee blijft altijd de vraag hoe betrouwbaar een benchmark is. Het belangrijkste voor nu is hoe Huawei dit aan gaat pakken, en of ook andere benchmark applicaties volgen.
Sinds de dag dat benchmarks bestaan is het daarbij al bekend dat bedrijven proberen de beste scores uit hun telefoons te halen. Dat dit niet zonder meer gebeurd door te cheaten was eerder ook al bij stil gestaan. UL-Benchmarks, eigenaar van het bekende 3D Mark heeft nu echter stappen genomen om cheaten op grotere schaal, zoals nu het geval was bij Huawei, stop te zetten.
De belangrijkste stap gezet door UL-Benchmarks is het verwijderen van Huawei’s smartphones uit de “Best Smartphones” lijst die was opgesteld binnen de benchmark-app. Om specifiek te zijn gaat het om de Huawei P20 en P20 Pro, de recent gelanceerde Huawei Nova 3 en de Honor Play. De Huawei P20 Pro, Nova 3 en Honor Play werden naar aanleiding van eigen testen verwijderd, bij de P20 gebeurde dat op basis van testen uitgevoerd door AnandTech.
Benchmark-regels
Om eerlijke resultaten te verkrijgen heeft UL-Benchmarks een specifieke set aan regels opgesteld. Afhankelijk van de ernst van de overtreding van deze regels kan besloten worden om een actie uit te voeren zoals UL-Benchmarks nu heeft gedaan. Volgende de eigenaar achter de benchmark-app wordt er toegestaan dat apparaten op een slimme manier opschalen op basis van de te verwerken workloads. Op basis van uitgevoerde testen was echter zichtbaar dat dit niet het geval was.
Volgens Huawei schalen de smartphones in zijn gamma slim op als ze zware applicaties als games, en dus ook benchmarks, herkennen. Dit zou volgens Huawei gebeuren door middel van slimme AI-technieken, al blijkt daar nu vrij weinig waar van te zijn. UL-Benchmarks voerde testen uit met de versie van 3D Mark die in de Google Play Store verkrijgbaar is. Het bedrijf heeft echter ook een andere versie beschikbaar met een aantal aanpassingen, deze scoorde verrassend genoeg een stuk lager. Daarmee verkreeg het bedrijf voldoende informatie om te concluderen dat Huawei cheat door de telefoons op te schalen op basis van de gedraaide benchmarks.
Niet het eerste bedrijf
Zoals al eerder genoemd is dit fenomeen geen nieuwigheid – juist het tegenovergestelde daarvan. In 2013 werd al bekend dat ook Samsung bezig wat met het cheaten in benchmarks. In 2014 en nog later werd ook OnePlus verdacht van het cheaten in benchmarks. Daarmee blijft altijd de vraag hoe betrouwbaar een benchmark is. Het belangrijkste voor nu is hoe Huawei dit aan gaat pakken, en of ook andere benchmark applicaties volgen.
