Benchmarks: Grundlage für Vergleichstests mit Lücken zum Schummeln
Die Technikwelt entwickelt sich schnell, da braucht es natürlich Leistungsmaßstäbe, denn die reinen technischen Daten reichen zur Bewertung eines Geräts lange nicht mehr aus. Aus diesem Grund wurden die sogenannten Benchmarks entwickelt. Aber warum werden sie verwendet? Und geben sie zuverlässig Auskunft über die Leistung eines Geräts?
Springt direkt zum Abschnitt:
Was sind diese Benchmarks überhaupt?
Benchmarks sind Programme, die entwickelt wurden, um CPUs, GPUs, Speicher oder praktisch jeden Aspekt eines Smartphones oder eines Computers zu belasten und deren Leistung zu messen. Am Ende gibt es ein Resultat in Form einer Punktzahl, einer Zeit, einer Geschwindigkeit oder ähnliches. Es gibt auch sehr spezielle Tests, etwa von DxOMark für die Auswertung von Kamera-Fokuszeiten oder Testprogramme zur Bestimmung der Geschwindigkeit des Internet-Netzwerks. Diese fallen ebenfalls unter die Kategorie der Benchmarks. Bei uns kommen natürlich vor allem Smartphone-Benchmarks zu Einsatz, die wir nutzen, um Smartphones für unsere Performance-Tests zu bewerten.
Wir können Benchmarks in zwei grobe Kategorien einteilen:
- Synthetische Benchmarks
- Benchmarks aus dem Alltag
Die ersten und am häufigsten genutzten Benchmarks simulieren eine extreme Arbeitsbelastung und fordern die getesteten Komponenten mit ihrer vollen Kapazität. Damit können wir die maximale Leistung eines Gerätes feststellen.
Alltags-Benchmarks aus der realen Welt simulieren realistische (wenn auch immer noch sehr anspruchsvolle) Arbeitsbelastungen und sind nützlicher bei der Beurteilung der tatsächlichen Fähigkeiten eines Geräts für tägliche Zwecke und Anwendungen.
Was ist der Sinn von Benchmarks?
Benchmark-Anwendungen sind speziell für einen bestimmten Zweck konzipiert: die Leistung des Geräts, auf dem sie ausgeführt werden, zu messen, um sie mit anderen Modellen und deren Messwerten zu vergleichen. Das Wort Benchmark kann man als vergleichende Analyse übersetzen.
Da die Komplexität elektronischer Geräte zunimmt, wird es immer schwieriger, ihre Leistung anhand der Daten auf dem Papier zu vergleichen. Deshalb wurden und werden laufend neue Messprogramme entwickelt.
Können wir Benchmarks vertrauen?
Theoretisch ja. Die durch Benchmarks berechneten Werte werden immer durch die Durchführung der gleichen Operationen an jeder Maschine ermittelt, so dass es keinen Unterschied in der Behandlung der getesteten Geräte gibt. Ihr müsst jedoch auf den Zustand des Gerätes achten, bevor der Benchmark ausgeführt wird.
Ein praktisches Beispiel: Wenn auf einem Smartphone Apps während der Benchmark-Ausführung im Hintergrund laufen, ist das Ergebnis natürlich anders als auf einem zweiten Smartphone, auf dem einzig und allein der Smartphone-Benchmark läuft, ohne dass andere Apps geöffnet sind. Dies liegt daran, dass einige der Ressourcen des getesteten Geräts von anderen Programmen oder Anwendungen verwendet werden, was sich auf das Endergebnis auswirkt.
Es wurden aber auch schon Hersteller bei faulen Tricks erwischt. So wurde etwa festgestellt, dass OnePlus die Leistung seiner Smartphones erhöht, während die beliebtesten und meistgenutzten Android-Benchmarks ausgeführt werden. Durch die Erkennung der laufenden Anwendung können bestimmte Hersteller spezielle Verfahren einführen, um die Leistung der Hardware zu verbessern und höhere Werte zu erzielen. Wer genau weiß, wie diese Tests funktionieren, kann sein Produkt so optimieren, dass es bei Benchmarks hohe Werte erzielt werden, was sich jedoch nicht immer in einer besseren Leistung im wirklichen Leben niederschlägt.
Betrachtet Benchmark-Werte eher als Fingerzeig denn als Fakt
Benchmarks sind nur dann wirklich nützlich, wenn alle zum Vergleich verwendeten Geräte gleich behandelt werden. Wenn alle Tests unter den gleichen Bedingungen durchgeführt werden, kann man zumindest auf dem Papier beurteilen, welches Produkt objektiv besser ist. Warum nur “auf dem Papier”? Benchmarks lassen sich nicht nur leicht beeinflussen, sondern spiegeln in der Regel auch nicht den Einsatz eines Gerätes in der Praxis wider.
Manchmal können Smartphones erstaunliche Benchmark-Ergebnisse erzielen, aber keine akzeptable Performance im Alltag bieten. Denkt nur an Samsungs Galaxy S-Reihe, die das höchste Niveau an Hardware hat, aber manchmal wegen ihrer Software nicht so flüssig und reaktionsschnell ist wie Smartphones mit auf dem Papier geringerer Leistung wie Google's Pixel-Geräte.
Verlasst Ihr Euch bei der Auswahl eines neuen Geräts auf Benchmarks?
Der Nutzer muss mit der Performance zufrieden sein. Es ist egal, ob mein Gerät 10.000 oder 12.000 Punkte schafft. Es muss in der Praxis überzeugen
-
Admin
04.08.2018 Link zum Kommentar"Die Technikwelt entwickelt sich schnell, da braucht es natürlich Leistungsmaßstäbe, denn die reinen technischen Daten reichen zur Bewertung eines Geräts lange nicht mehr aus. "
Wofür benötige ich als daily-user diese Leistung überhaupt, die ich so nie abrufen werde? Solche benchmark-Tests machen für mich erst dann Sinn, wenn mein Gerät durch alltägliche Nutzung an die Obergrenze der Leistung kommt und ich mich nach Geräten umschauen muss, denen ich mehr abverlangen kann. Das ist aber im Moment wohl seltenst der Fall. Selbst zu Zeiten meines Sony Xperia Z3c waren die schnellsten Prozessorstufen kaum benutzt, eher das untere Viertel. Und da habe ich auch Videos gestreamt, Mails gelesen und beantwortet, RSS feeds gelesen, Bilder auf mein NAS hochgeladen, auf Webseiten gelesen oder in meinen Messengern geschrieben. Ach ja: telefoniert habe ich auch. Ein Top-Smartphone hat heutzutage mehr Leistung als das ganze Rechenzentrum der NASA für die erste Mondlandung.
Ich fände gerade bei diesen ganzen Benchmark-Vergleichen mal schön, wenn nicht immer nur die gleichen Benchmarks genutzt werden. Egal wo, es werden im wesentlichen immer nur GeekBench, AnTuTu, 3DMark und in gewissermaßen auch DxO genutzt... Gerade GeekBench ist eigentlich so sinnlos und langweilig. Es kommen eh 90% der Flaggschiffe mit exakt dem gleichen Prozessor und kommen dementsprechend auf identische Werte (wenn mal ein Smartphone 100 Punkte weniger hat, ist es nicht langsamer - das ist eine gewisse Toleranz...)
Wenn man schon unbedingt Benchmarks machen muss, fände ich Benchmarks praktischer, die bspw die Lese- und Schreibgeschw. des Speichers messen. Oder wie schnell eine SD beschrieben werden kann. Nur weil auf der SD steht, sie kann bis zu 90MB/s lesen, stimmt das noch lange nicht mit der Realität überein, da oftmals der Controller den Flaschenhals darstellt.
Oder wie wäre es generell mal mit Angaben wie „Wie viel Speicher steht direkt nach dem Auspacken zur Verfügung“? Da kann es gigantische Unterschiede geben und wäre durchaus hilfreich zu wissen. Die Angaben der Hersteller mit 32, 64, 128 GB etc. sind nur die halbe Miete ^^ Kann man ja auch als „Benchmark“ zählen