Quadrant – der überschätzte Benchmark?

Eine ganze Weile dachte ich, Quadrant wäre ein sehr guter Gesamtperformance Benchmark, bis ich das Dell Streak in die Finger bekam. Das Gerät erreicht im Quadrant gerade mal knapp 800 Punkte, das Archos 70 hingegen knapp 1400. Das Archos 70 ist zwar (vor allem in Sachen Preis/Leistung) ein gutes Gerät, aber die Performance des Dell Streak ist definitiv ein ganz anderes Kaliber.

Was den Quadrant Benchmark angeht, kann hier also irgendwas nicht stimmen, zumindest ist es kein aussagekräftiges Gesamtergebnis. Auch wenn man sich die Einzelergebnisse genauer anschaut, verwundern z. B. die Werte der CPU. Hier sind 1655 für das Dell Streak (das Archos 70 hat hier im Vergleich 3325) einfach nicht korrekt.

Beim Milestone 2 schwanken die Ergebnisse sogar gravierend, zwischen knapp 900 und knapp 1500 Punkten erreicht das Gerät im Quadrant. Auch diese Tatsache hat mich etwas irritiert, was die Aussagekraft des Benchmarks angeht.

Da ich sowohl das Archos 70, das Dell Streak, das Nexus One und das Milestone 2 ausgiebig getestet habe, kann ich die Gesamtperformance der Geräte gut beurteilen. Hier ist der Linpack Benchmark aussagekräftiger als der Quadrant, obwohl dies natürlich kein „All in One“ Benchmark ist. Im Linpack liegt das Dell Streak auf Platz Eins, und das ist auch meine Einschätzung, was die Performance des Gerätes angeht. Diese „toppt“ sogar noch mein Nexus One mit dem MIUI MOD. Hier liegt allerdings das Milestone 2 gleichauf mit dem Archos 70, was so auch nicht stimmt.

Auf meiner Suche nach einem Gesamtperformance Benchmark, der auch die „richtigen“ Ergebnisse bringt, bin ich auf Smartbench gestoßen, und dieser wird wohl zukünftig für meine Reviews und Tests herhalten, denn die Ergebnisse (diese stehen auch oben in der Tabelle) decken sich (zumindest viel besser, als die vom Quadrant) zum großen Teil mit meinen Einschätzungen der Geräte.

Aber auch hier findet sich ein etwas ungewöhnlicher Wert, das Archos 70 bekommt 1752 Punkte in der Game Performance. Diese ist zwar nicht schlecht, erstaunt bin ich über dieses Ergebnis aber trotzdem. Komischerweise geht auch auf meinem Archos 70 mit Android 2.2 der Neocore Benchmark, der ja eigentlich die Grafikleistung noch mal untermauern könnte, nicht mehr.

Was also lernen wir aus dieser Geschichte? Alles nur Zahlen ohne Sinn und Zweck?

Das würde ich zwar so nicht sagen, aber letztendlich sind es doch nur Messergebnisse, die halt nicht immer hundertprozentig aussagekräftig sind. Gerade der Quadrant Benchmark scheint mir, was das angeht, auch in der Tat etwas überschätzt zu werden.

Ich bin gespannt auf eure Meinungen zum Thema, vor allem was die Ergebnisse des Quadrant Benchmarks angeht.