Auswertung unserer Umfrage: Interessiert Ihr Euch für Benchmarks?
Wenn es um Smartphone-Tests geht, ersetzt nichts die persönliche Meinung des Testers oder der Testerin! Das ist das Ergebnis unserer letzten Umfrage der Woche, in der wir Euch gefragt haben, wie Ihr zu Benchmark-Ergebnissen steht. Ganz unwichtig sind die Leistungstests aber dennoch nicht.
Am Freitag haben wir unsere Community nach der Relevanz von Benchmark-Ergebnissen in Smartphone-Tests gefragt! Der Grund waren unsere persönlichen Erfahrungen aus dem Alltag, in denen wir viele Smartphones testen. Denn auch wenn uns Benchmark erstklassige Ergebnisse anzeigen, sind Handys im Alltag manchmal nicht empfehlenswert. Dieser Diskrepanz stimmt Ihr in unserer Umfrage durchaus zu.
Benchmarks sind für unsere Community weniger relevant
Betrachtet man nicht nur die Ergebnisse der Umfragen, sondern auch die Kommentare einiger Personen auf den verschiedenen Domains, so sind Benchmarks zunehmend irrelevant. Der Grund dafür ist nicht einmal die Glaubwürdigkeit der Benchmark-Apps, sondern die Optimierung, die die Hersteller im Betriebssystem der Mobiltelefone vornehmen, um eine bessere Leistung bei dieser Art von Test zu erzielen.
Während in der brasilianischen NextPit-Community 45 % der Befragten angaben, dass sie ein gewisses Interesse an der Verwendung von Benchmark-Apps als Referenz für Handytests haben, stimmte die Mehrheit auf den weiteren Domains dafür, dass Benchmarks nicht wirklich relevant seien: Deutschland (43%), Frankreich (50%) und International (COM) (49%).
Ich würde mir wünschen, dass die Unternehmen die Benchmarks nicht mehr betrügen, um sie aussagekräftig zu machen.
storm, internationale Community (COM)
Abgesehen von den Kontroversen über die Betrügereien der Unternehmen bei Benchmarks haben einige Leute berichtet, dass die Leistungstests keinen Sinn ergeben, weil sie die in den Rezensionen nur numerisch präsentierten Ergebnisse nicht ganz verstehen. Dadurch beeinflussen die Ergebnisse ihre Meinung über bestimmte Handys nicht.
Oft sind [Benchmark-Ergebnisse] eine Reihe von Zahlen, die ich nicht immer verstehe, und ich versuche auch gar nicht, sie zu verstehen, und ich glaube, das ist bei vielen Verbrauchern der Fall.
Pierre Aubry, französische Community
AnTuTu nach wie vor beliebtestes Benchmark
| NextPit Community | Platzierung |
|---|---|
| Brasilien |
|
| Deutschland |
|
| Frankreich |
|
| International |
|
Auf der Seite der Benchmark-Software, die als die beste – oder vielleicht die beliebteste – angesehen wird, gab es nur wenige Variationen von Community zu Community. Aber ganz allgemein überzeugt das Benchmarking-Tool AnTuTu die meisten Menschen.
Ich benutze Antutu, um unabhängig herauszufinden, welche Smartphone ich kaufen sollte. [...] Zuverlässig oder nicht, die Analyse App-Ranking ist immer noch nützlich, vor allem für diejenigen, die die Ergebnisse einschätzen können.
Douglas, Brasilianische Community
Wie schon in der ersten Umfrage geben jedoch die meisten Befragten an, dass sie Benchmarking-Software nicht für relevant halten. Unabhängig davon, welcher Domain sie angehören! Deutschland (60 %), Frankreich (53 %) und International (46 %). Diese Option steht in unserer Community in Brasilien an zweiter Stelle (37 %).
Fazit
Wie gesagt, nichts ersetzt den persönlichen Bericht derjenigen, die ein Mobiltelefon testen! Wie jedoch aus einer Reihe von Kommentaren in unserer deutschen Community hervorgeht, haben Benchmarks trotz der Kontroversen oder der Verwendung dieser Art von Instrumenten für Marketingkampagnen immer noch einen relevanten Zweck, wenn es um Hardwarevergleiche geht.
Apple A15 Bionic, Google Tensor, Samsung Exynos, Qualcomm Snapdragon, MediaTek Dimensity & Co bieten unterschiedliche Leistungen und die Neugierde, welcher der leistungsstärkste Prozessor (SoC) ist, gehört zur Faszination Smartphone dazu. Der Leistungsunterschied bei alltäglichen Aktionen ist jedoch sehr gering, was die Gesamterfahrung mit der unterschiedlichen Hardware nicht wirklich beeinträchtigt. Dies hat das Interesse an Benchmark-Ergebnissen deutlich verringert.
Benchmarks sind mir egal, denn sie sagen nicht viel über die tatsächliche Leistung in der Praxis aus.
KuestenGlueck13, Deutsche Community
Ich persönlich achte viel mehr auf die Beschreibung der "Experience" mit einem Produkt, als auf die in einem Test angebotenen Benchmark-Ergebnisse. Und zwar deshalb, weil es für mich viel einfacher ist, die Nutzungszeit eines Geräts nach einigen Tagen oder Stunden zu bewerten, als einen in einer Tabelle angegebenen Wert zu beurteilen.
Ursprünglicher Artikel
Die Umfrage wurde ursprünglich von Rubens Eishima verfasst.
Die Kontroversen im Zusammenhang mit Benchmarks reichen von Komponentenherstellern, die bei Tests schummeln, bis hin zu Modellen, die Energiesparmodi und Hitzeschutz in Benchmarks ausschalten. Das trägt natürlich dazu bei, zu verstehen, warum manche Telefone während der Tests einfach überhitzen und abstürzen.
Solche Praktiken sind nicht neu, und einer der symbolträchtigsten Fälle – die berüchtigte "quack3.exe" – wurde vor kurzem 20 Jahre alt. Dennoch sind Benchmarking-Tools ein beliebtes Instrument in Tests und Vergleichen von Prozessoren, Grafikkarten und natürlich Handys und Tablets.
Damit sind wir bei der ersten Frage angelangt:
Ein Grund für die Verbreitung von Benchmarks ist sicher die einfache Installation und Durchführung. Denn die Tools geben mit wenigen Klicks ein Ergebnis aus, das man mit den Ergebnissen anderer Smartphones vergleichen kann. Viele Benchmarking-Tools veröffentlichen die Ergebnisse sogar und bieten eigene Bestlisten für Handys an.
Welche Benchmarks wirklich wichtig sind
Habt Ihr in der obigen Umfrage ein Interesse an Benchmarks gezeigt, habe ich noch eine Frage für Euch: Welche Apps sind wirklich wichtig und aussagekräftig? Bei so vielen Optionen auf dem Markt: Legt Ihr bei der Wahl eines neuen Handys Wert auf ein bestimmtes Tool?
Natürlich sind Benchmarks nur ein kleiner Teil der Testberichte hier bei NextPit. Aber wir fragen uns, ob wir die Zeit, die wir für das Testen und Analysieren der Ergebnisse aufwenden, reduzieren (oder erhöhen) sollten. Vor allem, wenn man bedenkt, dass viele Handys und Tablets eine große Anzahl von Nutzer:innen haben. Das gilt insbesondere, wenn man bedenkt, dass viele Geräte im Grunde dieselben Komponenten verwenden, wobei die Abweichungen bei Leistungstests nur minimal sind.
Teilt mir in den Kommentaren gerne eure ausführliche Meinung zu Benchmarks mit! Gerne möchten wir ein bisschen genauer erfahren, wie Ihr zu den vergleichbaren Leistungsergebnissen steht und ob wir in Zukunft weiter Benchmarken sollen.
Kleine Anmerkung noch:
Wenn die Software ineffizient und verschwenderisch mit Rechenleistung ist, dann hat man möglicherweise am Ende auf besserer Hardware eine schlechtere Aufführung (Performance).
Und darüber erfährt man in den üblichen Benchmarks gar nichts.
Benchmarks bewerten also überhaupt nicht, was Du am Ende bekommst, sondern nur Teilaspekte des Geräts.
"Ich benutze Antutu, um unabhängig herauszufinden, welche Smartphone ich kaufen sollte."
Macht bei AnTuTU aber halt keinen Sinn, da kaum ein Benchmark abhängiger von der Plattform und Version ist, als AnTuTu... Die ändern ständig mit einzelnen Versionen die Zählweise und schon sind die Werte nicht mehr wirklich vergleichbar.
Das ist das selbe wie man Autos vergleicht, und sagt meins hat mehr PS als Deins. Ist einfach nur ein Schwanz vergleicht.
Was sagen diese Benchmarks denn nun über die Kamera aus?
oder über die Qualität der konkreten Nutzung wie Lautsprecher, Verbindungen, Akkulaufzeit, Abbildungsqualität des Monitors bezüglich Bildern und so weiter?
Ich persönlich interessiere mich mehr für Deutsche Marks als für Benchmarks.
Ja, kann damit toll angeben^^
Die eigentlichen Benchmarks, also Listen mit etlichen Telefonen und Tests, deren Namen nichtssagend für mich sind und wo dann mein Telefon irgendwo mittendrin steht, oder auch nicht, interessieren mich so gut wie gar nicht. Das ist was für Leute, die sich in diese Materie eingearbeitet haben und dann auch höherpreisige Geräte kaufen. Was nützt es mir, dass ein Gerät beim Spielen blitzschnell ist, die Benchmarks X und Y als bestes bewältigt, dafür aber heiss wird und den Akku stresst. Mich interessiert eher ein beiläufiger Kommentar in den Tests, ob das Gerät flott und ruckelfrei seine Arbeit macht. Das reicht für meine Ansprüche.
Da andere jedoch sicher Wert auf Benchmarks legen und ihre Geräte anhand solcher Tests auswählen, solltet ihr die schon beibehalten. Höchstens vielleicht etwas weniger aufwändig, jenachdem wie diese Umfrage am Ende ausgeht.
Mir sind Benchmarks ziemlich wurscht weil sie nicht wirklich viel über die tatsächliche Performance in der Praxis aussagen.
Naja die die android haben würden niemals zugeben das ihnen dieser Bereich wichtig sei da sie dann zugeben müssten iOS wäre das besser System
Ich habe diverse Apple Hardware im Einsatz und trotzdem interessieren mich Benchmarks herzlich wenig, und nun?
Das wäre ein Vergleich zwischen Äpfel und Birnen.
Da ist er wieder, der Apple-Jünger. 😉
Na ja - wenn man irgendeine isolierte Eigenschaft - sagen wir mal Schnelligkeit des Autofokus - heraushebt, dann will man damit Schwächen an anderer Stelle - sagen wir mal Treffsicherheit des Autofokus - verdecken.
"Naja die die android haben würden niemals zugeben das ihnen dieser Bereich wichtig sei da sie dann zugeben müssten iOS wäre das besser System"
Da wünscht man sich doch: Herr, wirf Hirn herab!
Bei so einem dämlich-dümmlichen Kommentar könnte man eher darauf schließen, dass iPhone-User nicht weit denken können.
Wenn Du ja wenigstens "das schnellere System" geschrieben hättest...
Ich habe schon mehrfach betont, dass (besonders die neuen) iPhones extrem schnell sind. Schneller als viele andere... Das aber liegt vor allem am Prozessor. Und mehrfach habe ich gesagt, dass es (für mich) nie genug Leistung geben kann.
Dennoch ist - für mich - iOS nicht das bessere System. Und das hat - wer hätte das gedacht - absolut nichts mit der herausragenden Leistung des iPhones zu tun. Es müssen dann doch andere Qualitäten als nur Benchmark-Ergebnisse sein. Das jedoch überfordert offensichtlich so manchen Zeitgenossen.
Brauche keine Benchmarks. Ich kaufe jedes Jahr das neuste iPhone und damit immer das schnellste Handy auf dem Markt…
Natürlich nicht
Solche Benchmarks machen die Performance von Smartphones doch erst vergleichbar. Ob dies am Ende des Tages für jede Anwendungssituation extrapolierbar ist, wage ich zu bezweifeln. Aber so ist es doch auch beim NEFZ resp. WLTP: beliebig viele Fahrzustände lassen sich nicht für einen Vergleich abbilden.
Nebenbei wurde von wahrscheinlich allen Testern des Samsung Galaxy S20 Ultra wie bei den Benchmarks bescheinigt, dass die Exynos-Variante weniger performant ist als die Snapdragon-Variante. Das ist ein gutes Beispiel dafür, dass man doch vergleichen kann. Ob es die Kaufentscheidung beeinflusst, war m. E. nicht primäres Thema des Artikels.
Und trotzdem war das S20U in Sachen Performance so gut dabei das ich im täglichen Gebrauch nichts davon gemerkt habe das die Exynos-Variante schlechter war.
Die Meisten merken davon in der Praxis gar nichts ob es Leistungsunterschiede bei den Top Smartphones gibt, weil alle mehr Leistung haben als man abrufen kann.
Wenn ein Smartphone, das eine im Vergleich schlechtere Rechenleistung bringt, den Akku schneller leerzieht und schlechtere Bilder macht zum gleichen Preis (bzw. sogar höherer Preis) wie die "Premium" Variante verkauft wird, lässt sich dies durch Benchmarks belegen.
Der Verbraucher kann es ja nicht feststellen, da er entweder-oder bekommt (Snapdragon oder Exynos).
Du kannst an Hand von Benchmarks unterschiede bei den Fotos erkennen?
Hut ab, da wird selbst Superman blass. 🤣
Der Rest deines Kommentares ändert aber nichts an der Richtigkeit meiner vorigen Aussage.
Und das mein Exynos S20U schlechtere Fotos macht als die Qualcomm Variante wollte mir damals auch schon jemand weiß machen. Bei einem direkten Fotovergleich konnte er dazu aber keine Foots liefern die diese Behauptung gestützt haben. Die guten Fotos macht immer noch der Fotosgraf und nicht die Daten auf dem Papier. 😉
Der Begriff Benchmark umfasst nicht nur Dinge wie Rechenleistung, sondern je nach Test bzw. Vergleich auch mehr wie bspw. Kamera.
Und wer behauptet, dass allein der Fotograf die Qualität des Bilds bestimmt, kann ja auch gerne ein Siemens S55 mit Aufsteckkamera nehmen und die aufgenommenen Bilder mit einem tagesaktuellen Smartphone vergleichen.
Auch wenn du was anderes behauptest, an Hand von Benchmarks kannst du die Qualität von Fotos NICHT wirklich beurteilen.
Damit kannst du lediglich die Kameras vergleichen, wie dann die tatsächlichen Fotos aussehen lässt sich daran nicht erkennen.
Übrigens habe ich gesagt das der Fotograf für die guten Fotos verantwortlich ist und nicht alleine die Kamera. Das solltest du nicht mit der Qualität der Hardware verwechseln. Ein guter Fotograf mit mit deutlich schlechterer Kamera bessere Fotos als ein Anfänger mit einer Top Kamera. Das helfen dir deine Benchmarks leider gar nicht um die Qualität der Fotos zu beurteilen.