IQ von Alexa, Siri und dem Google Assistant: Zwei sind dumm, einer schlau
Wenn es um die Informationsbeschaffung oder die Verwaltung des Smart Home geht, können Apple, Google und Amazon mit ihren ausgeklügelten Sprachassistenten auf Basis Künstlicher Intelligenz hervorragende Hilfe leisten. Aber wenn es darum geht, Leben zu retten? Eine Studie bestätigt, dass die Drei noch viel zu tun haben, auch wenn Google den anderen beiden einen Schritt voraus ist.
Wenn Sprachassistenten in der Zukunft Menschen betreuen oder in der Medizin helfen sollen, dann müssen sie genau verstehen, was der Benutzer ihnen mitteilt. Leider zeigt eine neue Studie, die von Klick Health durchgeführt und in Nature Digital Medicine veröffentlicht wurde, dass sowohl Siri als auch Alexa ständig darum kämpfen, die Namen der in den USA allgemein erhältlichen Medikamente zu erkennen.
Klick Health ist die größte Marketingagentur für Medizin, die in den letzten sieben Jahren sechsmal zur Agentur des Jahres gewählt wurde und renommierte Auszeichnungen wie die Lions Health Awards gewonnen hat. Apples Siri erkannte 58,5 Prozent der Arzneimittelnamen sowie 51,2 Prozent von Generika-Namen. Obwohl dies bedeutet, dass Siri in der Lage ist, eine von zwei Namen zu verstehen, ist das Ergebnis für eine Software, die es seit acht Jahren gibt, nicht gerade beeindruckend.
Gleiches gilt für Alexa: Amazons Assistentin hat eine noch niedrigere Genauigkeit von 54,6 Prozent beziehungsweise 45,5 Prozent. Der Google Assistant übertrifft die Konkurrenz deutlich. In 84,3 Prozent der Fälle erkennt er Arzneimittelnamen korrekt, Markennamen sogar in 91,8 Prozent der Fälle. Auch das ist keine Perfektion, aber Google schneidet deutlich besser ab als die anderen Assistenten.
Das ist sicherlich keine Überraschung: Googles "IQ" hat sich schon mehrfach gegen Alexa und Siri durchgesetzt. Besser ist es aber, den Assistenten einfach zu bitten, den Arzt anzurufen.
Welchen Sprachassistenten verwendet Ihr normalerweise? Haltet Ihr ihn für klug?
Quelle: Phone Arena
Mit Sprachassistenten habe ich null Erfahrung. Ich konnte mich noch nicht dazu entschliessen mein Leben einem Lautsprecher anzuvertrauen.
Dein Leben dem Ding anvertrauen? was würdest Du denn gern damit machen (wenn Du ihm vertrauen würdest)? :-O
Ich dachte immer die Dinger seien dazu zu gebrauchen, einen zu unterhalten (Musik, Nachrichten, Hörbücher, ...), vielleicht um mal zu versuchen eine nicht allzu komplexe Information grob abzufragen ("wie hoch ist der Kölner Dom"?) oder das Smarthome zu steuern, dazu kleine nützliche Tasks wie Wecker, Erinnerungen, Einkaufslisteneinträge anzulegen/zu nutzen.
Keine dieser Aufgaben würde ich als "mein Leben dem Gerät anvertrauen" verstehen. Meinst Du irgendwas in Bezug auf Medikamente (Erinnerung an Einnahme, ...)?
Wer kann mir garantieren, dass ein solches Ding nur genau das tut, wofür es mir angeboten wird?
....und was tut ein solches Ding, von dem ich als Anwender nichts mitbekomme?
Die ganzen Geschichten um Alexa stimmen mich sehr nachdenklich. Obwohl ich eigentlich nichts zu verbergen habe, will ich doch noch so weit wie möglich selbst darüber entscheiden können, wer und wie er über meine Daten verfügen kann und wer nicht. Das Alexa tatsächlich Gespräche aufzeichnet ohne das Wissen der Betroffenen, ist bekannt und belegt.
Das ist für mich einen Teil meines Lebens einem Lautsprecher anzuvertrauen. Gerade weil nicht alles bekannt ist, was diese Dinger tun und was der Otto-Normalverbraucher nicht weiss, lässt mich Abstand von solchen Geräten halten.
Gar keinen.
Siri erinnert mich immer pünktlich Tabletten zu nehmen. Da ist Alexa nicht so zuverlässig. Google Assistent... Naja. Auf Fragen ist Siri nicht so humorvoll wie die anderen.
Ihr habt auserdem Cortana vergessen.
- Ok Google, neuer Termin am Samstag um 14 Uhr, Zahnarzt.
- In Ordnung, wann ist der Termin.
- Am Samstag um 14 Uhr.
- In Ordnung, „Am Samstag um 14 Uhr Zahnarzt“ am Samstag um 14 Uhr. Ist das korrekt?
- Nein.
- Was möchtest du ändern?
- Den Betreff?
- In Ordnung. „Der Betreff“, am Samstag um 14 Uhr. Ist das korrekt?
- Nein.
- Was möchtest du ändern?
- Zahnarzt
- Ich habe dich nicht verstanden. Was möchtest du ändern?
- Den Titel.
- In Ordnung. „Den Titel“, am Samstag um 14 Uhr. Ist das korrekt?
So klug ist Google.
Kann man sehen wie man will aber der Assistant hat es genau richtig gemacht 😂 Also so wie du ihn mit Daten gefüttert hast.
Er frägt zuerst den Titel ab und dann den Termin.
Also muss das dein Kommando sein.
Ok Google erstelle einen Termin, Zahnarzt am Samstag um 14 Uhr.
Ansonsten kommt alles in den Titel und er frägt danach nach der Uhrzeit.
Wird aber mit Sicherheit irgendwann möglich sein das er "Name" und "wann" besser erkannt werden wenn die Infos verdreht sind.
Oder für jemand der undeutlich spricht alles einzeln abfragen lassen
Erstelle einen Termin
-Name
-Wann
Dann geht zu 99% nichts schief wenn man nicht nuschelt 😂😂
Das stimmt so nicht ganz: Ich kann auch anders herum diktieren, also "erstelle einen Termin am Samstag um 14 Uhr, Zahnarzt". Und das funktioniert auch. Aber eben nicht immer. Und irgendwie kann ich eine KI dann nicht mehr ernst nehmen, die einen Text korrekt erkennt ("Samstag um 14 Uhr"), das aber nicht als Zeitangabe wahrnimmt.
Und auch die Pseudomöglichkeit etwas zu korrigieren ist mehr Glück als alles andere.
Jupp funktioniert auch, erstelle fast jeden Tag per Sprache neue Einträge in meinem Kalender und das klappt eigentlich immer.
Das klappt auch dann wenn ich noch eine Notiz dazu diktierte. Wenn der Titel des Termins mehr mals am Tag existiert nur mit anderen Orten oder Klienten.
So wie ich es oben geschrieben habe funktioniert es aber immer egal was man spricht erst Termin dann Uhrzeit und man hat niemals Frust. 😁 ist halt meine Erfahrungen.
Natürlich hatte ich dein beschriebenes Phänomen auch schon das will ich nicht leugnen. ☺
Tja, Erkennung eines Medikaments, das auf Deutsch ausgesprochen wird...ein Witz. Und wie spricht man eigentlich richtig "Cetirizin" aus? Zorro würde seinen eigenen auf Deutsch ausgesprochennen Namen nicht erkennen.
Lustig das nur, Phobische schwachköpfe die Angst vor neuem hier ihre Bewertung abgeben... Und nur an sich selbst denken, solche Geräte und Sprachassistenten können vielen Menschen helfen die eingeschränkt sind, Blinde, Alte, Körperlich eingeschränkte...
Natürlich jedem das seine, aber im Internet alles madig zu reden obwohl man selber keine Ahnung hat ist aktuell wohl Trend!
Deswegen den IQ von anderen als schlecht hinzustellen da sie nur an sich denken, ist aber auch keine feine Sache.
Aber in einem Punkt stimme ich dir zu, für Menschen die eine Behinderung haben ist so ein System bestimmt sehr viel wert und gerade deswegen sollte so etwas nach der Zeit wie es auf dem Markt ist, auch hundert pro funktionieren.
Ich persönlich würde es mir nicht kaufen, da ich für mich keinen Bedarf sehe.
Ich glaube solchen Menschen helfen die auf der Google I/O und WWDC vorgestellten Spracheingaben mehr, als (eher dümmliche) Sprachassistenten ^^
Zudem geht es hier eigentlich um was ganz anderes. Hier ging es darum, wie gut die Assistenten Medikamente etc. erkennen und nicht, ob diese körperlich eingeschränkten Menschen helfen können... zumindest habe ich das so aufgefasst.
Letzteres stimmt jedoch tendenziell, ja.
Welch ein Segen, dass Erleuchtete wie du das gerade rücken...
IQ bei Maschinen, super Witz. Vor allem wenn man nur das Erkennen von Sprache bewertet ist es ziemlich einseitig wenn man dann in der Überschrift von IQ spricht.
Nutzen tue ich die Dinger aber nicht, lehne sie kategegorisch ab, daher kann und wll ich auch nicht mitreden wenn es um Details geht. Ich habe Cortana deaktiviert und die olle Braut Alexa existiert zwar theoretisch in meinem Fire-Stick, wird aber nicht genutzt ... ich weiß aber nicht ob die nicht heimlich mithört.
-
Admin
22.06.2019 Link zum KommentarSiri habe ich überall deaktiviert
Lasst mich Arzt, ich bin durch...
Ich bleibe bei meiner bisherigen Meinung. Die Assistenten sind dumm und zu neugierig. Wie ich schon in den anderen Beiträgen zu diesem Thema schrieb, muss man die Assistenten erstmal mit viel Zeitaufwand selber trainieren, damit sie das tun was man möchte. Trainiert man sie nicht tun sie nur das was ihre Programmierer wollen.
... genauso wie der Mensch ^^
Wieder so 'ne Studie wo ein Medium vom anderen abschreibt und zumindest laut Quellenangabe keiner die Studie selbst gelesen hat.
Dann könnte man nämlich dem Leser für die Bewertung des ganzen noch so nützliche Informationen bereit stellen, wie bspw.
1. Den Assistenten sind lediglich Aufnahmen vorgespielt worden.
2. Es wurde nur eine Aufnahme pro Medikament benutzt.
3. Über ein viertel der Teilnehmer sprachen mit Akzent, der Rest Dialekt (Toronto).
4. Von den Generica Namen wurde von den Probanten gerade mal die Hälfte richtig ausgesprochen.
5. Fast die Hälfte der Probanden hatte gar keine oder so gut wie keine Erfahrung mit Sprachassistenten.
Wenn also die Assistenten unter solchen Bedingungen 50-80% richtig erkennen, obwohl der User nur 50% richtig ausspricht, dann frag ich mich doch, wer hier den niedrigeren IQ hat ...