Arbeitsamt setzt KI-Chatbot ein und das endet in einem Desaster
Künstliche Intelligenzen bzw. entsprechende Chatbots sind schon länger das Thema der Stunde und oftmals erleichtern uns ChatGPT und Co. tatsächlich das Leben. Auch das österreichische Arbeitsamt dachte, dass das eine gute Idee wäre - lag damit aber gründlich daneben.
Der "Berufsinfomat" soll Menschen entlasten
KI-Lösungen wie ChatGPT oder auch der Google-Konkurrent Bard erleichtern vielen schon jetzt das Leben bzw. beantworten Fragen der ernsten, aber auch unterhaltsamen Art. Auch beim österreichischen Arbeitsmarktservice (AMS) dachte man, dass ein KI-Chatbot die Mitarbeiter entlasten könnte. Also wurde der sogenannte "Berufsinfomat" entwickelt und gestartet.
Dieser sollte Arbeitssuchenden bei der Wahl und Suche von Berufen und Stellen helfen und wie derStandard berichtet, verrichtet der auf ChatGPT basierende Bot seine Kerndisziplin stellenweise auch solide. Dennoch gab es bereits kurz nach dem Start einen Shitstorm, Grund dafür waren technische Mängel und auch immer wieder geäußerte Vorurteile, vor allem in Bezug auf Geschlechterrollen.
Kritik und Spott
So bekommen junge Männer oftmals die Empfehlung zu IT-Jobs, Frauen sollen sich mit Genderstudies beschäftigen - oder gleich ins Gastgewerbe oder die Küche gehen. Das sind offenbar auch keine Einzelfälle und die dubiosen Antworten können auch relativ leicht reproduziert werden. Dafür erntete der AMS nicht nur Kritik, sondern auch Spott.
Vielleicht wäre ein Studium der Gender Studies wirklich nicht so uninteressant für den Berufsberatungschatbot des österreichischen Arbeitsmarktservice. https://t.co/3ouzuyTYGB pic.twitter.com/TXNj9kHkKf
— Tanja Domej (@TDomej) January 3, 2024
AMS-Chef Johannes Kopf bestätigte die Probleme, die er bei der Vorstellung des Bots eigentlich ausgeschlossen hat. Auf Twitter schrieb Kopf nun, dass man die Probleme kenne - er schob die Schuld dafür aber teils auf Nutzer, die versuchen, bewusst Vorurteile zu erzeugen - was aber nicht stimmt, wie Nutzerin Tanja Domej ihrerseits antwortet.
Kopf: (Anmerkung: Das Zitat wurde hinsichtlich Orthografie bearbeitet): "(Das) ist nicht trivial, das dem Berufsinfomat ganz abzugewöhnen, vor allem, wenn versucht wird, bewusst Bias zu erzeugen. Viel ist uns schon gelungen. Sind weiter dran." Zum Wie hat sich Kopf nicht geäußert, denn die Möglichkeiten, eine so komplexe Software wie ChatGPT per Prompts zu beeinflussen, sind eingeschränkt.
Kritik gibt es aber nicht nur an der Art der Antworten, auch die technische Umsetzung ist alles andere als vorbildlich, wie der österreichische Entwickler Mario Zechner auf Twitter/X analysiert. Sein Fazit: "Jesus Christus, mein Land ist schlecht im Umgang mit Computern."
Zusammenfassung
- Österreichisches Arbeitsamt setzte auf KI-Beratung
- "Berufsinfomat" sollte bei Jobwahl und -suche helfen
- Bot verstärkte Geschlechtervorurteile und erntete Kritik
- AMS-Chef Kopf räumte Probleme ein, gab Nutzern aber eine gewisse Mitschuld
- Technische Mängel des Bots sorgen für Spott und Kritik
- Entwickler Zechner bemängelt technische Umsetzung
Auch hier gilt wieder mal: "Wer den Schaden hat, braucht für den Spott nicht zu sorgen."
Die Idee des Arbeitsamtes, einen Chatbot zur Unterstützung einzusetzen halte ich grundsätzlich für gar nicht schlecht. Der kann die Mitarbeiter von Routinearbeiten entlasten, wie der Nennung offener Stellen in bestimmten Bereichen und Berufsfeldern, die Vereinbarung von Terminen mit menschlichen Beratern bis hin zur Berufsberatung für Schulabgänger und Umschuler. Auch Jobsuchende könnten davon profitieren. Der Bot könnte rund um die Uhr zur Verfügung stehen, man muss keine Termine vereinbaren oder wird gedrängt Eingliederungsverträge zu unterschreiben.
Die Ursachen der geschilderten Mängel vermute ich in mangelhaftem Feintuning des Bots. Grundsätzlich lässt sich mit Hilfe von Plugins auch auf aktuelle, nicht in den Trainingsdaten enthaltene Informationen wie aktuell offene Stellen zugreifen, oder der Bot auf bestimmte Bereiche einschränken. Solche Anwendungen sind im Einsatz und haben sich schon bewährt.
Dass Anwender Schwächen herausfinden nutzen und darüber spotten, kann man ihnen allerdings nicht vorwerfen, vielmehr sollte der Anbieter, also das Arbeitsamt, die möglichst schnell beheben und den Bot solange notfalls offline nehmen.
KI ist in aller Munde, es gibt einen großen Hype um ChatGPT. Keine Kritik, alle sind begeistert bis verblüfft, Schulen und UNIs haben das Problem, daß Schüler und Studenten hier schummeln können. Also hab' ich ChatGPT mit großer Erwartung ausprobiert.
Und nun, tja, jetzt frage ich mich, in welchem Maß etwa technik- und fortschrittsbegeisterte schlicht Gerüchte und/oder auch deren vorfreudige Erwartungen mit in die allgemeine Diskussion einbringen, ohne es wirklich je benutzt zu haben.
Das Teil kann soweit ganz gut formulieren. Und ich denke, das ist es, wofür die KI benutzt wird. Und nur dafür. Nicht etwa für den Inhalt: Ich habe es per Mobil-App praktisch ausprobiert. Nicht nur das alle Antworten fehlerhaft waren, das Teil antwortet und bestätigt höflich meine Hinweise zu den Fehlern. Dann in dessen korrigierter Antwort auf die selbe Frage wird einer der Fehler korrigiert. Die restlichen Fehlinformationen werden wiederholt. Was ist das denn?! Ziemlich dumm. Wie in aller Welt kann das Teil eine fachliche Arbeit verfassen? Wer ist es, der solchen Unfug überhaupt verbreitet? Die Datenquellen für die jeweiligen Themen müssten erst einmal vorhanden sein. Da kommt nicht mehr heraus als man längst über die Google-Suche finden kann. Und wenn es nichts passendes gibt, kann weder die Suchmaschine noch KI weiterhelfen. Noch schlimmer: Es wird so getan als ob und falsch informiert. Das merkt man aber oft nicht, wenn man etwas sucht oder erfragt eben weil man etwas selbst nicht weis.
Gute Software zeichnet aus, dass sie gerade nicht durch bewusste oder unbewusste Fehlbedienung versagt. Den schwarzen Peter jetzt den Nutzerinnen zuzuschieben ist ziemlich erbärmlich.