Machine Learning und KI: So werden Smartphones immer schlauer

Als Huawei zur IFA 2017 mit dem Kirin 970 von Tochterfirma Hisilicon den ersten Smartphone-Prozessor mit einer KI-Einheit vorstellte, hatten die Chinesen die Aufmerksamkeit der Öffentlichkeit erobert. Die Neural Processing Unit (NPU) ist auf dem SoC eigens für die Funktionen zuständig, die mit KI schneller und besser zu erledigen sind als mit einem traditionellen Prozessor. Dazu gehören derzeit vor allem Aspekte, die mit Fotografie, Bilderkennung und -verarbeitung zu tun haben.

Seit der IFA 2018 gibt es bereits den Nachfolger Kirin 980, und der hat nicht nur eine, sondern gleich zwei NPU-Einheiten zu bieten. Damit dreht Huawei vor allem die Performance nach oben, denn wirklich neue Funktionen bekommt der Chip durch die zweite KI-Einheit nicht. Dafür steigt die Geschwindigkeit massiv, während der Energieverbrauch unter dem Strich sinkt - clever.

Der Begriff KI geht zu weit

Künstliche Intelligenz ist zunächst einmal der falsche Begriff: Kernpunkt aller heutigen sogenannten KI-Anwendungen im Endkundenbereich ist tatsächlich Machine Learning. Ein sogenanntes Convolutional Neural Network (CNN) lernt anhand einer großen Menge Rohdaten, Muster zu erkennen – und zwar ganz selbstständig. Dieses Training findet üblicherweise auf großen Serverfarmen statt, denn es erfordert eine immense Menge an Daten. Eine Machine-Learning-Anwendung kann nun die im ersten Schritt trainierten bzw. gelernten Muster auf weitere Daten anwenden – dieser Schritt wird auch mit dem Fachbegriff Inferenz beschrieben. Für Smartphones ist zunächst einmal vor allem der letztere Schritt relevant. Ein trainiertes neurales Netz kann auf einem Bild zum Beispiel Objekte oder Gesichter erkennen.

Generell sind die dabei anfallenden Berechnungen natürlich auch mit der klassischen CPU möglich. Die einzelnen Rechenoperationen sind zwar eher simpel, aber so zahlreich, dass sie auch einen Octa-Core-Prozessor enorm fordern. Mehr Kerne sind also der Schlüssel zum Erfolg, und die müssen gar nicht so viel können. Ein Chip mit sehr vielen (kleinen) Rechenwerken kann Machine-Learning-Anwendungen daher effizienter ausführen als ein Standard-Prozessor.

Die Grafik-Chips sind wie gemacht für Machine Learning

Wo findet man diese vielen Kerne? Richtig, im Grafikchip, also der GPU. Die ist natürlich selbst im Smartphone-Alltag auch durch Standardaufgaben belastet. Deshalb sind NPU-Einheiten ähnlich aufgebaut wie eine zusätzliche GPU: Enorm viele Rechenkerne bearbeiten die zahlreichen Operationen parallel, was zu großen Leistungsvorteilen bei Machine-Learning-Anwendungen führt.

Und warum braucht man das überhaupt auf einem Smartphone? Diese Berechnungen könnte man doch auch auf den großen, leistungsfähigen Servern im Rechenzentrum ausführen und die Daten dann über die Cloud austauschen. Klar, könnte man. Doch die Cloud hat bekannte Nachteile, die auch für Machine Learning gelten: Sie ist nur bei einer stabilen Internetverbindung zuverlässig nutzbar und die Datenübertragung würde schnell zu untragbaren Verzögerungen führen. Beispielsweise müsste die Kamera-App ständig Vorschaubilder auf Server laden, um den Bildinhalt zu erkennen. Und das zeigt einen weiteren massiven Nachteil: User sind möglicherweise skeptisch in puncto Datenschutz. On-Device-Machine-Learning ist für viele Anwendungen daher ohne Alternative.

Was machen aktuelle Smartphones mit dem Chip?

Aktuell gibt es mehrere Smartphones, die bereits über eine NPU verfügen, und sie werden mehr. Neben den Huawei- und Honor-Flaggschiffen sind es vor allem die aktuellen iPhones, die einen Prozessor mit dedizierter NPU besitzen, den Apple A12 Bionic und dessen Vorgänger, den Apple A11. In vielen aktuellen Qualcomm-Chipsätzen, welche die meisten Smartphones antreiben, kommt das sogenannte heterogene Computing zum Einsatz.

Damit ist es möglich, dass eine Aufgabe auf den jeweils besten Chip im Smartphone ausgeführt wird. Davon gibt es eine Menge: Die klassische CPU, die GPU und den Signalprozessor. All diese Rechenwerke haben unterschiedliche Stärken. Die CPU punktet vor allem bei komplizierten Berechnungen, die nicht nebeneinander ausgeführt werden können, die GPU hingegen kann Berechnungen beschleunigen, die gleichzeitig stattfinden dürfen. Und der Signalprozessor ist auf Echtzeitberechnungen optimiert. Machine-Learning-Anwendungen können so stets vom besten Rechenwerk bearbeitet werden.

Kurz nach den ersten KI-Prozessoren von Huawei-Tochter Hisiicon präsentierte Apple im Vorjahr den Chip A11 – natürlich mit NPU. 2018 folgte der A12 Bionic mit ähnlichen Verbesserungen wie beim Sprung von Kirin 970 zu 980 - mehr Transistoren, mehr Leistung, weniger Stromhunger. Die NPU kommt zum Beispiel bei FaceID, der Entsperrung mit dem Gesicht, zum Einsatz. Zudem nutzt Apple die KI-Power für Augmented-Reality-Anwendungen, Smart HDR, Spiele und mehr. Mit acht Kernen schafft die KI-Einheit im A12 Bionic unglaubliche 5 Billionen Berechnungen pro Sekunde. Im obigen Bild zeigt sich, dass die NPU im Kirin 970 recht klein ausfällt (unten mittig), während Apple einen recht großen Teil des Chips für die NPU reserviert (oben rechts).

Im Google Pixel 3 (XL) wiederum steckt wie schon im Pixel 2 (XL) der Pixel Visual Core. Der Visual Core ist eine klassische NPU, allerdings mit einer wechselhaften Geschichte. Zunächst lag der Chip brach, erst Android 8.1 aktivierte ihn. Aber nur, damit Drittanbieter-Apps HDR+ verwenden können. Die Standard-Kamera-App verwendet den Visual Core erst mit der neuesten Version, beim Pixel 2 (XL) ging das zunächst nicht.

Ab Android 8.1 existiert die Schnittstelle Neural Networks API (NN-API), mit der App-Entwickler auf NPUs zugreifen können, ohne die technischen Spezifika der jeweiligen Implementierung zu kennen. Als Fallback kommt gar die CPU zum Einsatz, falls im Smartphone keine NPU verbaut ist. Bis dahin ist der Zugriff nur über herstellerspezifische Routinen möglich. Im Pixel existiert tatsächlich nur der Weg über die NN-API. Google hat eine abstrakte Bibliothek vorgestellt, die das NN-API komplett unterstützt: Tensorflow Lite. Diese Bibliothek erlaubt es, trainierte neurale Netze auf Smartphones einzusetzen. Sie könnte schon bald Standard in vielen Android-Apps werden.

Huawei setzt Machine Learning für vier Features ein

In den aktuellen Top-Smartphones Smartphones wie dem Huawei Mate 20 Pro macht sich der chinesische Hersteller vor allem an vier Stellen die NPU zunutze. Der erste und für die Anwender sichtbarste Punkt ist die Motiverkennung beim Fotografieren, die die Kameraparameter dem Motiv vor der Linse anpasst. Ein kleines Symbol in der App zeigt an, was die Kamera-App dank Machine Learning vor der Kamera erkannt hat.

Zweitens nutzt Huawei die NPU im Kirin 980 (und auch immer noch im 970, etwa im P20 Pro), um das Nutzungsverhalten des Anwenders besser verstehen und vorhersagen zu können. So lassen sich die Ressourcen besser einteilen und die Energieeffizienz verbessern – zumindest auf dem Papier. Solche Versprechen sind vom Hersteller zwar schnell gegeben, lassen sich jedoch kaum stichhaltig überprüfen, denn dazu bräuchte es zwei Testgeräte, eines davon ohne oder mit deaktivierter NPU.

Der dritte Einsatzzweck ist einer Kooperation mit Microsoft entsprungen. Die Übersetzungs-App von Microsoft, die auf den Smartphones vorinstalliert ist, nutzt die NPU für schnellere Übersetzungen, die prinzipiell auch offline funktionieren.

Es hat sich außerdem gezeigt, dass CNNs besonders gut zur Rauschreduzierung von Audiosignalen geeignet sind. So kann ein trainiertes neurales Netzwerk zum Beispiel in lauten Umgebungen als Rauschfilter dienen und damit die Erkennung von Sprachbefehlen erhöhen. Hisilicon sagt, die Erkennungssicherheit könne in schwierigen Umgebungen von 80 auf 92 Prozent gesteigert werden. Die nötigen Berechnungen sind nur von einer NPU sinnvoll zu stemmen – Einsatzzweck Nummer Vier.

Die AI-Chips im Leistungsvergleich

Einige erhältliche Smartphones haben also bereits eine Neural Processing Unit an Bord, potenziell viele weitere durch Qualcomms Ansatz des heterogenen Computings. Da fragt man sich schnell: Welche NPU ist nun schneller? Das geht gewissermaßen mit der Frage einher, welche NPU den geringeren Stromverbrauch aufweist – bei gleicher Aufgabe natürlich. Hier müssen wir uns noch auf die Daten der ersten KI-Generation aus dem Jahr 2017 stützen, denn Kirin 980 und Apple A12 Bionic wurden in den Laboren noch nicht verglichen. Deren Erkenntnisse zeigen aber einen Vorteil in der Architektur mit separater NPU, der auch bei den aktuellen Chips gültig ist.

Aufgrund der Eigenarten von NPUs sind die Fragen nach der Leistungsfähigkeit gar nicht so einfach zu beantworten. Immerhin gibt es erste Hinweise, die anhand der chinesischen Benchmark-Suite Master Lu entstanden sind. Anandtech hat ein Mate 10 Pro, ein Google Pixel 2 XL sowie ein LG V30 getestet.

Im Mate 10 Pro kam die NPU ganz regulär zum Einsatz und das LG V30 konnte das heterogene Computing auf einem Snapdragon 835 vollführen. Das Pixel 2 XL hingegen unterstützt die Qualcomm-Technologie nicht, der Benchmark wiederum nicht die NN-API. Das Pixel 2 liefert daher Werte für rein CPU-gestützte Machine-Learning-Anwendungen.

Und die fällt nicht gut aus. Master Lu gibt Werte in Frames pro Sekunde aus. Während das Pixel 2 mit der CPU im ersten Test 0,7 Bilder pro Sekunde verarbeitet, kommt das LG V30 mit Qualcomms heterogenen Computing auf immerhin 5,3 fps. Das Mate 10 Pro mit NPU schafft 15,1 fps. Die NPU und Qualcomms Ansatz kommen beim Stromverbrauch auf ähnliche Werte: Das Mate 10 Pro benötigt pro Inferenz 106 Milli-Joule (mJ), das V30 etwas mehr mit 130 mJ. Das Pixel ohne Machine-Learning-Beschleunigung verbaucht 5.847 mJ – alle drei Werte laut den Messungen von Anandtech. Wer sich für die weiteren technischen Details interessiert, schaut einmal bei Anandtech vorbei.

Weitere Tests von Anandtech zeigen ebenso das beeindruckende Resultat: Die Anwendung von neuralen Netzen auf Bilder erfolgt mit den spezialisierten Chips einerseits viel schneller, andererseits auch noch erheblich stromsparender.

Für unseren Zusammenhang zeigt sich, dass die spezialisierten Rechenwerke für Machine Learning einen riesigen Unterschied machen, sobald sie zum Einsatz kommen. Bilderkennung, Rauschreduzierung, verbesserte Stimmenerkennung: All das sind Anwendungen, die potenziell von einer NPU profitieren. Obwohl Qualcomms Ansatz der NPU des Kirin 970 unterlegen ist, dürfte sich das mit dem Snapdragon 845 verändern: Dessen Signalprozessor soll rund dreimal schneller agieren und damit zur NPU von Huawei aufschließen.

NPU im Smartphone - brauche ich das?

Machen wir uns nichts vor: Auf dem Stand, auf dem die Anwendungen von Machine Learning derzeit sind, kann man noch sehr gut ohne sie leben. Die Funktionen, bei denen sich die Leistungsfähigkeit einer NPU oder spezielle Anpassungen wie bei den neuen Snapdragon-Prozessoren tatsächlich bemerkbar machen, sind zwar wichtig, aber noch recht überschaubar.

Das kann sich aber schneller ändern, als man denkt, denn alle diese Funktionen sind nichts als Software. Die lässt sich problemlos als Update auf eben die Smartphones verteilen, die in Sachen Hardware bereits entsprechend ausgestattet sind. App-Entwickler können bald mittels NN-API und Tensorflow Lite auf NPU-artige Rechenwerke zugreifen. Wer also schon heute ein Smartphone mit NPU - egal ob eine oder mehrere - besitzt, dürfte zu den ersten gehören, die diese neuen Funktionen einsetzen können – der Traum eines Early Adopters also.

Wie steht Ihr zu Machine Learning auf dem Smartphone? Achtet Ihr schon auf eine NPU? Oder sind Machine-Learning-Features für Euch nicht wichtig? Lasst uns in den Kommentaren diskutieren.

---

Dieser Artikel wurde am 31.10.2018 umfassend aktualisiert.

Quelle: Anandtech, TechInsights, TechInsights