KI-Wunder oder Marketing-Gag: Was ist eigentlich eine NPU?

Wer sich für Innovationen im Bereich Computer und Smartphones interessiert, kam in den vergangenen Monaten nicht an sogenannte KI-Chips vorbei. Die Chipsysteme (SoC) in unseren Geräten enthalten neben einer CPU, der zentralen Recheneinheit und einer GPU, dem Grafikprozessor, immer öfter auch eine NPU (Neural Processing Unit).

Seit einigen Jahren stecken NPUs schon in unseren Smartphones. Qualcomm präsentierte 2015 erstmals einen Handy-Chip mit integrierter NPU, den Snapdragon 820. 2017 stellte dann Apple mit seinem A11 Bionic Chip seinen ersten KI-Chip vor und pries ihn als „Neural Engine“ an. 

In Computer steckten die Hersteller die neuen KI-Chips erst später. Den Anfang machten Apple-Geräte mit dem M1-Chip 2020. 

Es sollen aber bald mehr werden. So schätzt das Marktforschungsinstitut Gartner, dass kommendes Jahr bereits 43 Prozent aller verkauften PCs dank dieser Chips sogenannte KI-Computer sein sollen. 

➤ Mehr lesen: KI-PCs werden Markt beherrschen - weil es keine anderen mehr geben wird

Was sind Neural Processing Units?

Hersteller setzen gerne auf Vergleiche mit unserer Informationsverarbeitung im Gehirn, wenn sie erklären, was NPUs sind. So heißt es etwa bei IBM auf der Website: „Basierend auf den neuronalen Netzwerken des Gehirns arbeiten NPUs, indem sie das Verhalten menschlicher Neuronen und Synapsen auf der Schaltungsebene simulieren.“

Robert Legenstein, Institutsleiter für Machine Learning und Neural Computation an der TU Graz, hält das aber eher für einen Marketing-Gag. „Nach einem sehr weiten Verständnis stimmt das vielleicht. Künstliche neuronale Netzwerke sind ja an sich jenen im Gehirn nachempfunden, allerdings auf einer relativ abstrakten Ebene. NPUs haben damit zwar im Kern bestimmte Ähnlichkeiten. Wenn man sich es aber genauer anschaut, sind die Abläufe im Gehirn schon deutlich komplexer“, so der KI-Experte. 

In Wirklichkeit seien NPUs eher auf Berechnungen spezialisiert, die in Sachen KI eine besondere Rolle spielen, sogenannte Matrix-Multiplikationen. „Die NPU ist eine Art KI-Beschleuniger. Es ist ein Prozessor, der auf Anwendungen der Künstlichen Intelligenz spezialisiert ist“, erklärt Legenstein der futurezone.

KI ist mittlerweile überall am Werk

Auch wenn KI seit dem Release von ChatGPT erst vor rund 2 Jahren stark ins allgemeine Bewusstsein gerutscht ist, arbeitet sie im Hintergrund eigentlich schon länger. „Bei Videocalls hat man oft, dass man den Hintergrund ausblendet. Das wird auch mit KI gemacht“, erklärt Legenstein. Außerdem helfen solche Berechnungen unseren Smartphones bereits seit geraumer Zeit dabei, Objekte in den Fotogalerien zu erkennen. Ähnliches gilt für Spracherkennung oder der Autokorrektur von Texten. „Es gibt schon sehr viele Anwendungen, wo man gar nicht bemerkt, wo KI eigentlich versteckt ist“, meint Legenstein. 

Im Grunde könne man diese Dinge auch mit einer GPU berechnen. „Der große Unterschied ist, dass es bei NPUs viel effizienter ist. Das heißt, man braucht weniger Energie“, erklärt er. Insbesondere in Hinblick auf den enormen Energiehunger von KI-Funktionen sei das ein entscheidender Vorteil. Dedizierte Chips seien 10-mal energieeffizienter als CPUs. 

Ein Grund für diese Sparsamkeit sei, dass diese Chips weniger präzise rechnen als GPUs und CPUs. Bei diesen würden die Zahlen mit viel mehr Kommastellen gerechnet als bei NPUs. Bei KI-Anwendungen brauche man diese Genauigkeit aber gar nicht.

➤ Mehr lesen: Neuronale Netze: Wie eine Künstliche Intelligenz laufend dazulernt

Dank NPU läuft KI direkt am Smartphone

Ihre Energieeffizienz ist auch der Grund, warum man NPUs zuerst in Handys steckte und erst Jahre später in Computer. In kleinen, akkubetriebenen Geräten ist diese Sparsamkeit ein entscheidender Vorteil. Ein weiterer Vorteil von den lokalen Chips ist, dass man sich den Umweg über die Cloud erspart. Bis die Daten vom Smartphone in die Cloud und wieder zurückgesendet werden, vergeht nämlich Zeit. Hier spielen auch Sicherheitsaspekte eine Rolle, weil man bei KI viele persönliche Daten preisgibt. Bei einer internen Verarbeitung bleiben diese Daten auf dem Gerät.

Wenn es um die Performance geht, also wie schnell man rechnen kann, seien die NPUs den GPUs nicht unbedingt überlegen, sondern ähnlich. Das zeigten mehrere Vergleichstests. Deshalb macht ein spezieller KI-Chip in einem gewöhnlichen Computer derzeit auch keinen großen Unterschied, wenn dieser eine gute Grafikkarte besitzt. Der entscheidende Vorteil sei die Energieeffizienz. „Wenn Sie einen Computer kaufen, ist es eigentlich nicht notwendig, dass dieser eine NPU hat“, erklärt der KI-Experte.

Basis für Zukunftssoftware

NPUs werden CPUs und GPUs auf unseren Geräten nicht ersetzen, aber diese ergänzen. Weil KI-Anwendungen in den kommenden Jahren nach den Einschätzungen von Experten immer wichtiger werden, kommen die KI-Chips nun aber auch in immer mehr Geräte. „Das Ganze ist erst im Entstehen. Es gibt jetzt einen riesigen Hype um die Large Language Models. Aber es wird noch viel mehr kommen und entwickelt werden“, meint Legenstein. 

➤ Mehr lesen: Snapdragon 8 Elite: Neuer Hochleistungs-Chip für Smartphones

Momentan werden auch KI-Funktionen sukzessiv in Betriebssysteme integriert. Das Potenzial für Anwendungen sei noch lange nicht ausgereizt, so Legenstein.