Erste Ergebnisse: KI aus Österreich soll besser als ChatGPT sein

Sepp Hochreiter gehört zu den Koryphäen in der KI-Forschung. Der gebürtige Deutsche, der in Linz forscht, kündigte bereits vor gut einem Jahr "Austrias ChatGPT" an. Nun veröffentlichte Hochreiter und sein Team ihr erstes Forschungspapier.

➤ Mehr lesen: Institut von KI-Pionier Hochreiter kündigte in Wien 20 Forscher

Interessant ist dabei, dass Hochreiters Ansatz nicht auf Transformer-Modellen beruht, wie sie ChatGPT und Co. nutzen. Stattdessen soll eine eigene Softwarearchitektur schneller, effizienter und auch besser arbeiten, genannt Extendet Long Term Short Memory (xLTSM). Damit habe man bereits "fantastische Ergebnisse" im Vergleich mit den Modellen GPT-3 von OpenAI und Llama von Meta erreicht, gibt Hochreiter im Industrial AI Podcast bekannt. Gegenüber der Frankfurter Allgemeinen Zeitung gibt er an, besser zu sein als "die Modelle von OpenAI, Google oder Meta".

Besser, schneller, effizienter

In bestimmten Tests habe das Modell Wörter besser vorhergesagt als die Konkurrenz, wobei man zudem deutlich weniger Rechenleistung gebraucht habe. Das Modell ist mit 1,3 Milliarden Parametern deutlich schlanker als andere Large Language Models (LLMs). Zum Vergleich: GPT-3 besitzt mehr als 175 Milliarden Parameter.

Hochreiters Modell ist eine Weiterentwicklung seiner einstigen Erfindung "Long Short Term Memory", das etwa für Spracherkennung eingesetzt wird. So nutzen Apples Siri und Amazons Alexa die Technologie, auch in Google Translate kommt sie zum Einsatz. Der Ansatz hatte allerdings seine Grenzen. Bei großen Datenmengen, wie sie bei LLMs vorkommen, ist er den Transformer-Modellen unterlegen.

➤ Mehr lesen: 105 Millionen Euro für KI-Start-up, das es erst 4 Wochen gibt

Diese Schwäche will Hochreiter und sein Team nun ausgebessert haben. Jetzt soll das Modell weiter trainiert werden, wofür man allerdings Rechenpower benötigt. Gegenüber der FAZ spricht Hochreiter von Rechenkapazitäten im Wert von 10 Millionen Dollar. 

100 Millionen Dollar anvisiert

Bis Jahresende will man mit dem Anfang 2024 gegründeten Start-ups NXAI 100 Millionen Dollar eingesammelt haben. Das Geld soll zum größten Teil aus Europa kommen, Angebote aus Saudi-Arabien und China habe man laut Hochreiter abgelehnt. Auch Investitionen von Tech-Größen wie Microsoft oder Amazon dürften nur einen kleinen Finanzierungsanteil ausmachen.

Laut Hochreiter soll das Modell künftig nicht nur für generative Chatbots eignen. Auch die Vorhersage von Aktienkursen und Wettersimulationen seien damit besser möglich. Auf ein Marktsegment will er sich allerdings noch nicht festlegen.