Optische Anomalie-Erkennung: Wie KI kaputte Kekse erkennt

Bei industriell gefertigten Produkten erwarten wir anders als bei Handgemachten immer gleichbleibende Qualität. Ein Keks darf nicht zu dunkel gebacken oder gebrochen sein, eine Fliese keine Flecken haben und ein Bauziegel keinen Riss.

Am effizientesten ist es, maschinell zu überprüfen, ob mit dem entsprechenden Produkt alles passt. „Ein Mensch kann viele Fehler sehr schnell erkennen, aber sicher nicht so schnell wie es die Algorithmik kann“, erklärt Christoph Schinko. Er ist Leiter des Geschäftsbereichs Visual Computing bei Fraunhofer Austria in Graz und entwickelt mit seinem Team Computermodelle, die optische Anomalien erkennen.

Gutzustand beschreiben

Damit das funktioniert, muss man der Software zunächst beibringen, wie ein Produkt aussehen sollte. „Dem Computer werden Beispiele von ‚guten‘ Keksen gezeigt, mit möglichst viel Varianz. Das heißt gewisse Kekse sind perfekt, andere zumindest gut“, erklärt Schinko.

Mit KI-Verfahren und statistischen Modellen entsteht aus vielen Keksbildern dann eine Beschreibung des Gutzustands. Passt die Aufnahme eines getesteten Produkts nicht – etwa weil eine Ecke abgebrochen ist, oder jemand seinen Finger in die Kamera hält, wird dies erkannt.

Kein Supervised Learning

Dass sich das Training des Algorithmus auf sogenannte „Gutdaten“, also akzeptable Exemplare, konzentriert, hat einen praktischen Grund. „Man bräuchte sehr viele Beispiele für verschiedene Fehlertypen, und das ist in manchen Produktionen nicht möglich. Bei Mikroelektronik ist von einer Million Chips vielleicht einer defekt“, sagt Schinko.

Außerdem müssten die fehlerhaften Beispiele bei diesem sogenannten Supervised Learning („überwachtem Lernen“) händisch gelabelt werden. Jedes einzelne Bild müsste also z.B. mit „abgebrochene Kekskante“ oder „Füllung ausgelaufen“ beschrieben werden, was sehr aufwendig ist.

Doppelkekse als Testobjekt

„Wir wussten, dass unser Verfahren gut bei Objekten mit strukturierter Oberfläche funktioniert“, erklärt der Forscher. Er und sein Team entschieden sich daher schnell für Doppelkekse als Testobjekt: „Die Oberfläche ist nicht immer gleich, die Farbe ist manchmal leicht anders und je nachdem wie der Keks ausgerichtet ist, verschieben sich die kleinen geprägten Löcher darin.“ Doppelkekse sind außerdem günstig und gut verfügbar – und man kann sie am Ende einfach aufessen.

Tatsächlich im Einsatz ist die Software von Fraunhofer Austria allerdings nicht in der Lebensmittelherstellung, sondern in der Halbleiterindustrie und in der Medizintechnik. Auch für Baustoffe und Textilien sei das Verfahren gut geeignet.

Demonstrator aus günstiger Hardware

Mit finanzieller Unterstützung des Bundesministeriums für Wirtschaft, Energie und Tourismus (BMWET) entwickelten Schinko und sein Team Hardware für ihr Softwaremodell: „Unser Demonstrator hat eine Grundfläche von 20 mal 20 Zentimetern und ist 40 Zentimeter hoch. Es ist eine Kamera, eine Lichtquelle und ein kleiner Rechner – ein Raspberry Pi – eingebaut.“ Die einzelnen Komponenten seien günstig und recht einfach erhältlich, eine Internetverbindung brauche es für die Auswertung nicht.

In einem Fach könne man ein Produkt, z.B. einen Doppelkeks, hineinschieben. Dieser wird dann optisch erfasst und dem Anomalie-Erkennungs-Modell zugeführt. Der Demonstrator gibt anschließend auf dem Display aus, ob das Produkt in Ordnung ist, und ggf. auch wo sich der Fehler befindet. Dies geschieht über eine sogenannte Heatmap. Das heißt fehlerhafte Stellen sind rot markiert, kritische gelb und alles fehlerfreie grün.

➤ Mehr lesen: Wie eine "Ente" die Logistik in Lagerhallen effizienter machen kann

Integration in andere Systeme

„Oft ist es notwendig, die Ergebnisse zu dokumentieren“, sagt Schinko, der deshalb gerade mit seinem Team an einem verbesserten User-Interface arbeitet. Speziell in der Automobilindustrie sei es wichtig, bei einer Rückrufaktion nachweisen zu können, dass ein Produkt fehlerfrei war.

Auch die Integration in Fertigungsanlagen sei ein großes Thema. Wenn ein Fehler erkannt werde, müsse das über entsprechende Schnittstellen kommuniziert werden, damit das fehlerhafte Produkt in der Anlage den richtigen Weg nehme. 

Lokales Training

Außerdem will der Forscher das KI-Training direkt in den Demonstrator integrieren. Ein Anwender oder eine Anwenderin könnte dann einfach 20 oder 30 Aufnahmen fehlerfreier Exemplare machen, sodass der Gutzustand eines Produkts im Modell widergespiegelt ist, sagt Schinko: „Das ist sehr herausfordernd, weil es so viele Use Cases gibt. Das konkrete Produkt muss zur Algorithmik passen.“ 

Zunächst sollen Standardfragestellungen abgedeckt werden. Dazu gehören Fehlerklassifizierungen, Vollständigkeitsüberprüfungen, Geometrieüberprüfungen oder Zählaufgaben. „Ich schütte zum Beispiel Smarties aus und frage, wie viele davon grün oder rot sind“, erläutert Schinko.

Verbesserte Algorithmen

Besonders hochaufgelöste Aufnahmen, die bei komplexen Objekten nötig sind, brauchen in der Verarbeitung länger als Standard-Aufnahmen, bei denen das Modell in 100 Millisekunden eine Entscheidung trifft. „Überall, wo es zeitkritisch ist, müssen wir einen Tradeoff zwischen Auflösung und Geschwindigkeit finden“, sagt Schinko.

➤ Mehr lesen: Automatisierte Schichtplanung für mehr Fairness, Flexibilität und Effizienz

Er und sein Team entwickeln die optische Anomalie-Erkennung deshalb laufend weiter: „Wir versuchen unsere Algorithmik schneller und genauer zu machen, und die Menge an nötigen Trainingsdaten weiter zu reduzieren.“ Bei Produkten, zu denen es digitale Konstruktionsdaten gebe, könnte man diese beispielsweise fotorealistisch rendern, wodurch weniger Trainings-Fotos gebraucht werden.

In Zukunft sollen auch andere Datentypen genutzt werden können, etwa Vektoren mit Oberflächennormalen. „Das würde sich gut für metallische Oberflächen eignen, die sehr spiegeln, was es schwierig macht, mit optischen Systemen zu arbeiten“, sagt Schinko.

Diese Serie erscheint in redaktioneller Unabhängigkeit mit finanzieller Unterstützung des Bundesministeriums für Wirtschaft, Energie und Tourismus.