Eine hinreichende Qualitätskontrolle ist in der produzierenden Industrie unabdingbar. Wurde sie in der Vergangenheit oft als Sichtkontrolle umgesetzt, entwickeln Forscher des Fraunhofer-Institutes für Graphische Datenverarbeitung in Darmstadt nun mit der Software Marquis eine deutlich präzisere Alternative: Ihre Software verknüpft dafür Augmented Reality mit Methoden des maschinellen Lernens und erlaubt so das Abgleichen zwischen CAD-Spezifikation und realem Produkt.

„Das System erkennt, um welches Bauteil es sich handelt und ob es Abweichungen von den Sollmaßen gibt“, konkretisiert Holger Graf, Wissenschaftler am Fraunhofer IGD. „Dabei kann es nicht nur einzelne Bauteile überprüfen, sondern auch Zusammenbauten mehrerer Teile – denn über ein ebenfalls von uns entwickeltes Verfahren des maschinellen Lernens erkennt es die Lage der Bauteile im Raum.“ Zum Beispiel, ob eine Querstrebe im richtigen Winkel angebracht ist. Das System setzt dabei auf einem Vorgängerprojekt auf: einem stationären System, das mehrere Kameras umfasst und die Bauteile exakt vermisst. Der Clou am neuen System: Es ist mobil, die Mitarbeiter können daher einfach ihr Smartphone oder Tablet zücken und das Bauteil ins Visier nehmen.

Trainingsdaten für künstliche Intelligenz

Eine Hauptkomponente von Marquis ist das maschinelle Lernen, mit dem das System nicht nur einzelne Bauteile erkennt, sondern auch deren Verortung im Raum. Um eine solche künstliche Intelligenz anzulernen, sind jedoch riesige Datensätze notwendig. Soll eine Software zum Beispiel Tiere – etwa eine Katze – zuverlässig erkennen, müssen ihr nicht nur viele Bilder mit Katzen in verschiedenen Situationen und Positionen gezeigt werden, ihr muss außerdem zu verstehen gegeben werden, welche Pixel des Bildes zur Katze gehören und welche nicht. Aus der Produktion von Bauteilen liegen derlei Trainingsbilder aber meist nicht vor und müssten aufwendig erzeugt werden.

„Daher hatten wir das Ziel, die Trainingsdaten rein aus den CAD-Daten zu generieren, die zu jedem Produktionsprozess vorhanden sind“, sagt Graf. Die Forscher erzeugen somit synthetische Bilder, die wie echte Fotos wirken. Dabei simulieren sie mehrere Kameraaufbauten im Raum, die aus verschiedenen Richtungen auf das CAD-Modell blicken – aus jeder Perspektive wird ein Bild gemacht und mit einem beliebigen Hintergrund versehen. Während CAD-Daten üblicherweise in Blau, Grün und Gelb dargestellt werden, baut die Teile bei den synthetischen Bildern ein Rendering fotorealistisch aus verschiedenen Materialien auf, etwa aus grau schimmerndem Metall.

Der Ansatz funktioniert wie gewünscht: Über den Deep-Learning-Ansatz lässt sich das System mit den synthetischen Bildern trainieren und erkennt so reale Bauteile, ohne je zuvor eines gesehen zu haben. Und das noch sehr schnell: Für zehn unterschiedliche, unbekannte Bauteile in einem komplexeren Produktaufbau brauchen die Forscher bei vorhandenen CAD-Daten nur wenige Stunden, um die Netze der künstlichen Intelligenz anzulernen.

Automatische Kontrolle in Echtzeit

Ist das System für konkrete Bauteile angelernt, kann es sie in Echtzeit prüfen. Das System erkennt, um welches Bauteil es sich handelt, kontrolliert, wie es im Raum liegt, und überlagert dann positionsgerecht die entsprechenden CAD-Daten. Um bewerten zu können, ob beide übereinstimmen, nutzen die Forscher Methoden der Augmented Reality.

Fraunhofer-Institut für Graphische Datenverarbeitung
Fraunhoferstraße 5
64283 Darmstadt
Tel.: +49 6151 1550
info@igd.fraunhofer.de
www.igd.fraunhofer.de