21.06.22 – Automatische Bildanalysemethode

Auf dem Weg zur vollautomatischen Stahlanalyse

In einem Kooperationsprojekt hat das Fraunhofer IWM jetzt ein Verfahren zur Mikrostrukturanalyse von Stahl auf Basis neuronaler Netze entwickelt. Es liefert reproduzierbare Ergebnisse und ist ein grundlegender Baustein für die durchgängige Digitalisierung der Stahlverarbeitung im Sinne von Industrie 4.0.

Bainitphase.jpg

Zu sehen sind vom Modell als relevant befundene Bildregionen (rot) in der Bainitphase. © Fraunhofer-Institut für Werkstoffmechanik

 

Stahl für Autos, Züge oder Transporter muss viel aushalten können, zum Beispiel Vibrationen und Stöße durch Unebenheiten und Schlaglöcher während der Fahrt. Bei einem Unfall soll er die Wucht des Aufpralls abfedern und sich gezielt verformen. Deshalb wird der Stahl bei der Herstellung und vor der Verarbeitung stichprobenartig untersucht. Fachleute für Metalle schauen sich unter dem Mikroskop Stahlproben an, um eventuelle Schwachstellen zu entdecken, an denen später Mikrorisse entstehen und zu großen Schäden auswachsen könnten. Diese Untersuchungen sind zeitraubend, und ihre Qualität ist abhängig von der Erfahrung und der Aufmerksamkeit der Metallografen.

Die materialverarbeitende Industrie wünscht sich daher schon länger automatische Verfahren, bei denen Computer den Stahl zügig und mit stets derselben Zuverlässigkeit prüfen. Bislang aber stößt die automatische Bildauswertung an ihre Grenzen, weil die Mikrostruktur des Stahls hochkomplex ist: Unter dem Mikroskop erscheint die Oberfläche einer Stahlprobe als wildes Mosaik aus unterschiedlichen Strukturen. Hier die kritischen Schwachstellen herauszulesen, ist eine große Kunst.

Effizient angelernte neuronale Netze erkennen

In einem gemeinsamen Projekt ist es jetzt einem Team des Fraunhofer-Instituts für Werkstoffmechanik, der Universität des Saarlandes und der Carnegie Mellon University in Pittsburgh gelungen, künstliche neuronale Netze auf die Analyse von Stahloberflächen zu trainieren. Die Forscher haben dabei zwei bisherige Herausforderungen für die Bildverarbeitung überwunden: die ungenügende Effizienz und Interpretierbarkeit der neuronalen Netze.

„Menschen sind wahnsinnig gut darin, Strukturen effizient zu erlernen und in ganz verschiedenen Umgebungen und Zusammenhängen wiederzuerkennen“, sagt Ali Riza Durmaz, Materialexperte am Fraunhofer IWM. „Künstliche neuronale Netze hingegen müssen erst mit einer Vielfalt an Bilddaten trainiert werden.“ Das ist aufwendig, weil die Bilder, mit denen ein neuronales Netz angelernt wird, zuvor von Hand annotiert werden müssen: Im Bild wird genau definiert, wo sich die Zielobjekte befinden. Bei einem chaotischen Muster wie der Stahloberfläche kommt das einer Sisyphusarbeit gleich.

Defekte in lichtmikroskopischen Aufnahmen ermitteln

Für gewöhnlich nutzen Metallografen licht- oder elektronenmikroskopische Aufnahmen, um eine Stahlprobe zu begutachten. Sehr viel seltener kommt die aufwendigere Elektronenrückstreubeugung (EBSD) zum Einsatz, die die Oberfläche des Stahls umfangreicher beschreibt. Dem Team ist es gelungen, die lichtmikroskopischen Aufnahmen mit EBSD-Bildern zu verknüpfen und dabei die EBSD-Bilddaten quasi als automatische Annotation zu nutzen.

„Durch diese Automatisierung konnten wir eine größere, fundierte und konsistente Datengrundlage schaffen, um neuronale Netze effizient anzulernen“, sagt Durmaz. Jetzt sei die Software in der Lage, Fehlstellen bereits in lichtmikroskopischen Aufnahmen zu erkennen, die sich schnell und unkompliziert anfertigen lassen. Dabei lag der Fokus auf hochwertigen Komplexphasenstählen, die insbesondere im Automobilbau zum Einsatz kommen. Diese weisen eine spezielle Art von Mikrostruktur auf – die sogenannte Bainitphase: Unter dem Mikroskop sind parallel verlaufende Strukturen zu sehen, die nebeneinander liegenden Holzlatten ähneln. Diese Strukturen sind nicht immer ganz deutlich zu erkennen. Daher kann es schwierig sein, die Mikrostrukturen der Bainitphase von unerwünschten Fehlstellen zu unterscheiden. Die von dem Forschungsteam angelernten neuronalen Netze können das jetzt.

Mikrostrukturabweichungen sicher entdecken

In einer ergänzenden Arbeit hat Durmaz zusammen mit Fachleuten von der Universität des Saarlandes und der Ingenieurschule Mines Paristech eine weitere Herausforderung der automatischen Bildanalyse gelöst. Bislang besteht das Problem darin, dass neuronale Netze, die auf einen Typ einer Stahlmikrostruktur angelernt wurden, kaum für verschiedene Stähle oder andere Materialien eingesetzt werden können. „Das Problem beginnt ganz am Anfang“, schildert Durmaz. „Je nachdem, wie man eine Stahlprobe bearbeitet, wie man sie schleift, ätzt oder unter dem Mikroskop belichtet, erscheint die Mikrostruktur anders.“ Ein neuronales Netz liege bei der Bildauswertung dann oftmals daneben.

Durch bestimmte Lernverfahren, das sogenannte Transfer Learning, ist es Durmaz und seinem Team nun gelungen, die neuronalen Netze flexibler zu gestalten. „Sie sind in der Lage, wie ein Mensch zu generalisieren und Strukturen in verschiedenen Umgebungen – also in verschiedenen Stahlproben oder anderen Materialien – zu erkennen.“

Industrieunternehmen erhoffen sich seit geraumer Zeit eine solche automatische Bildanalysemethode. „Mit den Ergebnissen aus unseren beiden Studien liefern wir jetzt genau das: ein flexibles Analyseverfahren, das bei verschiedenen Metalloberflächen sicher und reproduzierbar Abweichungen in der Mikrostruktur entdeckt.“ Das sei vor allem auch für eine durchgehende Digitalisierung der Metallproduktion im Zuge von Industrie 4.0 wichtig. Die automatische Bilderkennung sei ein grundlegender Baustein für die volldigitalisierte Prozesskette.

Fraunhofer-Institut für Werkstoffmechanik
Wöhlerstraße 11
79108 Freiburg
Tel.: +49 761 51420
info@iwm.fraunhofer.de
www.iwm.fraunhofer.de