Das Reinforcement-Learning (RL) ist eine Methode, mit der das natürliche Lernen nachgebildet wird. RL-Algorithmen lernen durch Interaktionen, indem sie innerhalb definierter Grenzen (kontinuierliche) Aktionen vorschlagen. Die Aktionen können anschließend zum Beispiel einem Modell zugeführt werden, das gewünschte Zielgrößen berechnet. Anhand einer vordefinierten Belohnungsfunktion werden die Zielgrößen quantitativ bewertet. Diese können das Erreichen einer finalen Geometrie und Mikrostruktur sowie die Minimierung des Energieeinsatzes unter Berücksichtigung bestehender Anlagengrenzen sein. Dadurch lernen RL-Algorithmen Zusammenhänge zwischen getroffenen Aktionen und erreichten Zielgrößen, wodurch sie sich für automatische Optimierungen eignen.

Optimierte Stichpläne auslegen

Am Institut für Bildsame Formgebung wurde daher ein RL-Algorithmus namens „Deep Deterministic Policy Gradient“ (DDPG) direkt mit einem schnellen Walzmodell (SWM) gekoppelt, um automatisiert Stichpläne für das reversierende Warmwalzen auszulegen. Eine direkte Kopplung ermöglicht es, die Anzahl der Freiheitsgrade zu erhöhen. Der RL-Algorithmus schlägt nun Prozessparameter wie Starttemperatur, Stichabnahme, Walzengeschwindigkeit und Pausenzeit vor und leitet diese an das SWM weiter. Dieses berechnet daraufhin die resultierenden Walzkräfte und -momente sowie die Temperatur- und Mikrostrukturentwicklung, die für die Berechnung einer Belohnung verwendet werden. Ziel des Algorithmus ist es letztlich, die Belohnung zu maximieren und so einen optimierten Stichplan auszulegen.

Korngrößen von 25 bis 35 µm beabsichtigt

Genutzt wurde dieses Konzept zunächst, um einzelne Stichpläne für das reversierende Warmwalzen vom Baustahl S355 auszulegen. Ziel war es, Stichpläne für eine initiale Dicke von 140 mm auf eine Zieldicke von 25 mm auszulegen. Dabei wurden die Anlagengrenzen berücksichtigt und der Energieverbrauch minimiert. Die mittlere Austenitkorngröße nach dem Walzen sollte zwischen 25 und 35 µm liegen. Als nächstes wurde ein Modell trainiert, das Stichpläne für verschiedene Geometrien automatisch innerhalb weniger Sekunden ausgelegt. Ziel war es, Stichpläne für initiale Dicken zwischen 110 und 120 mm auf Zieldicken von 15 bis 25 mm auszulegen. Die weiteren Zielgrößen beziehungsweise Randbedingungen sind identisch mit denen der zuvor beschriebenen Einzelauslegung.

Korngrößen meist erreicht

Die Ergebnisse zeigen, dass für über 80 % aller Stichpläne die Korngröße getroffen wurde. Bei den restlichen Stichplänen wird das Toleranzband der finalen Korngröße knapp verfehlt. So liegen die erreichten Korngrößen zwischen 20 und 40 µm. Dabei fällt auf, dass insbesondere an den Rändern Stichpläne die gewünschten Korngrößen verfehlen, obwohl auch dort prinzipiell erfolgreiche Stichpläne möglich wären. Hier besteht Potenzial. Daher werden aktuell das Training des ML-Algorithmus und die zugrundeliegende Belohnungsfunktion analysiert und optimiert. Künftig ist geplant, das Konzept weiter zu entwickeln, um Echtzeitprozessadaption bei Abweichungen wie einer zu niedrigen Starttemperatur zu ermöglichen.

Gefördert wurden die Arbeiten durch die Deutsche Forschungsgemeinschaft (DFG) im Rahmen der Exzellenzstrategie des Bundes und der Länder – EXC 2023 Internet of Production.

Institut für Bildsame Formgebung
Intzestraße 10
52072 Aachen
Tel.: +49 241 8095922
campus@ibf.rwth-aachen.de
www.ibf.rwth-aachen.de