Bei der Klassifizierung von Bauschutt spielt die hyperspektrale Bildgebung eine wichtige Rolle. Aufgrund der Vielfalt der darin enthaltenen Informationen sind Hyperspektraldaten besonders für die Klassifikation mittels Machine Learning (ML) geeignet. Die Erstellung umfangreicher hyperspektraler Datensätze ist aufwendig und zeitintensiv. Zudem sind bestimmte Bauschuttklassen weniger vertreten als andere. Für das Training von ML-Algorithmen können unterbesetzte Klassen und knappe Trainingsdaten zu einer Verringerung der Klassifikationsleistung führen.

Lösung

Um dieses Problem zu lösen, schlagen wir vor, eine Datenaugmentierung mit einem KI-basierten Ansatz einzusetzen. Im Hinblick auf den Verarbeitungsablauf bei der Klassifikation von Hyperspektraldaten und zur Verringerung der Komplexität wird eine Dimensionsreduzierung vor der Datensatzerweiterung durchgeführt. Beim vorgeschlagenen Ansatz wird ein Augmentierungsmodul (StyleGAN3) unter Verwendung der dimensionsreduzierten Hyperspektraldaten trainiert. Anschließend werden die synthetisch erzeugten und die originalen Daten für das Training des ML-Algorithmus verwendet. Auf diese Weise kann der vorhandene Datensatz erweitert und diversifiziert werden und die Detektionsleistung des ML-Algorithmus verbessert werden.

Vorteile für KMU

Die Vorteile für KMUs ergeben sich durch den Einsatz moderner KI-basierter Methoden zur Datenaugmentierung. Mit Hilfe der vorgeschlagenen Algorithmen können vorhandene Datensätze erweitert und vielfältiger gestaltet werden, ohne das neue Daten gesammelt werden müssen. Die Kosten für die Datenbeschaffung werden somit gesenkt.

Ihre Ansprechperson zur Testumgebung KI-basierte Augmentierung hyperspektraler Daten zur Unterstützung der Bauschuttklassifizierung:

Albrecht Heß Dipl.-Ing,
Fachgebiet Qualitätssicherung und Industrielle Bildverarbeitung
Telefon: +49 3677 69-3925
Mail: albrecht.hess@tu-ilmenau.de

Der Beitrag KI-basierte Augmentierung hyperspektraler Daten zur Unterstützung der Bauschuttklassifizierung erschien zuerst auf ProKI-Ilmenau.

Allgemeine Objekterkennung beschreibt die Fähigkeit, Objekte zu erkennen, die nicht in den Trainingsdaten enthalten sind. Ein typisches Beispiel ist ein assistierender Abfallsammelroboter, der auch bei unvollständigen oder deformierten Abfällen eine stabile Erkennungsrate aufweisen sollte. Es ist jedoch nahezu unmöglich, Trainingsdaten für alle derartigen Sonderfälle zu erstellen. Zudem basiert die Entscheidung, ob ein Objekt als Müll betrachtet und entsorgt werden sollte, in der Regel auf menschlichem Allgemeinwissen. Die implizite menschliche Logik lässt sich kaum durch feste Regeln vollständig auf alle Arten von Abfällen abbilden.

Lösung

Der Einsatz von VLMs anstelle herkömmlicher Vision Models (VM) ist bei solchen Aufgaben sinnvoll. Moderne große Sprachmodelle Language Models (LM) beherrschen nicht nur die Übersetzung zwischen menschlicher und maschineller Sprache, sondern haben durch umfangreiche Textdaten auch grundlegende menschliche Logik erlernt. Im Vergleich zur Verwendung von VMs in Kombination mit komplexen Regeln zur Mülldefinition, bietet der direkte Einsatz von VLMs eine effizientere und robustere Lösung. Unsere Experimente zeigen, dass VLMs zwar nicht alle Objekte perfekt in Abfall und Nicht-Abfall trennen, jedoch menschliche Logik zur robusteren Erkennung mit einbeziehen. Eine Flasche auf einem Tisch wird z.B. nicht als Abfall erkannt, während die gleiche Flasche auf dem Boden als Abfall erkannt wird.

Vorteile für KMU

Das VLM kann z.B. als Vorstufe für die allgemeine Abfallerkennung genutzt werden, ergänzt durch manuelle Regeln zur Abfallselektion. Zudem benötigt das VLM zunächst keine eigens gesammelten Trainingsdaten. VLMs könnten somit auch besonders für KMUs interessant sein, da sie out of the box zur Problemlösung herangezogen werden können. Oft stehen ohnehin nur kleine Trainingsdatensätze zur Verfügung und es erfolgt schließlich eine Überanpassung des trainierten Modells an den Datensatz. Mit Hilfe von Hochleistungsrechnern können wir an der TU-Ilmenau effizient mit VLMs arbeiten.

Ihre Ansprechperson zur Testumgebung Verwendung von Hochleistungsrechnen (High-Performance Computing) zur Ausführung großer Vision-Language-Modelle (VLM) für die allgemeine Abfallerkennung:

Albrecht Heß Dipl.-Ing,
Fachgebiet Qualitätssicherung und Industrielle Bildverarbeitung
Telefon: +49 3677 69-3925
Mail: albrecht.hess@tu-ilmenau.de

Der Beitrag Verwendung von Hochleistungsrechnen (High-Performance Computing) zur Ausführung großer Vision-Language-Modelle (VLM) für die allgemeine Abfallerkennung erschien zuerst auf ProKI-Ilmenau.

Bei der SMD-Leiterplattenprüfung mit AOI-Systemen kommt es in der Praxis häufig zu fehlerhaften Erkennungen und Übersehungen. Diese Probleme entstehen, weil sich die Prüfobjekte oder deren Erscheinungsbild im multimodalen Prüfsystem verändern, unerwartete Situationen auftreten, Prüfprogramme auf verschiedenen Systemen wiederverwendet werden oder neue Objekte ins Spiel kommen. Um diese Herausforderungen zu bewältigen, müssen Inspektoren die Ergebnisse des AOI-Systems überprüfen. Allerdings wird die Genauigkeit der Fehlererkennung durch die hohe Arbeitsbelastung, subjektive Wahrnehmungen und die Ermüdung der Inspektoren beeinträchtigt, was die Beurteilung des AOI-Systems erschwert.

Lösung

Um dieses Problem zu lösen, wurde ein adaptives, multimodales AOI-Systems entwickelt. Dieses System erweitert das herkömmliche multimodale AOI-System durch die Integration eines KI-basierten Novelty Detektors, der auf One-Class Klassifizierung basiert, um sowohl das AOI-System als auch den Inspektor zu unterstützen. In diesem Konzept wird PatchCore als Novelty Detektor verwendet, um die vom AOI-System erkannten Fehler in Verbindung mit den Systemergebnissen zu bewerten und dadurch die endgültigen Ergebnisse mit höherer Zuverlässigkeit zu ermitteln. So können auch manuelle Entscheidungen überprüft und bessere Handlungsempfehlungen gegeben werden.

Vorteile für KMU

Mit diesem Konzept kann zunächst die fehlerhafte und unvollständige Erkennung von Defekten bei SMD-PCBs verringert werden. Zudem werden die Prüfprogramme in unsicheren Situationen gestärkt. Schließlich wird die Arbeitsbelastung des Inspektors reduziert, während gleichzeitig seine Effizienz gesteigert wird.

Ihre Ansprechperson zur Testumgebung PatchCore als Novelty Detektor:

Albrecht Heß Dipl.-Ing,
Fachgebiet Qualitätssicherung und Industrielle Bildverarbeitung
Telefon: +49 3677 69-3925
Mail: albrecht.hess@tu-ilmenau.de

Der Beitrag PatchCore als Novelty Detektor zur Unterstützung des konventionellen multimodalen AOI System in SMD-PCB Inspektion erschien zuerst auf ProKI-Ilmenau.

1. Reduktion der Dimensionalität von Videosequenzen auf ein Minimum
2. Vorhersage des weiteren Verlaufs des Schweißprozesses
3. Frühzeitige Detektion von Schweißnahtfehlern

Um diese Anforderungen zu erfüllen, teilen wir das KI-Modell in drei Module ein, welche jeweils eines der hier genannten Probleme lösen können.


Autoencoder – Dimensionsreduktion

Um die Dimension der Inputdaten zu reduzieren, bietet sich ein sogenannter Autoencoder an. Ein Autoencoder ist ein besonderes KI-Modell welches lernt Eingabedaten auf ein Minimum nötiger Merkmale zu reduzieren. Anhand des minimalen Merkmalsraums wird im Anschluss die Eingabe rekonstruiert. Dies ist in Abbildung 2 veranschaulicht.
Die Rekonstruktion und die ursprüngliche Eingabe werden miteinander verglichen, um zu überprüfen, wie viele Informationen durch die Dimensionsreduktion verloren gegangen sind. Je niedriger der Verlust, desto besser repräsentiert der minimale Merkmalsraum die Eingabedaten.

Abbildung 1 Beispiel Autoencoder [1].

Für die Vorhersage des weiteren Schweißprozesses, ist jedoch ausschließlich der reduzierte Merkmalsraum von Interesse, da alle relevanten Merkmale hier enthalten sind. Beispielhaft ist in Abbildung 2 dargestellt, wie eine Videosequenz auf 16 Merkmale reduziert wird.

Abbildung 2 Dimensionsreduktion einer Videosequenz auf 16 Merkmale.

Der Schweißnahtabbruch ist in der Abbildung rot markiert und durch eine Änderung des Verlaufs deutlich sichtbar.
Der Autoencoder löst somit die erste Anforderung an unsere Methodik.

Rekurrentes Netwerk – Vorhersage

Rekurrente Netzwerke eignen sich besonders gut für die Verarbeitung und Vorhersage von Zeitreihen. Durch die Dimensionsreduktion des Autoencoders erhalten wir eine Zeitreihe mit 16 Merkmalen. Diese eignet sich als Eingabe für ein rekurrentes neuronales Netzwerk und kann somit für die Vorhersage des weiteren Schweißprozesses verwendet werden.

Um die Vorhersage zu realisieren, ist es zuerst notwendig, Informationen über den Prozess zu sammeln bzw. Wissen aufzubauen. Dieses Wissen wird vom rekurrenten Netzwerk verwendet, um den nächsten Zeitschritt vorherzusagen. Die vorhergesagte Ausgabe wird dann erneut als Eingabe verwendet, um einen weiteren Zeitschritt vorherzusagen. Diese autoregressive Vorhersage wird n-Mal wiederholt, bis der restliche Verlauf vorhergesagt ist. Dieser Ablauf ist in Abbildung 3 visualisiert.

Abbildung 3 Autoregressive Vorhersage des Schweißprozesses.

Durch das so erhaltene Wissen kann der Autoencoder nun ein Bild an der Stelle t+n rekonstruieren und somit Aufschluss über mögliche Fehler im weiteren Verlauf geben. Abbildung 4 zeigt dies beispielhaft.

Abbildung 4: Erweiterung des Autoencoders durch ein rekurrentes Netzwerk [1].

Eine Kombination aus Autoencoder und rekurrentem Netzwerk löst somit die 2. Anforderung an unser Modul.

Multi-Layer-Percepton – Detektion

Im letzten Schritt ist es notwendig, die vorhergesagten Merkmale zu klassifizieren. Dies könnte zum Beispiel anhand der rekonstruierten Bilder (siehe Abbildung 4) geschehen. Da das rekonstruirte Bild jedoch lediglich eine Übersetzung der Merkmale in menschlich verständliche Informationen ist, kann die Transformation von vorhergesagten Merkmalen zu einem Bild übersprüngen werden. Die Detektion von Fehlern findet ausschließlich basierend auf den vorhergesagten Merkmalen statt.
Das Modell wird durch ein Multi-Layer-Perceptron (MLP) erweitert, um fehlerhafte Abschnitte im Schweißverlauf zu detektieren.
Das vollständige Modell ist in Abbildung 5 dargestellt.

Abbildung 5: Entwickeltes Modell [1].

Jeder vorhergesagte Zeitschritt wird durch das MLP analysiert und klassifiziert. So kann erkannt werden, ab welchem Zeitpunkt die Schweißnaht fehlerhaft ist.
Durch die Kombination der vorgestellten Modelle, kann auch die dritte Anforderung an unsere Methodik erfüllt werden.


Ergebnis

Das entwickelte Modell ist in der Lage, den Schweißnahtabbruch vorherzusagen. Allerdings weichen der vorhergesagte Abbruch und der tatsächliche Abbruch ab.
Dies ist zu erwarten, da keines der vorgestellten Modelle fehlerfrei funktioniert und die Detektion damit beeinträchtigt wird. In Abbildung 6 ist das Ergebis einer Detektion aufgezeigt. In diesem Beispiel unterscheiden sich der vorhergesagte Schweißnahtabbruch und der tatsächliche Schweißnahtabbruch lediglich um 3 mm.

Abbildung 6 Ergebnis vorhergesagter Schweißnahtabbruch [1].

[1] Walther, D., Junger, C., Schmidt, L., Schricker, K., Notni, G., Bergmann, J. P., & Mäder, P. (2024). Recurrent Autoencoder for Weld Discontinuity Prediction. Journal of Advanced Joining Processes, 100203.

Beitrag von: Dominik Walther

Der Beitrag Vorhersage von Schweißnahtabbrüchen beim Laserstrahlschweißen anhand von Videosequenzen erschien zuerst auf ProKI-Ilmenau.

Im Newtonbau präsentierte das Fachgebiet Fertigungstechnik in Zusammenarbeit mit dem dort ansässigen Partnerzentrum Mittelstand-Digital Zentrum Ilmenau innovative Fügeprozesse und Möglichkeiten der KI-gesteuerten Prozessüberwachung. Anschließend gewährte das Fachgebiet Qualitätssicherung & industrielle Bildverarbeitung Einblicke in Datenaugmentierung sowie KI-gestützte Methoden zur optischen Unterscheidung von Kunststoffen. Außerdem wurde ein mobiler Roboterhund vorgestellt, der eigenständig dabei helfen wird, die Gesundheit des Waldes zu beurteilen. Abschließend wurden bei einer Laborführung durch die Projekthalle und den Staudingerbau des Fachgebiets Kunststofftechnik Möglichkeiten zur Qualitätssicherung mithilfe von KI-Methoden für Kunststoffextrusionsverfahren diskutiert.
Die weitere Zusammenarbeit wird nun durch gemeinsame KI-Projekte intensiviert.

Das Team von ProKI-Ilmenau bedankt sich herzlich bei allen Gästen und Mitarbeiter:innen der Fachgebiete für den regen Austausch.

Der Beitrag Thementour für Jenoptik im ProKI-Zentrum Ilmenau erschien zuerst auf ProKI-Ilmenau.