Das Verfahren kann auf viele Klassifikationsaufgaben übertragen werden, bei denen die Bestimmung einer „Ground Truth“ nicht möglich ist. Mit Blick auf die Datennutzung im Kontext von Industrie 4.0 bietet die Richtlinie wertvolle Hilfestellungen, da eine zunehmende Bedeutung valider Daten zu erwarten ist.
„Bei der Oberflächeninspektion von Flachstahl geht es darum, Fehler von oft nur wenigen mm2 Größe zu erkennen und einer korrekten Fehlerklasse zuzuordnen. Bei Weißblech reden wir beispielsweise von etwa 15 km langen und 1 m breiten Stahlbändern, die bei einer Bandgeschwindigkeit von bis zu 54 km/h inspiziert werden. Dabei können durchaus 200.000 Ereignisse auf einem Band sein“, sagt Dr.-Ing. Jens Brandenburger, Vorsitzender der VDI-Arbeitsgruppe „Oberflächeninspektionssysteme“. Er ergänzt: „Das ist etwa so, als würde man auf einer zügigen Fahrt von Düsseldorf nach Duisburg die Steinchen auf der Straße auf einer Fahrradwegbreite erkennen und klassifizieren wollen.“ Da ein solches Inspektionsergebnis nicht mit angemessenem Aufwand zu verifizieren ist, fehlt die sogenannte „Ground Truth“, die Grundwahrheit, wie viele und welche Fehler tatsächlich auf dem Band sind.
Es ist höchstens für Teilabschnitte einzelner Bänder möglich, die Ergebnisse des OIS mit denen des Inspektionspersonals zu vergleichen. Doch welche Schlussfolgerungen lassen sich aus solchen Stichproben ziehen? Ein Beispiel: Eine Person schaut sich 1000 Einzelbilder an, die einem bestimmten Fehlertyp wie zum Beispiel „Kratzer“ zugeordnet wurden. Wenn diese Person dann feststellt, dass drei Kratzer in Wirklichkeit ein Riss sind, was sagt das über die Leistungsfähigkeit des Klassifikators aus? In der nächsten Sammlung mit 1000 Bildern könnten fünf falsch klassifizierte Bilder sein oder auch zwei.
Herausforderungen bei der OIS-Bewertung
Dieses Beispiel zeigt einige Herausforderungen bei der Bewertung der OIS-Klassifikationsleistung in der Flachstahlproduktion. Die folgenden Punkte fassen Rahmenbedingungen in der Flachstahlproduktion zusammen, die eine Bewertung des Klassifikationsergebnisses nach gängigen Methoden, wie sie in VDI/VDE/VDMA 2632 Blatt 3.1 vorgestellt werden, unmöglich machen:
Es existiert eine sehr große Anzahl zu klassifizierender Ereignisse. Praktisch ist es daher unmöglich, jedem Ereignis eine „wahre“ Klasse zuzuordnen.
Es fehlen trennende Merkmale für eine eindeutige Klassenzuweisung.
Es gibt einen hohen Anteil von nicht qualitätsrelevanten Ereignissen.
Die Bewertung des Produkts als „gut“ kann zulässig sein, auch wenn detektierte Einzelereignisse als Fehler klassifiziert wurden.
Produkte und/oder Produktbereiche können abhängig von den Klassifikationsergebnissen in verschiedene Qualitätsklassen eingeteilt oder für unterschiedliche Einsatzzwecke freigegeben werden. Es gibt nicht nur binäre gut/schlecht-Entscheidungen.
Eine Zurückstellung von Proben für spätere Vergleichsmessungen ist nicht möglich.
Der im April 2023 veröffentlichte Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 stellt ein Verfahren für die Leistungsbewertung von Inspektionssystemen vor, dass unter den Rahmenbedingungen der Flachstahlproduktion praktikabel ist. Der Entwurf wurde in einer zweisprachigen (deutsch/englisch) Ausgabe veröffentlicht und kann bis zum 30.06.2023 kommentiert werden. Die Richtlinie wurde für die Belange der Oberflächeninspektionssystemen in der Stahlproduktion geschrieben, doch kann die in der Richtlinie beschriebene Methodik auch auf viele andere Einsatzgebiete für klassifizierende Bildverarbeitungssysteme übertragen werden, bei denen keine „Ground Truth“ ermittelt werden kann.
Produktionsdaten als Teil des Unternehmensvermögens
Ein wichtiger Aspekt der Industrie 4.0 ist es, Daten von Sensoren, Mess- und Prüfsystemen nicht nur zur Automatisierung des Fertigungsprozesses oder zur Qualitätskontrolle einzusetzen, sondern diese Daten auch zur kontinuierlichen Prozessoptimierung und damit auch für strategische Unternehmensentscheidungen zu nutzen. Hierbei bilden Qualitätsdaten häufig die Zielgröße für übergeordnete Analysen beispielsweise gemäß der Richtlinienreihe VDI/VDE 3714 „Big Data“. Der Wert von validen Daten wird durch die neuen Methoden zur Datenanalyse noch einmal gesteigert. Dadurch erlangt der neue Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 zur Leistungsbewertung der Klassifikation eine besondere Relevanz.
Der Anspruch an die Zuverlässigkeit der OIS-Ergebnisse steigt hierbei abhängig vom gewählten Anwendungsfeld und geht von einfachen Fehlertrendberichten zur Bewertung der Prozessqualität und der frühzeitigen Erkennung von Qualitätsabweichungen (Qualitätsmonitoring) bis hin zu automatisierten Freigabeentscheidungen für jedes einzelne Band. Der neue Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 gibt deshalb zusätzliche Hilfestellungen für die Bewertung von OIS-Ergebnissen und die Leistungsanforderungen abhängig vom gewählten Anwendungsfeld.
.jpg "Endress+Hauser auf der SPS in Nürnberg")
