"Das Staplerauge"
Automatisierte Logistik mittels Bildverarbeitung und SMARTEK Vision
(pressebox) Taufkirchen, 29.08.2014 - Globalisierung und Individualisierung, das sind die Megatrends, die seit Jahren das Geschäft mit dem globalen Warenverkehr explodieren lassen. Neben dem Transport der Waren spielt deren Lagerhaltung eine entscheidende Rolle. Wie in der Produktion stellt auch in der Lagerlogistik die Automatisierungstechnik einen vielsprechenden Hebel zur Verringerung der Fehlerraten und Steigerung der Effektivität dar.
Daher hat der Lehrstuhl für Fördertechnik-Materialfluss-Logistik der Technischen Universität München im Forschungsprojekt "Das Staplerauge" (www.fml.mw.tum.de/Staplerauge) gemeinsam mit Industriepartnern den Einsatz von Kameras an Gabelstaplern zur (Teil-)Automatisierung in der Lager- und Verladelogistik untersucht. Gerade in der Intralogistik schlummern nennenswerte Effizienzpotenziale, da heutzutage in weiten Teilen der Automatisierungsgrad gering ist und lediglich eine Vielzahl von Insellösungen existieren, die technisch sowie wirtschaftlich wenig praktikabel sind und jeweils hohen Integrationsaufwand bedeuten. Die Anbringung von Videokameras an flexibel einsetzbaren Flurförderzeugen ermöglicht nun die bildverarbeitungsbasierte Überwachung und Steuerung der Prozesse in Echtzeit und senkt die Durchlaufzeiten durch die Parallelisierung ehemals sequentieller Vorgänge.
Für den automatisierten Intralogistikeinsatz und effizientere Transportprozesse wurden im Forschungsprojekt typische Einsatzszenarien wie die Gabel-Belegt-Erkennung, die Warenidentifikation mittels NVE-Code, die Paletten-genaue Lokalisierung und die lagerfachgenaue Gabelhubhöhen-Erkennung mit Hilfe eines Kamera-Systems und Beleuchtungssteuerungen des europäischen Bildverarbeitungsexperten SMARTEK Vision umgesetzt und evaluiert.
Applikationsszenarien:
Gabelbelegung
Bei der Gabel-Belegt- Erkennung kommt es darauf an, dass die Kamera die Zinken der Staplergabel exakt vom Bildhintergrund separieren kann. Lassen sich die Zinken komplett detektieren, ist die Gabel im Zustand "frei". Da die Zinken stahlgrau sind heben sie sich speziell vor dunklen Hintergründen nur wenig ab. Dies verlangt von der Kamera eine möglichst kontrastreiche Bildaufnahme unter verschiedensten Beleuchtungssituationen.
Hubhöhe
Alternativer Formulierungsvorschlag:
Um beispielsweise zu erkennen, aus welchem Regalfach der Stapler ein Ladegut aufgenommen hat, wird die Hubhöhe in dafür ausreichender Genauigkeit bestimmt. In weiteren Entwicklungsschritten ist denkbar, dass der Staplerfahrer eine Hubhöhe einstellen kann, die mittels eines Kamera-basierten Regelkreises autonom vom Stapler angefahren wird.
Position im Raum
Neben der Höhenbestimmung soll das zu entwickelnde System mittels Kamera ebenfalls die Position des Gabelstaplers in einem Lager kontinuierlich verfolgen. Hierbei kommen entweder 2-dimensionale Marker zum Einsatz, anhand derer die Position bestimmt werden kann, oder es gelingt durch komplexe Algorithmen die Orientierung und Bewegung des Gabelstaplers zu erkennen.
Ladegutidentifikation
Zur automatischen Verfolgung des Materialflusses soll das Ladegut mittels 1- und 2-dimensionaler Codes identifiziert werden. Hierbei ist die Herausforderung, dass die Kamera in einem sehr breiten Blickfeld die Codes in ausreichender Auflösung und Kontrast aufnehmen kann.
Diese Sensorfunktionen auf Basis von Bildverarbeitungstechnologien dienen einer höheren Wirtschaftlichkeit dank der Automatisierung der Logistikprozesse. Der Einsatz der Industriekamera GC2441M von SMARTEK Vision mit 5 Megapixeln bei 15 Bildern pro Sekunde und GigE Vision® Schnittstelle führt am Gabelstapler eine Vielzahl von Sensorfunktionen in einer Sensortechnologie zusammen. Um weitgehende Unabhängigkeit vom Umgebungslicht zu erreichen, wurde im Rahmen des Forschungsprojektes auf 2 LED-Beleuchtungen gesetzt, die mit einer 4-kanaligen Beleuchtungssteuerung IPSC4-r2, ebenfalls von SMARTEK Vision, betrieben wurden.
Herausforderungen:
Einsatzumgebung mit wechselnden Lichtverhältnissen (dunkle Lagerhallen vs. helle Außenbereiche und kontinuierliche Bewegung darin)
Kosteneffiziente Minimierung der Kameraanzahl mit daraus resultierenden Optikanforderungen zur synchronen Lösung möglichst vieler paralleler Bildverarbeitungsaufgaben unterschiedlichster Parametern (z. B. Objektgröße, Entfernung)
Einsatz in rauer Umgebung mit Motorvibrationen und Stößen aus dem Fahrbetrieb
Die wissenschaftlichen Ergebnisse der TUM-Forscher um Prof. Dr.-Ing. Günthner zeigen die Vorteile der kamerabasierten Funktionsintegration am Gabelstapler, wobei sich gerade im Bereich der Paletten-genauen Lokalisierung die wirtschaftlich rentabelsten Anwendungsbeispiele gezeigt haben. Anhand von 3 typischen Zielgruppen, den industriellen Anwendern, den Systemintegratoren und den Flurförderzeug-Herstellern haben die Forscher folgende Praxisszenarien herausgearbeitet, die sich mit individuellen Anpassungen direkt in den LIVE-Betrieb übernehmen lassen.
Applikationslösungen für verschiedene Zielgruppen
Industrielle Anwender, wie Betreiber von Staplerflotten oder Lagern, benötigen Lösungen für effiziente und sichere Transportprozesse. Insbesondere kostengünstige Kamerasysteme können in Verbindung mit dem entwickelten Software-Framework einen breiten Einsatz erfahren. Mit wachsendem Angebot an Sensorfunktionen durch Systemintegratoren und Flurförderzeug-Herstellern wird dem wachsenden Bedürfnis industrieller Anwender nach kostengünstigen Assistenzsystemen Rechnung getragen.
Gabelstapler- und allgemein Flurförderzeug-Hersteller setzen bereits auf eine Vielzahl von hoch integrierten Sensorsystemen, die zum Beispiel die in Maschinenrichtlinien geforderte Funktionssicherheit bieten. Sowohl bei manuellen als auch automatisierten Systemen bietet die im Forschungsprojekt geleistete Entwicklung einen technischen Ansatz neuartige Zustandserfassungsaufgaben bereits ab Werk zu integrieren und am Fahrzeug bildbasiert zu bewerkstelligen.
Die Aufgabe von Systemintegratoren ist i.d.R. die Nachrüstung von Gabelstaplern mit Sensorsystemen unter Berücksichtigung der kundenindividuellen Anforderungen und Gegebenheiten. Das im Rahmen des Projektes entwickelte Software-Framework liefert eine vollständige Entwicklungsumgebung und Basisfunktionalität zur Implementierung der weiteren projektspezifischen Bildverarbeitungslösungen. "Das Staplerauge" liefert hierzu erste Implementierungen, die flexibel adaptiert werden können. Systemintegratoren erhalten damit eine einfach Entwicklungsbasis für neue, innovative Erfassungslösungen, die es dem KMU-geprägten Logistikzweig ermöglicht, neue Produkte anzubieten und Märkte zu erschließen.
Das Software-Framework
Auf Basis der komfortablen Software Development Kits (SDK) von SMARTEK Vision implementierten die Ingenieure der TUM das Software-Framework unter Einbindung von etablierten Bildverarbeitungsbibliotheken und speziell entwickelten Erkennungsalgorithmen. Die Kompatibilität der SMARTEK Vision Kameras zum GigE Vision® Standard und die Ethernet-Schnittstelle der Beleuchtungssteuerung garantieren eine schnelle und reibungslose Einbindung dieser kritischen Systemkomponenten in das Software-Framework. So können in Zukunft weitere Sensorfunktionen in derselben Sensortechnologie durch eine Pipes-and-Filters Software-Architektur mit minimalem Integrationsaufwand auf der Hardware-Seite umgesetzt werden und so auch im Umgang mit Computer Vision Methoden wenig vertrauten Personen die Entwicklung von Sensorfunktionen für Gabelstapler erleichtern.
Dies gelingt durch die Vorimplementierung grundlegender Kamerafunktionen (z. B. Bildaufnahme, Kamerakonfiguration, usw.) oder häufig verwendeter Bildverarbeitungs- und Auswertungsmethoden sowie spezieller Stapler-Algorithmen als direkt verwendbare Bausteine. Mit diesem sogenannten Black-Box-Prinzip benötigt der Anwender lediglich ein Verständnis, welche Eingabe durch den Baustein zu welcher Ausgabe transformiert wird. Durch die Einbindung der frei verfügbaren OpenCV Bibliothek erlaubt das Nutzungskonzept des Frameworks die Kombination der Bausteine in einer einfach verständlichen Art und Weise. Die Bibliothek stellt viele Computer Vision Algorithmen zur Verfügung und zur weiteren Vereinfachung und Reduktion des Einarbeitungsaufwandes wird eine vollständige Entwicklungsumgebung inkl. Compiler, Debugger, Codeeditor etc. zusammengestellt, so das ohne Kosten und Installationsaufwand mit der Programmentwicklung begonnen werden kann.
Grundlegend für die industrielle Anwendung ist die Bereitstellung, des durch die Technische Universität München entwickelten Software-Frameworks als Open Source Lizenz. Zur praktischen Nachvollziehbarkeit steht der Versuchsstapler an der Forschungsstelle Interessierten zur Begutachtung und als Demonstration zur Verfügung.
Ausblick
Durch die rapide Evolution von Kamera-, Rechen- und Bussystemen ist davon auszugehen, dass die weitere Automatisierung im Intralogistikbereich voranschreitet und Herstellern, Systemintegratoren und industriellen Anwendern die Möglichkeit zur weiteren Prozessstraffung erlaubt. Durch die gesteigerte Leistungsfähigkeit der Kamerasysteme mit höheren Auflösungen, höheren Bildraten, flexibleren Beleuchtungssteuerungen und der höheren Lichtempfindlichkeit können noch exaktere Ergebnismessungen und darauf aufbauende Steuerungen erreicht werden, wie z. B. durch Hochgeschwindigkeitskameras, die bereits eine deutlich leistungsfähigere Warenidentifikation mittels NVE-Erkennung realisieren.
Des Weiteren ist die Fortentwicklung in der der Datenübertragung zu nennen. Im Forschungsprojekt kamen Kamerasysteme mit Ethernet-Bus zum Einsatz, bereits zum jetzigen Zeitpunkt stehen mit USB 3.0 und 10GigE schnellere Schnittstellen zur Verfügung, die durch eine höhere Bildübertragungsraten die Verwendung von höher auflösenden Bildern in höherer Bildrate in Echtzeit, z.B. zur Barcode-Erkennung, ermöglichen. In der Lokalisierung ist zudem eine höhere Bildwiederholrate von Vorteil.
Diese Entwicklungen begünstigen im Allgemeinen den breiteren Einsatz von kamerabasierten Bildverarbeitungssystemen als Sensortechnologie zur Realisierung von Erfassungsaufgaben, welche die Zustandserfassung am Gabelstapler in intralogistischen Transportprozessen unterstützen. Damit bietet die Kamerasensorik ein herausforderndes und vielversprechendes Aktionsfeld für neue Produkte und Märkte, wobei das Projekt "Das Staplerauge" durch das Software-Framework eine relevante Hilfestellung liefert und den Nachweis der Machbarkeit zur Risikominimierung in der Produktentwicklung beiträgt.
Daher hat der Lehrstuhl für Fördertechnik-Materialfluss-Logistik der Technischen Universität München im Forschungsprojekt "Das Staplerauge" (www.fml.mw.tum.de/Staplerauge) gemeinsam mit Industriepartnern den Einsatz von Kameras an Gabelstaplern zur (Teil-)Automatisierung in der Lager- und Verladelogistik untersucht. Gerade in der Intralogistik schlummern nennenswerte Effizienzpotenziale, da heutzutage in weiten Teilen der Automatisierungsgrad gering ist und lediglich eine Vielzahl von Insellösungen existieren, die technisch sowie wirtschaftlich wenig praktikabel sind und jeweils hohen Integrationsaufwand bedeuten. Die Anbringung von Videokameras an flexibel einsetzbaren Flurförderzeugen ermöglicht nun die bildverarbeitungsbasierte Überwachung und Steuerung der Prozesse in Echtzeit und senkt die Durchlaufzeiten durch die Parallelisierung ehemals sequentieller Vorgänge.
Für den automatisierten Intralogistikeinsatz und effizientere Transportprozesse wurden im Forschungsprojekt typische Einsatzszenarien wie die Gabel-Belegt-Erkennung, die Warenidentifikation mittels NVE-Code, die Paletten-genaue Lokalisierung und die lagerfachgenaue Gabelhubhöhen-Erkennung mit Hilfe eines Kamera-Systems und Beleuchtungssteuerungen des europäischen Bildverarbeitungsexperten SMARTEK Vision umgesetzt und evaluiert.
Applikationsszenarien:
Gabelbelegung
Bei der Gabel-Belegt- Erkennung kommt es darauf an, dass die Kamera die Zinken der Staplergabel exakt vom Bildhintergrund separieren kann. Lassen sich die Zinken komplett detektieren, ist die Gabel im Zustand "frei". Da die Zinken stahlgrau sind heben sie sich speziell vor dunklen Hintergründen nur wenig ab. Dies verlangt von der Kamera eine möglichst kontrastreiche Bildaufnahme unter verschiedensten Beleuchtungssituationen.
Hubhöhe
Alternativer Formulierungsvorschlag:
Um beispielsweise zu erkennen, aus welchem Regalfach der Stapler ein Ladegut aufgenommen hat, wird die Hubhöhe in dafür ausreichender Genauigkeit bestimmt. In weiteren Entwicklungsschritten ist denkbar, dass der Staplerfahrer eine Hubhöhe einstellen kann, die mittels eines Kamera-basierten Regelkreises autonom vom Stapler angefahren wird.
Position im Raum
Neben der Höhenbestimmung soll das zu entwickelnde System mittels Kamera ebenfalls die Position des Gabelstaplers in einem Lager kontinuierlich verfolgen. Hierbei kommen entweder 2-dimensionale Marker zum Einsatz, anhand derer die Position bestimmt werden kann, oder es gelingt durch komplexe Algorithmen die Orientierung und Bewegung des Gabelstaplers zu erkennen.
Ladegutidentifikation
Zur automatischen Verfolgung des Materialflusses soll das Ladegut mittels 1- und 2-dimensionaler Codes identifiziert werden. Hierbei ist die Herausforderung, dass die Kamera in einem sehr breiten Blickfeld die Codes in ausreichender Auflösung und Kontrast aufnehmen kann.
Diese Sensorfunktionen auf Basis von Bildverarbeitungstechnologien dienen einer höheren Wirtschaftlichkeit dank der Automatisierung der Logistikprozesse. Der Einsatz der Industriekamera GC2441M von SMARTEK Vision mit 5 Megapixeln bei 15 Bildern pro Sekunde und GigE Vision® Schnittstelle führt am Gabelstapler eine Vielzahl von Sensorfunktionen in einer Sensortechnologie zusammen. Um weitgehende Unabhängigkeit vom Umgebungslicht zu erreichen, wurde im Rahmen des Forschungsprojektes auf 2 LED-Beleuchtungen gesetzt, die mit einer 4-kanaligen Beleuchtungssteuerung IPSC4-r2, ebenfalls von SMARTEK Vision, betrieben wurden.
Herausforderungen:
Einsatzumgebung mit wechselnden Lichtverhältnissen (dunkle Lagerhallen vs. helle Außenbereiche und kontinuierliche Bewegung darin)
Kosteneffiziente Minimierung der Kameraanzahl mit daraus resultierenden Optikanforderungen zur synchronen Lösung möglichst vieler paralleler Bildverarbeitungsaufgaben unterschiedlichster Parametern (z. B. Objektgröße, Entfernung)
Einsatz in rauer Umgebung mit Motorvibrationen und Stößen aus dem Fahrbetrieb
Die wissenschaftlichen Ergebnisse der TUM-Forscher um Prof. Dr.-Ing. Günthner zeigen die Vorteile der kamerabasierten Funktionsintegration am Gabelstapler, wobei sich gerade im Bereich der Paletten-genauen Lokalisierung die wirtschaftlich rentabelsten Anwendungsbeispiele gezeigt haben. Anhand von 3 typischen Zielgruppen, den industriellen Anwendern, den Systemintegratoren und den Flurförderzeug-Herstellern haben die Forscher folgende Praxisszenarien herausgearbeitet, die sich mit individuellen Anpassungen direkt in den LIVE-Betrieb übernehmen lassen.
Applikationslösungen für verschiedene Zielgruppen
Industrielle Anwender, wie Betreiber von Staplerflotten oder Lagern, benötigen Lösungen für effiziente und sichere Transportprozesse. Insbesondere kostengünstige Kamerasysteme können in Verbindung mit dem entwickelten Software-Framework einen breiten Einsatz erfahren. Mit wachsendem Angebot an Sensorfunktionen durch Systemintegratoren und Flurförderzeug-Herstellern wird dem wachsenden Bedürfnis industrieller Anwender nach kostengünstigen Assistenzsystemen Rechnung getragen.
Gabelstapler- und allgemein Flurförderzeug-Hersteller setzen bereits auf eine Vielzahl von hoch integrierten Sensorsystemen, die zum Beispiel die in Maschinenrichtlinien geforderte Funktionssicherheit bieten. Sowohl bei manuellen als auch automatisierten Systemen bietet die im Forschungsprojekt geleistete Entwicklung einen technischen Ansatz neuartige Zustandserfassungsaufgaben bereits ab Werk zu integrieren und am Fahrzeug bildbasiert zu bewerkstelligen.
Die Aufgabe von Systemintegratoren ist i.d.R. die Nachrüstung von Gabelstaplern mit Sensorsystemen unter Berücksichtigung der kundenindividuellen Anforderungen und Gegebenheiten. Das im Rahmen des Projektes entwickelte Software-Framework liefert eine vollständige Entwicklungsumgebung und Basisfunktionalität zur Implementierung der weiteren projektspezifischen Bildverarbeitungslösungen. "Das Staplerauge" liefert hierzu erste Implementierungen, die flexibel adaptiert werden können. Systemintegratoren erhalten damit eine einfach Entwicklungsbasis für neue, innovative Erfassungslösungen, die es dem KMU-geprägten Logistikzweig ermöglicht, neue Produkte anzubieten und Märkte zu erschließen.
Das Software-Framework
Auf Basis der komfortablen Software Development Kits (SDK) von SMARTEK Vision implementierten die Ingenieure der TUM das Software-Framework unter Einbindung von etablierten Bildverarbeitungsbibliotheken und speziell entwickelten Erkennungsalgorithmen. Die Kompatibilität der SMARTEK Vision Kameras zum GigE Vision® Standard und die Ethernet-Schnittstelle der Beleuchtungssteuerung garantieren eine schnelle und reibungslose Einbindung dieser kritischen Systemkomponenten in das Software-Framework. So können in Zukunft weitere Sensorfunktionen in derselben Sensortechnologie durch eine Pipes-and-Filters Software-Architektur mit minimalem Integrationsaufwand auf der Hardware-Seite umgesetzt werden und so auch im Umgang mit Computer Vision Methoden wenig vertrauten Personen die Entwicklung von Sensorfunktionen für Gabelstapler erleichtern.
Dies gelingt durch die Vorimplementierung grundlegender Kamerafunktionen (z. B. Bildaufnahme, Kamerakonfiguration, usw.) oder häufig verwendeter Bildverarbeitungs- und Auswertungsmethoden sowie spezieller Stapler-Algorithmen als direkt verwendbare Bausteine. Mit diesem sogenannten Black-Box-Prinzip benötigt der Anwender lediglich ein Verständnis, welche Eingabe durch den Baustein zu welcher Ausgabe transformiert wird. Durch die Einbindung der frei verfügbaren OpenCV Bibliothek erlaubt das Nutzungskonzept des Frameworks die Kombination der Bausteine in einer einfach verständlichen Art und Weise. Die Bibliothek stellt viele Computer Vision Algorithmen zur Verfügung und zur weiteren Vereinfachung und Reduktion des Einarbeitungsaufwandes wird eine vollständige Entwicklungsumgebung inkl. Compiler, Debugger, Codeeditor etc. zusammengestellt, so das ohne Kosten und Installationsaufwand mit der Programmentwicklung begonnen werden kann.
Grundlegend für die industrielle Anwendung ist die Bereitstellung, des durch die Technische Universität München entwickelten Software-Frameworks als Open Source Lizenz. Zur praktischen Nachvollziehbarkeit steht der Versuchsstapler an der Forschungsstelle Interessierten zur Begutachtung und als Demonstration zur Verfügung.
Ausblick
Durch die rapide Evolution von Kamera-, Rechen- und Bussystemen ist davon auszugehen, dass die weitere Automatisierung im Intralogistikbereich voranschreitet und Herstellern, Systemintegratoren und industriellen Anwendern die Möglichkeit zur weiteren Prozessstraffung erlaubt. Durch die gesteigerte Leistungsfähigkeit der Kamerasysteme mit höheren Auflösungen, höheren Bildraten, flexibleren Beleuchtungssteuerungen und der höheren Lichtempfindlichkeit können noch exaktere Ergebnismessungen und darauf aufbauende Steuerungen erreicht werden, wie z. B. durch Hochgeschwindigkeitskameras, die bereits eine deutlich leistungsfähigere Warenidentifikation mittels NVE-Erkennung realisieren.
Des Weiteren ist die Fortentwicklung in der der Datenübertragung zu nennen. Im Forschungsprojekt kamen Kamerasysteme mit Ethernet-Bus zum Einsatz, bereits zum jetzigen Zeitpunkt stehen mit USB 3.0 und 10GigE schnellere Schnittstellen zur Verfügung, die durch eine höhere Bildübertragungsraten die Verwendung von höher auflösenden Bildern in höherer Bildrate in Echtzeit, z.B. zur Barcode-Erkennung, ermöglichen. In der Lokalisierung ist zudem eine höhere Bildwiederholrate von Vorteil.
Diese Entwicklungen begünstigen im Allgemeinen den breiteren Einsatz von kamerabasierten Bildverarbeitungssystemen als Sensortechnologie zur Realisierung von Erfassungsaufgaben, welche die Zustandserfassung am Gabelstapler in intralogistischen Transportprozessen unterstützen. Damit bietet die Kamerasensorik ein herausforderndes und vielversprechendes Aktionsfeld für neue Produkte und Märkte, wobei das Projekt "Das Staplerauge" durch das Software-Framework eine relevante Hilfestellung liefert und den Nachweis der Machbarkeit zur Risikominimierung in der Produktentwicklung beiträgt.
