Kommissionierung: Fraunhofer IPA forscht an flexibler Objekterkennung

Intelligente und zuver­lässige Objekterkennung ist eine Schlüsseltech­no­logie, die vielfäl­tige ­Automatisierungslösungen in der Logistik möglich macht.

Damit mobile Roboter für Aufgaben in der Lagerlogistik zuverlässig eingesetzt werden können, müssen sie bestimmte Fertigkeiten erfüllen. Bisher arbeiten Robotersysteme für die Kommissionierung von Kundenbestellungen mit einem Lagerverwaltungssystem, das dokumentiert, an welcher Stelle im Regal oder in welcher Kiste ein Produkt vorrätig ist. Soll der Roboter einzelne Produkte autonom handhaben, muss er diese erkennen können. Dies ist bisher lediglich für ein begrenztes Sortiment und auf Basis geometrischer Informationen möglich, die meist mit 2D-Laserscannern erfasst werden. Für Pick-and-Place-Arbeitsplätze gibt es alternative Logistiksysteme, die entweder Kisten oder ganze Regalteile an diesen Arbeitsplatz bringen.

Die letzte Stufe zur freien Erkennung beliebiger Objekte leistet aber bisher kein Robotersystem. Um genau dies zu ermöglichen, arbeitet das Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA an einer flexiblen Objekterkennung. Mit dieser Technologie lassen sich leicht neue Produkte einlernen, sodass die Technologie besonders für Sortimente mit großen Stückzahlen verschiedener Objekte geeignet ist. Bestehende Automatisierungslösungen können so intelligent erweitert oder neue entsprechend den Kundenanforderungen entwickelt werden.

Bei der Erkennung unterscheidet man zwischen der Klassifizierung unbekannter Objekte, also der Zuordnung zu vorher definierten Objektklassen, und dem Wiedererkennen vorab modellierter Gegenstände. Zur Klassifizierung erfasst das Robotersystem unter anderem geometrische Basisformen mittels 3D-Sensoren. Die Objektklassifizierungssoftware kann beispielsweise aus den Daten einer 3D-Punktwolke die Information „drei senkrechte, rechteckige Ebenen“ extrahieren und daraus schließen, dass es sich um ein Paket handelt – unabhängig davon, ob genau dieses Paket in den jeweiligen Abmessungen jemals zuvor gesehen wurde.

3D-Objektmodell erstellen
Die Wiedererkennung individueller Objekte kann eingesetzt werden, wenn das Sortiment an Objekten vorab eingelernt wurde und somit bekannt ist. Insbesondere um auch ähnlich geformte Objekte voneinander zu unterscheiden, lassen sich zusätzlich zu den genannten geometrischen Formen mit einer Farb- und Tiefenbildkamera Merkmale wie Linienschnitte oder sogenannte SURF-Merkmals­punkte („speeded up robust feature“) zur Charakterisierung der Oberflächen­textur erfassen. Die Farbe wird über eine Histogrammstatistik berücksichtigt.

Beim erstmaligen Einlernen des Objektes werden die einzelnen Aufnahmen von allen Seiten zu einem konsistenten 3D-Objektmodell zusammengeführt. Bei der Wiedererkennung im operativen Betrieb werden die in den Einzelbilddaten gefundenen Merkmale mit den bereits erlernten Objektmodellen abgeglichen. Dadurch ist die robuste Wiedererkennung von Objekten auch bei wechselnden Lichtverhältnissen oder partieller Verdeckung möglich. Beispielsweise kann ein markanter Schriftzug mit seinen spezifischen Merkmalspunkten ausreichen, um diesen dem dazugehörigen Objekt zuzuordnen. Das Wiedererkennen braucht nicht mehr als eine Sekunde.

Die IPA-Experten haben zudem eine Aufnahmestation konzipiert, die nach wenigen Minuten ein 3D-Modell des Objekts mitsamt den zur Erkennung notwendigen Merkmalspunkten erzeugt. So kann man die Softwarebibliothek mit kundenspezifischen Objekten erweitern, zugleich werden hohe Fluktuationen in Produkten oder im Verpackungsdesign beherrschbar. Für besonders große Produktsortimente wird bereits an der Möglichkeit gearbeitet, Modelle direkt aus vorhandenen, hochqualitativen Produktfotos und -daten zu erstellen. Zudem ist es möglich, die Bibliothek in Cloud-basierte Architekturen zu integrieren, sodass einmal eingelernte Objekte über einen zentralen Server allen verbundenen Systemen zur Verfügung stünden.

Genauerer Abgleich möglich
Die Anwendung von 3D-Farbsensoren bietet eine besonders intelligente Objekterkennung mit vielen Einsatzmöglichkeiten. Die 3D-Farbsensoren erlauben der Softwarebibliothek einen genaueren Modellabgleich mit der Objektmodelldatenbank als gewöhnliche Farbkameras, denn sie erfassen auch die 3D-Position und Orientierung der Merkmale und Objekte. So können Mehrdeutigkeiten bei der Objektlageschätzung vermieden werden, die beispielsweise durch gleiche Logos in unterschiedlichen Größen auf verschiedenen Seiten entstehen könnten.
Auch das automatisierte Aufnehmen mit Roboterarm und Greifhand ist kein Problem, denn die erforderliche Greifbewegung kann dank bekannter Position und Lage direkt berechnet werden. Zudem könnte diese Technologie auch für ein effizientes Retourenmanagement genutzt werden, denn das Robotersystem wüsste genau, welche Artikel zurückgegeben wurden und auf welche Art und Weise sie wo abzulegen sind.

Für das Holen oder Zurücklegen von Objekten können insbesondere mobile Manipulatoren zum Einsatz kommen, also eine Verbindung von mobiler Plattform und Industrieroboterarm. Mobile Systeme können zudem mithilfe der Objekterkennung auch Bestandsaufnahmen zum Beispiel im Einzelhandel oder im Lager ausführen. Sie fahren dann Regalreihen ab und erkennen, wo Objekte fehlen oder sich an falschen Plätzen befinden, was zeitaufwendige Kontrollgänge durch das Personal ersparen würde. Als stationäres System kann die Objekterkennung für das Greifen und die Zusammenstellung von Warensendungen auch aus nicht sortenreinen Lagerplätzen oder -kisten genutzt werden. Die Objekterkennungssoftware kann somit bestehende Kommissioniersysteme um entscheidende Fähigkeiten erweitern.

Neben der Erkennung einzelner Waren hat das Fraunhofer IPA die vorhandenen Technologien auch für das Erkennen von Regalbeschriftungen weiterentwickelt. Mithilfe einer Farb- oder Graubildkamera erkennt und liest die Software anhand verschiedener Deskriptoren für Mensch und Maschine geeignete standardisierte Zahlen- und Buchstabenkombinationen. Zusätzlich lässt sich auch die Position und Orientierung des Schildes erfassen. So könnten mobile Fahrzeuge oder Robotersysteme neue Lagerräume einmessen und eine virtuelle 2D-/3D-Karte des Lagers erstellen sowie automatisch Regalfächer mit der jeweiligen Kennzeichnung an der entsprechenden Position anlegen. Auch könnten autonome Maschinen die Regalschilder als Landmarken nutzen und sich an ihnen präzise ausrichten, um so eventuelle Ungenauigkeiten einer freien Navigation auszugleichen. mp

Autor: Richard Bormann, Projektleiter in der Gruppe Haushalts- und Assistenzrobotik am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA, Stuttgart.