en
de

Augmented Reality in der Industrie

7 Januar 2014
| |
Lesezeit: 4 Minutes

Kann man Smartphones und Tablets nicht auch dort sinnvoll einsetzen, wo es raucht, stinkt, dreckig ist und „richtig gearbeitet“ wird?

Diese Frage stellte ich mir mit dem Beginn des Einzugs von Smartphones und Tablets in unseren Alltag. Kann man diese Geräte nicht auch in Regionen nutzen, in denen viele Produktionsstätten unserer Kunden stehen: In Ländern ohne flächendeckendem LTE-Netz, in Industrieanlagen ohne WLAN, schlicht in den Ecken „am Ende der Welt“. Wie könnte so etwas aussehen?

Geschichten erzählen

Bei Zühlke rennt man mit solchen Ideen offene Türen ein. Aus einem Abend an der Bar beim jährlichen Coding-Camp entstand ein Bündel an Ideen, welche zunächst schwer zu fassen und zu bewerten waren. Nach dem Vorbild unserer Usability-Ingenieure versuchte ich das Bild, das ich in meinem Kopf hatte, in Form von Geschichten auszudrücken: Storyboarding.

Anhand einer erzählten Geschichte mit fingiertem Handlungsablauf und Personen kann sich jeder in die Thematik hineinversetzen und die Geschichte aus dem Blickwinkel der eigenen Wahrnehmung und Phantasie begreifen und verstehen. Heraus kamen drei Geschichten, von denen eine so gut gefiel, dass Zühlke daraus ein Video machte.

Die Ingenieurfrage nach dem optimalen Device

Die Idee aus dem Video möchte ich hier weiter erläutern und dazu anregen, sie weiterzuspinnen.

Zunächst drängt sich vielleicht gerade bei Technik-Freaks die Frage auf: Warum gerade Tablets? Brauchen wir nicht eher Google Glass? Die Antwort ist ein entschiedenes „Jein“, das eher zum nein tendiert.

Für bestimmte Stories wäre eine Brille als Device tatsächlich praktisch, beispielsweise dort wo „hands free“ eine wichtige Voraussetzung der ausgeübten Tätigkeit ist. In allen anderen Fällen ist das Device, ob Smartphone, Tablet, Brille oder intelligenter Nasenring letzten Endes aber tatsächlich egal.

Ich würde den Spieß eher umdrehen und fragen: Wer benutzt denn ein intelligentes Device potentiell in der Zukunft in der Industrie, auf der Anlage? In meiner Vision sind das eher die Mechaniker, Bauarbeiter oder Wartungstechniker mit ölverschmierten Händen, Handwerker eben. Die Büroangestellten eher weniger – sie benutzen die Technik heute schon zum größten Teil.

Welche technischen „Gadgets“ nutzen diese Handwerker bereits heute? Etliche tippen ihre Berichte in Laptops, Smartphones sollen zuweilen auch am Handwerker gesehen worden sein. Und was wird den Laptop schon bald ersetzen? Das Tablet.

Also lasst uns die Geräte nutzen, die sowieso schon genutzt werden oder das Potential dazu haben. All diese Geräte haben eine Kamera eingebaut, was sie für Augmented Reality-Einsätze prädestiniert.

Mit dem Dritten sieht man besser

Was haben diese Ideen nun gemeinsam? Ich würde es in dem Satz „Mit dem dritten Auge sieht man mehr“ plakatieren, wobei das dritte Auge das Smartphone oder Tablet ist. Statt mir in meiner Freizeit die Sternbilder oder die Berggipfel um mich herum zu zeigen, ist ein solches Device vielleicht genauso in der Lage, mir generell Dinge zu zeigen, die ich mit bloßem Auge nicht sehe.

Die Idee ist, die Fachlichkeit der jeweiligen Domäne, mit der sich der Betrachter befasst, in Form von 3D-Modellen und Bildern in eine App zu verpacken und ein Matching mit der realen Welt – beobachtet durch die Kamera des Devices – hinzubekommen.

Auf diese Weise lassen sich Bauteile identifizieren, interaktive Montageanleitungen wie im Video realisieren oder schlicht Dinge hervorheben, die sich dem menschlichen, vielleicht laienhaften Auge nicht ohne viel Übung erschließen.

Das Device bildet quasi die fehlende Wissensbasis.

Im Consumer-Bereich kann dies die Aufbauanleitung des schwedischen Möbelhauses für den Schrank mit 180 Kleinteilen sein, in dem genau im Kamerabild hervorgehoben wird, welcher Bolzen vom Teilehaufen in welches Loch als nächstes zu stecken ist.

Im Industriebereich kann dies das Highlighting eines defekten Bauteils oder eines Ersatzteils sein. Oder man visualisiert damit Daten auf dem Bauteil oder der Maschine, welche aus anderen Quellen – beispielsweise von einer Materialprüfung – herrühren.

Ein Blick in die Eingeweide

HandyMatchingAlgorithm2

Alle Szenarien basieren immer auf denselben Grundbausteinen:

  • Bilderkennung auf dem Device: Patternmatching inklusive Perspektivenerkennung.
  • Matching mit einer vorab synchronisierten oder installierten Datenbasis von 2D, idealerweise 3D-Shapes.
  • Highlighting innerhalb des Kamerabildes auf dem Device oder anderweitige Verarbeitung.

Diese Grundbausteine bilden die Basis für eine Vielzahl an nützlichen Augmented Reality Apps für Industrie- und  Consumer-Bereich. Aufbauend auf diesen Bausteinen könnten die unterschiedlichsten Szenarien unterstützt werden.

Entscheidend ist hierbei auch die Offline-Fähigkeit der gesamten Lösung.

Auf der Anlage darf eine stabile Internetverbindung  nicht die Voraussetzung dafür sein, um die App sinnvoll zu nutzen. Eine Synchronisierung bei Netz wäre denkbar und ggf. hilfreich, sollte aber nicht Voraussetzung sein. Die Bilderkennung sollte also möglichst auf dem Device stattfinden. Es stellen sich damit die folgenden Kernfragen:

  1. Welche Algorithmen können zur Bilderkennung überhaupt sinnvollerweise genutzt werden, gerade im Hinblick auf Verständlichkeit, Umsetzbarkeit und Lizensierung?
  2. Ist die Performance eines Smartphones oder Tablets ausreichend, um die Algorithmen zu nutzen oder muss dies wie bei Google auf großen Rechnerfarmen im Hintergrund geschehen?

Gerade für letztere Frage ist die Vorarbeit meiner Kollegen Michael Sattler und Stephan Wirth wertvoll. Interessante Ansätze zur Bilderkennung sind darüber hinaus hier zu finden:

  • Google-Bildersuche im Browser Chrome
  • SmoothGestures2 von SimilarProducts: Finden ähnlicher Produkte anhand von Bildern in Chrome.
  • 3D-Objekterkennung 3-Sweep aus 2D-Bildern

Für weitere Links und Ideen, Algorithmen und Forschungsarbeiten zu dem Thema, die uns bei Zühlke unterstützen könnten um eine Basis für die Augmented Reality Apps der Zukunft zu schaffen, wäre ich sehr dankbar.

Ich bin mir sicher, dass Szenarien wie das von mir beschriebene nicht mehr lange Zukunftsmusik bleiben müssen, sondern schon bald zu unserem Alltag gehören.

Kommentare (3)

Avatar

Martin Adam

8 Januar 2014 um 13:23

Hallo Herr Roth,

ich kann Ihnen die freudige Mitteilung machen, dass das, was Sie als Zukunftsmusik betrachten, längst Realität ist. Die Firma Metaio (http://metaio.com) in München hat genau die Technologien entwickelt, die Sie einfordern. Sogar das erkennen von 2D- und 3D-shapes (bei Metaio: Edgebased-Tracking) ist bereits umgesetzt und wird z.B. von uns zum Erkennen von Objekte der realen Welt verwendet. Wir nutzen die Technologie aktuell in einer Offline-Anwendung für ein Open-Air-Museum und sind überzeugt von der Fähigkeit.

Mit freundlichen Grüßen

Martin Adam

    Stefan Roth

    Stefan Roth

    10 Januar 2014 um 10:10

    Hallo Herr Adam,

    vielen Dank für den wirklich hilfreichen Link. Das scheint ja wirklich genau das zu sein, was wir suchen. Können Sie mir weitere Informationen geben und ihre Erfahrungen schildern? Ich würde mich freuen, wenn wir in Kontakt treten könnten.

    Beste Grüße,

    Stefan Roth

Avatar

Dirk Schart

13 Januar 2014 um 17:59

Lieber Herr Roth,

Sie haben ein paar wichtige Aspekte beschrieben in Ihrem Beitrag. Auch kommen in der Industrie schon einige der erwähnten Ansätze und Technologien zum Einsatz und sind vielfach umsetzbar.

Datenbrillen, wie Google Glass, haben Vorteile, wenn der Arbeiter an der Maschine seine Hände braucht. Das Sichtfeld der Glasses ist sehr klein, die Performance geringer als bei Tablets. Sinn macht hier der kollaborative Ansatz – bei Device und Mensch. Zusammenarbeit mit dem passenden Device und in der selben Szene. Damit können verschiedene Perspektiven eingenommen werden und die Vorteile des jeweiligen Devices kommt zum Tragen.

Wenn Sie von der Bilderkennung in der Form von Google/Goggles sprechen, dann ist für dieses Matching eine Cloud sinnvoll. Das Erkennen von Gegenständen, die vorher nicht definiert wurden, ist ein großer Speicheraufwand.

Das Tracking wiederum, in der aktuellen Form von Slam z.B., lässt sich auch auf den modernen Tablets machen. Welches Tracking Sie nutzen, hängt davon ab, welche Anforderungen bestehen. Hier haben alle verfügabren Systeme ihre Stärken und Schwächen. Echtes 3D-Tracking hat sich 2013 stark weiterentwickelt. Für die Informatiker im Blog sicherlich interessant ist SLAM+, zu sehen in diesem Video: http://youtu.be/tmrAh1CqCRo.

Ein paar Beispiele zu AR-Anwendungen im Automotive- und Industriebereich sehen Sie auch in unserem Blogbeitrag: http://www.wearear.de/automotive-augmented-reality/.

Viel Spaß mit Augmented Reality,

Dirk Schart

×

Updates

Schreiben Sie sich jetzt ein für unsere zwei-wöchentlichen Updates per E-Mail.

This field is required
This field is required
This field is required

Mich interessiert

Select at least one category
You were signed up successfully.

Erhalten Sie regelmäßige Updates zu neuen Blogartikeln

Jetzt anmelden

Oder möchten Sie eine Projektanfrage mit uns besprechen? Kontakt aufnehmen »