• Zur Homepage springen
  • Direkt zum Inhalt
  • Zur Hauptnavigation springen
  • Zur Meta Navigation springen
Zühlke - zur Startseite
  • Business
  • Karriere
  • Events
  • Über uns

Sprachnavigation. Die aktuelle Sprache ist deutsch.

  • Expertise
    • KI-Lösungen
    • Cloud
    • Cybersecurity
    • Data Solutions
    • DevOps
    • Digitalstrategie
    • Experience Design
    • Hardwareentwicklung
    • Managed Services
    • Softwareentwicklung
    • Nachhaltigkeit
    Expertise im Überblick

    Highlight Case Study

    Airport concept

    Zurich Airport transforms operations for a data-driven future

    Mehr erfahren
  • Branchen
    • Banken & Finanzdienstleister
    • Versicherungen
    • Gesundheitsdienstleister
    • Medizintechnik
    • Pharma
    • Industrie
    • Einzelhandel & Konsumgüter
    • Energiewirtschaft & Versorgung
    • Öffentlicher Sektor & Verwaltungen
    • Transport
    Branchen im Überblick

    Melden Sie sich an, um die neuesten Updates & Event-Einladungen zu erhalten Zur Anmeldung.

    Jetzt anmelden
  • Case Studies

    Spotlight Case Studies

    • Global Research Platforms und Zühlke: Gemeinsam im Kampf gegen Alzheimer
    • Brückner Maschinenbau nutzt GenAI für mehr Effizienz durch optimiertes Stammdatenmanagement
    • UNIQA: Effizienzsteigerung durch KI-Chatbot – Halbierter Aufwand bei 95 prozentiger Antwortgenauigkeit
    Mehr Case Studies entdecken

    Highlight Case Study

    Airport concept

    Zurich Airport transforms operations for a data-driven future

    Mehr erfahren
  • Insights

    Spotlight Insights

    • Wie und wo Low-Code in der Versicherungsbranche angewendet werden kann
    • CTO-Playbook für die Tech-Transformation im Einzelhandel
    • DeepSeek und der Aufstieg von Open-Source-KI: Ein Gamechanger für Unternehmen?
    Mehr Insights entdecken

    Highlight Insight

    AI adoption: Rethinking time and purpose in the workplace

    Mehr erfahren
  • Academy
  • Kontakt
    • Österreich
    • Bulgarien
    • Deutschland
    • Hongkong
    • Portugal
    • Serbien
    • Singapur
    • Schweiz
    • Großbritannien
    • Vietnam

    Melden Sie sich an, um die neuesten Updates & Event-Einladungen zu erhalten Zur Anmeldung.

    Jetzt anmelden
Zühlke - zur Startseite
  • Business
  • Karriere
  • Events
  • Über uns
  • Expertise
    • KI-Lösungen
    • Cloud
    • Cybersecurity
    • Data Solutions
    • DevOps
    • Digitalstrategie
    • Experience Design
    • Hardwareentwicklung
    • Managed Services
    • Softwareentwicklung
    • Nachhaltigkeit
    Expertise im Überblick

    Highlight Case Study

    Airport concept

    Zurich Airport transforms operations for a data-driven future

    Mehr erfahren
  • Branchen
    • Banken & Finanzdienstleister
    • Versicherungen
    • Gesundheitsdienstleister
    • Medizintechnik
    • Pharma
    • Industrie
    • Einzelhandel & Konsumgüter
    • Energiewirtschaft & Versorgung
    • Öffentlicher Sektor & Verwaltungen
    • Transport
    Branchen im Überblick

    Melden Sie sich an, um die neuesten Updates & Event-Einladungen zu erhalten Zur Anmeldung.

    Jetzt anmelden
  • Case Studies

    Spotlight Case Studies

    • Global Research Platforms und Zühlke: Gemeinsam im Kampf gegen Alzheimer
    • Brückner Maschinenbau nutzt GenAI für mehr Effizienz durch optimiertes Stammdatenmanagement
    • UNIQA: Effizienzsteigerung durch KI-Chatbot – Halbierter Aufwand bei 95 prozentiger Antwortgenauigkeit
    Mehr Case Studies entdecken

    Highlight Case Study

    Airport concept

    Zurich Airport transforms operations for a data-driven future

    Mehr erfahren
  • Insights

    Spotlight Insights

    • Wie und wo Low-Code in der Versicherungsbranche angewendet werden kann
    • CTO-Playbook für die Tech-Transformation im Einzelhandel
    • DeepSeek und der Aufstieg von Open-Source-KI: Ein Gamechanger für Unternehmen?
    Mehr Insights entdecken

    Highlight Insight

    AI adoption: Rethinking time and purpose in the workplace

    Mehr erfahren
  • Academy
  • Kontakt
    • Österreich
    • Bulgarien
    • Deutschland
    • Hongkong
    • Portugal
    • Serbien
    • Singapur
    • Schweiz
    • Großbritannien
    • Vietnam

    Melden Sie sich an, um die neuesten Updates & Event-Einladungen zu erhalten Zur Anmeldung.

    Jetzt anmelden

Sprachnavigation. Die aktuelle Sprache ist deutsch.

Homepage zuehlke.com

AR-Brille zum Selbstbauen – Project North Star im Test

Handgesten und Objekt-Interaktion sind zwei extrem spannende und vielversprechende Entwicklungsbereiche im Bereich Augmented bzw. Mixed Reality. Deshalb war es für uns auch vollkommen klar, dass wir uns auf unserem Zühlke Camp Anfang Mai unbedingt mit diesen beiden Themen auseinandersetzen wollten. Um es uns nicht zu einfach zu machen, haben wir uns dabei für das Project North Star entschieden.

07. Juni 20194 Minuten Lesezeit
Northstar VR glasses
Mit Insights von
Sergej Tihonov

Sergej Tihonov

Ehemaliger Advanced Software Engineer
  • Können Sie Ihre eigene Augmented Reality-Brille bauen?

  • Was sind die Möglichkeiten und Grenzen der AR-Technologie im Moment?

  • Wie interagieren Benutzer mit virtuellen Objekten in der realen Welt?

Eine AR-Brille auf dem neuesten Stand der Technik – und das auch noch zum Selbstbauen. Wir haben unser Zühlke Camp genutzt, um den Leap Motion Sensor mit dem Project North Star zu testen. In meinem Blogpost erfahren Sie, ob diese Kombination wirklich schon reif für die Praxis ist – und warum wir uns beim Testen ein bisschen wie die Avengers gefühlt haben. <p>Handgesten und Objekt-Interaktion sind zwei extrem spannende und vielversprechende Entwicklungsbereiche im Bereich Augmented bzw. Mixed Reality. Deshalb war es für uns auch vollkommen klar, dass wir uns auf unserem Zühlke Camp Anfang Mai unbedingt mit diesen beiden Themen auseinandersetzen wollten. Um es uns nicht zu einfach zu machen, haben wir uns dabei für das Project North Star entschieden.</p>

Project North Star bezeichnet sich selbst als „das weltweit erste ernstzunehmende Open Source Headset Projekt“. Elementarer Bestandteil ist dabei der Leap Motion Sensor, der mithilfe von zwei Wärmekameras und drei Infrarot LEDs die Position der Hände ermittelt. Die Kameras nehmen 200 Bilder pro Sekunde auf und die dazugehörige Software errechnet aus den Bildern die 3D Position der Hände. Damit beinhaltet das Project North Star alle notwendigen Funktionalitäten für unsere Versuche.

In Kombination mit der von Leap Motion angebotenen Mehrfingererkennung haben wir unsere eigene AR-Brille gemäß den Anleitungen von Project North Star in 3D gedruckt. So konnten wir nicht nur viele wertvolle Erkenntnisse zu Handgesten und Objekt-Interaktion sammeln, sondern auch unsere Hardware- und unseren 3D-Druckkenntnisse erweitern.

3D Druck, Zusammenbau & Einrichtung der Augmented-Reality-Brille

Alle notwendigen Informationen für den Druck und Zusammenbau haben wir auf der Leap Motion Homepage gefunden und konnten direkt loslegen.

In den Dateien ist ein BOM (bill of material) zu finden, mit allen Einzelteilen, die besorgt bzw. gedruckt werden müssen. Um die Versandkosten der benötigten Teile zu reduzieren, haben wir diese auf dem deutschen Markt besorgt. Die Elektronikteile und Linsen haben wir auf der Smart Prototyping Webseite bestellt, was das ganze deutlich vereinfacht hat (dort ist auch bereits ein eigenes Project North Star Kit angekündigt).

Nachdem der Lieferung unserer Bestellungen und ein paar Tagen 3D-Druck – der fast eine ganze Rolle Filament benötigte – hatten wir alle Teile zusammen und konnten mit dem Zusammenbau beginnen. Hier ein kurzes Video dazu:

The screens are upside down and the image is mirrored in the lenses.

Project North Star startet kopfüber

Nach dem Zusammenbau haben wir die North Star direkt an den Rechner angeschlossen. Die erste Überraschung: Die Screens sind kopfüber und die Darstellung wird in den Linsen gespiegelt. Aber das ist in Ordnung so, die Darstellung wird softwareseitig korrigiert, so dass in der Augmented Reality alle Inhalte korrekt dargestellt werden.

Genau wie Microsoft bei der HoloLens setzt Leap Motion beim Project North Star für die Implementierung auf die Game Engine Unity. Unity ermöglicht es 2D, 3D, VR & AR Spiele und andere Erlebnisse zu erstellen. Das mitgelieferte Unity Projekt beinhaltet ein eigenes Kamerascript, welches die Rotation, die Spiegelung und die Aufteilung auf die beiden Linsen übernimmt.

Das notwendige Unity Package war im GitHub unter „Software“ zu finden. Darin enthalten ist auch eine Readme Datei, die eine kurze Einführung gibt. Am wichtigsten war es, den „Multi-Device Beta Service“ aus der Readme zu installieren, dabei handelt es sich um eine neue Version von dem „Leap Motion Developer Kit“.

LeapAR.unitypackege beinhaltet bereits alle vorhandenen Leap Motion Packages: Core, Hands, GraphicRenderer und InteractionEngine. Somit konnten wir direkt loslegen und die mitgelieferten Beispiele ausprobieren.

Besonders positiv lässt sich noch der Discord Channel vom Project North Star hervorheben. Er ist zum einen sehr gut strukturiert und zum anderen sind dort viele Nutzer aktiv, so dass man schnell Hilfe bei Problemen bekommt. Wenn man von dem Standartbauplan abweichen oder Erweiterungen hinzufügen möchte, kann man sich dort sehr gut mit anderen Nutzern und Entwicklern beraten.

Implementierung

Bei der Entwicklung wollten wir folgende Funktionalität umsetzen und testen:

  • User Interface (UI), das parallel zu der Hand des Benutzers schwebt
  • UI kann durch eine Handgeste aktiviert und deaktiviert werden
  • UI beinhaltet mehrere Tabs mit unterschiedlicher Funktionalität
  • Zwischen den UI Tabs kann mithilfe von Fingergesten gewechselt werden
  • Ein Tab mit Zahl- oder Texteingabe
  • Ein Tab mit unterschiedlichen Slidern
  • Ein Tab mit Objekt Interaktion
  • Eine neue, komplett eigene Geste: Fingerschnipsen

Das Endergebnis unserer Augmented-Reality-Brille ist im folgenden Video zu sehen. Bei der eigenen Geste haben wir uns von Marvels Avengers inspirieren lassen und haben ein Fingerschnipsen implementiert. Damit halbiert man die eingegebene Zahl im ersten Tab. Und das Sammeln von den Objekten im dritten Tab hat sich auch ein wenig wie das Sammeln von den Infinity Steinen angefühlt.

Fazit

Das Wichtigste zuerst: Unser Project North Star zu drucken und zusammenzubauen hat sehr viel Spaß gemacht. Obwohl unsere Brille extrem groß ausfällt, ist sie ziemlich leicht. Die Darstellung in den Linsen ist gut, vor allem wenn der Raum leicht abgedunkelt ist. Brillenträger können die North Star bequem über ihre Brille anziehen.

Beim Project North Star muss man sich aber bewusst sein, dass es ein „Work in Progress“ Prototyp ist. Es ist kein marktreifes Produkt und die Funktionalitäten beschränken sich im Moment auf die Möglichkeiten der Leap Motion, welche als Sensor in der Brille platziert wird. Es eignet sich aber gut, um die ersten Erfahrungen mit Gestensteuerung und Objekt-Interaktion zu sammeln und anhand von Benutzertests zu erfahren, was gut funktioniert und sich natürlich anfühlt.

Unsere Erfahrungen, die wir aus dem Camp mitnehmen:

  • Position und Ausrichtung der Handflächen, der Zeigefinger und der Daumen werden sehr zuverlässig und genau erkannt. Sogar der kleine Finger wird verhältnismäßig zuverlässig erkannt.
  • Position und Ausrichtung der Mittel- und Ringfinger sind nicht sehr zuverlässig und werden nur in ca. 60% der Fälle richtigen erkannt. Wenn man die Hand bewegt, ergeben sich viele tote Winkel für den Sensor, in denen andere Finger diese verdecken. Damit lässt es sich nur schwer arbeiten und die User Experience leidet stark darunter.
  • Bei Gesten, die durch eine Rotationsbewegung ausgelöst werden, sollte der Winkel nicht zu knapp gewählt werden, da man die Hand nicht 100% stillhalten kann. Aus diesem Grund empfehlen wir den Deaktivierungsradius mindestens 10 Grad größer zu wählen als den Aktivierungsradius, damit kein Flackern auftritt.
  • Fingergesten sollten sehr einfach sein und mit vielen unterschiedlichen Personen getestet werden, da sich die Feinmotorik in den Fingern von Person zu Person extrem stark unterscheidet. Das gleiche betrifft auch die Unterschiede zwischen der rechten und linken Hand.
  • Bei der Interaktion mit Objekten muss der Benutzer aktiv über visuelle und auditive Hilfsmittel unterstützt werden. Es hilft sehr, wenn Interaktionselemente ihre Farben in Relation zur Entfernung des Fingers ändern oder intensivieren und die Interaktion selbst durch einen Ton bestätigt wird.
  • Die besten Hilfsmittel bringen nichts, wenn diese bei der Interaktion von der Hand überdeckt werden.

Mehr Insights entdecken

Alle Branchen

Warum Innovationen in Unternehmen fehlschlagen und was Sie dagegen tun können

Mehr erfahren
innovation
Banken & Finanzdienstleister

Verbraucherschutz bei Finanzdienstleistungen: Chance zur Optimierung des Kundenerlebnisses

Mehr erfahren
Canary Wharf finance street
Gesundheitsdienstleister

Health Ecosystem Day: Was Akteure im Gesundheitswesen voneinander lernen können

Mehr erfahren
Health Ecosystem Day 2023
Alle Insights entdecken

Lernen Sie uns kennen

  • Über uns
  • Impact & Commitments
  • Zahlen & Fakten
  • Karriere
  • Event Hub
  • Insights Hub
  • News Anmeldung

Mit uns arbeiten

  • Unsere Expertise
  • Unsere Branchen
  • Case Studies
  • Partner-Ökosystem
  • Trainings-Academy
  • Kontakt

Rechtliches

  • Datenschutzerklärung
  • Cookie Policy
  • Rechtliche Bestimmungen
  • Erklärung zur modernen Sklaverei
  • Impressum

Projektanfrage einreichen

Wir freuen uns über Ihr Interesse an einer Zusammenarbeit. Senden Sie uns Ihre Projektanfrage - wir melden uns innerhalb von 72h.

Projektanfrage einreichen
© 2025 Zühlke Engineering AG

Folgen Sie uns

  • External Link to Zühlke LinkedIn Page
  • External Link to Zühlke Facebook Page
  • External Link to Zühlke Instagram Page
  • External Link to Zühlke YouTube Page

Sprachnavigation. Die aktuelle Sprache ist deutsch.