all about Hololens – Sehen, staunen, Holograph Apps bauen

Für Client-Developer, welche für die Windows Platform entwickeln gab es am heutigen ersten Tag auf der Build 2015 in San Francisco während der Keynote zwei echte „AH HA“-Momente. Der Erste war die Ankündigung, künftig mit ObjectiveC und Android Java für die Universal App Platform entwickeln zu können. Der Roslyn-Compiler machts möglich. Der zweite Aaaahhhh-Moment hatte einen recht kurzen und griffigen Namen: Hololens! Gerade bei Hololens waren die Erwartungen bzgl. neuer Informationen hoch und der Wunsch nach einer Brille als GiveAway hoch.

Microsoft hat sich hier nicht lumpen lassen und geliefert. Zumindest was Informationen und weitere Insights bzgl. der Hololens an sich angeht. Die letzten 45 Minuten der Keynote gehörten allein der Microsoft Brille, und die wurden als visuelles Feuerwerk voll ausgenutzt. In zwei wirklich beeindruckenden Demosequenzen zeigt Alex Kipman, welche großen Schritte Microsoft seit den ersten Anouncements nach vorne gegangen ist.

Für alle im Publikum, denen Demos und hybride Roboter aus der Zuschauerperspektive nicht genug waren, hatte Microsoft ein echtes Schmankerl. In drei speziellen Hololens-Events konnten interessierte Build-Besucher Hololens testen. Während bei der ersten Option eine kleinere „einfache“ Demo vergleichbar mit der Keynote-Präsentation angeboten wurde, ging es bei der Option zwei schon intimer zu Sache. In einem „One on One“ konnte man Hololens allein in einem geschlossenen Raum für 15 Minuten testen, und direkt zwei Entwicklern des Hololens-Programms Feedback geben. Wem das alles zu wenig war, hatte die Möglichkeit für stark limitierte Seats in der „Holographic Academy“ zu bewerben, um in einem 4,5 stündigen Workshop nicht nur Hololens auf Herz und Nieren zu testen, sondern auch eine eigene Holographic App für Hololens zu entwickeln. Ich hatte das große Glück zum Kreis der ausgewählten Bewerber zu gehören, was, das vorab, zu einem der größten Momente meines Entwicklerdaseins gehören soll.

Badge

 

Einmal „all exclusive“ bitte

Das bei Microsoft alle hier genau wissen was sie tun, zeigt der organisatorische Rahmen um diesen speziellen Event. So ist die Austragungsstätte nicht etwa das Moscone Center, in welchem die Build Konferenz an sich veranstaltet wird. Nein, es ist das feinere Intercontinental Hotel nebenan. Hier wird auf der gesamten Etage des 27ten Stockwerks alles getan, um glaubhaft den Eindruck zu vermitteln, dass Hololens und wir Entwickler die an der Brille Hand anlegen dürfen, etwas besonderes sind. So gibt es spezielle Hoodies und Mützen für alle Teilnehmer als GiveAway; außerdem wimmelt es auf dem gesamten  Stockwerk von Sicherheitskräften, die dafür sorgen, dass nach der Registierung im abgesperrten Bereich niemand mit einem eigenen Gerät (vorallem mit Fotofunktion) aufläuft. Alle persönlichen Gegenstände, Handys, Tablets, PCs müssen in einem eigenen Spint verschlossen zurück gelassen werden.

Hat man die Sicherheitslinie übertreten, wartet ein gr0ßer Ballsaal ausstaffiert mit Entwicklersystemen in 2er Gruppen und einem eigens zugeteilten Microsoft Mitarbeiter aus dem Hololens-Team. Sie unterstützen uns Entwickler während des Workshops bei Fragen oder Problemen zu und mit der Hardware. Großbildtechnik und Lichtinstallationen machen den umgebauten Workshop-Raum zu einer Mischung aus Party-Raumschiff und dem Coworking Space aller Träume. Ein Traum ist auch der Support im Raum – das gesamte Hololens-Team ist anwesend und beantwortet alle Fragen zum Thema. Selbst Alex Kipman, der Chef himself lässt es sich irgendwann nicht nehmen vorbei zu schauen, und sich Feedback direkt bei uns Teilnehmern abzuholen.

Eines muss man ihnen lassen: Microsoft hat verstanden, dass sie mit solchen Events zwar etwas für uns Entwickler tun, der Nutzen für sie selbst jedoch durch ehrliches Feedback und gratis UX-Tests von der echten Zielgruppe enorm ist. Bravo!

Der magische Moment – Hands on Hardware

Nach Beschreibung des Ablaufs und das Messen des eigenen individuellen Augenabstandes durch das Hololens-Team war es dann auch soweit – der magische Moment als jeder Teilnehmer sein Testgerät ausgehändigt bekommt und zum ersten Mal ausprobieren darf. Nimmt man Hololens im aktuellen Zustand in die Hand fällt zunächst nicht auf den ersten Blick auf, dass es sich noch um einen Prototypen handelt. Die Brille wirkt sauber verarbeitet und macht einen sehr wertigen Eindruck. Beim zweiten Hinsehen fallen dann aber doch Konnektoren und offene Sensoren auf, wo sie in der Verkaufsvariante sicherlich nicht sein sollten.

150126-Microsoft-Hololens_header

Das Gewicht von Hololens fällt geringer aus, als der Formfaktor vermuten lässt, sie ist beim Tragen aber dennoch deutlich spürbar. Für ein komplett unabhängiges Device mit eigener Rechenpower ist das Gewicht aber nahezu lächerlich gering. Der Tragekomfort ist für Brillenträger wie Nicht-Brillenträger angenehm, sofern die richtigen Einstellung bzgl. der Passform gefunden werden. Und hier hakt es in der Tat noch ein wenig, das System scheint hier noch nicht richtig ausgereift zu sein. Ich habe die Brille mehrmals auf und ab gesetzt, und dabei wirklich nur 2 Mal die optimale Einstellung gefunden, allerdings keine Möglichkeit gehabt, diese wirklich zu fixieren.

Grafisch wie soundtechnisch liefert Hololens schon als Prototyp atemberaubende Ergebnisse ab. Hologramme sehen fantastisch aus und der Sound verhält sich sehr audiophil, während er sich immer der aktuellen Ausrichtung im Raum anpasst. Ist ein Hologramm geladen und die Brille richtig eingestellt, entsteht dieser magische Moment, wenn man um das Hologramm welches auf einem Couchtisch liegt, herum läuft und es von allen Seiten betrachtet. Spätestens ab da ist man in der Zukunft angekommen.

 

 Happy Coding mit alten Bekannten

Nach aller Euphorie die das ersten Ausprobieren freisetzt stellt sich doch aber schnell die Frage – wie funktioniert das? Wie kann ich meine eigenen Apps für Hololens erstellen? Auch wenn es seitens Microsoft immer hieß, es werden alle Universal Apps unterstützt (wo sich Microsoft zur Frage des „Wie“ bisher noch ausschweigt) ist es doch viel interessanter wie sich Holograph-Apps bauen und auf Hololens deployen lassen. Schnell wird klar, dass der Holograph-Entwickler von morgen um 3D-Technologie nicht herum kommt. Da freut es dann doch, dass Apps für das System mit „alten Bekannten“ erstellt werden – nämlich Unity und Visual Studio/C#.

HololensMakerSet

Wer bisher noch nicht mit Unity gearbeitet hat, sollte sich hier nicht vorab abschrecken lassen. Es ist erstaunlich einfach in Unity 3D Szenarien zu erstellen und mittels C# mit Leben zu erfüllen. Das Handling in Unity erinnert stellenweise an die Arbeit in Blend for Visual Studio und geht sehr intuitiv von der Hand. Unity ist seit geraumer Zeit eine der beliebtesten Plattformen für das Erstellen von 3D-Spielen. Wer sich hier bereits versucht hat und den Aufwand scheut, darf sich freuen. Durch das Konzept der Holografik ist es anders als in Spielen oder Inhalten für VR-Brillen nicht notwendig, ganze Welten in 3D erstellen zu müssen. Hololens und Holographics nutzen die echte Umwelt als Umgebung für Hologramme. Das spart enorm Zeit und fühlt sich zudem noch sehr cool an.

In meiner ersten Holographic-App für Hololens soll das System eine Installation von Origami-Objekten als Hologramm darstellen, mit dem der Anwender interagieren kann. Auf einem virtuellen Block werden 2 gefaltete Papierflieger im Winkel von 60 Grad aufgestellt und als „Rampe“ für zwei zusammengeknüllte Papierkugeln verwendet, die über den Rampen in der Luft schweben. Diese Kugeln sollen über Gestensteuerung oder Sprachkommando zu Fall gebracht werden. Die Papierkugeln rollen über die Rampen nach unten auf den Block und Rollen nach allen Regeln der Physik in virtueller Form durch den echten Raum.

Die Details würden hier zu weit führen, aber was man sagen kann: Es ist erschreckend wenig Code erforderlich, um mit den bestehenden Assets für Hololens diese App zu erstellen. In knapp 150 Zeilen Code ist es möglich mit dem in Unity erstellten 3d-Modell per Gestensteuerung oder Sprachsteuerung zu interagieren. Diese Zeilen Code beinhalten auch die Möglichkeit sich mit der Brille frei um das Modell zu bewegen, wenn dieses z.B. auf einem Couchtisch „steht“. „Spartial Sound“ ermöglicht mit geringem Aufwand Soundeffekte in das Szenario zu integrieren (z.B. Hintergrundmusik oder das Rollgeräusch der Papierkugeln), welches sich im 3D Raum authentisch verhält und auch bei der Veränderung der Distanz zum Hologramm lauter und leiser wird.

Ganz ohne zusätzlichen Code ist es in Unity möglich das 3D Mesh zu aktivieren, welches schon in den ersten Demovideos von Hololens beeindruckend ausgesehen haben. Durch dieses Mesh sind die erstellten Hologramm-Kugeln auch automatisch in der Lage, durch den echten Raum zu rollen, ohne Massen von Berechnungscode zu erstellen!

Sprachbefehle sind ebenso sehr einfach zu implementieren. Durch die bestehendes Assets ist es lediglich notwendig in C# hier eine Manager-Klasse zu instanziieren und mit einer Key-Phrase wie z.B. „Reset World“ zu versehen. Diese einzelnen Sprachkommandos können dann einzelnen Hologramm-Objekten aus Unity zugewiesen werden (per Drag&Drop in Unity). Dies ermöglicht das wirklich sehr coole Feature, das Sprachkommandos in Verbindung mit blickgerichteter Fokusierung zielgerichtet auf einzelne Hologramm-Elemente angewendet werden kann. Ich betrachte eine der beiden Papierkugeln, gebe das Kommando „Push“, und die betrachtete Kugel setzt sich in Bewegung. Unglaublich effektiv.

Man könnte jetzt meinen: Für die vorgegebene Demo kann das ja alles funktionieren, aber wie ist es bei „echten“ Apps mit echten Anforderungen? Die Antwort ist simpel: Es bleibt so einfach. In der beschriebenen App sind alle Features von  Hololens integriert, welche in anderen Apps genau so auch zum Einsatz kommen würden. Es ist kein „Hello World“ Charakter in dieser ersten App.

 

Fehlerfrei? Marktreif? – Jein!

Während der 4,5 stündigen Academy Session hat sich vom Hololens-Team niemand zu einer Aussage bzgl. des Release-Termins hinreißen lassen. Das hat auch einen Grund: Hololens ist noch nicht marktreif. Betrachtet man die Brille ist diese Aussage auf den ersten Blick nicht unbedingt nachvollziehbar, da sie schon sehr hochwertig um die Ecke kommt. Aber auch auf den zweiten Blick bzgl. des Development-Prozesses fällt auf, dass hier noch nicht der finale Stand erreicht sein kann. Es ist zwar super einfach seine eigene Holograph App auf Hololens zu bekommen. Mit einer USB-Kabelverbindung kann in Visual Studio einfach mit F5 direkt auf das Gerät deployed werden. Das ist enorm komfortabel und ermöglicht auch den direkten Zugriff auf den Debugger, was allerdings durch die (noch) notwendige Kabelverbindung eher zu vernachlässigen ist, da der Bewegungsradius beim Testen einer App auf dem Gerät zu hoch ist, als ein USB-Kabel eingesteckt lassen zu können.

Ein weiterer Punkt der bis zur Markteinführung noch gelöst werden muss, ist die Verwaltung von laufenden Apps. Bisher gibt es noch keinen Taskmanager oder ähnliches um auf die laufenden Anwendungen zugreifen zu können. Um dies aktuell zu bewerkstelligen, ist eine USB-Verbindung und ein Browser notwendig. Über eine HTTP Verbindung zur Brille kann über ein Admin-Portal auf dem Gerät auf die Liste der laufenden Anwendungen zugriffen und Apps geschlossen werden. Auch generelle Settings wie der Augenabstand des Anwenders etc. müssen hier über USB-Verbindung und Webportal eingestellt und gespeichert werden. Bis zur Markteinführung braucht es hier noch die visuellen Zugänge – am besten als eigene Holographic Menüs versteht sich.

 

Fazit

Betrachtet man die Performance und Qualität von Visualisierung und Steuerung, ist Hololens ganz nah an Serienreife. Es ist erstaunlich was Hololens leistet, und das komplett ohne zusätzliche Hardware wie PCs oder Smartphones. Für C#-Entwickler ist es wirklich erstaunlich einfach und extrem spaßbehaftet neben den gewöhnlichen Universal Apps auch hochwertige Holographic Apps zu erstellen. Zweitere Kategorie ermöglicht ganz neue Möglichkeiten und Ideen. Während des Entwicklungsprozess erwischt man sich sehr schnell dabei, dass ein Test der in einer Minute erledigt wäre 10 Minuten dauert, weil es unglaublich Spaß macht, in diesem Mix aus virtueller und echter Umgebung zu interagieren.

In Verbindung mit einem Microsoft Band (und dem Wunsch nach einem GSM-Slot) würden alle bisherigen Device-Lösungen in den heimischen 4 Wänden hinfällig werden. Hololens ist in der Lage Entertainment, Business, Communication und Gaming als Holographics in die echte Welt zu bringen. Aber auch Bereiche wie Industrie und Forschung hat nun Zugriff auf völlig neue Möglichkeiten und Formate.

Die Zukunft startet heute – und das ist mehr als nur eine Phrase.

 

BuildBanner2

 

 

2 comments to all about Hololens – Sehen, staunen, Holograph Apps bauen

  • […] Apps ausführen können. Ob das wirklich stimmt beschreibt mein MVP-Kollege Marco Richardson auf seinem Blog – er durfte das nämlich heute schon […]

  • Andreas  says:

    Hi Richie,

    da bin ich mal platt. Das it echt schon eine irre Vorstellung mit der Umwelt zu interagieren und die mit virtuellen 3D-Modellen zu mischen. Finde ich faszinierend.

    Und ja ich denke auch der Satz „Die Zukunft begint heute“ ist schon lange nicht mehr so wahr gewesen wie mit den Entwicklungen die sich im letzten halben Jahr abzeichnen und die mit der Build 2015 ein Stück konkreter wurden.

    Schöner Artikel!

    Viele Grüße aus dem tristen Schwabach ins sonnige San Francisco 🙂
    Andreas

Leave a reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>