Augmented und Mixed Reality E-Book

Dirk Schart

• Herausgeber: UVK Verlag
• Kategorie: Geisteswissenschaft
• Sprache: Deutsch
• Veröffentlichungsjahr: 2017

Beschreibung

Augmented Reality (AR) und Mixed Reality (MR) verschmelzen reale und digitale Welten zu einem interaktiven und immersiven Erlebnis. Ob Information oder Entertainment die neuen Realitäten verändern die Art wie wir mit Content interagieren vollständig. Für Unternehmen und Agenturen ergeben sich faszinierende Anwendungsmöglichkeiten auf Smartphones, Tablets oder mit AR- und MR-Brillen. Lernen Sie mit diesem Buch, wie die Technologien funktionieren und wie sie eingesetzt werden können. AR und MR versteht nur, wer sie selber erkundet und erlebt. Davon sind die Autoren Dirk Schart und Nathaly Tschanz überzeugt. Genau diesem Grundgedanken folgt dieses Praxishandbuch, das ein tiefes Verständnis für die neuen Visualisierungsmedien schafft. Zahlreiche Best-Practice-Beispiele und Live-Demos sind direkt aus dem Buch abrufbar. Zehn Milestones der App-Entwicklung helfen bei der praktischen Umsetzung von AR- und MR-Projekten. Das Buch richtet sich an Agenturen und Studierende sowie Entscheidungsträger im Marketing-, Medien- und Kommunikationsbereich, die gerne mehr über Augmented und Mixed Reality und deren erfolgreichen Einsatz erfahren möchten.

Leseprobe

Geleitwort

Bei meinem letzten Trip nach Japan hörte ich fasziniert einer Durchsage an der U-Bahn-Station zu. Die junge Dame am Lautsprecher bat die Fahrgäste höflich, dass sie beim Gehen nicht aufs Smartphone schauen und spielen oder texten sollten. Es bestünde sonst die Gefahr, dass sie auf die Gleise stürzen.

Das ist nur eine nette Urlaubsanekdote, meinen Sie? Falsch gedacht. Um zu erkennen, dass meine Erzählung kein Einzelfall ist, müssen Sie keine groß angelegte Studie durchführen.

Ein scharfer Rundumblick am nächstbesten Bahnhofsgleis reicht völlig aus, um zu erkennen, dass immer mehr Menschen viel stärker fasziniert sind von dem, was sie digital auf ihrem Smartphone-Display erleben, als von der Realität, die sie umgibt.

Doch etwas stört das Digital-Idyll: der flache Screen. Dieses kleine Guckloch ins Virtuelle wird der menschlichen Wahrnehmung einfach nicht gerecht.

Der permanente Blick auf diesen einen Fixpunkt sorgt für Genickstarre und dafür, dass dem nützlichen Taschencomputer ein Image als sozialer Störenfried anhängt. Und das völlig zu Recht: Keine andere Technologie macht die Lücke zwischen digitaler und analoger Realität so offensichtlich wie das Smartphone.

Der Screen-Barriere zum Trotz wächst die Sehnsucht des Menschen nach Digitalität im Alltag. Die Nutzungszahlen von Onlineservices steigen und die Verweildauer im Netz nimmt zu. Laut einer Nielsen-Untersuchung aus dem ersten Quartal 2017 verbringen US-Bürger täglich bis zu fünf Stunden vor einem Display (zuzüglich TV), Tendenz steigend.

Der digital vernetzte Mensch ist demnach längst Realität. Aber bei seiner Reise ist er auf Werkzeuge angewiesen, die lange vor dem Internet erfunden wurden. Was tun?

Die vielen Realitäten im Silicon Valley

Die Silicon-Valley-Milliardäre kennen die Lösung bereits, mit der die Menschheit der Smartphone-Genickstarre entkommt und wieder stolz die Köpfe heben kann. Sie werfen ihr Geld auf das nächste große Ding, das diese Revolution in Gang bringen wird: Augmented Reality.

Oder war es doch die Mixed Reality? Merged Reality? Hyper Reality? Virtual Reality? O weh! Bei so vielen Möglichkeiten bleibt uns am Ende nur die Real Reality.

Keine Sorge, liebe Leser, ich sorge für Klarheit: Viele Jahrzehnte hat uns der Computer mit flachen Bildern gepiesackt und unseren Körper mit banalen Eingabegeräten wie Maus, Tastatur und Touch-Screen gelangweilt. Jetzt reicht es: Wir erfinden alles neu!

Zwei Paradigmenwechsel sorgen für den nächsten Medienumbruch

Zwei Paradigmenwechsel verändern in den kommenden Jahren, wie Menschen digitale Inhalte konsumieren.

Der erste Wandel: Flache Bilder verlassen das Display und werden räumlich dargestellt. Das sorgt dafür, dass wir die digitale Sphäre erstmals ähnlich wie die Realität sehen können.

Die zweite Veränderung: Der menschliche Körper wird zum Interface. Wir steuern Apps nicht mehr nur mit der Spitze unseres Zeigefingers, sondern indem wir uns durch sie hindurchbewegen. Wir navigieren mit Blicken, Gesten, unserer Stimme und irgendwann mit unseren Gedanken.

Das fällt uns leicht, denn unseren Körper kennen wir – im Gegensatz zu Maus und Tastatur – von Geburt an. Das natürlichste aller Interfaces eröffnet uns völlig neue Möglichkeiten im Umgang mit Computern. Außerdem senkt die Körpersteuerung die Einstiegsbarriere zur digitalen Welt für alle Menschen, unabhängig von Alter, IT-Wissen oder Bildungsstand.

Das logische Interface für eine voll durchdigitalisierte Welt

Ziel dieser neuen Computer ist es nicht, die Realität abzuwerten. Stattdessen werten sie das Digitale auf. Das ist dringend notwendig, denn die Menschheit hat sich dazu entschlossen, immer mehr Zeit mit und in digitalen Umgebungen zu verbringen.

Wenn wir in Zukunft die Monitorfessel hinter uns lassen und das Digitale mit allen Sinnen erfahren, gewinnen wir die Lebensqualität zurück, die wir mit dem starren Blick in den Monitor über viele Jahre verloren haben.

Wir sind so sehr an flache Inhalte und eindimensionale Interaktionsmechanismen gewöhnt, dass wir uns nicht vorstellen können, dass Computer eines Tages keine grauen Kästen mehr sind, sondern digitale Umgebungen, in denen wir sehen, hören und fühlen wie in der Realität.

In den kommenden Jahren wird diese Science-Fiction nach und nach Wirklichkeit, denn die Matrix haben wir Menschen längst erschaffen. Wir können sie nur noch nicht betreten und völlig begreifen. Stattdessen wabert sie als digitale Sphäre unsichtbar durch die Realität und begleitet uns auf Schritt und Tritt.

Durch die neuen Interfaces der „Many Realities“ vermischt sich diese Matrix zukünftig nahtlos mit der analogen Welt. Die ultimative Vision ist die perfekte Mischrealität, eine gleichzeitige und gleichberechtige Koexistenz der analogen und digitalen Welt in allen Spielarten, Situationen, Farben und Formen.

Das verändert grundlegend, wie Menschen über weite Distanzen hinweg interagieren, sich informieren, lernen oder sich amüsieren. Es ist der nächste große Einschnitt nach der Erfindung der Höhlenmalerei, des Buchdrucks, den audiovisuellen Medien und der Vernetzung von allem mit allem durch das Internet. Auf das Internet der Dinge folgt das Internet der Begegnung.

Die Erfinder und Bastler müssen erfinden und basteln

Der Weg für diese Computerrevolution ist noch weit, da sollten wir uns nichts vormachen. Bisher sind nur Grundlagen und einzelne Bereiche erforscht. Das große Puzzle muss erst noch zusammengesetzt werden.

Einige Technologien, die es für den Durchbruch der „Many Realities“ benötigt, sind noch gar nicht erfunden. Die Brillen sind zu klobig, die Auflösung und das Sichtfeld zu gering, externe Zuspieler und Sensoren stören den Nutzungskomfort, digitale Objekte können nicht angefasst oder gerochen werden und günstige Smartphone-Anwendungen nutzen das immersive Potenzial von AR und VR nur im Ansatz aus.

Die Macher dieser neuen Computer haben zweifelsohne noch viel Arbeit vor sich, um die ganz große Vision der Mischrealität und einer virtuellen Zwischenwelt in die Tat umzusetzen.

Dass ihnen das auf lange Sicht gelingt, scheint dank der nie versiegenden Geldströme von Apple, Facebook, Google und Co. gewiss. Wie lange es dauern wird, das weiß indes niemand.

Ein Buch wie das von Dirk Schart und Nathaly Tschanz hilft dabei, den Wandel hin zu völlig neuen Formen der Mensch-Computer-Beziehung frühzeitig zu begreifen, zu durchdringen und – in der Rolle als Entwickler, Erzähler, Verkäufer oder Anwender – zu gestalten.

Frankfurt am Main, Herbst 2017

Matthias Bastian

Herausgeber von vrodo.de – das Magazin für Mixed Reality

So nutzen Sie Augmented Reality im Buch

Ein Buch über Augmented und Mixed Reality ohne Live-Beispiele – unmöglich! Um Ihnen einen schnellen Einstieg zu verschaffen, haben wir mithilfe von Wikitude Studio diverse Inhalte im Buch mit digitalem Content verknüpft. Wie Sie auf die erweiterten Inhalte zugreifen können, zeigt die ausführliche Erklärung unten.

In Kapitel 1 gibt es zusätzlich zwei AR-Beispiele zum Entdecken – eine Stand-alone-Mobile-App und einen Print-Case. Wer noch mehr sehen möchte oder spezifische Anwendungsbeispiele sucht, kann sich gerne bei uns melden.

Laden Sie sich die Wikitude-App für Android (Google Play Store) oder iOS (Apple App Store) herunter.

Öffnen Sie die Wikitude-App auf Ihrem Mobilgerät und geben das Codewort arcontent in das Suchfeld der App ein.

Halten Sie Ihr Mobilgerät auf die mit dem AR-Logo gekennzeichneten Abbildungen. Viel Spaß beim Ausprobieren und Entdecken!

An den Stellen, die mit dem AR-Logo versehen sind, fi nden Sie zusätzliche digitale Angebote.

Interaktive Umsetzung der Augmented-Reality-Inhalte mit Wikitude Studio und App.

Den YouTube®-Kanal zum Buch finden Sie unter augmented-reality-praxis.de

Vorwort

Lebten wir bisher tagtäglich in der „reduzierten Realität“? Diese Frage hat uns kürzlich ein Teilnehmer bei einem Vortrag gestellt. Kein abwegiger Gedanke, denn tatsächlich: Durch Augmented, Mixed und Virtual Reality stehen wir am Anfang der Eroberung neuer Welten – mit Datenbrillen, Smartwatches und Gesture Controller als neuen Interfaces. Waren bis jetzt iPhone und iPad unsere Begleiter, so sind es bald Microsoft HoloLens, Oculus Rift, Samsungs Gear VR etc. Was vor Kurzem nur in Science-Fiction-Streifen zu sehen war, hat bereits Einzug in unseren Alltag gehalten.

Wer verstehen will, welche neuen Möglichkeiten durch Augmented und Mixed Reality entstehen, wer darüber entscheiden will, ob sie im eigenen Unternehmen eingesetzt werden sollen und welche Herausforderungen und Chancen dabei entstehen, der muss zunächst begreifen, was es bedeutet, Medien und Technologie miteinander zu verschmelzen, um daraus eine neue User Experience zu gestalten. Denn ohne dieses Wissen ist es kaum möglich, zu beurteilen, ob AR/MR wirklich die richtigen Medien für ein bestimmtes Vorhaben sind.

Die beiden Begriffe wirken immer noch sperrig und kommen den meisten Menschen nur zögerlich über die Lippen. Umso größer werden die Augen, wenn AR/MR in Aktion tritt – wenn Produkte zum Leben erweckt, digitale Informationen an reale Objekte geheftet werden oder Verborgenes plötzlich sichtbar wird.

Die für Marketing, PR und Medien noch relativ jungen Technologien treten erst langsam ins Bewusstsein von Medienschaffenden und Verantwortlichen der Kommunikationsbranche. Der Wissensstand darüber ist daher oft noch gering. Dem möchten wir mit diesem Buch Abhilfe schaffen. Denn gerade für den Kommunikationsbereich eröffnen sich ganz neue Möglichkeiten für die Erstellung und Vermittlung von Inhalten.

Wir verfolgen seit mehreren Jahren die Entwicklung von AR und MR, welche bis vor gar nicht allzu langer Zeit von vielen als bloßer Hype angesehen wurde. Aber nicht von allen.

Facebook-Gründer Mark Zuckerberg beispielswiese sah bereits 2015 die Zukunft unserer Computernutzung in Augmented Reality.

„In another 10 to 15 years, you can imagine that there will be another platform, which is even more natural and even more built into our lives than mobile phones. I think it’s pretty easy to imagine that in the future we will have something that we can either wear – and it’ll look like normal glasses. And you’ll just be able to have context with what’s going on around you in the world and communicate with people and not have to disrupt your conversations by looking down.“1

Zwei Jahre später, im April 2017, macht Zuckerberg ernst und präsentiert auf der Facebook Developer Conference F8 in San José Facebooks Pläne mit AR. Die Kamera-App soll künftig als Plattform dienen, um möglichst einfach AR-Anwendungen bauen zu können.2

Nun dürfte auch den größten Zweiflern klar geworden sein: kein Hype. Dennoch lassen wir Superlative im Buch ganz bewusst weg und bemühen uns um eine möglichst nüchterne Darlegung der Stärken – aber auch Schwächen – der Technologien. Trotzdem darf man wohl ohne Übertreibung sagen: Wer sich wirklich einmal mit Augmented und Mixed Reality befasst, realisiert schnell selbst, über welch riesiges Potenzial sie verfügen. Man braucht nur die Reaktionen der Nutzer zu beobachten und spürt die Emotionen und die Faszination, welche sie auslösen. Dennoch ist vielfach Zurückhaltung und Skepsis zu spüren. Geringe Expertise, ideenlose Konzepte und wenig leistungsfähige Geräte lieferten vielfach nicht das, was den Unternehmen versprochen wurde. Im Moment tut sich aber einiges. Google, Samsung, Microsoft, Apple, Facebook etc.: Die großen Player haben das Potenzial erkannt, das Wettrüsten ist in vollem Gange.

Noch bedarf es Verbesserungen und anwenderfreundlicher Konzepte, aber eines ist klar: Die Verschmelzung von Online- und Offlinewelt wird Bestandteil unseres täglichen Lebens werden. Die Frage nach Smartphone, Tablet oder Datenbrille ist dabei zunächst nicht relevant. Dies werden die Anwender und die Use Cases entscheiden. Für den Moment ist wichtig, dass sich die Geräte und ihre Technik – wie Sensoren, Kameras und Displays – weiter verbessern.

Für uns, die wir im Marketing- und Kommunikationsbereich tätig sind, ist neben den heute oder in Zukunft verfügbaren Geräten vor allem eines wichtig: der Content.

In der heutigen Informationsflut und der daraus resultierenden Aufmerksamkeitskonkurrenz der Medien gibt es in Verbindung mit den Inhalten zwei ganz wesentliche Faktoren: Kontext und Relevanz. Gerade technologisch geprägte Tools wie Augmented und Mixed Reality können dieses Thema bestens ausspielen. Der Kontextbezug zum Aufenthaltsort der Nutzer, zur aktuellen Aktivität und zu persönlichen Vorlieben und Bedürfnissen lässt eine sehr individuelle und personalisierte Kommunikation zu. Dabei muss der Content immer Relevanz für den Nutzer haben. Wir sprechen deshalb im Buch von Context Marketing: interaktive Inhalte zur richtigen Zeit am richtigen Ort für die passende Situation liefern – in Echtzeit.

Das erste Buch über Augmented und Mixed Reality für Marketing, Medien und Public Relations

Als wir uns die ersten Gedanken zu diesem Projekt gemacht haben, gab es kein Buch, das sich fokussiert mit AR/MR für Marketing, Kommunikation und Medien befasste. Die meisten Werke sind von Informatikern geschrieben und erklären hauptsächlich die technischen Aspekte. Da wir beide in den vergangenen Jahren viel praktische Erfahrung sammeln konnten und uns die Technologien sehr am Herzen liegen, wurde uns schnell klar: Diese Lücke müssen wir schließen. Es ist uns ein Anliegen, dass AR und MR den Stellenwert erhalten, den sie verdienen – und dafür braucht es gute Anwendungen.

Ziel war daher, ein praxisorientiertes Buch zu schreiben, das einerseits einen Einblick in die Technologie und die Entwicklung von Medien und Marketing gibt, andererseits den Fokus auf erfolgreiche Beispiele und das konkrete Vorgehen bei der Entwicklung von Anwendungen legt. Das Ergebnis: die Grundlagen für ein besseres Verständnis, eine Übersicht der wichtigsten Best-Practice-Beispiele, ein Kapitel mit den 10 Milestones zur App-Entwicklung und Live-Demos mit AR – direkt aus dem Buch abrufbar.

Auch das ist eine Premiere: Keines der AR-Bücher auf dem deutschen Markt enthält nämlich selber Augmented-Reality-Inhalte. Wir legen Wert auf Lean und Praxisorientierung. Deshalb ist es ein kompaktes Buch geworden – verständlich und möglichst informativ. Wir haben den Umfang des Buchs bewusst überschaubar gehalten. Was die einzelnen Themen oder auch gewünschte Inhalte betrifft, begrüßen wir aber Feedback sehr und rufen daher unsere Leser auf, sich aktiv an der weiteren Gestaltung des Buchs zu beteiligen. Melden Sie sich einfach!

Doch jetzt ist es erst einmal an der Zeit, die reduzierte Realität zu verlassen. Viel Spaß beim Lesen und Eintauchen und viel Erfolg mit AR/ MR!

Die Autoren: Dirk Schart und Nathaly Tschanz

Dirk SchartE-Mail: [email protected] | Twitter: @DirkSchart

Nathaly TschanzE-Mail: [email protected] | Twitter: @n_tschanz

Anmerkungen

1 Ferenstein, Gregory (2015): Zuckerberg’s 3 predictions for what social networks will look like in 10 years. Abgerufen am 19.05.2017 von http://venturebeat.com/2015/01/14/zuckerbergs-3-predictions-for-what-socialnetworks-will-look-like-in-10-years/

2 Guardian (2017): Facebook’s key to building communities in divided times: augmented realit. Abgerufen am 19.05.2017 von https://www.theguardian.com/technology/2017/apr/18/facebook-mark-zuckerberg-f8-speech-augmented-reality

Danke!

Ohne die Unterstützung von diversen Experten wäre es nicht möglich gewesen, das Buch in dieser Form herauszugeben. Als allererstes danken wir Martin Herdina, Philipp Nagele und Andy Gstoll von Wikitude für ihren Support mit dem Wikitude Studio – der Basis für die Live-Demos im Buch.

Zudem bedanken wir uns bei allen, die uns auf neue Ideen gebracht, die Kapitel kritisch durchleuchtet, uns mit Material aus ihrem Fundus versorgt oder anderweitig ausgeholfen haben. Vielen Dank an Matthias Bastian, Christoph Bergleiter, Zlata Delic, Stefan Göppel, Marianne Heilig, Jan Heitger, Harry Hulme, Kerim Ispir, Wolfgang Lanzenberger, Daniél Lazo, Eran May-Raz, Diego Montoya, Anne Seeger, Wolfgang Stelzle, Ivan Sutherland, Dan Talmon, Philippe Widmer.

Ein Praxishandbuch lebt von Beispielen. Aus diesem Grund möchten wir uns auch bei allen Verantwortlichen der Unternehmen bedanken, die uns ihre Use Cases und Bildmaterial zur Verfügung gestellt haben. Namentlich sind dies: Wojtek Borowicz (Estimote Inc.), Annett Gläsel-Maslov (Metaio), Quentin Yan (SmartPixels), Nicole Bard (L’Oréal Deutschland), Carola von Wendland (Dassault Systèmes 3DEXCITE), Debby Fry Wilson (Microsoft), Scot Williams (Quince Imaging), Tobias Wilhelm (Vectorform), Jane Alexander (Cleveland Museum of Arts), Artur Demirci (Mercedes Benz), Andrew Humbles (Apache Solutions), Hannah Fleckenstein (Pepsi), Juli Borzsei (Appshaker), Julia Cramer (Jung von Matt/ Spree), Joe Slevin (WDMP), Christine Soner (IKEA), Martin Krotki (Appear2Media), Christian Zeintl (BASF), Anna Aiello (Kenzan Studios), Valerie Williams (Lowe’s Innovation Labs), Yafine Lee (Niantic Labs), Ralph Barbagallo (Flarb), Erin McCarty (Meta), Dirk Ahlborn (Hyperloop Transportation Technologies).

Ein großes Dankeschön geht auch an unsere Familien und Freunde – für die aufgebrachte Geduld während der letzten Jahre, in denen wir viel Zeit mit Schreiben, Recherchieren, Lesen und Testen verbracht haben. Nathaly bedankt sich insbesondere bei ihrem Mann Fernando und Dirk bei seiner Frau Ingrid und seinem Sohn Nicolas.

Nicht vergessen möchten wir zudem Rainer Berger und das gesamte UVK-Team. Auch ihnen herzlichen Dank für die gute Betreuung und die vielen Ideen.

Inhaltsverzeichnis

Geleitwort

So nutzen Sie Augmented Reality im Buch

Vorwort

Das erste Buch über Augmented und Mixed Reality für Marketing, Medien und Public Relations

Danke!

Kapitel 1

Augmented und Mixed Reality – was ist das?

AR, MR, VR – wer blickt da noch durch?

Definition aus Medien- und Kommunikationssicht

AR im engeren und weiteren Sinne

Wie alles begann

Mehr echter Mehrwert – weniger „Gimmick“

Anwendungsfelder – heute und morgen

Wie wir unseren Alltag bestreiten

Wie wir einkaufen

Wie wir lernen

Wie wir arbeiten

Industrie

Medizin

Real Estate und Innenarchitektur

Militär/Luftfahrt

Wie wir Freizeit und Entertainment genießen

TV

Gaming

Tourismus und Navigation

Anmerkungen

Kapitel 2

Wie funktionieren Augmented und Mixed Reality?

Komponenten von AR- und MR-Systemen

Visuelles bzw. optisches Tracking

Nichtvisuelles Tracking

Laufzeitbasiertes Tracking (Time of flight)

Magnetisches Tracking

Trägheitsnavigationssysteme (inertiale Navigationssysteme)

Mechanisches Tracking

Sensor Fusion

Sensoren im Überblick

Darstellung

Bildschirm-Darstellung

Mobilgeräte (Handhelds)

Head-mounted Displays (HDM)

Microsoft HoloLens

Head-up-Displays

Kontaktlinsen

Software, Browser, Apps, Content-Management-Systeme

Anmerkungen

Kapitel 3

Warum profitieren digitale Kommunikation und Mobile Marketing von AR/MR?

Kommunikation im digitalen Medienzeitalter

Kommunikation gestern und heute

Vom Informationsangebot zur Informationsflut

Digital und Mobile auf dem Vormarsch

Wie nehmen Menschen Content wahr?

Unser Gehirn lernt aus der Informationsflut

Kombination mehrerer Sinne

Visuelle Kommunikation mit Augmented und Mixed Reality

3D-Kommunikation mit virtuellen Objekten

Mehr Aufmerksamkeit schaffen

Von der Aufmerksamkeit zur Begeisterung

Anmerkungen

Kapitel 4

Wie können Augmented und Mixed Reality bestehende Kommunikations- und Marketinginstrumente erweitern?

Stationär, Mobile oder AR-Brille: Viele Wege führen zum „guten“ Case

Anwendungsmöglichkeiten

Point-of-Sale

Live-Präsentationen/Projection Mapping

Messen/Museen/Ausstellungen

Live Events/Promotionskampagnen

In Kombination mit Print und Verpackungsmaterial

Location-based Services

Gaming/Storytelling

Ein Blick in die Zukunft

Anmerkungen

Kapitel 5

Was macht eine erfolgreiche Anwendung aus?

Softwareentwicklung: Agile und Wasserfall

Konzept, Ziele und Einsatzgebiete

Content, Context und Flow

Flow: Information und Entertainment

Mehr Relevanz bitte: Content mit Context

Achtung: Gimmicks sind raus

User Experience und User Interface (UX/UI)

Channel oder eigene App?

Welche Evaluierungsmöglichkeiten bieten sich an?

Empirische Methoden für die Erfolgsmessung

Tools für die Erfolgsmessung

Rechtliche Vorgaben zu Google Analytics für Mobile Apps

Anmerkungen

Kapitel 6

Praxiswissen: Von der Idee zur App

Entwicklung einer App im Überblick

In 10 Milestones zur AR/MR-App

1. Milestone: Konzeptidee und Kalkulation

2. Milestone: Freigabe und User Story Map

3. Milestone: Content-Lieferung

4. Milestone: Content-Aufbau

5. Milestone: UI/UX-Design

6. Milestone: Entwicklung der App

7. Milestone: Finale User-Tests

8. Milestone: Freigabe der App

9. Milestone: App-Submit

10. Milestone: App im Store

Anmerkungen

Kapitel 7

Ausblick

Kapitel 8

Service

Checklisten

Informative Blogs

Blogs der AR/MR-Unternehmen

Blogs zu Produktentwicklung und Lean

Blogs zu User Experience/User-Tests

Tech-Portale

Die Autoren

Register

Kapitel 1

Augmented und Mixed Reality – was ist das?

UM DAS GEHT’S!

Wie werden Augmented, Mixed und Virtual Reality voneinander abgegrenzt?Wie funktionieren Augmented und Mixed Reality?Wie könnte eine Definition von AR/MR aus Medien- und Kommunikationssicht lauten?AR im engeren und weiteren Sinn: Zählt ein QR-Code noch dazu? Und was ist mit Pokémon Go?Was waren die wichtigsten Meilensteine in der Entwicklung von Augmented und Mixed Reality?Welche Anwendungsfelder gibt es – heute und morgen?

1. AR, MR, VR – wer blickt da noch durch?

Augmented Reality? Mixed Reality? Merged Reality? Virtual Reality? Augmented Virtuality? 360-Grad-Videos? Wo zum Kuckuck fängt das eine an und wo hört das andere auf? Und was hat es mit dem Schlagwort „immersiv“ auf sich, das in Medienberichten in diesem Zusammenhang ständig verwendet wird? Falls Sie verwirrt sein sollten – verständlich. Und um Sie zu beruhigen: Sie sind auch nicht allein. Sogar unter Experten toben derzeit heftige Grabenkämpfe, was die klare Eingrenzung einzelner Begriffe angeht. Versuchen wir also zuerst einmal, ein wenig Licht in dieses Durcheinander zu bringen. Dazu schauen wir uns am besten das Realitäts-Virtualitäts-Kontinuum von Milgram (1994) an:

Abb. 1: Realitäts-Virtualitäts-Kontinuum

Quelle: Milgram et al. (1994)

Ein Ende des Kontinuums stellt die vollkommene Realität dar – das sogenannte Real Environment (die reale Realität) – das andere Ende die vollkommene Virtualität, das Virtual Environment. Alles, was sich dazwischen befindet, kann als Mixed Reality bezeichnet werden. Augmented Reality befindet sich also innerhalb der Mixed Reality – einer Kombination aus Realität und Virtualität.1

Abb. 2: Augmented Reality, Mixed Reality, Virtual Reality

Quelle: Ivan Bonin (2017)

Betrachten wir nun die einzelnen Begriffe ein wenig genauer. Am besten beginnen wir mit Virtual Reality (VR), weil es am einfachsten ist. Zwar nicht die technische Umsetzung – aber sie zu erklären. VR kommt bei Headsets wie Oculus Rift, HTC Vive, Playstation VR, Gear VR oder Google Cardboard zum Einsatz. VR-Brillen sind geschlossen – die reale Umwelt sieht man nicht mehr. Durch das Anziehen der Brille taucht der User in eine computergenerierte scheinbare Welt ein, in der er sich bewegen und mit ihr interagieren kann. Es wird also eine Welt erschaffen, die real erscheint, aber nicht real ist.

Für das Eintauchen in eine solche Scheinwelt wird häufig das Adjektiv „immersiv“ verwendet. Es beschreibt den Effekt, den virtuelle oder fiktionale Welten auf einen Betrachter haben. Die Wahrnehmung in der realen Welt vermindert sich und der Betrachter identifiziert sich zunehmend mit der fiktiven Welt.2 Wobei der Grad der Immersion nicht alleine durch das geschlossene VR-Headset verstärkt wird, sondern auch durch die Geschichte und Interaktion. Ein gut geschriebenes Buch kann auf seine Weise ebenso immersiv sein, so dass man sich mitten im Geschehen fühlt.

Eine Oculus Rift oder eine HTC Vive haben eine Positionserkennung (Positional Tracking), mit der das Bewegen in der virtuellen Welt ermöglicht wird. Bei 360-Grad-Erlebnissen kommen häufiger die mobilen Headsets wie die Samsung Gear VR oder Cardboards zum Einsatz, die genau das bislang nicht unterstützen. Richtig gelesen: bislang. Oculus arbeitet bereits an einer mobilen Version mit Inside-out-Tracking (mehr dazu in Kapitel 2). Damit ist das Thema erledigt. Bereits heute können die Nutzer mit interaktiven Elementen zwischen verschiedenen Positionen hin- und her springen, sich quasi teleportieren. VR oder nicht: Wie so oft wird die Diskussion mehr von den Experten geführt. Die Anwender kümmert diese Unterscheidung kaum.

Es wird viel darüber diskutiert, ob man nun 360-Grad-Content auch zu VR zählen kann. Manch einer betrachtet 360-Grad-Videos und -fotos nicht als virtuelle Realität, weil sie nicht computergeneriert, sondern real gefilmt sind. Auch gibt es die Meinung, man könne sich darin nicht bewegen wie in einer VR-Anwendung. Dies hat allerdings wenig mit VR zu tun, sondern mit den verwendeten Brillen.

Kommen wir nun aber zu unserem eigentlichen Kernthema: Augmented und Mixed Reality. Es fällt auf, dass insbesondere in Medienberichten heutzutage beide Begriffe oft für ein und dasselbe verwendet werden, obwohl es einige potenzielle Unterschiede gibt – je nachdem, mit wem man spricht.

Für viele sind die Unterschiede vorwiegend semantisch bedingt, wohingegen Firmen wie Microsoft ganz klar zwischen den beiden Begriffen unterscheiden. Diese Problematik zeigt sich übrigens bei neuen Technologien häufig. Irgendwie hat jeder noch seine eigene Version davon, was ein Begriff genau beinhaltet. Das macht die ganze Sache natürlich ein wenig verwirrend.

Bei Augmented Reality wird die reale Umgebung eines Benutzers mit digitalen (teilweise ortsbasierten) Informationen (Text, Bild, Video, Audio etc.), interaktiven Elementen oder (3D-)Animationen erweitert, welche in reale, durch Kameras bereitgestellte Szenen eingeblendet werden. Vereinfacht erklärt: Man richtet die Kamera eines Mobilgerätes auf ein reales Objekt (z.B. eine Sehenswürdigkeit), ein Bild oder einen Marker (→ Kapitel 2, S. →) und auf dem Display werden digitale Inhalte eingeblendet. Diese Verbindung zwischen realen Objekten und virtuellen Inhalten liefert dem Benutzer nützliche Zusatzinformationen und Hilfestellungen – und zwar genau da, wo er sie unmittelbar braucht. Augmented Reality ist also jede Art von computer-basiertem System, das Daten über die reale Welt legt. Die Welt um einen herum sieht man aber trotzdem noch. Google Glass z.B. war ein AR-Headset – oder Piloten-Helme ebenfalls, auf deren Sichtschutz Daten projiziert werden.

Mixed Reality (manchmal auch Merged Reality oder Hybrid Reality genannt) ist nun eine Form von AR, die zwischen Virtual und Augmented Reality liegt. Auch hier wird die reale Welt mit virtuellen Objekten erweitert. Es kommt aber noch eine weitere Komponente hinzu. Diese sollen nämlich so wirken, als ob sie wirklich Teil der realen Welt sind. Während bei Augmented Reality ein Marker oder ein physisches Objekt erkannt und mit zusätzlichen Informationen oder 3D-Modellen erweitert oder überlagert wird, so wird in der Mixed Reality die Umgebung erkannt und die digitalen Objekte werden in den Raum eingeblendet. Möglich wird das durch verschiedene Kameras an den Mixed-Reality-Brillen, die keinen Marker zur Initialisierung benötigen (ihn aber nutzen können, wenn es erforderlich ist). Dadurch erlaubt es MR, dass sich der Anwender komplett um die virtuellen Objekte herum bewegen kann und mit ihnen interagieren kann. Ein Beispiel: Eine virtuelle Weltkugel schwebt mitten im Raum und der Nutzer kann sie sich von allen Seiten anschauen. Mittels Fingergesten lässt sich die Erde drehen oder verschiedene Punkte lassen sich „anklicken“, um mehr Informationen zu erhalten.

Die HoloLens von Microsoft, die künftige Brille von Magic Leap und die Meta 2 zielen alle auf diese Art Augmented Reality ab. Natürlich können diese Geräte auch einfachere AR-Darstellungen machen – also Daten einblenden, die auf dem Display fixiert sind statt in der realen Welt. Aber sie können eben noch mehr.

Augmented Reality entdecken: MONARCH MOUNTAIN

Abb. 3: AR-Beispiel-Anwendung Monarch Mountain

Quelle: WDMP/Blippar, The Monarch Mountain was reprinted with the permission of WDMP Ltd., Copyright 2015 WDMP Ltd

WIE FUNKTIONIERT’S?

Laden Sie sich die Blippar-App aus dem App Store, aus Google Play oder dem Windows Phone Storeherunter. Starten Sie die App und halten Ihr Smartdevice auf das abgedruckte Bild. Sie können nun die AR-Inhalte entdecken.