Virtuelle Realität - Technologie -------------------------------- Allgemein ~~~~~~~~~ .. index:: VR/AR; VR; Technologie; Allgemein, Virtual Reality Als virtuelle Realität (*virtual reality*, VR), wird die gleichzeitige Darstellung und Wahrnehmung einer scheinbaren Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet. Im Gegensatz zur gemischten Realität, liegt hier der Fokus darauf eine vollständig virtuelle Umgebung zu erschaffen. .. container:: admonition .. index:: virtuell, Virtualität virtuell "nicht echt, nicht in Wirklichkeit vorhanden, aber echt erscheinend" -- Google-Definition [virtuell]_ Virtualität "Virtualität ist die Eigenschaft einer Sache, nicht in der Form zu existieren, in der sie zu existieren scheint, aber in ihrem Wesen oder ihrer Wirkung einer in dieser Form existierenden Sache zu gleichen. Virtualität meint also eine gedachte Entität, die in ihrer Funktionalität oder Wirkung vorhanden ist." -- Wikipedia-Definition [Virtualität]_ [VR]_ Anforderungen ~~~~~~~~~~~~~ .. index:: VR/AR; VR; Technologie; Anforderungen, Immersion, Plausibilität, Interaktivität, Wiedergabetreue Es können verschiedenste Anforderungen beim Erstellen einer virtuellen Welt definiert werden. Beispielhafte Anforderungen sind Immersion, Plausibilität, Interaktivität und Wiedergabetreue. Immersion - Einbettung des Nutzers in die virtuelle Welt - Verminderung der Wahrnehmung der eigenen Person in der realen Welt - anspruchsvolle und spannende Gestaltung der virtuellen Welt -> Nutzer fühlt sich mehr als Person in der virtuellen Welt Plausibilität - Interaktion logisch und stimmig - Umgebung logisch und stimmig -> Illusion von Realität Interaktivität - Eigenen Aktionen haben Einfluss auf die virtuelle Umgebung - Ereignisse der Umgebung beeinflussen die Sinne des Nutzers -> Nutzer kann in der virtuellen Welt agieren Wiedergabetreue - virtuelle Umgebung genau und naturgetreu gestaltet - virtuelle Welt bildet Eigenschaften einer natürlichen Welt ab -> Nutzer erscheint die virtuelle Welt glaubwürdig .. container:: admonition .. index:: Motion sickness, Bewegungsübelkeit **motion sickness** (~ „Bewegungsübelkeit“): Ein häufiges Problem bei VR ist, dass Benutzern schwindelig werden kann, wenn die real empfundene von der virtuell gesehenen Beschleunigung abweicht. Dies kann beispielsweise eine Folge der Differenz zwischen dem real verfügbaren Raum und dem virtuellen genutzten Raum sein. Dafür gibt es in verschiedenen Systemen verschiedene Lösungen, wie abweichende Steuerung des virtuellen Charakters oder die Einschränkung auf einen kleineren Bewegungsraum. Diese verursachen jedoch meist wiederum eine Minderung der Immersion oder anderer Anforderungen. [VR]_ Hardware ~~~~~~~~ .. index:: VR/AR; VR; Technologie; Hardware .. rubric:: Ausgabegeräte Um einen räumlichen Eindruck zu vermitteln, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (*Stereoprojektion*). Um das jeweilige Bild dem richtigen Auge zuzuführen, existieren verschiedene Technologien. .. rubric:: Virtual-Reality-Headsets .. index:: Virtual-Reality-Headsets Durch zwei Linsen im Headset, soll dem Nutzer das passende Bild in das jeweilige Auge projiziert werden. .. index:: Virtual-Reality-Headsets; Angebundene VR-Headsets - Angebundene VR-Headsets: Um maximale Leistung zu erhalten, sind angebundene VR-Headsets nötig. - Verbindung mit Rechner verpflichtend - Rechenaufwand auf dem verbundenen PC Typische Bestandteile: - Zwei kleine, hochauflösende OLED- oder LCD-Monitore, die für beide Augen ein separates Bild liefern - Gyroskope und Bewegungssensoren zur Positions- und Rotationsverfolgung des Nutzers - Binaurales Audiosystem .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/HTC_Vive_Cosmos_-_1.jpg HTC HTC Vive Cosmos By KKPCW - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=84606854 .. index:: Virtual-Reality-Headsets; Standalone-VR-Headsets - Standalone-VR-Headsets: Während die ersten VR-Headsets immer auf einen PC angewiesen waren, gibt es mittlerweile auch so genannte Standalone-VR-Headsets. - gänzlich autark - kabellos und mobil nutzbar - Leistung geringer (im Vergleich zu einem Angebundene VR-Headset) - aber ebenfalls verhältnismäßig grafikintensive virtuelle Umgebungen möglich .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Oculus_Quest_II_(50844634326).jpg Oculus Quest II Von Maximilian Prandstätter - Oculus Quest II, CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=110173275 .. index:: Virtual-Reality-Headsets; VR-Halterungen, Google Cardboard - Halterungen für Smartphones: Eine simple Alternative sind VR-Headsets, welche lediglich eine Halterung für Handys darstellen. Dabei werden die beiden separaten Bilder auf einem Handybildschirm dargestellt, wodurch jedoch der selbe Effekt erzielt wird. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Assembled_Google_Cardboard_VR_mount.jpg Google Cardboard Von othree - Google Cardboard, CC BY 2.0, https://commons.wikimedia.org/w/index.php?curid=40703922 - Interaktion: - Knöpfe am Headset - Handgesten, Motion Control - externe Eingabegeräte (siehe :ref:`Eingabegeräte`) [Virtual-Reality-Headset]_ .. rubric:: CAVE-System .. index:: CAVE Wenn kein VR-Headset genutzt wird, kann beispielsweise das CAVE-System zur Anwendung kommen. CAVE steht für "Cave Automatic Virtual Environment" (*Höhle mit automatisierter, virtueller Umwelt*), was die eigene Funktionsweiße gut umschreibt. Bei einem solchen System wird durch Projektionen oder Bildschirme die virtuelle Welt direkt an Wänden, Decke und Boden des Raumes dargestellt. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Roboterbasierter_Flugsimulator_Grenzebach_'FlightSim'.jpg Flugsimulator in einer CAVE Von TheGrenzebachGroup - Eigenes Werk, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=28172269 [CAVE]_ Um bei einem CAVE-System, aber auch bei anderen Ausgabegeräten, die Umgebung dreidimensional darzustellen, werden zum Beispiel folgende Techniken zur Stereoprojektion angewendet: .. rubric:: Shuttertechnik .. index:: Shuttertechnik, Shutterbrille Shutterbrillen: - Gläser, aus zwei verschiedenen Flüssigkristallflächen, die elektronisch durchlässig und undurchlässig geschaltet werden können - Damit lässt sich wahlweise das linke oder das rechte Auge abdunkeln. - Dazu wird abwechselnd das linke und rechte Bild angezeigt. - Von der Brille wird dabei synchron nur das passende Bild zum entsprechenden Auge durchgelassen .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Xpand-brille.jpg Shutterbrille Von Gmhofmann - Selbst fotografiert (Originaltext: Selber fotografiert), Gemeinfrei, https://commons.wikimedia.org/w/index.php?curid=26520164 [Shutter-3D-System]_ .. rubric:: Polarisationsfiltertechnik .. index:: Polarisationsfiltertechnik, Polarisationsfilterbrille - Die beiden benötigten Bilder werden in jeweils entgegengesetzt polarisiertem Licht ausgestrahlt. - Dazu jeweils entsprechend versetzte Polarisationsfilter vor den Projektionsobjektiven - Ebenso entsprechend versetzte Polarisationsfilter in den 3D-Brillen der Betrachter .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Light_Circular_Polarizer_Passing.svg Circularly polarized glasses - Prinzip By Dave3457 - Own work, Public Domain, https://commons.wikimedia.org/w/index.php?curid=9862713 - Zur Aufrechterhaltung des Polarisationsstatus des Lichts wird eine metallisch beschichtete Leinwand benötigt. Eine normale weiße Leinwand würde das Licht wieder zerstreuen und die Kanaltrennung wäre aufgehoben. - Der Vorteil dieser Projektionstechnik liegt in der hohen Farbtreue der gezeigten Bilder. - Nachteile sind zum einen der Lichtabfall durch die verwendeten Filter und die extra für dieses Verfahren erforderliche metallische Leinwand. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/REALD.jpg Polarisationsfilterbrille Von Midori iro - Eigenes Werk, Gemeinfrei, https://commons.wikimedia.org/w/index.php?curid=3203459 [Polarisationssystem]_ .. rubric:: Interferenzfiltertechnik .. index:: Interferenzfiltertechnik, Interferenzfilter-Brille, Dolby 3D - Funktionsweiße: Es arbeitet nach einem Lichtwellenlängenfiltersystem (Wellenlängenmultiplex). Für jedes Auge wird jeweils ein Teil der vom Auge als Rot-Grün-Blau empfundenen Wellenlängen durchgelassen und der des anderen Auges sehr effektiv blockiert. Hierbei werden die Grundfarben der Bilder also für das linke und rechte Auge auf jeweils unterschiedliche überlappungsfreie Wellenlängenbereiche reduziert. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/ABB_2351_01_27_infitec.gif Prinzip des Wellenlängenmultiplex-Verfahrens - Farbtriplets https://kompendium.infotip.de/files/wdb/GRAFIK/2300_DISPLAYS/2350_3D/ABB_2351_01_27_infitec.gif Diese werden dann parallel über die Leinwand bis zum Betrachter übertragen. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Wellenlaengenmultiplex-bei-der-CWDM-Technik.png Prinzip des Wellenlaengenmultiplex-bei-der-CWDM-Technik https://www.itwissen.info/lex-images/Wellenlaengenmultiplex-bei-der-CWDM-Technik.png Um die beiden Farbtriplets, die den Betrachter sequentiell (= als Multiplex) erreichen, voneinander zu trennen, wird eine Interferenzbrille verwendet. Die Gläser dieser Brille sind mit dielektrischen Materialien mehrfachbeschichtet. Die Mehrfachbeschichtung wirkt ähnlich einem Saugkreis in der Funktechnik: nur in Resonanz befindliche Schwingungen werden durchgelassen. So können die Farbtriplets für beide Augen exakt ausgefiltert werden. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/FOT_2351_01_29_Brille_D.jpg Dolby 3D Interferenzfilter-Brille https://kompendium.infotip.de/files/wdb/GRAFIK/2300_DISPLAYS/2350_3D/FOT_2351_01_29_Brille_D.jpg - Vorteile: - scheinbar farbneutral, d. h., es kommt zu keinen sichtbaren Farbänderungen In manchen Fällen kann es zu stärkeren Farbfehlern kommen, welche jedoch mit elektronischer Farbkorrektur in der Signalverarbeitung des Projektors behoben werden können. - Kopfneigung ohne Qualitätsverluste - keine Silberleinwand nötig - nur ein Projektor nötig - Streulicht, z.B. durch eine unvollständige Abdunkelung, wird ausgeblendet -> projiziertes Bild wirkt brillanter - Nachteile: - Brillengläser und Filter bestehen aus in einem Vakuumverfahren beschichtetem Glas -> vergleichsweise teuer [Interferenzfiltertechnik]_ .. container:: admonition **Herstellerübersicht mit Modellen:** Facebook (Oculus Rift, Oculus Go, Oculus Quest, Oculus Quest 2 und Oculus Rift S) Google (Google Cardboard, Google Daydream) HTC & Valve (HTC Vive) Lenovo (Lenovo Explorer für Windows Mixed Reality und Lenovo Mirage Solo für Google Daydream) Microsoft (Microsoft HoloLens, Windows Mixed Reality) Razer (OSVR Hacker Dev Kit) Samsung (Samsung Gear VR) Sony Computer Entertainment (PS VR) Starbreeze Studios (StarVR) Valve (Valve Index) University of Illinois (CAVE) [Stereodisplay]_ [VR]_ .. _Eingabegeräte: .. rubric:: Eingabegeräte Zur Interaktion mit der virtuellen Welt, sowie der ausführenden Software gibt es verschiedenste spezielle Eingabegeräte. Einige Eingabegeräte wirken eine Kraftrückkopplung auf den Nutzer (Force Feedback), sodass die Haptik als weitere Sinnesempfindungen zu einer realitätsnahen Simulationen beiträgt. Ein beispielhafter Auszug: .. rubric:: Optische Sensoren .. index:: Optische Sensoren, Infrarot-Kamera VR-Kontroller werden oft mit einem optischen Trackingsystem genutzt. Dabei, meist mithilfe von Infrarot-Kameras, wird kontinuierlich durch die Erfassung von Markern die Position des Nutzers im Raum bestimmt, damit dieser sich möglichst ohne Verkabelung frei bewegen kann. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Oculus-Rift-CV1-Sensor-wStand.jpg Oculus Rift Constellation Sensor By Evan-Amos - Own work, Public Domain, https://commons.wikimedia.org/w/index.php?curid=62084284 .. rubric:: Motion Controller .. index:: Motion Control Ein "Motion controller" ist ein Eingabegerät dass Beschleunigungsmesser oder andere Sensoren verwendet, um Bewegungen zu verfolgen um die Steuerung in einer virtuellen Umgebung zu übernehmen. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Wii_Remote_Image.jpg Wii Remote By Greyson Orlando - Own work, Public Domain, https://commons.wikimedia.org/w/index.php?curid=1447832 .. rubric:: 3D-Maus .. index:: 3D-Maus "Maus" welche mindestens drei "degrees of freedom" zur Verfügung stellt. .. container:: admonition .. index:: degrees of freedom (DoF) degrees of freedom (*Anzahl unabhängiger Parameter welche die aktuelle Konfiguration definieren*) [3D-Mouse]_ [DoF]_ .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Space-Navigator.jpg 3D-Maus mit "six-degrees-of-freedom" By self - Own work, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=1874645 .. rubric:: Datenhandschuh .. index:: Datenhandschuh Die Steuerung in der virtuellen Umgebung erfolgt durch Bewegung der hand und Finger. [Datenhandschuh]_ .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/NES-Power-Glove.jpg NES-Power-Glove CC BY-SA 1.0, https://commons.wikimedia.org/w/index.php?curid=1122875 .. rubric:: omnidirektionales Laufband .. index:: omnidirektionales Laufband Mithilfe eines Laufbands wird das Gehen im virtuellen Raum durch reale Gehbewegungen gesteuert. .. figure:: /virtual_and_augmented_reality/virtual_reality_technology/Cyberith_Virtualizer.jpg Cyberith Virtualizer Von Oleg2525 - Eigenes Werk, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=27995550 [VR]_ Software ~~~~~~~~ .. index:: VR/AR; VR; Technologie; Software Zur Erzeugung von virtueller Realität benötigt man speziell entwickelte Software. .. sidebar:: Beispiele für Software .. index:: CAD, Autorensysteme CAD-/3D-Programme: - Maya - 3D Studio Max - Blender - SketchUp - Softimage XSI - Cinema 4D - LightWave 3D Autorensysteme: - World Tool Kit - World Up Web-Darstellung: - Computersprache VRML/X3D - JavaScript-API WebVR. .. rubric:: Anforderung: Berechnung von komplexen dreidimensionalen Welten ... - in Echtzeit - in Stereo (getrennt für linkes und rechtes Auge) Im Gegensatz zu den Beginnen der VR wurden die Möglichkeiten, durch deutlich leistungsfähigere Rechner und Grafikprozessoren, deutlich ausgeweitet. .. rubric:: benötigte Software: .. index:: CAD, Autorensysteme - **CAD-/3D-Programme** werden für die Modellierung von dreidimensionalen, virtuellen Objekten genutzt. - Zusätzlich wird **Software für die Bild- und Tonbearbeitung** benötigt. - **Autorensysteme** werden genutzt, um die modellierten Objekte zu interaktiven Simulationen zusammenzusetzen.