Virtuelle RealitätVirtual Reality

Interaktion: NavigationInteraction: Navigation

Dr. Thies Pfeiffer

Cognitive Interaction Technology Center of Excellence,
Technische Fakultät, Universität Bielefeld

Termin:Montags, 14:15 Uhr

Raum: CITEC Auditorium

Schedule:Mondays, 2:15 p.m.

Room: CITEC Auditorium

ÜberblickOverview

Inhalte der letzten Veranstaltung: Interaktion/SelektionContent of the last lecture: Interaction/Selection

  • Selektionsverfahren für die Virtuelle RealitätMethods for selection in virtual reality

ÜberblickOverview

Inhalte dieser VeranstaltungContent of this lecture

  • Vorstellung verschiedener NavigationsverfahrenDiscussion of several approaches for navigation

InteraktionInteraction: Navigation

Navigation

Typische NavigationsaufgabenTypical Navigation Tasks

  • Exploration
    • freies, ungerichtetes Erkundenfree, undirected investigation
    • wechselnde Aufmerksamkeitopen attention
    • ausgeglichenes Interessebalanced interests
  • SucheSearch
    • zielgerichtetes Interessedirected interests
    • selektive Aufmerksamkeitselective attention
  • ManövrierenManeuvering
    • lokale Positions- und Perspektivenänderungenlocal position and perspective changes

Navigation: ParameterParameters

Parameter der NavigationParameters of Navigation

  • Distanzen (z.B. zum Ziel)Distances (e.g. to the target)
  • GeschwindigkeitSpeed
  • GenauigkeitPrecision
  • benötigte Freiheitsgrade (DoF)Required degrees of freedom
  • Sichtbarkeit des ZielsVisibility of the target
  • aktive oder passive BewegungActive or passive movement
  • physische oder virtuelle BewegungPhysical or virtual movement
  • Ego- oder exozentrische PerspektiveEgo or exocentric perspective

Navigation: Psychologische FaktorenPsychological Factors

Psychologische FaktorenPsychological Factors

Die folgenden psychologischen Faktoren interagieren mit der Darstellung und der Interaktionsform.The following psychological factors interact with the presentation and the interaction metaphor.

  • Landmarken-Wissenknowledge of landmarks
    • charakteristische visuelle Merkmale der Umweltcharacteristic visual features of the environment
  • Prozedurales Wissenprocedural knowledge
    • Abläufe von Aktionen (erst Kreuzung links, dann zweimal rechts, ...)Sequence of actions (at the first intersection turn left, then twice right, ...)
  • Überblickswissensurvey knowledge
    • topologisches Wissen (z.B. Karte)topological knowledge (e.g. maps)

Eine für die Navigation gestaltete Virtuelle Welt unterstützt die Nutzer bei der Navigation, in dem sie z.B. Angebote an Landmarken bietet. Eine schlechte Interaktion auf der anderen Seite kann z.B. den Aufbau von mentalen Karten oder die Wahrnehmung von Landmarken behindern.A virtual world that has been designed for navigation supports the user in navigating, e.g., by offering landmarks. An ill-designed interaction, in contrast, might hinder the user in creating mental maps or perceiving landmarks.

Navigation: Interaktionstechniken vom Gehen bis zum LenkenInteraction Methods from Walking to Steering

Navigation: Laufen/WalkingWalking

Walking-VerfahrenMethods to support walking

  • isomorphe Bewegung (reale Bewegung $\to$ virtuelle Bewegung)isomorphic movement (real movement $\to$ virtual movement)
  • begrenzt durch physikalischen Raumlimited by physical space
  • begrenzt durch Technikreichweite (Kabel)limited by technology constraints (wires)

Walking: Auf der Stelle/In-PlaceIn Place

Auf der Stelle LaufenWalking In Place

  • InformationenInformation
    • Laufbewegungen auf der Stellewalking movements while maintaining a stationary position
  • VorteileAdvantages
    • kaum Lauffläche notwendigonly small space required
    • gut geeignet für HMDswell suited for HMDs
  • NachteileDisadvantages
    • nur begrenzte Geschwindigkeitonly reduced speed
    • In der CAVE: Unterscheidung zwischen Laufen auf der Stelle zur Bewegung des Viewpoints und dem Laufen in der CAVE zur Inspektion der näheren Umgebung notwendig.In the CAVE: a distinction is required between walking in place to move the viewpoint and walking within the CAVE to inspect the proximal environment.
Walking in Place (2:14), hier durch Wii-Balance Board von Nintendo gelöst. Damit lokale Lauffläche für die Verschiebung des Viewpoints. Die restliche Lauffläche ist für die lokale Inspektion frei.Walking in Place (2:14), here realized using Nintendo's Wii-Balance Board. The board is used for moving the viewpoint. The rest of the walking space is available for local inspection of the proximal environment.

Walking: Laufband/Linear TreadmillLinear Treadmill

Laufband/Linear TreadmillLinear Treadmill

  • InformationenInformation
    • Laufen auf einem Laufbandwalking on a treadmill
    • Laufband wird automatisch geführttreadmill is automatically tuned
    • entwickelt im CyberWalk Projektdeveloped in the CyberWalk Project
  • VorteileAdvantages
    • unendliche Lauffläche in einer Dimensioninfinite walking area in one dimension
  • NachteileDisadvantages
    • nur Laufen in einer Dimension möglichwalking only possible in one dimension
Lineares Laufband aus demLinear treadmill from the CyberWalk Projektproject

Walking: CyberCarpet

CyberCarpet

  • InformationenInformation
    • Laufen auf Fläche aus kleinen Kugelnwalking on a surface made out of small spheres
    • entwickelt imdeveloped in the CyberWalk Projektproject
  • VorteileAdvantages
    • unendliche Laufflächeinfinite walking area
  • NachteileDisadvantages
    • nur begrenzte Geschwindigkeitonly at reduced speed
    • kleine Schrittesmall steps
CyberCarpet aus demfrom the CyberWalk Projektproject

Walking: Omni-Directional Treadmill: CyberWalk

Omni-Directional Treadmill: CyberWalk

  • InformationenInformation
    • Laufbänder auf einem ebenfalls beweglichen Torustreadmills arranged on a movable torus
    • Nachfolger des CyberCarpets aus dem CyberWalk ProjektSuccessor of the CyberCarpet of the CyberWalk project
    • entwickelt imdeveloped in the CyberWalk Projektproject
  • VorteileAdvantages
    • unendliche Laufflächeinfinite walking area
  • NachteileDisadvantages
    • nur begrenzte Geschwindigkeitonly reduced speed
    • kleine Schrittesmall steps
CyberWalk in Tübingen aus dem CyberWalk at Tübingen, developed in the CyberWalk ProjektProject

Walking: Virtuix Omni

Endkunden-Hardware zum Auf-der-Stelle-Laufen: Virtuix OmniConsumer Hardware for Walking-in-Place: Virtuix Omni

  • DetailsDetails
    • Lauffläche mit geringer Reibungwalking surface with low friction
  • VorteileAdvantages
    • unendliche Laufflächeinfinite walking area
    • unterstützt Laufen, Kriechen und Springen, sowie Drehungen um $360^\circ$supports walking, coaching and jumping, as well as rotations of $360^\circ$
  • NachteileDisadvantage
    • gewöhnungsbedürftige Bewegunguser needs to get used to the movement
Virtuix OmniVirtuix Omni

Walking: Cyberith Virtualizer

Endkunden-Hardware zum Auf-der-Stelle-Laufen: Cyberith VirtualizerConsumer Hardware for Walking-in-Place: Cyberith Virtualizer

  • DetailsDetails
    • Lauffläche mit geringer Reibungwalking surface with low friction
    • Funktioniert mit normalen Sockencompatible with standard socks
    • Blickrichtung getrennt von Laufrichtungview orientation different from walking direction
  • VorteileAdvantages
    • unendliche Laufflächeinfinite walking area
    • unterstützt Laufen, Kriechen und Springen, sowie Drehungen um $360^\circ$supports walking, coaching and jumping, as well as rotations of $360^\circ$
  • NachteileDisadvantage
    • gewöhnungsbedürftige Bewegunguser needs to get used to the movement
Cyberith VirtualizerCyberith Virtualizer

Walking: Redirected Walking

Redirected Walking

  • Information
    • Technik um die Grenzen des verfügbaren physikalischen Raumes besser auszunutzentechnology to compress virtual space within the physical spatial limits
    • Durch unterschwellige Richtungsänderungen wird die physikalische Laufrichtung von der wahrgenommenen Laufrichtung entkoppeltby subtle changes in orientation the physical direction of walking is decoupled from the perceived direction of walking
Razzaque, S.; Kohn, Z. & Whitton, M. C. (2001). Redirected Walking. In Proceedings of EUROGRAPHICS, pp. 289-294
Redirected Walking in einerin a CAVE, Arbeiten vonwork by Razzaque et al.

Walking: VirtuSphere

VirtuSphere

  • InformationenInformation
    • Laufen auf der Innenfläche einer Kugelwalking on the inner surface of a sphere
    • Einstieg durch Lukeentrance using a porthole
  • VorteileAdvantages
    • unendliche Laufflächeinfinite walking area
  • NachteileDisadvantages
    • nur begrenzte Geschwindigkeitonly reduced speed
    • kabellose Interaktionsgeräte notwendigwireless interaction devices required
  • VirtuSphere in Deutschlandin Germany: Cognitive NeuroInformatics in Bremen
VirtuSphere vonby VirtuSphere, Inc.

Navigation: Flying

Flying

  • VorteileAdvantages
    • gut geeignet für Umgebungen ohne Bodenwell suited for simulations without a ground
    • häufig gewählte, bekannte Interaktionsmetapherwell known, often chosed interaction metaphor
  • NachteileDisadvantages
    • difficult to control
    • bei völlig freier Bewegung Gefahr von zunehmenden Orientierungsproblemen (wie z.B. beim Tauchen)if flying is not restricted, it may lead to orientation problems (e.g. similar to diving)
Ausschnitt aus dem Spiel Descent 2 vonExcerpt from the computer game Descent 2 by Parallax Software

Navigation: Teleportation

Teleportation

  • VorteileAdvantages
    • sehr schnellvery fast
    • leicht zu erlerneneasy to learn
  • NachteileDisadvantages
    • unnatürlichunnatural
    • erzeugt schnell Orientierungsproblememay lead quickly to orientation problems
World-in-Miniature (3:18)

Navigation: Steuern/Steering

Steering-Verfahren

  • VorteileAdvantages
    • keine physikalische Begrenzungno physical restriction of the movement
  • NachteileDisadvantage
    • nicht-isomorphe Bewegungnon-isomporphic movement
Einfache Steuerkonsole eingebracht als Interaktionsgerät in eine CAVE.A simple control panel as interaction device for a CAVE.
FarmRacing - Projekt an der NHTV IGAD MediaLab Group

Steering: Gaze-directed Steering

Gaze-directed Steering

  • InformationenInformation
    • Translation immer nur in der Blickrichtung oder entgegengesetzttranslation in the direction of gaze or in the opposite direction
    • Typische Implementierung bei Ego-Shooternthis is the typical implementation of navigation in ego-shooters.
  • VorteileAdvantages
    • einfach zu Implementiereneasy to implement
    • immer größtmöglicher Blickwinkel nach links und rechts beim Bewegenthe visual field has always a balanced extension to the left and right
  • NachteileDisadvantages
    • Umschauen während der Bewegung beeinflusst diese immerlooking around during the movement always affects the movement or requires a timely adjustment of movement control

Steering: Torso-directed Steering (1/2)

Torso-directed Steering

  • InformationenInformation
    • Blickrichtung und Laufrichtung entkoppeltdecoupled direction of gaze and direction of movement
    • bekannt z.B. durch Panzersimulationenknown, e.g., from tank simulations
  • VorteileAdvantages
    • Umschauen möglichIt is possible to look around during navigation.
    • Leicht mit ungenaueren bzw. einfacheren Tracking-Methoden zu realisieren (z.B. Kinect)can be easily realised with less precise or more simple tracking mechanisms, such as the Kinect
  • NachteileDisadvantages
    • getrennte Steuerung notwendigcomplex steering control, at least 8 DoF (6 DoF for walking and 2 DoF for turning gaze direction)
Torso-/Body-directed Steering: PenguFly von der Virtual-Reality Group der RWTH Aachen.
Anette von Kapri, Tobias Rick, Steven Feiner, "Comparing Steering-Based Travel Techniques for Search Tasks in a CAVE", IEEE Virtual Reality Conference 2011.

Steering: Torso-directed Steering (2/2)

Torso-directed Steering

  • InformationenInformation
    • Blickrichtung und Laufrichtung entkoppeltdecoupled direction of gaze and direction of movement
    • bekannt z.B. durch Panzersimulationenknown, e.g., from tank simulations
  • VorteileAdvantages
    • Umschauen möglichIt is possible to look around during navigation.
  • NachteileDisadvantages
    • getrennte Steuerung notwendigcomplex steering control, at least 8 DoF (6 DoF for walking and 2 DoF for turning gaze direction)
Lean-based Velocity (5:43)

Steering: Pointing-directed Steering

Pointing-directed Steering

  • InformationenInformation
    • Laufen in Zeigerichtungwalking in the direction of pointing
  • VorteileAdvantage
    • Umschauen möglichIt is possible to look around
    • wenig anstrengend, auch im Sitzen nutzbarnon-exhausting, also usable in seated conditions
  • NachteileDisadvantages
    • getrennte Steuerung notwendigindependent steering control required

Halbautomatisches Steuern / Semi-automatic Steering

Halbautomatisches SteuernSemi-automatic Steering

  • Hauptbewegungsrichtung wird vom System vorgegebenMain direction of movement is determined by the system
    • Nutzer vollzieht lokale AusweichbewegungenUser only conducts local evasion movements
  • Hauptbewegungsrichtung wird vom Nutzer vorgegebenMain direction of movement is determined by the user
    • System vollzieht lokale Ausweichbewegungen bzw. verzeiht lokale UngenauigkeitenSystem automatically conducts local evasion movements or forgives local inaccuracies
Vorgegebene Steuerung im KlassikerSemi-automatic steering the the classic Rebel Assault vonby LucasArts.

Navigation: Navigation durch Planenby Planning

Navigation durch Planenby Planning

Planen: ZielbestimmungPlanning: Choosing the target

ZielbestimmungChoosing the target

  • Anwender wählt Ziel ausUser chooses the target
  • System ermittelt Weg zum Ziel und bewegt den Anwender dorthinSystem determines a path to the target and moves the user along this path to the target

Planen: Pfad zeichnenPlanning: Path Drawing

Pfad zeichnenPath Drawing

  • Anwender zeichnet den zurückzulegenden Pfad vorUser sets the path by drawing it
  • ... auf einem Requisit (z.B. Karte)on a prop (e.g. a map)
  • ... direkt in der Weltdirectly into the world
Path Drawing (AnfangBeginning)

Planen: Wegpunkte festlegenPlanning: Waypoint Following

Wegpunkte festlegenWaypoint following

  • Anwender wählt einzelne PunkteUser chooses single points
  • System ergänzt zu kompletten PfadenSystem completes to full path
Wegpunkte definieren in Unity3DWaypoint following in Unity3D

Navigation: Navigation durch Manipulationby Manipulation

Navigation durchby Manipulation

Navigation durchby Manipulation: Fixed-Object Manipulation

Fixed-Object Manipulation

  • InformationenInformation
    • Anwender wählt ein ObjektUser chooses an object
    • Objekt wird zum AnkerObject is used as anchor
    • Anwender kann sich am Objekt durch die Welt "ziehen"User can drag herself through the world on that object
    • manchmal: Oberfläche der Welt als Objekt, z.B. im Spiel Black-and-Whitesometimes the world itself is used as anchor, for example in the game Black-and-White
Navigation über die Manipulation der Welt im KlassikerNavigation by manipulating the world in the classic Black&White von denby Lionhead Studios/Electronic Arts.

Navigation durchby Manipulation: Grabbing-in-the-Air

Grabbing-in-the-Air

  • InformationenInformation
    • Anwender greift in den "luftleeren" RaumUser grabs into the empty space (air)
    • Im Gegensatz zur letzten Variante ist die Navigation dadurch flexiblerIn contrast to the last example, this makes the navigation even more flexible
    • Beim Einsatz von beidhändiger Interaktion oder über andere Auswahlmechanismen ist auch eine gleichzeitige Skalierung möglich (siehe nächste Folie)When using bi-manual interaction or by using different interaction devices, it is also possible to do a scaling movement (see next slide), which leads to interesting possibilites
Grabbing in the Air (6:51)

Navigation durchby Manipulation: SkalierenScaling

SkalierenScaling

  • InformationenInformation
    • Anwender kann die Welt kleiner oder größer skalierenUser may scale the world smaller or larger than life
    • Wird die Welt kleiner skaliert, werden Wege verkürzt und Strecken schneller, aber evtl. ungenauer zurückgelegtIf the world is scaled smaller, then paths are shortened and distances are travelled more quickly, but less accurate
    • Wird die Welt größer skaliert, werden Wege verlängert und dafür eine präzisere Navigation möglichIf the world is scaled larger than life, paths are longer and allow for a more precise navigation
Grabbing in the Air mit Skalierenwith scaling (7:05)

ZusammenfassungConclusion

ZusammenfassungConclusion

Inhalte dieser VeranstaltungContent of this lecture

  • Navigationsverfahren für die Virtuelle RealitätMethods for navigation in Virtual Reality

AusblickOutlook

Nächster Termin: Interaktion/ManipulationNext lecture: Interaction/Manipulation

  • Kanonisch oder AnwendungsspezifischCanonical and application specific approaches
  • Parameter, Probleme, Eigenschaften der GeräteParameters, problems, properties of the devices
  • Manipulationsverfahren für kanonische ManipulationenApproaches for canonical manipulations