Virtuelle Realität

Interaktion: Selektion

Virtual Reality

Interaction: Selection

Dr. Thies Pfeiffer

Cognitive Interaction Technology Center of Excellence,
Technische Fakultät, Universität Bielefeld
Cognitive Interaction Technology Center of Excellence,
Faculty of Technology, Bielefeld University

Termin:Montags, 14:15 Uhr

Raum: CITEC Auditorium

Schedule:Mondays, 2:15 p.m.

Room: CITEC Auditorium

ÜberblickOverview

Inhalte der letzten Veranstaltung: Interaktion/InstantIOContent of the last appointment: Interaction

  • BasisinteraktionenBasis Interactions
  • Interaktionsfähigkeit bewertenEvaluating interaction capabilities
  • Anbinden von GerätenConnecting devices
  • InstantIO: Anbindung von Geräten in InstantReality/X3DConnecting devices in InstantReality/X3D

ÜberblickOverview

Inhalte dieser VeranstaltungTopic of this lecture

  • Selektionsverfahren für die Virtuelle RealitätMethods for selection in virtual reality

SchlaglichterHighlights

SchlaglichterHighlights

Simulator für virtuellen GeschmackSimulator for virtual flavor

  • Forscher um Dr. Ranasinghe an der National University of Singapore arbeiten an einem virtuellen Geschmackssimulator Researchers around Dr. Ranasinghe at the National University of Singapore are working on a simulator for virtual flavors
  • Arbeitsweise: elektrische und thermische Stimulation Basic method: electric and thermic stimulation
  • Elektrische Stimulation gut für saure, salzige oder bittere Empfindungen Electrical stimulation can be used to trigger sour, salty, or acerbically impressions
  • Thermische Stimulation für minzig, scharf und süß, jedoch noch weniger überzeugend Thermic stimulation for minty, spicy, and sweet impressions, but less convincing
  • Link zur Meldung von NUS News Link to the news by NUS news
  • Link zum persönlichen Profil von Dr. Ranasinghe Link to the personal profile by Dr. Ranasinghe
Digital Taste Interface - Video by Nimesha Ranasinghe

SchlaglichterHighlights

Günstiges innertiales MoCap-System Affordable innertial MoCap-System

  • YEI Technology präsentierte auf der CES das Vollkörper-Tracking System PrioVR YEI Technology presented the full-body tracking system PrioVR at the CES
  • Latenz laut Hersteller: 10ms Latency according to the vendor: 10ms
  • Umfasst: Kopf, Arme, Handgelenke, Beine Covers head, arms, wrists and legs
  • Basiert auf Beschleunigungs- und Magnetfeldsensoren Based on accelerometers and sensors for the magnetic field
  • Position im Raum kann jedoch nicht ermittelt werden Position in space, however, cannot be determined
PrioVR Suit Up. Game on. (YEI)

Interaktion: SelektionInteraction: Selection

SelektionSelection

SelektionSelection

  • Auch bekannt als Picking oder Zielauswahl (target acquisition) Also known as picking or target acquisition
  • Auswahl eines Objektes in der Virtuellen Realität Selecting of an object in virtual reality
  • Ziel abhängig vom KontextGoal depends on interaction context
    • Bekanntmachen einer Objektinstanz als Reaktion auf eine Anfrage vom System Making an object instance known to the system as a response to a system request
    • Anstoßen von internen Prozessen, die dann z.B. zu Reaktionen wie der Anzeige von zusätzlichen Informationen oder funktionalen Änderungen der Welt führen (Schalter, etc) Triggering internal processes, which may then lead to reactions, such as the display of additional information or functional changes in the world (buttons, etc. $\to$ Manipulation)
    • Interaktionsfokus setzen für weiterführende Manipulationsprozesse Setting the interaction focus for subsequent manipulations

SelektionSelection

Selektion: TeilaufgabenSelection: Subtasks

  • Indikation des ObjektesIndication of an object
    • Voraktivierung des gewünschten Objektes für die Selektion durch geeignete Interaktion Preactivation of the desired object for the selection by means of a suitable interaction
  • Bestätigung der SelektionTriggering the selection
    • In der Regel: Nutzer löst Selektion über dedizierte Aktion (z.B. Klick) aus. Alternative: kontinuierliche Indikation (Dwelling) bis ein Schwellwert erreicht ist Most commonly the user triggers the selection by means of a dedicated action (e.g. click). Alternatively: continuous indication (dwelling) until a threshold is reached
  • Rückmeldung des SystemsFeedback of the system
    • Rückmeldung während der Indikation: Feedback welches Objekt selektiert werden würde, wenn der Benutzer in diesem Moment bestätigt Feedback during the indication: feedback which object has been indicated and would be selected if the user would trigger the selection
    • !!Wichtig!! Rückmeldung nach der Bestätigung: Dies kann auch durch eine ausgelöste Aktion (z.B. bei Schaltern) geschehen und muss nicht immer ein gesondertes Selektionsfeedback sein. Falls eine Aktion nicht direkt nach dem Auslösen wahrnehmbar startet, kann ein zusätzliches direktes Feedback-Signal hilfreich sein. !!Important!! Feedback after triggering the selection: this can also be achieved by means of the triggered action (e.g. in the case of a switch). In other cases, a specific feedback signal might be required. This might also be the case if the action does not start immediately.

Selektion: ParameterSelection: Parameters

Parameter der SelektionParameter of the selection

  • ObjekteigenschaftenProperties of the object
    • Entfernung und Richtung des ZielobjektesDistance and direction of the target object
    • Größe des ZielobjektesSize of the target object
  • KontexteigenschaftenProperties of the context
    • Dichte der Objekte in der lokalen Umgebung des ZielsDensity of the objects in the vicinity of the target
    • Anzahl der ZielobjekteNumber of target objects
    • Sichtbarkeit des ZielobjektesVisibility of the target object

Selektion: Eigenschaften der EingabegeräteSelection: properties of input devices

Eigenschaften der EingabegeräteProperties of input devices

  • FreiheitsgradeDegrees of freedom
  • Grad der Integration der FreiheitsgradeDegree of integration of the degrees of freedom
    • Wieviele Freiheitsgrade können gleichzeitig manipuliert werden? How many degrees of freedom can be manipulated simultaneously?
    • Typischerweise gilt: je besser die Integration, desto einfacher zu bedienen Rule of thumb: the better the integration, the easier to use is the interaction method

Selektion: Typische ProblemeSelection: Typical Problems

Typische Probleme bei der SelektionTypical problems of the selection

  • Zittern (durch Tracking-System oder natürliches Zittern) Jitter (based on the tracking system or natural jitter)
  • Unterscheidung zwischen Vordergrund und Hintergrund Distinction between foreground and background
  • mehrere Vordergrund-Objekte hintereinander multiple foreground objects behind each other
  • kleines Vordergrund-Objekt vor großem Vordergrund-Objekt smaller foreground object in front of larger foreground object
  • kein Objekt getroffen, aber nahe dran an mehreren no direct hit to a particular object, but close to many

Selektion: Vorstellung verschiedener Verfahren Selection: Presentation of Different Interaction Methods

Selektion: Berühren / TouchingSelection: Touching

Berühren / TouchingTouching

  • InformationenInformation
    • isomorphe Bewegung eines Berührpunktesisomorphic control of a point of contact
    • Indikation und Auswahl durch "Berührung" des Zielobjektes (technisch: Kollision des Berührpunktes mit dem Objekt) Indiciation and triggering by "touching" the target object (technically most often a collision of the contact point with the object geometry)
  • VorteileAdvantage
    • intuitivintuitive
    • hohe Präzisionhigh precision
  • NachteileDisadvantages
    • Midas-Touch: versehentliches Berühren, z.B. während der Navigationaccidental selections, e.g. during other tasks, such as navigation
    • nur im Nahbereich in Reichweite der Arme einsetzbarcan only be used in the closer vicinity of the user

Selektion: Zeigen / PointingSelection: Pointing

Zeigen / PointingPointing

  • InformationenInformation
    • Auswahl von Objekten jenseits der ReichweiteSelection of objects beyond arms legnth
    • erfordert Akt der Indikation über eine Positions- und Richtungsangabe requires an act of indication by providing a position and an orientation
    • erfordert eine Auswahl, z.B. über Schalter oder Sprachbefehl requires a dedicated triggering action, e.g. by pressing a button or uttering a speech command
    • Vielzahl von Verfahren bereits entwickeltMany different approaches for pointing have been developed
  • Unterscheidungsmerkmale der VerfahrenDistinctive Features
    • Art der RichtungsangabeMeans of providing the orientation
    • Form des Auswahlvolumens (genereller als ein Zeigestrahl)Shape of the selection volume (more general than a pointing ray)
  • VorteileAdvantages
    • höhere Reichweite als berührungsbasierte Verfahren longer interaction range than touch-based approaches
    • geringere notwendige Bewegung less movement required than with touch-based approaches
  • NachteileDisadvantages
    • Operationsraum nur kreisförmig um den Nutzer Area of operation is circular around the user
    • Bei größeren Distanzen genauere visuelle Kontrolle notwendig (evtl. durch Feedback unterstützen) When selecting at larger distances an increased visual control is required (visual feedback could support that)
    • Spätere Translation erst einmal nur kreisförmig um den Nutzer und Rotation nur um zwei Achsen Later translation without further methods only possible in a circle around the user, rotation only possible around two axes

SelektionSelection: Put-that-there

Put-that-there

  • InformationenInformation
    • Klassiker vonClassic method from 1979/80
    • entwickelt am MITdeveloped at MIT
    • Multimodale Interaktion mit Sprache und GestikMultimodal interaction with speech and gesture
    • Einhändige Zeigegesten auf eine Projektion (zugegeben: keine virtuelle Realität in unserem Sinn) one handed pointing gestures towards a projection screen (admittedly not a virtual reality in our strict interpretation)
    • Richtungsweisend für die weitere Entwicklung Pointing the way ahead for further developments
Put-That-There (Schmandt 1979, Bolt 1980)

SelektionSelection: Pointing / Ray-Casting

Pointing / Ray-Casting

  • InformationenInformation
    • Benutzer zeigt auf Zielobjekt mit einem virtuellen Strahl User points at a target object with a virtual ray
    • Strahl gibt die Richtung an (Feedback) ray provides and highlights the direction (feedback)
    • zum Beispiel über ein Tracking der Handposition und -orientierung for example based on a tracking of hand position and orientation
    • Darstellung des Strahls entweder als kurzes Liniensegment, oder als unendlicher Strahl Visualization either as a short line segment or as an infinite line
  • Definition: $\vec{p}(d) = \vec{p_{pos}} + d \vec{p_{orient}}$
  • NachteileDisadvantages
    • Genauigkeit sinkt mit steigender Entfernung, auch durch Meßfehler und Unruhe in der Hand Accuracy decreases with increasing distance, also by measuring errors and natural jitter of the hand
Ray-Casting (0:54)

SelektionSelection: Zweihändiges Zeigen / Two-handed Pointing

Zweihändiges Zeigen / Two-handed Pointing

  • InformationenInformation
    • Variante des einhändigen ZeigensVariant of the single handed pointing
    • erste Hand gibt den Ursprung anfirst hand sets the origin
    • zweite Hand bestimmt durch relative Position zur ersten Hand die Richtungrelativ position of the second hand defines the orientation
  • Definition: $\vec{p}(d) = \vec{p_{pos1}} + d (\vec{p_{pos2}} - \vec{p_{pos1}})$
  • VorteileAdvantages
    • Distanz der Hände kann zur Festlegung der Entfernung verwendet werden (aktives Ende des Zeigestrahls) Distance of the hands can be used to determine the distance (active end of the pointing ray)
    • Einbezug der Orientierung der Hände kann zur Krümmung des Strahls verwendet werden, um Hindernisse zu umgehen If the individual orientation of the hand is taken into account, it can be used to bend the ray around obstacles

SelektionSelection: Flashlight

Flashlight

  • InformationenInformation
    • Statt eines Strahls wird ein Kegel als Auswahlvolumen eingesetzt Instead of a ray a cone is used as the selection volume
    • Analogie: Taschenlampe / Analogy: Flashlight
  • VorteileAdvantages
    • Höhere Toleranz bei der Indikation der Zielobjekte Tolerance increases with distance to the target during indication
  • NachteileDisadvantage
    • Mit zunehmender Distanz steigt die Schwierigkeit Objekte in dichten Umgebungen auszuwählen With increasing distance it is more difficult to select objects in dense environments
    • Dann: bei mehreren Objekten das wählen, was näher an der Achse des Kegels liegt (Winkelmaß), bei gleichem Abstand zur Achse dasjenige wählen, was näher zum Zeigenden liegt As a heuristic: if there are multiple objects, chose the one closer to the axis of the cone (angular measure) or the one closer to the user

SelektionSelection: Aperture

Aperture

  • InformationenInformation
    • Variante des Flashlight-VerfahrensVariant of flashlight
    • ermöglicht zusätzlich noch die dynamische Veränderung des Öffnungswinkels (aperture) in addition to flashlight it allows to dynamically adjust the opening angle (aperture)
    • weiterhin wird noch eine Greiforientierung am Ende des Zeigestrahls modelliert: über die Ausrichtung zweier kleiner Blöcke (stilisierte Hand) kann zwischen verschiedenen Objekten als Ziel an Hand der Hauptachsen unterschieden werden in addition to that the orientation of grasping at the end of the volume is modelled: by changing the orientation of two small block (stylized hands) the user can disambiguate between different objects according their main axes
  • VorteileAdvantages
    • Besserer Umgang mit dichten AuswahlbereichenBetter suited for dense contexts
    • Leichtere Unterscheidung zwischen sehr nahe gelegenen Objekten mit unterschiedlicher Hauptorientierung Better suited for closer objects with different axis orientation

Selektion: Image-Plane TechnikenSelection: Image-Plane Techniques

Image-Plane TechnikenTechniques

  • InformationenInformation
    • 3D Auswahl über Selektion auf 2D Projektion (Image-Plane Ebene der Projektionstechnik) 3D selection based on selecton on 2D projection (image-plane of the projection technique)
    • Sticky-Finger-Technik: ähnlich zu Aperture, nur ersetzt hier das Auge die erste Hand Sticky-Finger-Technique: similar to aperture, but the eye replaces the first hand (defines the origin)
    • Head-Crusher-Technik: mit Daumen und Zeigefinger wird das Zielobjekt "umfasst" Head-Crusher-Technique: thumb and index finger embrace the target object
  • VorteileAdvantages
    • Simulation von direkter BerührungSimulation of direct touch
  • NachteileDisadvantages
    • wie bei den Pointing-Verfahrensimilar to the pointing techniques
Image-Plane TechnikenTechniques: Head-Crusher (4:31)

Selektion: Virtuelle HandSelection: Virtual Hand

Virtuelle HandVirtual Hand

  • InformationenInformation
    • Darstellung einer virtuellen Hand an der exakten Position der realen Hand Visualization of a virtual hand at the exact position of the real hand
    • isomorphe Bewegungisomorphic movement
  • VorteileAdvantages
    • intuitivintuitive
  • NachteileDisadvantage
    • eingeschränkt auf Interaktion im Nahbereich (Reichweite) restricted to interactions with proximal objects

SelektionSelection: Go-Go Hand

Go-Go Hand

  • InformationenInformation
    • Variante der Virtuellen HandVariant of the Virtual Hand
    • angelehnt an Inspector GadgetInspired by Inspector Gadget
  • VorteileAdvantages
    • im Nahbereich intuitive Virtuelle Handbehaves in the proximal area like the intuitive virtual hand
    • im äußeren Nahbereich Skalierung bis in den Fernbereich durch nicht-lineare Übertreibung in the outer proximal area the movements are scaled up to the distal area by non-linear exaggeration
    • Studien belegen, dass die Technik leicht verständlich istStudies show that the technique is easy to use
    • Nahtloser Übergang von Nah- zu FernselektionSmooth transition from proximal to distal selection
  • NachteileDisadvantages
    • immer noch eingeschränkter Zugriff auf entfernte Objekterestricted access to distant objects
    • Präzision im Fernbereich durch die Übertreibung geringprecision in the distance is low, based on the large exaggeration factor
    • im Fernbereich der Zeigetechnik unterlegenin the distal area inferior to standard pointing
Inspector Gadget Trailer (0:28), Ausfahrbare HandExtendable Hand

SelektionSelection: World-in-Miniature

World-in-Miniature

  • InformationenInformation
    • verkleinerte Darstellung der Welt, bzw. eines Ausschnitts smaller depiction of the world, respectively an excerpt
    • evtl. Manipulation der Darstellung möglich (Exploration) manipulation of the visualization could be possible (exploration)
    • Interaktion mit den Minaturen möglich it is also possible to let the world-in-miniature support some basic interactions
  • VorteileAdvantages
    • gute Erreichbarkeit des FernbereichsGood accessibility of distant areas
  • NachteileDisadvantages
    • nur für große Objekte geeignetOnly suitable for larger objects
    • begrenzte Größe der Weltrestricted size of the world
World-in-Miniature (3:20)

Selektion: Blickbasierte SelektionSelection: Gaze-based Selection

Blickbasierte SelektionGaze-based Selection

  • InformationenInformation
    • basiert auf Pointingbased on pointing
    • bestimmt die Zeigerichtung über die Blickrichtungorientation determined by the line of sight
    • Auswahl durch Verweilen (Dwelling), Blinzeln, Sprachkommando oder andere Schalter Selection is triggerd based on dwelling, blinking, speech commands or a button
  • VorteileAdvantages
    • schnellfast, what you see is what you select
    • genauprecise
    • Hände frei für andere Interaktionenhands are free for other interaction techniques
  • NachteileDisadvantages
    • gewöhnungsbedürftignot easy to get used to
    • erhöhter Geräteaufwandadditional devices required
Blickbasierte SelektionGaze-based Selection

ZusammenfassungSummary

ZusammenfassungSummary

Inhalte dieser VeranstaltungTopics of this lecture

  • Selektionsverfahren für die Virtuelle RealitätMethods for selection in virtual reality
  • ParametrisierungParameterisation
  • Verschiedene Techniken zur SelektionReview of different techniques for selection

AusblickOutlook

Nächster Termin: Interaktion/NavigationNext lecture: Interaction/Navigation

  • Navigationsverfahren für die Virtuelle RealitätMethods for navigation in Virtual Reality