Virtuelle RealitätVirtual Reality

Interaktion, Evaluation und InstantIOInteraction and Evaluation

Dr. Thies Pfeiffer

Cognitive Interaction Technology Center of Excellence,
Technische Fakultät, Universität Bielefeld

Termin:Montags, 14:15 Uhr

Raum: CITEC Auditorium

Schedule:Mondays, 2:15 p.m.

Room: CITEC Auditorium

RückblickLooking back...

Termin 05 - Funktionale ModellierungAppointment 05 - Functional Modelling

  • Umsetzung von funktionalen Elementen in der SimulationModelling functional elements in a simulation
  • Funktionale Modellierung in X3DFunctional modelling in X3D
    • Einführung in die wesentlichen Techniken der funktionalen ModellierungIntroduction to the basic techniques for functional modelling
    • FelderFields
    • RoutenRoutes
    • SkripteScripts

ÜberblickOverview

Inhalte dieser VeranstaltungContent of this lecture

  • BasisinteraktionenBasic Interactions
  • Interaktionsfähigkeit bewertenEvaluating interaction capabilities
  • Anbinden von GerätenConnecting devices

Basisinteraktionen in der Virtuellen RealitätBasic Interactions in Virtual Reality

  • Interaktionen mit dem Technik-Interface der VR InstallationenInteractions with the administrative interface of a virtual reality installation
    • ... sind nicht im Fokus unserer Betrachtungare not in our focus
  • Wir beschäftigen uns mit Interaktionen mit der dreidimensionalen Simulation (Welt)We are targeting at interactions in a three-dimensional simulation (virtual world)

Interaktion: AnforderungenInteraction: Requirements

Anforderungen an Interaktionen in der Virtuellen RealitätRequirements for interactions in virtual reality

  • Räumlichkeit (z.B. 3D) soll voll unterstützt werdenSpatiality (e.g. 3D) should be fully supported
  • Immersion soll bewahrt oder gar gefördert werdenImmersion should be maintained or even improved
    • Auf jeden Fall aber nicht zerstört!In no case should the interaction destroy immersion!
  • Bedienung soll intuitivseinUsage should be intuitive, in particular if real-world actions are simulated
  • Interaktion soll funktional seinInteraction should be functional
  • Am besten soll die Interaktionstechnik dabei nicht erkannt werden bzw. im Vordergrund stehen!The interaction technology should not put itself to much into focus. The more it can stay in the background, the better.

Interaktion: FreiheitsgradeInteraction: Degrees of Freedom

Definition: FreiheitsgradDefinition: Degree of Freedom

  • Freiheitsgrad: variabler Parameter eines Systems (z.B. eines Eingabegerätes)Degree of Freedom: variable parameter of a system (e.g. of an input device)
    • Menge der Freiheitsgrade beschreibt das System eindeutigSet of degrees of freedom describes the system
    • echte Freiheitsgrade sind unabhängig voneinanderreal degrees of freedom are independent from each other
    • Menge der Freiheitsgrade minimalThe set of degrees of freedom is minimal
      • mit weniger kann das System nicht beschrieben werdenthe particular system cannot be fully described with less degrees of freedom
  • kann technisch als Koordinate verstanden werdentechnically it can be thought of as a coordinate / dimension
  • BeispieleExamples
    • Massepunkt besitzt drei translatorische FreiheitsgradeCenter of mass has three translatory degrees of freedom (X/Y/Z)
    • Körper besitzt zusätzlich drei rotatorische FreiheitsgradeBody has in addition to that three rotatory degrees of freedom (R/P/Y)
    • Man liest oft: Datenhandschuhe haben 18 bis 22 FreiheitsgradeOften you read, for example, that data gloves have 18 to 22 degrees of freedom
      • Datenhandschuhe messen 18 bis 22 GelenkstellungenData gloves measure 18 to 22 joint orientations
      • aber: nicht alle Gelenkstellungen unabhängigbut not all joint orientations are indendent from each other
      • daher: weniger tatsächliche Freiheitsgradea data glove attached to a hand provides thus less degrees of freedom

InteraktionstypenInteraction Types

FrageQuestion

  • Welche grundlegenden Interaktionen kennt ihr?What (primitive) interactions to you know?

InteraktionInteraction: Navigation

Navigation

  • Ziel: Position (und damit Perspektive) in der virtuellen Welt ändernGoal: alter the position (and thus perspective) in the virtual world
  • Alternative Bezeichnungen: Travelling, Orientierung und FortbewegungAlternative names: Travelling, Orientation, Movement
  • FragenQuestions
    • Erfolgt Navigation physisch oder rein virtuell?Is navigation done physically or pure virtually?
      • Bewegt sich der Körper mit, oder nicht?Does the body also move, or not?
    • Wie wird eine Navigation ausgelöst?How is the navigation triggered?
    • Wie wird die Interaktion auf die Bewegung in der virtuellen Welt abgebildet?How is the interaction mapped to a movement in the virtual world?

Interaktion: SelektionInteraction: Selection

SelektionSelection

  • Ziel: Objekt als Ziel der Interaktion dem System bekannt machenGoal: Object should be made known to the system as target of the interaction
  • Alternative Bezeichnung: Auswahl, PickingAlternative names: Picking
  • FragenQuestions
    • Wie wird gezielt? (Aiming)How is aiming realized?
    • Wie wird Selektion ausgelöst? (Trigger)How is the selection triggered?

Interaktion: ManipulationInteraction: Manipulation

Manipulation

  • Ziele:Goals:
    • Auslösen von Aktionen/Reaktionen in der WeltTriggering actions/reactions in the world
    • Greifen von ObjektenGrasping of objects
    • Verschieben/Drehen von ObjektenTranslating/rotating objects
    • Kombinieren von ObjektenCombining objects
  • FragenQuestions
    • Wie wird die Manipulation ausgewählt?How is the particular manipulation selected?
    • Welche Modifikationen an der virtuellen Realität sollen vorgenommen werden können? (Rotation, Translation, komplexe Änderungen, ...)What modifications should be applied (rotation, translation, more complex changes,...)
    • Wie werden die Freiheitsgrade der Interaktion auf die Modifikationen abgebildet?How are the degrees of freedom of the interaction/interaction device mapped to the degrees of freedom of the manipulation

Interaktion: ZwischenfazitInteraction: Interims Summary

ZwischenfazitInterims Summary

  • Interaktionstypen und -geräte können über ihre Freiheitsgrade klassifiziert werdenInteractiontypes and -devices can be classified according to their required or supported degrees of freedom
  • Es gibt drei typische InteraktionstypenThere are three basic interaction types
    • Navigation
    • SelektionSelection
    • Manipulation
  • Die verschiedenen Interaktionsformen werden jeweils in eigenen Veranstaltungen behandelt werdenThe three types of interaction are covered in their individual lectures.

Interaktionsfähigkeit bewertenEvaluating Interaction

Evaluation

Warum Evaluieren?Why evaluating interactions?

  • Anforderungen der Benutzer aus der Interaktion heraus identifizierenIdentifying requirements of the user during the interaction
  • Benutzungsprobleme identifizierenIdentifying usage problems
  • Probleme quantifizieren ($\to$ gezielte Anpassung)Quantifying problems ($\to$ to allow for a directed optimization)
  • Design Richtlinien entwerfenDevise a design guide
  • Performanz-Modelle entwickeln um Voraussagen über Leistung/Nutzen treffen zu könnenDevelop performance models to allow for predictions about usage

Evaluation: MethodenMethods

MethodenMethods

  • Aufgabenanalyse (User Task Analysis)User Task Analysis
  • Szenarien entwickeln (Komposition von Aufgaben)Developing scenarios (composition of tasks)
  • Personas entwickeln (Nutzer mit best. Anforderungen und Hintergrund)Developing personas to describe users with certain requirements, backgrounds, usage scenarios
  • Taxonomie entwickelnDevelop a taxonomy
  • Prototypen testenTest prototypes

Evaluation: TypenEvaluation: Types

EvaluationstypenTypes of Evaluation

  • Expertenreview (Heuristic Evaluation)Expert Review (Heuristic Evaluation)
  • FragebögenQuestionnaires
  • Interviews
  • Cognitive Walkthrough
  • BenutzertestsUser Studies (Formative Evaluation)
  • Vergleichsstudien (Vorher/Nachher, A-B Test)Comparison Studies, A-B Tests

Evaluation: Interaktion messenMeasuring Interaction

Messen/Bewerten der InteraktionMeasuring/Quantifying Interaction

  • Eigenschaften des Systems (Wiederholrate, Latenz, techn. Schwierigkeiten, Last, Wärmeentwicklung, Geräuschentwicklung, ...)Properties of the system (refresh rate, latency, technical problems, load, heat development, noise level, ...)
  • Aufgabenbezogene Eigenschaften (Bearbeitungszeit, Durchführbarkeit, Fehlerrate, Genauigkeit, ...)Task-related properties (time-on-task, feasibility, error rate, precision, ...)
  • User Experience (Einfachheit der Bedienung, Transparenz der Schnittstelle, Affordanz, Erlernbarkeit, Zufriedenheit, Präsenz, Simulationskrankheit, ...) User Experience (ease of use, transparency of the interface, affordance, learnability, satisfaction, presence, simulator sickness, ...)

Evaluation: HerausforderungenEvaluation: Challenges

Spezielle HerausforderungenSpecific Challenges

  • Interaktion in nicht-natürlicher Umgebung kann zu extremen Reaktionen führen, da unter Umständen wenig vertraut. $\to$ Es besteht daher eine besondere Sorgfaltspflicht gegenüber den Testpersonen! Interaction in non-natural environments may lead to extreme reactions, as users might not be accustomed to them. $\to$ The operator of such a simulation has an obligation to care for the test persons!
  • Inhalte können auf Grund der Perspektive unter Umständen nicht von Testperson und Untersuchungsleiter gleichzeitig wahrgenommen werden (insbesondere bei der Verwendung von HMDs)Content may not be perceived at the same time or in a similar way by both test person and experimenter, e.g. due to the perspective projection (in particular when HMDs are used).
  • Komplexe Interaktionen generell schwer zu beurteilen, da viele Pfade zum Ziel existierenComplex interactions are difficult to evaluate, as often many ways can lead to the same goal.
  • Vermittlung von Präsenz steht im Gegensatz zum Untersuchungscharakter (beobachtet fühlen, Interventionen)The goal of creating a feeling of presence might interfere with the presence of the experimentor (feeling of being observed)
  • Forschungs-Hardware wird eingesetzt und keine Konsumer-Hardware, d.h. die Geräte sind noch nicht sehr robustOften research-hardware is used instead of consumer-hardware, and thus devices might not be too robust
  • Andersartigkeit der Virtuellen Realität kann Effekt des Gesamtkonzepts überschatten, Staunen über die MöglichkeitenThe otherness of the virtual world may overshadow particular effects, astonishment

EingabegeräteInput Devices

EingabegeräteInput Devices

Merkmale von GerätenProperties of input devices

  • verfolgt oder nicht-verfolgt ("getrackt")tracked or non-tracked
    • d.h. solche mit eigener Position/Orientierung im Raum und solche ohnei.e. devices that have a monitored position and orientation in space and such without
    • man spricht auch von Tracking-Technologiesuch devices are called tracking devices
  • einhändig, beidhändig oder anderweitig bedienbarhandedness: single-handed, dual-handed or otherwise operated
  • Anzahl der unterstützen Freiheitsgradenumber of supported degrees of freedom
  • Eignung für Einsatzgebiete, z.B. Desktop, HMD oder CAVEapplicability to specific fields of application, e.g. desktop, HMD, CAVE

Geräte: MausDevice: Mouse

Die MausThe Mouse

  • EigenschaftenProperties
    • nicht-verfolgtes Gerät (in der Regel)non-tracked devices (the standard mouse)
    • einhändig bedienbarsingle-handed
    • 2 Freiheitsgrade2 degrees of freedom
    • 2+ Aktionsknöpfe2+ action buttons
    • 0+ Regler (Mausrad $\to$ evtl. weiterer Freiheitsgrad)0+ controller, such as a mouse wheel $\to$ additional degrees of freedom
    • Eignung: DesktopApplicability: desktop
  • BeurteilungEvaluation
    • sehr vertrauthigh familiarity
    • eingeschränkt auf Desktop (Oberfläche)restricted to desktop (or at least to surfaces)
    • geringe Menge an Freiheitsgradenlow degrees of freedom
Mouse
Mouse

GeräteDevice: Joystick

Der JoystickThe Joystick

  • EigenschaftenProperties
    • nicht-verfolgtes Gerät (in der Regel)non-tracked device
    • einhändig oder beidhändig bedienbarsingle- or dual-handed
    • 2+ Freiheitsgradedegrees of freedom
    • 1+ Aktionsknöpfeaction buttons
    • 0+ Achsen-Kontroller ($\to$ mehr Freiheitsgrade)axis controller $\to$ more degrees of freedom
    • Eignung: DesktopApplicability: desktop
  • BeurteilungEvaluation
    • sehr vertrauthigh familiarity
    • eingeschränkt auf Desktoprestricted to desktop
    • kontinuierliche Bewegung möglichsupports continuous movements
    • schlechter Isomorphismusweak isomorphism
Joystick
Joystick

GeräteDevice: Space Mouse

DieThe Space Mouse

  • EigenschaftenProperties
    • nicht-verfolgtes Gerätnon-tracked device
    • einhändig bedienbarsingle-handed
    • 6 Freiheitsgrade6 degrees of freedom
    • 0+ Aktionsknöpfeaction buttons
    • Eignung: DesktopApplicability: desktop
  • BeurteilungEvaluation
    • viele Freiheitsgrademany degrees of freedom
    • schlechter Isomorphismusweak isomorphism
    • steile Lernkurvesteep training curve
    • eingeschränkt auf Desktoprestricted to desktop
    • kontinuierliche Bewegung möglichallows for continuous movements
Space Navigator
SpaceNavigator

GeräteDevice: Stylus

DerThe Stylus

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einhändig bedienbarsingle-hand
    • 6 Freiheitsgradedegrees of freedom
    • 1+ Aktionsknöpfeaction buttons
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • gut für das Zeigen/Zeichnenwell suited for precise pointing or drawing
    • mobiler Einsatzmobile use
    • ein Knopf reicht oft nicht aussingle action button often not enough
Stylus
Stylus

GeräteDevice: 3D Ball

Der 3D-BallThe 3D-Ball

  • Beispiel eines experimentellen GerätesExample of an experimental device
  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einhändig bedienbarsingle-handed
    • 6 Freiheitsgradedegrees of freedom
    • 1 Aktionsknöpfeaction buttons
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • gut für Rotationen (Kabel leicht störend)good for manipulating orientation (wire might hamper)
    • mobiler Einsatzmobile use
    • ein Knopf reicht oft nicht aussingle action button often not enough
3D Ball
3D Ball

GeräteDevice: Fakespace Wanda

Das The Fakespace Wanda

  • Spezialgerät für die VRSpecial device for virtual reality
  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einhändig bedienbarsingle-handed
    • 6 Freiheitsgrade (tracking) + 2 Freiheitsgrade über Joystick6 degrees of freedom (tracking) + 2 degrees of freedom (joystick)
    • 3 Aktionsknöpfeaction buttons
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • 3D Mausersatzmouse surrogate
    • mobiler Einsatzmobile use
Fakespace Wanda
Fakespace Wanda

GeräteDevice: WiiMod

DieThe WiiMod (aka Wii-Remote)

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einhändig bedienbarsingle-handed
    • 6 Freiheitsgradedegrees of freedom (tracking)
    • 2 Freiheitsgrade über Steuerkreuzdegrees of freedom using directional pad
    • 2 FG Beschleunigungssensordegrees of freedom using accelerometer
    • 8 Aktionsknöpfeaction buttons
    • Rumble undand Audio Feedback
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • 3D Mausersatzmouse surrogate
    • mobiler Einsatzmobile use
    • vielfältige Eingabemöglichkeitenmultiple degrees of freedom
    • leichte Überforderungcould be overcharging to use
WiiMod
WiiMod

GeräteDevice: Vive Controller

DieThe HTC Vive Controller

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • beidhändig bedienbardual-handed
    • 6 Freiheitsgradedegrees of freedom (tracking)
    • 2 Freiheitsgrade über Touchpaddegrees of freedom using touch pad
    • 5 Aktionsknöpfeaction buttons
    • Rumble Feedback
    • EignungApplicability: HMD
  • BeurteilungEvaluation
    • mobiler Einsatzmobile use
    • vielfältige Eingabemöglichkeitenmultiple degrees of freedom
    • gut erlernbares Designgood learnability
Vive Controller
Vive Controller

GeräteDevice: Oculus Touch Controller

DieThe Oculus Touch Controller

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • beidhändig bedienbardual-handed
    • 6 Freiheitsgradedegrees of freedom (tracking)
    • 2 Freiheitsgrade über Joysticksdegrees of freedom using joysticks
    • 4 Aktionsknöpfeaction buttons
    • Rumble Feedback
    • EignungApplicability: HMD
  • BeurteilungEvaluation
    • mobiler Einsatzmobile use
    • vielfältige Eingabemöglichkeitenmultiple degrees of freedom
    • kleiner Aktionsraumsmall tracking space
Oculus Touch Controller
Oculus Touch Controller

GeräteDevice: Razer Hydra

Razer Hydra

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • beidhändig bedienbardual-handed
    • 6 Freiheitsgradedegrees of freedom
    • 4+ Aktionsknöpfeaction buttons
    • EignungApplicability: Desktop/HMD
  • BeurteilungEvaluation
    • viele Freiheitsgrademany degrees of freedom
    • beschränkter Interaktionsraum wg. Kabeln/Feldgrößerestricted interaction space because of cables and field
    • kontinuierliche Bewegung möglichcontinuous movement possible
Razor Hydra
Razor Hydra

Geräte: DatenhandschuheDevice: Data Gloves

Die DatenhandschuheThe Data Gloves

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einhändig oder beidhändig bedienbarsingle- or dual-handed
    • 6 Freiheitsgrade degrees of freedom (tracking)
    • x Freiheitsgrade Gelenkwinkel (z.B: 18 oder 22)x degrees of freedom for joints (e.g. 18 or 22)
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • Natürliche Interaktionnatural interaction
    • viele Freiheitsgrademany degrees of freedom
    • fehlende Aktionsknöpfe erfordern aufwändigeres Interaktionskonzept (sonst z.B. Midas-Touch Problem)missing action buttons require a more complex interaction concept e.g. to circumvent the Midas Touch problem
CyberGloves
CyberGloves

Geräte: Datenhandschuhe mit taktilem FeedbackDevice: Data Gloves with Tactile Feedback

Taktile DatenhandschuheTactile Data Gloves

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einhändig oder beidhändig bedienbarsingle- or dual-handed
    • 6 Freiheitsgradedegrees of freedom (tracking)
    • x Freiheitsgrade der Gelenkwinkel für 3 oder 5 Fingerdegrees of freedom of joints for 3 or 5 fingers
    • absolute Positionen der Fingerspitzenabsolute positions of the finger tips
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • Natürliche Interaktionnatural interaction
    • viele Freiheitsgrademany degrees of freedom
    • durch taktiles Feedback weniger visuelle Kontrolletactile feedback reduces the need for visual control
    • fehlende Aktionsknöpfe erfordern aufwändigeres Interaktionskonzept (sonst z.B. Midas-Touch Problem)missing action buttons require a more complex interaction concept e.g. to circumvent the Midas Touch problem
ART Fingertracking mit taktilem Feedback
AR-Tracking GmbH: Fingertracking mit taktilem Feedbackfinger tracking with tactile feedback

Geräte: BlickbewegungsmessungDevice: Eye Tracking

BlickbewegungsmessungEye Tracking

  • EigenschaftenProperties
    • verfolgtes Gerättracked device
    • einäugig oder beidäugig bedienbarsingle- or dual-eyed
    • 6 Freiheitsgradedegrees of freedom (tracking)
    • 2x2 Freiheitsgrade Blickposition auf 2D Ebenedegrees of freedom of gaze position on 2D plane
    • keine Aktionsknöpfeno action buttons
    • EignungApplicability: HMD, CAVE
  • BeurteilungEvaluation
    • Natürliche Interaktionnatural interaction
    • viele Freiheitsgrademany degrees of freedom
    • fehlende Aktionsknöpfe erfordern aufwändigeres Interaktionskonzept (sonst z.B. Midas-Touch Problem)missing action buttons require a more complex interaction concept e.g. to circumvent the Midas Touch problem
Eyetracker von Arrington Research
Eyetracker von Arrington Research, erweitert um optisches Tracking der AR-Tracking GmbH, inkl. polarisierten Filtern für die stereoskopische 3D ProjektionEye-tracking system from Arrington Research, extended by an optical tracking system by AR-Tracking GmbH, inkl. polarized filters for stereo projection

ZusammenfassungSummary

ZusammenfassungSummary

Inhalte dieser VeranstaltungTopic of this lecture

  • BasisinteraktionenBasic Interactions
    • Navigation
    • SelektionSelection
    • Manipulation
  • Interaktionsfähigkeit bewertenEvaluating interaction capabilities
  • Anbinden von GerätenConnecting devices

AusblickOutlook

Termin 07 - Interaktion: SelektionAppointment 07 - Interaction: Selection

  • Vorstellung von Verfahren zur Selektion in der virtuellen WeltDiscussion of methods for selecting objects in virtual worlds