Virtuelle RealitätVirtual Reality

Interaktion: ManipulationInteraction: Manipulation

Dr. Thies Pfeiffer

Cognitive Interaction Technology Center of Excellence,
Technische Fakultät, Universität Bielefeld

Termin:Montags, 14:15 Uhr

Raum: CITEC Auditorium

Schedule:Mondays, 2:15 p.m.

Room: CITEC Auditorium

ÜberblickOverview

Inhalte der letzten VeranstaltungContent of the previous lecture

  • Vorstellung verschiedener NavigationsverfahrenDiscussion of several approaches for navigation

ÜberblickOverview

Inhalte dieser VeranstaltungContent of this lecture

  • Manipulationsverfahren für die Virtuelle RealitätManipulation in Virtual Reality
    • Kanonisch oder AnwendungsspezifischCanonical and application specific approaches
    • Parameter, Probleme, Eigenschaften der GeräteParameters, problems, properties of the devices
    • Manipulationsverfahren für kanonische ManipulationenApproaches for canonical manipulations

Interaktion: ManipulationInteraction: Manipulation

Manipulation

Manipulation

Manipulation ist eine Handlung, die dazu führt, dass sich während oder nach der Manipulation der Zustand von Objekten in Relation zur Umwelt ändert.

Manipulation is any interaction that changes the states of objects in the virtual world.

Eigene DefinitionOwn definition

Definition nach Bowman und KollegenDefinition according to Bowman et al. (2005)

Als Manipulation bezeichnet man die Handhabung räumlich steifer Objekte, d.h. ohne Verformungen.

Manipulation is any kind of interaction of spatially rigid objects, i.e. without deformation.

  • Die Effektivität einer Manipulationsinteraktionsform hängt von der Manipulationsaufgabe ab.The efficiency of a manipulation interaction metaphor depends on the task
    • Wie bei einem Werkzeug!This is similar to tools!
    • Daher Achtung: hat man erst einmal einen Hammer, könnten alle Sachen plötzlich wie Nägel aussehen...Attention: once you have created a nice hammer, everything will look like nails.
  • Für viele Manipulationsaufgaben wurden daher spezialisierte reale Interaktionsgeräte geschaffen.Consequently, for many manipulation tasks special interaction devices have been created.

Manipulation

Manipulation: Kanonisch oder AnwendungsspezifischCanonical or application specific?

  • Kanonische ManipulationsaufgabenCanonical manipulation tasks

    Idee: alle Manipulationsaufgaben lassen sich auf einen Kern an Basismanipulationsaufgaben zurückführenIdea: all manipulation tasks can be reduced to a core of basic manipulation tasks
    • PositionierungPositioning
    • Rotation
    • Skalierung (kann in der Regel auf Kombination der anderen Basismanipulationen abgebildet werden)Scaling (usually mapped to a combination of the other basis manipulation tasks)

Manipulation: ParameterParameters

Parameter der ManipulationParameters of manipulation tasks

  • PositionierungPositioning
    • Distanz und Richtung der AusgangspositionDistance and orientation at the source
    • Distanz und Richtung der ZielpositionDistance and orientation at the target
    • Abstand von Ausgangs- und ZielpositionDistance between source and target
    • Sichtbarkeit von Ausgangs- und ZielpositionVisibility of source and target
    • Sichtbarkeit auf dem TranslationswegVisibility on the path between source and target
    • Angestrebte Genauigkeit der Ausführung und der ZielerreichungRequired accuracy of the execution and the reaching of the target
  • Rotation
    • Distanz zum ObjektDistance to the target
    • AusgangsorientierungSource orientation
    • ZielorientierungTarget orientation
    • Umfang der RotationAmount of rotation
    • Angestrebte Genauigkeit der Ausführung und der ZielerreichungRequired accuracy of the execution and the reaching of the target

Manipulation

Manipulation: Kanonisch oder AnwendungsspezifischCanonical or application specific?

  • Anwendungsspezifische ManipulationsaufgabenApplication specific manipulation tasks
    • Problem: kanonischer Ansatz muss zwangsmäßig Abstrahieren und kann damit nicht die maximal mögliche Leistung bringencanonical approaches have to abstract away from particularities and thus cannot achieve the optimal performance
      • wäre z.B. bei Tele-Operationen in der medizinischen Anwendung sicher nicht gewolltthis would, e.g., not be wanted in tele-operations within medical applications

Manipulation: Eigenschaften der EingabegeräteProperties of the input devices

Eigenschaften der EingabegeräteProperties of the input devices

  • wie bei der Selektionthe same as for the selection
    • FreiheitsgradeDegrees of freedom
    • Grad der Integration der FreiheitsgradeLevel of integration of the degrees of freedom
      • Wieviele Freiheitsgrade können gleichzeitig manipuliert werden?How many degrees of freedom can be manipulated at the same time?
      • Typischerweise gilt: je besser die Integration, desto einfacher zu bedienenRule of thumb: the better the integration, the easier it is to use the interaction metaphor
  • isomorphe Messung der Änderungen (z.B. Bewegung) oder isometrische (z.B. Drücken eines Joysticks)isomorphic measurement of the changes (e.g. movement) or isometric (e.g. pressing a joystick)
    • isomorpher Ansatz besser für Postionsänderungen (Zhai und Milgram 1993)isomorphic approach better for changing positions (Zhai and Milgram 1993)
  • Form des GerätesShape of the device
    • Beispiel: Rotation eines Objektes mit Datenhandschuh vs. 3D Ball (im Präzisionsgriff)Example: rotation of an object with a data glove vs. 3D Ball (using precision grip)

Manipulation: Typische ProblemeTypical Problems

Typische Probleme bei der ManipulationTypical Problems of Manipulation Tasks

  • Zittern (durch Tracking-System oder natürliches Zittern)Jittering (as a result of measurement errors or natural jittering)
  • Umschalten zwischen aktiver Manipulation und passiver, insbesondere bei physikalischer SimulationSwitch between active manipulation and passive, in particular when physical simulations are used

Manipulation: Vorstellung verschiedener Verfahren zur kanonischen ManipulationPresentation of specific approaches for canonical manipulations

Manipulation: Zeigen / PointingPointing

Zeigen / PointingPointing

  • Selektionsprozess: siehe letzte VeranstaltungBasically a selection task, but with a smooth transition to a manipulation
  • Nach der Selektion ist das Zielobjekt an die Bewegung des Eingabegerätes gekoppeltAfter the selection is completed, the target object is linked to the movements of the input device
  • Operationsraum nur kreisförmigInteraction space spherical around the user
  • Spätere Translation erst einmal nur kreisförmig um den Nutzer und Rotation nur um eine AchseThe translation is only possible on a spherical trajectory around the user and a rotation only around one axis
  • Lösungsansatz: Angelrute (Distanz änderbar durch weiteres Interaktionsgerät)Solution: pole (distance can be changed, e.g. by using a second interaction device)

Manipulation: Virtuelle HandVirtual Hand

Virtuelle HandVirtual Hand

  • Selektionsprozess: siehe letzte VeranstaltungSelection: see last lecture
  • Nach der Selektion ist das Zielobjekt an die Bewegung des Eingabegerätes gekoppeltAfter the selection is completed, the movement of the target object is linked to the input device
  • Leichte Positionierung und RotationSimple changes of position and orientation

Manipulation: HOMER

HOMER

  • hand-centered object manipulation extending raycasting
  • entwickelt von Bowman und Hodges 1997developed by Bowman and Hodges in 1997
  • Selektion mittels RaycastingSelection by Raycasting
  • Manipulation dann mit Virtueller Hand, die zum Selektionspunkt springtManipiulation by a virtual hand that is appearing at the point of selection
  • Reichweite der Manipulation wird durch lineare Skalierung vergrößertRange of this manipulation can be increased by linear scaling
    • linearer Faktor wird zum Zeitpunkt der Selektion als Quotient aus Abstand zum Objekt und Abstand vom Eingabegerät zum Benutzer bestimmtlinear factor is determined at the time of selection as quotient of the distance to the object and the distance of the input device from the user
    • Problem: durch die Zustandsabhängigkeit des Skalierungsfaktors ist diese Operation nicht invertierbarProblem: as the scaling factor depends on the state, this operation cannot be inverted

Manipulation: Scaled-World Grab

Scaled-World Grab

  • entwickelt von Mine et al. 1997developed by Mine et al. 1997
  • Selektion mittels Image Plane (andere aber auch möglich)Selection using Image Plane (but other methods are also possible)
  • Dann Skalierung der Welt, so dass das selektiertes Objekt nun am Finger anliegtAfter that: scaling of the world, so that the selected object is at the tip of the finger
  • Manipulation dann mit normaler Virtueller Hand geschehenManipulation then using Virtual Hand
  • Interessant: solange das Zentrum der Skalierung zwischen den beiden Augen des Betrachters liegt, stellt dieser die Skalierung häufig nicht fest, da sich die Welt visuell nicht verändert.Interesting aspect: as long as the center used for scaling lies between the eyes of the observer, she will not notice any visual difference.
  • Problematisch: auch hier können Objekte aus dem Nahbereich nur schwer weiter weg positioniert werden.Problem: objects in proximal space cannot easily be positioned further away

Manipulation: Voodoo Dolls

Voodoo Dolls

  • entwickelt vondeveloped by Pierce et al. 1999
  • Selektion über Image PlaneSelection using Image Plane
  • Idee: die Manipulation wird an virtuellen Kopien der selektierten Objekte durchgeführt, die in der Hand erscheinenIdea: the manipulation is done on a virtual copy of the selected objects; the virtual copy is visualized directly at the hand of the user
  • Hinzu kommt, dass mit beiden Händen gearbeitet wirdThis method uses both hands
  • Nicht-Dominante Hand wählt Objekt als Referenz, das Original wird jedoch nicht verändertThe non-dominant hand selects the object as reference, the original is not changed
  • Dominante Hand wählt zu manipulierendes Objekt, das in Relation zur Referenz verändert wirdDominant hand chooses the object to be manipulated in relation to the reference
Zur Manipulation wird eine Kopie (VoodooDoll) des selektierten Objekts erzeugt (Bild aus dem Paper von Pierce et al. 1999).For manipulation a copy (VoodooDoll) of the selected object is generated (picture taken from the paper by Pierce et al. 1999)

Manipulation: Spezielle SchnittstellenSpecific Interfaces

  • entwickelt vondeveloped by Ullrich undand Kuhlen 2012
  • Unterstützung von fühlenden Untersuchungen in der Medizin (Palpation)Support for tactile feedback for medical examinations (Palpation)
  • Beispiel: Pulsmessung, Venen fühlenExample: taking the pulse, feeling the veins
  • Kombination aus modifizierter Hardware und entsprechender SimulationCombination of a modified hardware and a software simulation
Modifikation eines Phantom-Geräts zur Simulation von Puls-Messungen.Modification of a Phantom-device for simulating pulse measurements

ZusammenfassungSummary

ZusammenfassungSummary

Inhalte dieser VeranstaltungTopics of this appointment

  • Manipulationsverfahren für die Virtuelle RealitätManipulation in Virtual Reality
    • Kanonisch oder AnwendungsspezifischCanonical and application specific approaches
    • Parameter, Probleme, Eigenschaften der GeräteParameters, problems, properties of the devices
    • Manipulationsverfahren für kanonische ManipulationenApproaches for canonical manipulations

AusblickOutlook

Software-Architekturen für VR-SystemeSoftware Architectures for VR Systems

  • Anforderungen an VR-ArchitekturenRequirements for a virtual reality architecture
  • Wichtige Meilensteine in der Entwicklung von VR-ArchitekturenImportant milestones in the development of virtual reality architectures
  • Aktuelle ArchitekturenCurrent architectures