Virtuelle Realität

Akustische und Taktile Wahrnehmung und Stimulation

Dr. Thies Pfeiffer

AG Wissensbasierte Systeme, Technische Fakultät, Universität Bielefeld

Termin: Freitags, 10:15 Uhr

Raum: T2-205

Überblick

Inhalte dieser Veranstaltung

  • Die auditive Wahrnehmung des Menschen
  • Erzeugung von 3D Geräuschen
  • Taktile Wahrnehmung und Stimulation
  • Vermittlung von Kraft und Widerstand

Auditive Wahrnehmung

Basisfakten der auditiven Wahrnehmung

  • Wichtigster Kanal für die Kommunikation
  • Neben der visuellen Wahrnehmung die Hauptinformationsquelle des Menschen
  • Nimmt Schall wahr
    • Druckunterschiede, modelliert als Wellen
    • Hörbare Frequenzen der Wellen liegen zwischen 20 Hz und 20.000 Hz
    • Sprache liegt im Bereich 50 Hz bis 10000 Hz
    • Geschwindigkeit in der Luft liegt bei $340 ms^{-1}$

Auditive Wahrnehmung

Aufbau des Ohres

  • Außenohr ist sichtbar und dient als Empfänger für Schallwellen
  • Die Form ist optimiert für die Richtungswahrnehmung
  • Im Mittelohr befindet sich die Ohrtrommel
  • Die Umsetzung in Nervenimpulse geschieht im Innenohr (dort ist zusätzlich auch der Gleichgewichtssinn beheimatet)
  • Dort treffen aber z.B. auch Schallwellen ein, die durch den Kopf (Knochen oder Gewebe) transportiert werden
Querschnitt des menschlichen Ohrs
Querschnitt durch das menschliche Ohr
by Chittka L, Brockmann, derivative work: Sgbeer [CC-BY-2.5 (www.creativecommons.org/licenses/by/2.5)], via Wikimedia Commons

Auditive Wahrnehmung

Aufbau des Innenohres

  • Cochlea
  • enthält vibrierende Flüssigkeit
  • Bewegung wird von Haarzellen wahrgenommen (ca. 16000)
  • Örtliche Wahrnehmung von Frequenzen
  • In der Basilar Membran sitzen die Härchen, die für die Wahrnehmung von Frequenzen zuständig sind.
Querschnitt des menschlichen Innenohrs
Querschnitt durch das menschliche Innenohr mit aufgefalteter Basilar Membran
by A. Kern, C. Heid, W.-H. Steeb, N. Stoop, R. Stoop [CC-BY-2.5 (www.creativecommons.org/licenses/by/2.5)], via Wikimedia Commons

Auditive Wahrnehmung

Binaurale Wahrnehmung

  • Prinzip ähnlich der Binocularen Visuellen Wahrnehmung
  • Wesentliche Merkmale sind
    • Lautstärkenunterschiede (hohe Frequenzen > 1,5kHz)
    • Zeitdifferenzen (Laufzeit, niedrige Frequenzen < 1,5kHz)
    • Unterschiedliche Charakteristiken der Ohren (und evtl. anderer reflektierender Körperteile, Head-Related Transfer Function)
    • Kopfbewegungen (ähnlich Parallaxe)
    • Multimodale Integration

Räumliche Auflösung (Frequenzabhängig)

  • Vorne: $3,5^\circ$
  • Hinten: $5,5^\circ$
  • Seiten: $10^\circ$
  • Höhe: $10-25^\circ$

3D Sound

3D Sound

  • Bekannt ist Stereo oder Dolby Surround
  • Dabei wird jedoch eine feste Hörposition angenommen (Sweet-Spot bei Dolby Surround)
  • Wesentlich beim 3D Sound ist die dynamische Anpassung an die Position des Hörers, wie bei der dynamischen Anpassung der Perspektive bei der visuellen Darstellung
  • Bei der speziellen Wellenfeld-Synthese wäre dies nicht notwendig ($\to$ Wellenfeld-Synthese in Detmold)

http://www.youtube.com/embed/8IXm6SuUigI

3D Sound

Herausforderungen

  • Gehör sehr sensibel für Unterbrechungen und Synchronisationsprobleme
  • Richtung, Reflektionen, Volumen von Schallquellen sind zu berechnen $\to$ sehr hohe Anforderungen für Echtzeit-Berechnung
  • Weitere Effekte: Doppler-Effekt, Druckunterschiede (z.B. Weltraum ?)
  • Gleichzeitige Einbringung von Sounderzeugern (Lautsprechern) parallel zur Installation von visuellen Displays schwierig (z.B. Geräuschdurchlässige Leinwände)
  • Unüberhörbare Geräusche aus der realen Welt (typischerweise Lüfter von Projektoren oder Klimaanlagen)

3D Sound

Technische Kniffe

  • Sound-Effekte: Nachhall (Reverb) und Delay
  • Nachhall
    • Schallreflexionen in einem begrenzenten Raum
    • z.B. bei Musik erwünscht, wird bei elektronischer Musik künstlich eingespielt
    • Richtwerte: Kammermusik (1,2s bis 1,6s), Orchestermusik (1,7s bis 2,2s)
    • Parameter bestimmen den Klang und beschreiben die Räumlichkeit
    • Heute kann die Raumimpulsantwort eines Raumes bestimmt und durch Faltung auf das Signal abgebildet werden. Ein akustischer "Fingerabdruck" des Raumes.
  • Delay
    • Zeitpunkt der ersten Reflektion des Nachhalls (Initial Time Delay Gap)
    • Kann zur modellierung der Position der Schallquelle verwendet werden

Programmierung von 3D Sound

3D Sound APIs

  • DirectX / DirectSound3D
    • Creative EAX (Environmental Audio Extensions)
  • OpenAL - Freie Bibliothek für 3D Audio von Creative Labs

Programmierung von 3D Sound

3D Sound in X3D

  • Spezieller Knoten <Sound>
  • Felder
    • SFVec3f [in,out] direction 0 0 1 (-∞,∞)
    • SFFloat [in,out] intensity 1 [0,1]
    • SFVec3f [in,out] location 0 0 0 (-∞,∞)
    • SFFloat [in,out] maxBack 10 [0,∞)
    • SFFloat [in,out] maxFront 10 [0,∞)
    • SFFloat [in,out] minBack 1 [0,∞)
    • SFFloat [in,out] minFront 1 [0,∞)
    • SFFloat [in,out] priority 0 [0,1]
    • SFBool [] spatialize TRUE
  • Inhalt dann im Kindknoten von <Sound> spezifiziert: <AudioClip> oder <MovieTexture>
X3D Sound Node Geometry
Geometrie des X3D Sound Knotens
X3D Specification

3D Sound: Zusammenfassung

3D Sound

  • ... kann für sich alleine schon sehr immersiv wirken (bei geschlossenen Augen)
  • ... erzeugt im Zusammenspiel mit visuellem Eindruck eine sehr starke Immersion
  • ... ist sehr aufwändig in der realistischen Berechnung
  • ... ist durch die Geräte schwer gleichzeitig mit der visuellen Darstellung einzubringen

Taktile Wahrnehmung

Taktile Wahrnehmung

Oberflächensensibilität

  • Wahrnehmung von Signalen durch die Haut
  • Umfasst mehrere Typen von Signalen
    • Mechanische Signale (Druck, Vibrationen, Berührungen)
    • Thermische Signale (heiß, kalt)
    • Schmerzerzeugende Signale
  • Schmerz und Temperatur können schnell aber nur räumlich diffus wahrgenommen werden
  • Mechanische Signale können langsamer, dafür aber zum Teil sehr genau räumlich wahrgenommen werden
  • Verteilung der entsprechenden Rezeptoren jedoch unterschiedlich auf dem Körper
    • Fingerkuppen sind dicht besetzt mit Rezeptoren
    • Rücken ist nur spärlich besetzt
  • Taktile Wahrnehmung ist die passive Wahrnehmung von mechanischen Signalen

Haptische Wahrnehmung

Haptische Wahrnehmung

  • Haptische Wahrnehmung ist das aktive Erfühlen von Strukturen
    • Zusätzlich zur taktilen Wahrnehmung wird dabei noch die Propriozeption benötigt
    • Propriozeption: Wahrnehmung innerer Signale wie Lage im Raum, Zustand der Muskeln und der Eigenbewegung
  • Mögliche Formen der aktiven Erfühlung
    • Überstreichen der Oberfläche
    • Druckausübung
    • Umschließen
    • Nachfahren von Strukturen

Taktile Stimulation

ART Fingertracking mit taktiler Stimulation

  • Optisches Fingertracking-System
  • Fingerkuppen sind mit Drähten aus einer Formgedächtnislegierung (FGL) versehen
  • FGLen "speichern" einen ursprünglichen Zustand (Form)
  • Durch Erhitzung kann dieser Zustand wieder hergestellt werden
  • Dieser Zustand bleibt dann auch beim Abkühlen erhalten
  • Quasi ein "Reset" der Form über Erhitzung möglich
AR-Tracking Fingertracking System mit taktilem Feedback (Prototyp)
AR-Tracking Fingertracking System mit taktilem Feedback (Prototyp)
AR-Tracking GmbH
  • Es gibt auch 2-Wege FGLen, die unterschiedliche Zustände für kalt und heiß speichern können

Taktile Stimulation

Sensable Phantom OMNI

  • Desktop-Gerät zur Berührung von Modellierung von virtuellen Objekten
  • Stylus mit 6 DOF Positionierung, 450 dpi
  • Maximale Kraft: 3,3 N
  • Kontinuierliche Kraft: 0,88 N
Sensable PHANTOM Omni
Sensable PHANTOM Omni
Sensable

Taktile Stimulation

Haption - Virtuose 6D 35-45

  • Gerät zur Kraftrückkopplung
  • Maximale Kraft während der Bewegung: 35 N
  • Kontinuierliche Kraft: 10 N
Einbringung in eine VR Installation (SCALE 1)

Taktile Stimulation

Haption - INCA 6D

  • Großgerät zur Kraftrückkopplung
  • Maximale Kraft während der Bewegung: 37,5 N
  • Kontinuierliche Kraft: 12,5 N

Taktile Stimulation

Haptisches Feedback bei Mobilgeräten - Immersion MOTIV

  • SDK für mobile Endgeräte (Android)
  • Hardware: TouchSense Plattform (bis zu 16 Aktuatoren)
Immersion MOTIV/TouchSense

Taktile Stimulation

Haptisches Feedback durch Elektrovibration

  • Aktuelle Entwicklungen von Disney Research, Nokia, Senseg
  • statt Vibration oder mechanischer Veränderung
  • Elektrische Spannung erzeugt das Gefühl von Vibration oder Reibung
  • Technologien: TeslaTouch (Disney Research), Tixel (Senseg)
  • Tixel: Coloumb-Kraft bringt Haupt zum Vibrieren ohne Mechanik

Zusammenfassung

Zusammenfassung

Inhalte dieser Veranstaltung

  • Die auditive Wahrnehmung des Menschen
  • Erzeugung von 3D Geräuschen
  • Taktile Wahrnehmung und Stimulation
  • Vermittlung von Kraft und Widerstand

Ausblick

Termin 05 - Funktionale Modellierung

  • Umsetzung von funktionalen Elementen in der Simulation
  • Funktionale Modellierung in X3D
    • Einführung in die wesentlichen Techniken der funktionalen Modellierung
    • Felder
    • Routen
    • Skripte