Virtuelle Realität

Akustische und Taktile Wahrnehmung und Stimulation

Dr. Thies Pfeiffer

AG Wissensbasierte Systeme, Technische Fakultät, Universität Bielefeld

Termin: Freitags, 10:15 Uhr

Raum: T2-205

Überblick

Inhalte dieser Veranstaltung

  • Die auditive Wahrnehmung des Menschen
  • Erzeugung von 3D Geräuschen
  • Taktile Wahrnehmung und Stimulation
  • Vermittlung von Kraft und Widerstand

Auditive Wahrnehmung

Basisfakten der auditiven Wahrnehmung

  • Wichtigster Kanal für die Kommunikation
  • Neben der visuellen Wahrnehmung die Hauptinformationsquelle des Menschen
  • Nimmt Schall wahr
    • Druckunterschiede, modelliert als Wellen
    • Hörbare Frequenzen der Wellen liegen zwischen 20 Hz und 20.000 Hz
    • Sprache liegt im Bereich 50 Hz bis 10000 Hz
    • Geschwindigkeit in der Luft liegt bei $340 ms^{-1}$

Auditive Wahrnehmung

Aufbau des Ohres

  • Außenohr ist sichtbar und dient als Empfänger für Schallwellen
  • Die Form ist optimiert für die Richtungswahrnehmung
  • Im Mittelohr befindet sich die Ohrtrommel
  • Die Umsetzung in Nervenimpulse geschieht im Innenohr (dort ist zusätzlich auch der Gleichgewichtssinn beheimatet)
  • Dort treffen aber z.B. auch Schallwellen ein, die durch den Kopf (Knochen oder Gewebe) transportiert werden

Auditive Wahrnehmung

Aufbau des Innenohres

  • Cochlea
  • enthält vibrierende Flüssigkeit
  • Bewegung wird von Haarzellen wahrgenommen (ca. 16000)
  • Örtliche Wahrnehmung von Frequenzen
  • In der Basilar Membran sitzen die Härchen, die für die Wahrnehmung von Frequenzen zuständig sind.

Auditive Wahrnehmung

Binaurale Wahrnehmung

  • Prinzip ähnlich der Binocularen Visuellen Wahrnehmung
  • Wesentliche Merkmale sind
    • Lautstärkenunterschiede (hohe Frequenzen > 1,5kHz)
    • Zeitdifferenzen (Laufzeit, niedrige Frequenzen < 1,5kHz)
    • Unterschiedliche Charakteristiken der Ohren (und evtl. anderer reflektierender Körperteile, Head-Related Transfer Function)
    • Kopfbewegungen (ähnlich Parallaxe)
    • Multimodale Integration

Räumliche Auflösung (Frequenzabhängig)

  • Vorne: $3,5^\circ$
  • Hinten: $5,5^\circ$
  • Seiten: $10^\circ$
  • Höhe: $10-25^\circ$

3D Sound

3D Sound

  • Bekannt ist Stereo oder Dolby Surround
  • Dabei wird jedoch eine feste Hörposition angenommen (Sweet-Spot bei Dolby Surround)
  • Wesentlich beim 3D Sound ist die dynamische Anpassung an die Position des Hörers, wie bei der dynamischen Anpassung der Perspektive bei der visuellen Darstellung
  • Bei der speziellen Wellenfeld-Synthese wäre dies nicht notwendig ($\to$ Wellenfeld-Synthese in Detmold)

http://www.youtube.com/embed/8IXm6SuUigI

3D Sound

Herausforderungen

  • Gehör sehr sensibel für Unterbrechungen und Synchronisationsprobleme
  • Richtung, Reflektionen, Volumen von Schallquellen sind zu berechnen $\to$ sehr hohe Anforderungen für Echtzeit-Berechnung
  • Weitere Effekte: Doppler-Effekt, Druckunterschiede (z.B. Weltraum ?)
  • Gleichzeitige Einbringung von Sounderzeugern (Lautsprechern) parallel zur Installation von visuellen Displays schwierig (z.B. Geräuschdurchlässige Leinwände)
  • Unüberhörbare Geräusche aus der realen Welt (typischerweise Lüfter von Projektoren oder Klimaanlagen)

3D Sound

Technische Kniffe

  • Sound-Effekte: Nachhall (Reverb) und Delay
  • Nachhall
    • Schallreflexionen in einem begrenzenten Raum
    • z.B. bei Musik erwünscht, wird bei elektronischer Musik künstlich eingespielt
    • Richtwerte: Kammermusik (1,2s bis 1,6s), Orchestermusik (1,7s bis 2,2s)
    • Parameter bestimmen den Klang und beschreiben die Räumlichkeit
    • Heute kann die Raumimpulsantwort eines Raumes bestimmt und durch Faltung auf das Signal abgebildet werden. Ein akustischer "Fingerabdruck" des Raumes.
  • Delay
    • Zeitpunkt der ersten Reflektion des Nachhalls (Initial Time Delay Gap)
    • Kann zur modellierung der Position der Schallquelle verwendet werden

Programmierung von 3D Sound

3D Sound APIs

  • DirectX / DirectSound3D
    • Creative EAX (Environmental Audio Extensions)
  • OpenAL - Freie Bibliothek für 3D Audio von Creative Labs

Programmierung von 3D Sound

3D Sound in X3D

  • Spezieller Knoten <Sound>
  • Felder
    • SFVec3f [in,out] direction 0 0 1 (-∞,∞)
    • SFFloat [in,out] intensity 1 [0,1]
    • SFVec3f [in,out] location 0 0 0 (-∞,∞)
    • SFFloat [in,out] maxBack 10 [0,∞)
    • SFFloat [in,out] maxFront 10 [0,∞)
    • SFFloat [in,out] minBack 1 [0,∞)
    • SFFloat [in,out] minFront 1 [0,∞)
    • SFFloat [in,out] priority 0 [0,1]
    • SFBool [] spatialize TRUE
  • Inhalt dann im Kindknoten von <Sound> spezifiziert: <AudioClip> oder <MovieTexture>
X3D Sound Node Geometry
Geometrie des X3D Sound Knotens

3D Sound: Zusammenfassung

3D Sound

  • ... kann für sich alleine schon sehr immersiv wirken (bei geschlossenen Augen)
  • ... erzeugt im Zusammenspiel mit visuellem Eindruck eine sehr starke Immersion
  • ... ist sehr aufwändig in der realistischen Berechnung
  • ... ist durch die Geräte schwer gleichzeitig mit der visuellen Darstellung einzubringen

Taktile Wahrnehmung

Taktile Wahrnehmung

Oberflächensensibilität

  • Wahrnehmung von Signalen durch die Haut
  • Umfasst mehrere Typen von Signalen
    • Mechanische Signale (Druck, Vibrationen, Berührungen)
    • Thermische Signale (heiß, kalt)
    • Schmerzerzeugende Signale
  • Schmerz und Temperatur können schnell aber nur räumlich diffus wahrgenommen werden
  • Mechanische Signale können langsamer, dafür aber zum Teil sehr genau räumlich wahrgenommen werden
  • Verteilung der entsprechenden Rezeptoren jedoch unterschiedlich auf dem Körper
    • Fingerkuppen sind dicht besetzt mit Rezeptoren
    • Rücken ist nur spärlich besetzt
  • Taktile Wahrnehmung ist die passive Wahrnehmung von mechanischen Signalen

Haptische Wahrnehmung

Haptische Wahrnehmung

  • Haptische Wahrnehmung ist das aktive Erfühlen von Strukturen
    • Zusätzlich zur taktilen Wahrnehmung wird dabei noch die Propriozeption benötigt
    • Propriozeption: Wahrnehmung innerer Signale wie Lage im Raum, Zustand der Muskeln und der Eigenbewegung
  • Mögliche Formen der aktiven Erfühlung
    • Überstreichen der Oberfläche
    • Druckausübung
    • Umschließen
    • Nachfahren von Strukturen

Taktile Stimulation

ART Fingertracking mit taktiler Stimulation

  • Optisches Fingertracking-System
  • Fingerkuppen sind mit Drähten aus einer Formgedächtnislegierung (FGL) versehen
  • FGLen "speichern" einen ursprünglichen Zustand (Form)
  • Durch Erhitzung kann dieser Zustand wieder hergestellt werden
  • Dieser Zustand bleibt dann auch beim Abkühlen erhalten
  • Quasi ein "Reset" der Form über Erhitzung möglich
AR-Tracking Fingertracking System mit taktilem Feedback (Prototyp)
AR-Tracking Fingertracking System mit taktilem Feedback (Prototyp)
  • Es gibt auch 2-Wege FGLen, die unterschiedliche Zustände für kalt und heiß speichern können

Taktile Stimulation

Sensable Phantom OMNI

  • Desktop-Gerät zur Berührung von Modellierung von virtuellen Objekten
  • Stylus mit 6 DOF Positionierung, 450 dpi
  • Maximale Kraft: 3,3 N
  • Kontinuierliche Kraft: 0,88 N
Sensable PHANTOM Omni
Sensable PHANTOM Omni

Taktile Stimulation

Haption - Virtuose 6D 35-45

  • Gerät zur Kraftrückkopplung
  • Maximale Kraft während der Bewegung: 35 N
  • Kontinuierliche Kraft: 10 N
Einbringung in eine VR Installation (SCALE 1)

Taktile Stimulation

Haption - INCA 6D

  • Großgerät zur Kraftrückkopplung
  • Maximale Kraft während der Bewegung: 37,5 N
  • Kontinuierliche Kraft: 12,5 N

Taktile Stimulation

Haptisches Feedback bei Mobilgeräten - Immersion MOTIV

  • SDK für mobile Endgeräte (Android)
  • Hardware: TouchSense Plattform (bis zu 16 Aktuatoren)

Taktile Stimulation

Haptisches Feedback durch Elektrovibration

  • Aktuelle Entwicklungen von Disney Research, Nokia, Senseg
  • statt Vibration oder mechanischer Veränderung
  • Elektrische Spannung erzeugt das Gefühl von Vibration oder Reibung
  • Technologien: TeslaTouch (Disney Research), Tixel (Senseg)
  • Tixel: Coloumb-Kraft bringt Haupt zum Vibrieren ohne Mechanik

Zusammenfassung

Zusammenfassung

Inhalte dieser Veranstaltung

  • Die auditive Wahrnehmung des Menschen
  • Erzeugung von 3D Geräuschen
  • Taktile Wahrnehmung und Stimulation
  • Vermittlung von Kraft und Widerstand

Ausblick

Termin 05 - Funktionale Modellierung

  • Umsetzung von funktionalen Elementen in der Simulation
  • Funktionale Modellierung in X3D
    • Einführung in die wesentlichen Techniken der funktionalen Modellierung
    • Felder
    • Routen
    • Skripte