Virtuelle RealitätVirtual Reality

Akustische und Taktile Wahrnehmung und StimulationAcoustic and Tactile Perception and Stimulation

Dr. Thies Pfeiffer

Cognitive Interaction Technology Center of Excellence,
Technische Fakultät, Universität Bielefeld

Termin:Montags, 14:15 Uhr

Raum: CITEC Auditorium

Schedule:Mondays, 2:15 p.m.

Room: CITEC Auditorium

Letztes Mal...Last time...

InhalteContent

  • TheorieTheory
    • Visuelle Wahrnehmung des MenschenVisual perception in humans
    • ... mit dem Schwerpunkt auf 3D Wahrnehmungwith a focus on 3D perception
  • PraxisPractical aspects
    • Techniken zur Präsentation von 3D Stereo BildernTechnologies for the presentation of 3D stereo images

ÜberblickOverview

Inhalte dieser VeranstaltungTopic of this lecture

  • Die auditive Wahrnehmung des MenschenThe acoustic perception of humans
  • Erzeugung von 3D GeräuschenProducing 3D sounds
  • Taktile und haptische InformationTactile and haptic information
  • Vermittlung von Kraft und WiderstandMediating force and resistance

Auditive WahrnehmungAcoustic Perception

Basisfakten der auditiven WahrnehmungBasics of acoustic perception

  • Wichtigster Kanal für die KommunikationMost important channel for our communication
  • Neben der visuellen Wahrnehmung die Hauptinformationsquelle des MenschenBesides visual perception our main information source
  • Nimmt Schall wahrPerceives sound
    • Druckunterschiede, modelliert als WellenDifferences in pressure, modelled as waves
    • Hörbare Frequenzen der Wellen liegen zwischen 20 Hz und 20.000 HzAudible frequences in the range between 20 Hz and 20,000 Hz
    • Sprache liegt im Bereich 50 Hz bis 10.000 HzVoice lays in the range between 50 Hz and 10,000 Hz
    • Geschwindigkeit in der Luft liegt bei $340 ms^{-1}$Speed of sound in air is about $340 ms^{-1}$

Auditive WahrnehmungAcoustic Perception

Aufbau des OhresStructure of the ear

  • Außenohr ist sichtbar und dient als Empfänger für SchallwellenOuter ear is visible and serves as collector for sound waves
  • Die Form ist optimiert für die RichtungswahrnehmungThe shape is optimized for detecting the direction of a sound source
  • Im Mittelohr befindet sich die OhrtrommelIn the middle ear (tympanum) is the eardrum
  • Die Umsetzung in Nervenimpulse geschieht im Innenohr (dort ist zusätzlich auch der Gleichgewichtssinn beheimatet)The transcoding into nerve impulses is done in the inner ear, which also contains the balance system
  • Dort treffen aber z.B. auch Schallwellen ein, die durch den Kopf (Knochen oder Gewebe) transportiert werdenThe inner ear also receives sound waves that are brought forward by the head (bones, tissue)

Auditive WahrnehmungAcoustic Perception

Aufbau des InnenohresStructure of the inner ear

  • Cochlea
  • enthält vibrierende FlüssigkeitContains vibrating fluid
  • Bewegung wird von Haarzellen wahrgenommen (ca. 16000)Movement is detected by hair cells (about 16000)
  • Örtliche Wahrnehmung von FrequenzenSpatial perception of frequencies
  • In der Basilar Membran sitzen die Härchen, die für die Wahrnehmung von Frequenzen zuständig sind.In the basilar membrane are hairs that are responsible for the perception of different frequencies.
Querschnitt des menschlichen Innenohrs
Querschnitt durch das menschliche Innenohr mit aufgefalteter Basilar MembranCross-section of the human inner ear with unfolded basilar membrane

Auditive WahrnehmungAcoustic Perception

Binaurale WahrnehmungBinaural Perception

  • Prinzip ähnlich der Binocularen Visuellen WahrnehmungIn principle similar to the binocular visual perception
  • Wesentliche Merkmale sindImportant features are
    • Lautstärkenunterschiede (hohe Frequenzen > 1,5kHz)Differences in loudness (high frequencies > 1,5kHz)
    • Zeitdifferenzen (Laufzeit, niedrige Frequenzen < 1,5kHz), wahrgenommen ab $10 - 30\mu s$Temporal differences (runtime, lower frequencies < 1,5kHz), perceived at about $10 - 30\mu s$
    • Unterschiedliche Charakteristiken der Ohren (und evtl. anderer reflektierender Körperteile, Head-Related Transfer Function)Different physical characteristics of the ears (and prob. of other reflecting body parts, Head-Related Transfer Function)
    • Kopfbewegungen (ähnlich Parallaxe)Head movements (similar to parallax)
    • Multimodale IntegrationMultimodal integration

Räumliche Auflösung (Frequenzabhängig)Spatial resolution (depends on frequencies)

  • Vorne: $3,5^\circ$Front: $3.5^\circ$
  • Hinten: $5,5^\circ$Back: $5.5^\circ$
  • Seiten: $10^\circ$Sides: $10^\circ$
  • Höhe: $10-25^\circ$Height: $10-25^\circ$

3D Sound

3D Sound

  • Bekannt ist Stereo oder Dolby SurroundStereo or Dolby Surround are well-known
  • Dabei wird jedoch eine feste Hörposition angenommenThese techniques assume a fixed postition of the listener (Sweet-Spot / Dolby Surround)
  • Wesentlich beim 3D Sound ist die dynamische Anpassung an die Position des Hörers, wie bei der dynamischen Anpassung der Perspektive bei der visuellen DarstellungEssential for 3D sound is the dynamic adjustment to the current position and orientation of the listener, similar to the adjustment of the projection for visual displays
  • Bei der speziellen Wellenfeld-Synthese wäre dies nicht notwendigFor the wave field synthesis approach this would not be necessary ($\to$ Wellenfeld-Synthese in Detmoldwave field synthesis at Detmold)
https://youtu.be/IUDTlvagjJA

Virtual Barber Shop (Original): https://www.youtube.com/watch?v=IUDTlvagjJA

Virtual Barber Shop (Russian): https://www.youtube.com/watch?v=Y5h3AiSvUqs

3D Sound

Leicht zu modellierende EigenschaftenProperties that are easy to model

  • Die wahrgenommene Lautstärke einer Geräuschquelle nimmt bei Verdopplung der Entfernung um 6dB ab.The perceived loudness of a sound source is reduced by 6dB when doubling the distance.
  • Der Klang einer Geräuschquelle ist umso klarer, je näher sie einem ist.Sound is the clearer the closer the sound source is to the listener.

3D Sound

HerausforderungenChallenges

  • Gehör sehr sensibel für Unterbrechungen und SynchronisationsproblemeHearing is sensitive to breaks and synchronisation problems
  • Richtung, Reflektionen, Volumen von Schallquellen sind mit hohen Update-Raten zu berechnen $\to$ sehr hohe Anforderungen für Echtzeit-BerechnungDirection, reflections, and volumes of sound sources have to be computed at high frequencies $\to$ high demands for real-time computations
  • Weitere Effekte: Doppler-Effekt, Druckunterschiede (z.B. Weltraum ?)Other effects: Doppler-effect, differences in air-pressure (e.g. space?)
  • Gleichzeitige Einbringung von Sounderzeugern (Lautsprechern) parallel zur Installation von visuellen Displays schwierig (z.B. Geräuschdurchlässige Leinwände)Technically it may be difficult to add physical sound sources (speakers) to the installation of the visual displays (e.g. permeable canvas for projection)
  • Unüberhörbare Geräusche aus der realen Welt (typischerweise Lüfter von Projektoren oder Klimaanlagen)Unmistakeable sounds from the real world (typically fans of projectors or air conditioning)

3D Sound

Technische KniffeTechnical Tricks

  • Sound-Effekte: Nachhall (Reverb) und DelaySound effects: echo/reverberation and delay
  • NachhallReverb
    • Schallreflexionen in einem begrenzenten RaumAcoustic reflections in a delimited room
    • z.B. bei Musik erwünscht, wird bei elektronischer Musik künstlich eingespielte.g. is wanted for music and is artificially added to electronic music
    • Richtwerte: Kammermusik (1,2s bis 1,6s), Orchestermusik (1,7s bis 2,2s)Recommended level: chamber music (1,2s to 1,6s), ochestral music (1,7s to 2,2s)
    • Parameter bestimmen den Klang und beschreiben die RäumlichkeitParameters determine the sound and describe the spatial environment
    • Heute kann die Raumimpulsantwort eines Raumes bestimmt und durch Faltung auf das Signal abgebildet werden. Ein akustischer "Fingerabdruck" des Raumes.Today the spatial impulse response of a room can be determined and by convolution be mapped onto the original sound signal. An acoustic fingerprint of a room.
  • Delay
    • Zeitpunkt der ersten Reflektion des Nachhalls (Initial Time Delay Gap)Timestamp of the first reflection of the reverb (Initial Time Delay Gap)
    • Kann zur Modellierung der Position der Schallquelle verwendet werdenCan be used to model the position of a sound source

3D Sound

Abbildung beliebiger Schallpositionen auf LautsprechersystemeMapping of sound sources to a descrete set of speakers

  • Typische Installationen bei CAVEs haben acht Lautsprecher, einen in jeder Ecke. Bei größeren Installationen je nach Bedarf mehr.Typical installations in CAVEs have eight speakers, one for each corner. For larger installations it might be even more.
  • Frage: Wie kann man nun ein Geräusch so auf die Lautsprecher verteilen, dass die Richtung noch erkennbar bleibt?Question: How can a specific sound source be mapped to the speakers so that the direction of the sound source can still be perceived?
  • Ansatz: Auswahl der drei Lautsprecher, die in der Richtung des Geräusches liegen.Approach: Selection of the three speakers that lay approximately in the direction of the sound source.
Zuordnung von 3D Sound zu Lautsprechern
Zuordnung von 3D Sound zu LautsprechernMapping from 3D sound to speakers

3D Sound

Abbildung beliebiger Schallpositionen auf LautsprechersystemeMapping of sound sources to a descrete set of speakers

  • Die drei Lautsprecher spannen mit der aktuellen Kopfposition ein Koordinatensystem auf.The three speakers create, together with the head position, a coordinate system.
  • Die Position der Geräuschquelle wird vom Weltkoodinatensystem in dieses Koordinatensystem projiziert.The position of the sound source in world coordinates is projected onto this coordinate system.
  • Die Lautstärke der einzelnen Geräusche ergibt sich dann aus den neuen Koordinaten.The loundness of the sound source is then defined by the new coordinates.
Zuordnung von 3D Sound zu Lautsprechern
Berechnung für den 2D FallComputation example for the 2D case

Programmierung von 3D SoundProgramming 3D Sound

3D Sound APIs

  • DirectX / DirectSound3D
    • Creative EAX (Environmental Audio Extensions)
  • OpenAL - Freie Bibliothek für 3D Audio von Creative LabsFree library for 3D audio by Creative Labs

Programmierung von 3D SoundProgramming 3D Sound

3D Sound in X3D

  • Spezieller Knoten <Sound>Special sound node <Sound>
  • FelderFields
    • SFVec3f [in,out] direction 0 0 1 (-∞,∞)
    • SFFloat [in,out] intensity 1 [0,1]
    • SFVec3f [in,out] location 0 0 0 (-∞,∞)
    • SFFloat [in,out] maxBack 10 [0,∞)
    • SFFloat [in,out] maxFront 10 [0,∞)
    • SFFloat [in,out] minBack 1 [0,∞)
    • SFFloat [in,out] minFront 1 [0,∞)
    • SFFloat [in,out] priority 0 [0,1]
    • SFBool [] spatialize TRUE
  • Inhalt dann im Kindknoten von <Sound> spezifiziert: <AudioClip> oder <MovieTexture>Content is defined by a child node of <Sound>. Alternatives are <AudioClip> or <MovieTexture>
X3D Sound Node Geometry
Geometrie des X3D Sound KnotensGeometry defined by the X3D sound node

3D Sound: ZusammenfassungConclusion

3D Sound

  • ... kann für sich alleine schon sehr immersiv wirken (bei geschlossenen Augen)may for itself already provide a high level of immersion
  • ... erzeugt im Zusammenspiel mit visuellem Eindruck eine sehr starke Immersionmay together with visual stimuli create a strong level of immersion
  • ... ist sehr aufwändig in der realistischen Berechnungis computationally costly if rendered realistically
  • ... ist durch die Geräte schwer gleichzeitig mit der visuellen Darstellung einzubringenis difficult to display together with visual projection technologies

Haptische und Taktile WahrnehmungHaptic and Tactile Perception

Haptische und Taktile WahrnehmungHaptic and Tactile Perception

Haptische und Taktile WahrnehmungHaptic and Tactile Perception

  • Wahrnehmung von Signalen über die HautPerception of signals by our skin
  • Umfasst mehrere Typen von SignalenIncludes several types of signals
    • Oberflächensensibilität: Mechanische Signale (Druck, Vibrationen, Berührungen, Mechanorezeptoren)Superficial sensibility: mechanical signals (pressure, vibrations, touch, mechanoreceptors)
    • Tiefensensibilität: kinäasthetische Wahrnehmung (Kraftsinn) / Propriozeption (Lagesinn)Deep sensibility (proprioception): kinesthetic perception (sense of strenght) / acrognosis (sense of position)
    • Thermische Signale (heiß, kalt, Thermorezeptoren)Thermic signals (hot, cold, thermo receptors)
    • Schmerzerzeugende Signale (Nozizeptoren)Pain-inducing signals (nociceptors)
  • Schmerz und Temperatur können schnell aber nur räumlich diffus wahrgenommen werdenPain and heat can be detected very fast but only spatially diffused
  • Mechanische Signale können langsamer, dafür aber zum Teil sehr genau räumlich wahrgenommen werdenMechanical signals are detected more slowly, but partly with very high spatial accuracy
  • Verteilung der entsprechenden Rezeptoren unterschiedlichDistribution of the corresponding receptors is different
    • Fingerkuppen sind dicht besetzt mit RezeptorenFingercups are densely packed with receptors
    • Rücken ist nur spärlich besetztThe back is only sparsely covered

Haptische und Taktile WahrnehmungHaptic and Tactile Perception

Haptische WahrnehmungHaptic Perception

  • Taktile Wahrnehmung ist die passive Wahrnehmung von mechanischen SignalenTactile perception is the passiv perception of mechanical signals
  • Haptische Wahrnehmung ist das aktive Erfühlen von StrukturenHaptic perception is the active exploration of structures
    • Zusätzlich zur taktilen Wahrnehmung wird dabei noch die Propriozeption benötigtBesides the tactile perception the proprioception is also required
    • Propriozeption: Wahrnehmung innerer Signale wie Lage im Raum, Zustand der Muskeln und der EigenbewegungProprioception: perception of inner signals, such as position in space, state of the muscles and proper motion
  • Mögliche Formen der aktiven ErfühlungPossible ways of active exploration
    • Überstreichen der OberflächeStroking the surface
    • DruckausübungExerting pressure
    • UmschließenEnclosing/Grapsing
    • Nachfahren von StrukturenTracing structures

Taktile StimulationTactile Stimulation

ART Fingertracking mit taktiler StimulationART Fingertracking with tactile stimulation

  • Optisches Fingertracking-SystemOptical fingertracking system
  • Fingerkuppen sind mit Drähten aus einer Formgedächtnislegierung (FGL) versehenFingercups are covered with filaments made out of a smart memory alloy (SMA)
  • FGLen "speichern" einen ursprünglichen Zustand (Form)SMA "store" their original state (shape)
  • Durch Erhitzung kann dieser Zustand wieder hergestellt werdenBy heating them the original state can be restored
  • Dieser Zustand bleibt dann auch beim Abkühlen erhaltenThis state is conserved when cooling down
  • Quasi ein "Reset" der Form über Erhitzung möglichThink of a "reset" of the shape by heating
AR-Tracking Fingertracking System mit taktilem Feedback (Prototyp)
AR-Tracking Fingertracking System mit taktilem Feedback (Prototyp)AR-Tracking fingertracking system with tactile feedback (prototype)
  • Es gibt auch 2-Wege FGLen, die unterschiedliche Zustände für kalt und heiß speichern könnenThere are also 2-way SMAs that can store different states for cold and heat

Taktile StimulationTactile Stimulation

Sensable Phantom OMNI

  • Desktop-Gerät zur Modellierung von berührbaren virtuellen ObjektenDesktop device for modelling touchable virtual objects
  • Stylus mit 6 DoF Positionierung, 450 dpiStylus with 6 DoF positioning, 450 dpi
  • Maximale KraftMaximum force: 3,33.3 N
  • Kontinuierliche KraftContinuous force: 0,880.88 N
Sensable PHANTOM Omni
Sensable PHANTOM Omni

Taktile StimulationTactile Stimulation

Haption - Virtuose 6D 35-45

  • Gerät zur KraftrückkopplungDevice for force-feedback
  • Maximale Kraft während der BewegungMaximum force during movement: 35 N
  • Kontinuierliche KraftContinuous force: 10 N
Einbringung in eine VR InstallationEmbedded in a VR installation (SCALE 1)

Taktile StimulationTactile Stimulation

Haption - INCA 6D

  • Großgerät zur KraftrückkopplungLarge-scale device for force-feedback
  • Maximale Kraft während der BewegungMaximum force during movement: 37,5 N
  • Kontinuierliche KraftContinuous force: 12,5 N

Taktile StimulationTactile Stimulation

Haptisches Feedback bei Mobilgeräten - Immersion MOTIVHaptic feedback for mobile devices - Immersion MOTIV

  • SDK für mobile EndgeräteSDK for mobile devices (Android)
  • Hardware: TouchSense Plattform (bis zu 16 Aktuatoren)Hardware: TouchSense platform (for up to 16 actuators)

Taktile StimulationTactile Stimulation

Haptisches Feedback durch ElektrovibrationHaptic feedback by electro vibration

  • Aktuelle Entwicklungen von Disney Research, Nokia, SensegCurrent developments by Disney Research, Senseg
  • Statt Vibration oder mechanischer VeränderungInstead of vibration or mechanical changes
  • Elektrische Spannung erzeugt das Gefühl von Vibration oder ReibungElectric currents induce the feeling of vibration or friction
  • TechnologienTechnologies: TeslaTouch (Disney Research), Tixel (Senseg)
  • Tixel: Coloumb-Kraft bringt Haut zum Vibrieren ohne MechanikColoumb-force makes the skin vibrate without mechanics

ZusammenfassungSummary

ZusammenfassungSummary

Inhalte dieser VeranstaltungContents

  • Die auditive Wahrnehmung des MenschenThe acoustic perception of humans
  • Erzeugung von 3D GeräuschenProducing 3D sounds
  • Taktile und haptische InformationTactile and haptic information
  • Vermittlung von Kraft und WiderstandMediating force and resistance

AusblickOutlook

Termin 05 - Funktionale ModellierungAppointment 05 - Functional Modelling

  • Umsetzung von funktionalen Elementen in der SimulationModelling functional elements in a simulation
  • Funktionale Modellierung in X3DFunctional modelling in X3D
    • Einführung in die wesentlichen Techniken der funktionalen ModellierungIntroduction to the basic techniques for functional modelling
    • FelderFields
    • RoutenRoutes
    • SkripteScripts