Virtuelle Realität

03 - Visuelle Wahrnehmung

Dr. Thies Pfeiffer

AG Wissensbasierte Systeme, Technische Fakultät, Universität Bielefeld

Termin: Freitags, 10:15 Uhr

Raum: T2-205

Überblick

Inhalte dieser Veranstaltung

  • Theorie
    • Visuelle Wahrnehmung des Menschen
    • ... mit dem Schwerpunkt auf 3D Wahrnehmung
  • Praxis
    • Techniken zur Präsentation von 3D Stereo Bildern

Visuelle Wahrnehmung des Menschen

Die menschlichen Augen

Aufbau

  • Cornea / Hornhaut
  • Humor aquosus / Kammerwasser
  • Phakos / Linse
  • Corpus vitreum / Glaskörper
  • Retina: besteht aus Stäbchen (Helligkeiten) und Zapfen (Farben)
Querschnitt des menschlichen Auges
Querschnitt durch das menschliche Auge

Fakten zu den menschlichen Augen

Räumliche Auflösung

    • Empfindlich für elektromagnetische Strahlung ($\lambda = 400\,nm ... 760\,nm$)
    • Sichtfeld: $170^\circ$ horizontal und $110^\circ$ vertikal
    • Sehschärfe in einem Bereich von etwa $5^\circ$
    • Fovea Centralis / Zentrum des Gelben Flecks: Region des schärfsten Sehens, viele Zapfen (ca. 1,5mm Durchmesser, Quelle Wikipedia)
    • Foveola: ca. 0,33mm Durchmesser (Quelle: Wikipedia, bzw. ca. 0,1mm Durchmesser oder $1^\circ$ des Field of Views, Quelle Vince 1995), Zentrum der Sehachse

Zeitliche Auflösung

    • Das Auge benötigt ca. 25ms um das optische Licht in elektrische Signale zu verwandeln.
    • Das zeitliche Auflösungsvermögen beträgt ca. 60 Hz.
    • Das Auge ist ständig in Bewegung, ca. 2-3 Mikrosakkaden pro Sekunde um Überreizung vorzubeugen.

Akkomodation

  • Insgesammt erzielt das menschliche Auge ungefähr 60 Dioptrien ($1 dpt = 1 m^{-1}$), d.h. 17mm Abstand einer virtuellen Linse vor der Retina.
  • Der Augapfel insgesammt hat einen Durchmesser von ca. 24mm
  • Linse selbst erzielt 20 dpt und kann um insgesamt 14 dpt durch Anspannung oder Entspannung verändert werden = Akkomodation (19 - 33 dpt).
  • So können auch entfernte und sehr nahe Objekte scharf auf der Netzhaut abgebildet werden.
  • Die Linse oszilliert mit 2 Hz, so dass ständig zwischen scharf und unscharf gewechselt wird.

Tiefenwahrnehmung

  • Monokulare Faktoren der Tiefenwahrnehmung
    • Verdeckung - Das vordere Objekt verdeckt das hintere
    • Relative Größe/Höhe - Das größere von zwei Objekten ist näher
    • Erwartete Größe
    • Atmosphärische Perspektive
    • Perspektive
    • Bewegungsparallaxe
    • Texturgradient
    • Akkomodation
  • Binokulare Faktoren der Tiefenwahrnehmung
    • Vergenzbewegung der Augen
    • Binokulare Disparität
    • Stereopsis / Stereoskopische Sicht

Monokulare Tiefenkriterien

Erwartete Größe

  • Monokulares Tiefenkriterium
  • Die wahrgenommene Tiefe eines Objektes wird mit der erwarteten Größe in Einklang gebracht.
  • In der Regel wird von einer Größenkonstanz des Objektes ausgegangen, daher muss sich bei Änderungen die Entfernung geändert haben.
  • Beispiel eines sich bewegenden Objektes (siehe rechts)

Monokulare Tiefenkriterien

Atmosphärische Perspektive

  • Monokulares Tiefenkriterium
  • Durch die Atmosphäre
    • ... erscheinen entfernte Objekte bläulicher
    • ... wird der Kontrast geschwächt

Monokulare Tiefenkriterien

Perspektive

  • Monokulares Tiefenkriterium
  • Rückschluss von der Größe eines Objektes auf dessen Distanz

Verzerrter Raum

Experimente mit einem verzerrten Raum (Idee von Hermann von Helmholtz, Umsetzung Adalbert Ames)

Monokulare Tiefenkriterien

Projektionen von 3D $\to$ 2D

Parallelprojektion

$\left( \begin{array}{c}x'\\ y'\\ 0\\ 1\end{array}\right) = \left( \begin{array}{ccc}1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 0\\0 & 0 & 0 & 1 \end{array}\right) \left( \begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

  • Vorteile der Parallelprojektion
    • Parallele Linien bleiben erhalten
    • keine perspektivischen Verkürzungen
    • findet sich oft in Ansichten von CAD/3D Programmen (Front/Side/Top)
    • Meßdaten können direkt aus der Projektion entnommen werden
  • Nachteile der Parallelprojektion
    • Darstellung wirkt nicht realitätsnah

Monokulare Tiefenkriterien

Projektionen von 3D $\to$ 2D

Perspektivische Projektion

$ \left( \begin{array}{c}\frac{x'd}{(z+d)}\\ \frac{y'd}{(z+d)}\\ 0\\ 1\end{array}\right) = \left( \begin{array}{c}x'\\ y'\\ 0\\ \frac{(z+d)}{d}\end{array}\right) = \left( \begin{array}{ccc}1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 0\\0 & 0 & \frac{1}{d} & 1 \end{array}\right) \left( \begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

$d$ ist der Abstand vom Betrachter zur Projektionsebene

  • Vorteile der Perspektivischen Projektion
    • realitätsnaher Eindruck
    • Perspektive ähnlich zu der bei Fotos oder Videos
  • Nachteile der Perspektivischen Projektion
    • Längenverhältnisse und Winkel bleiben nicht erhalten
    • perspektivische Verkürzungen
    • Parallelen konvergieren
    • Objektgröße ändert sich mit dem Abstand

Monokulare Tiefenkriterien

Bewegungsparallaxe

  • Monokulares Tiefenkriterium
  • Objekte, die näher am Betrachter liegen, bewegen sich scheinbar schneller
  • Objekte, die weiter entfernt sind, bewegen sich scheinbar langsamer

Monokulare Tiefenkriterien

Texturgradient

  • Monokulares Tiefenkriterium
  • Texturen zeigen in der Nähe feinere Details
  • Technisch ausgedrückt
    • in der Nähe können hohe Frequenzen wahrgenommen werden (feine Strukturen)
    • mit zunehmender Distanz nimmt der wahrnehmbare Frequenzbereich ab (z.B. wie rechts zu sehen nur noch Farbflecken)
Tiefe kann auch über eine Textur vermittelt werden.
from http://www.psypress.co.uk/mather/resources/topic.asp?topic=ch10-tp-01, 2.11.2011

Monokulare Tiefenkriterien

Texturgradient / Hybrid Images

  • Hybrid Images machen sich diesen Effekt zu Nutze
    • Überblendung von Bildern mit unterschiedlichen Frequenzen
    • In der Nähe sind die feinen Strukturen des einen Bildes stark zu erkennen.
    • In der Ferne bleibt nur noch die tieffrequente Information des anderen Bildes.
Aude Oliva, Antonio Torralba und Philippe G. Schyns, Hybrid Images, Siggraph 2006

Monokulare Tiefenkriterien

Akkomodation

  • Die Linse kann ihre Brechkraft zwischen 19 und 33 dpt variieren. Insgesamt hat das Auge dann 60 bis 74 dpt.
  • Damit können unterschiedlich weit entfernte Ziele scharf gestellt werden.
  • Die Entfernung eines scharf eingestellten Punktes korreliert dann negativ mit der eingestellten Brechkraft der Linse.
    • Je kleiner die Distanz zu einem Objekt ist, desto größer die benötigte Brechkraft
  • Damit könnten die Informationen über die Zustände der Muskeln, die für die Akkomodation zuständig sind, als nicht-visuelles Tiefenkriterium verwendet werden.

Binokulare Tiefenkriterien

Tiefenwahrnehmung

  • Monokulare Faktoren der Tiefenwahrnehmung
    • Verdeckung - Das vordere Objekt verdeckt das hintere.
    • Relative Größe/Höhe - Das größere von zwei Objekten ist näher.
    • Erwartete Größe
    • Atmosphärische Perspektive
    • Perspektive
    • Bewegungsparallaxe
    • Texturgradient
    • Akkomodation
  • Binokulare Faktoren der Tiefenwahrnehmung
    • Vergenzbewegung der Augen
    • Binokulare Disparität
    • Stereopsis / Stereoskopische Sicht

Binokulare Tiefenkriterien

Vergenzbewegung

  • Ein Punkt im Raum wird fixiert, indem jedes Auge so ausgerichtet wird, dass das Licht aus diesem Punkt in die Foveola fällt.
  • Dadurch entstehen entgegengerichtete Augenbewegungen, die Vergenzbewegungen.
  • Wandert ein Punkt näher, so konvergieren die Augen. Entfernt er sich, divergieren die Augen.
  • Die maximale Divergenz ist erreicht, wenn die Augen parallel ausgerichtet sind.

Binokulare Tiefenkriterien

Vergenzbewegung

  • Wie bei der Akkomodation könnten Informationen über die Muskelzustände als nicht-visuelles Tiefenkriterium verwendet werden.
  • Es besteht ein Zusammenhang zwischen Akkomodation und Vergenz, da nachgewiesen wurde, dass reine Änderungen monokularer Akkomodation auch Vergenzbewegungen nach sich ziehen.

Binokulare Tiefenkriterien

Stereopsis und Binokulare Disparität

  • Stereopsis: Durch zwei Augen vermittelter räumlicher Eindruck.
  • Das Gehirn koordiniert die Augenbewegungen mit dem Ziel, die Bilder auf der Netzhaut zu fusionieren.
    • Tiefenwirkung entsteht durch die Unterschiede bzw. die Verschiebung der Bilder auf der Netzhaut: Querdisparität bzw. Binokulare Disparität
    • Minimaler Abstand auf der Netzhaut liegt bei etwa 0,002 mm $\to$ etwa eine Objektentfernung von 1 km
    • Problem bei der technischen Darstellung: die Auflösung der Systeme ist geringer, daher z.B. bei 75 dpi nur bis zu einer Distanz von etwa 250 m unterschiedliche Bilder stereoskopisch darstellbar
    • Horopter: Fläche an Punkten, die bei der Fixation eines bestimmten Punktes noch auf korrespondierende Stellen der Netzhaut abgebildet werden.
    • Panumraum: Volumen, das sich vor und hinter dem Horopter erstreckt, bei dem noch keine Doppelbilder entstehen, auch wenn die Stellen auf der Netzhaut nicht mehr korrespondieren. Dies ist der Bereich in dem Stereopsis funktioniert.
    • Panum-Areal: Projektion des Panumraums auf der Netzhaut

Binokulare Tiefenkriterien

Techniken zur Präsentation von 3D Stereo Bildern

  • Verfahren zur Darstellung von 3D Stereo Bildern
  • Datenformate zur Darstellung von 3D Stereo Bildern
  • Geräte zur Darstellung von 3D Stereo Bildern

Gütekriterien

Kriterium: Lichtausbeute

    • Oft wird die verfügbare Lichtmenge auf beide Augen verteilt und ist daher geringer.
    • Oft schluckt das Trennverfahren noch einen Teil der potentiellen Lichtausbeute.
    • Die erreichbare Helligkeit ist damit ein wichtiges Gütekriterium.

Kriterium: Farbtreue

    • Manchmal erfolgt die Trennung direkt über Farbräume oder die Technik beeinflusst den möglichen Farbraum indirekt.
    • Die Farbtreue eines Verfahrens ist daher ein wichtiges Gütekriterium.

Kriterium: Ghosting

    • Bei vielen Verfahren werden zwei Bilder am gleichen Ort gezeigt, die durch Filter (aktiv, passiv) für die einzelnen Augen getrennt werden.
    • Die Trennung ist bei manchen Techniken jedoch nicht vollständig zu erreichen, daher sieht jedes Auge Teile des für das andere Auge gedachten Bildes.
    • Da die Bilder durch die unterschiedlichen Perspektiven leicht versetzt sind, können so Geisterbilder wahrgenommen werden.
    • Die Stärke des Ghostings eines Verfahrens ist daher ein wichtiges Gütekriterium.

Gütekriterien

Kriterium: Wiederholrate

    • Für interaktive Darstellungen sind Wiederholraten > 30Hz pro Auge notwendig
    • Die erreichbare Wiederholrate eines Verfahrens ist daher ein wichtiges Gütekriterium.

Kriterium: Auflösung

    • Bei manchen Verfahren erfolgt die Trennung räumlich - auf Kosten der möglichen räumlichen Auflösung.
    • Daher kann z.B. jedes Auge unter Umständen weniger als die Hälfte der möglichen räumlichen Auflösung erhalten.
    • Die Ausnutzung der technisch möglichen Auflösung ist daher ein wichtiges Gütekriterium.

Verfahren zur Trennung der Stereo-Bilder

Anaglyph-Verfahren

  • Entwickelt 1853 von Wilhelm Rollmann
    Rollmann, Wilhelm (1853). Zwei neue stereoskopische Methoden. In Poggendorf, J. C.: Annalen der Physik und Chemie. Ausgabe 90, Halle, Leipzig, S. 186f.
  • Überlagerung der linken und rechten Perspektivenansicht in einem Bild
  • farbliche Trennung der Ansichten
    • rot-grün
    • rot-blau
    • rot-cyan (Deep Vision von Stephen Gibson)
    • bernstein-blau (ColorCode 3-D)
Anaglyph Brille (rot/grün)
  • Pro: volle Auflösung nutzbar, hohe Wiederholrate, geringe Kosten
  • Contra: eingeschränkter Farbraum, Ghosting, geringe Lichtausbeute

Verfahren zur Trennung der Stereo-Bilder

Anaglyph-Verfahren

Verfahren zur Trennung der Stereo-Bilder

Shutter-Verfahren

    • Abwechselnde (sequentielle) Präsentation der linken und rechten Perspektivenansicht.
    • Trennung durch synchrones Abblenden des anderen Auges.
    • Volle örtliche Auflösung des Mediums nutzbar
    • Hohe Anforderungen an die Wiederholrate des Mediums (120 Hz)
    • Heute im PC Bereich (NVIDIA 3D Vision) und bei 3D Fernsehern oft eingesetzt.
    • War schon 1999 einmal beliebt (ELSA Revelator), dann jedoch für einige Jahre nicht mehr praktikabel, da die Röhrenmonitore vom Markt verschwanden.
ELSA Relevator Shutter-Brille (1999)
    • Pro: volle Auflösung nutzbar, gute Farbdarstellung, geringes Ghosting
    • Contra: sehr geringe Lichtausbeute, teure Brillen, Interferenzen mit Umgebungslicht möglich

Verfahren zur Trennung der Stereo-Bilder

Polarizationsverfahren

  • Gleichzeitige Präsentation der linken und rechten Perspektivenansicht.
  • Überlagerung der Perspektivenansichten durch Beschränkung auf bestimmte Polarisationsbereiche (früher linear, heute zirkular).
  • Durch die Polarisationsfilter verringert sich die Lichtausbeute.
  • Bei Projektionen werden spezielle Leinwände benötigt (metallisch).
Zirkulare Polarisation
    • Pro: bei Projektion volle Auflösung nutzbar, gute Farbdarstellung, gute Lichtausbeute, günstige Brillen
    • Contra: bei TV nur halbe Auflösung nutzbar, Ghosting

Verfahren zur Trennung der Stereo-Bilder

Auto-Stereoskopie

  • Spaltenweise alternierende Darstellung der linken und rechten Perspektive(n)
  • Trennung mittels Streifenmasken, manchmal adaptiv mittels Head-/Eyetracking
  • Multi-View Displays setzen dieses Prinzip mehrfach ein und erzeugen so 4 bis 8 parallele Perspektiven für unterschiedliche Blickwinkel
  • Prinzip bekannt von "Wackelbildern" (Lenticularfolie)
Parallaxen-Maske
    • Pro: gute Farbdarstellung, gute Lichtausbeute, keine Brillen
    • Contra: halbe Auflösung nutzbar oder weniger, wenige Personen, manchmal bestimmte Positionen vorgegeben

Datenformate zur Darstellung von 3D Stereo Bildern

Einfachste Form

  • Getrennte Kanäle (z.B. unterschiedliche Grafikkarten/-ausgänge) mit jeweils normalem Bild

Gemultiplexte Formate

  • Frame Packaging (Side-by-Side, Top-and-Bottom) bei halber (kompatibel zu vollem 2D Format) oder voller Auflösung
  • Frame Sequential

Geräte zur Darstellung von 3D Stereo-Bildern

3D Fernseher/Bildschirme

  • Verfahren: Polarisation, Shutter, Auto-Stereoskopie
  • Derzeit Konkurrenz zwischen Shutter und Polarisation
  • Langfristig hat Shutter keine Chance
  • Erste TV-Geräte mit Auto-Stereoskopie schon vorgestellt: Toshiba ZL2 Serie mit Quad-Full HD-Panels (3.840 x 2.160) und automatischer Linsenanpassung über Kamera

Geräte zur Darstellung von 3D Stereo-Bildern

Head-Mounted Displays

  • Verfahren: bauliche Kanaltrennung
  • Heute mögliche Auflösungen liegen bei 1920x1200 pro Auge
  • Field-of-View: bis $85^\circ$ vertikal und $185^\circ$ horizontal oder mehr möglich
  • Pro: kein Ghosting, volle Immersion
  • Contra: Simulator Sickness, keine visuelle Eigenwahrnehmung, schweres Gerät auf dem Kopf, kabelgebunden
Sensics piSight HMD mit 1920x1200 Pixeln pro Auge

Geräte zur Darstellung von 3D Stereo-Bildern

PowerWall

  • Verfahren: Polarisation, Laser, Shutter
  • PowerWalls sind große, hochauflösende Displays
  • Die Projektion muss nicht zwingend 3D sein, oft reicht auch alleine die Größe aus, um einen räumlichen Eindruck zu erhalten (Bsp. Elbe Dom, 360°).
Powerwall der Universität Konstanz, 5,20m x 2,15m, knapp 9 Mio. Pixel, 8 Projektoren
    • Pro: gut geeignet für technische Projektionen, da hohe Auflösung, für mehrere Personen geeignet
    • Contra: oft kein Stereo, begrenzte Interaktion im Nahbereich wegen fehlendem Boden

Geräte zur Darstellung von 3D Stereo-Bildern

CAVE

Entwurf der CAVE von Cruz-Neira, 1993
    • Pro: volles Sichtfeld, sehr gute Interaktionsmöglichkeiten, Wahrnehmung des eigenen Körpers
    • Contra: nur für eine Person (neue auch für 2-3 Personen) geeignet, aufwändige Installation

Zusammenfassung

Zusammenfassung

Inhalte dieser Veranstaltung

  • Theorie
    • Visuelle Wahrnehmung des Menschen
    • ... monokulare Tiefenkriterien
    • ... binokulare Tiefenkriterien
  • Praxis
    • Techniken zur Präsentation von 3D Stereo Bildern
    • ... Verfahren
    • ... Formate
    • ... Geräte

Ausblick

Termin 04 - Akustische und andere Wahrnehmungen

  • Die auditive Wahrnehmung des Menschen
  • Erzeugung von 3D Geräuschen
  • Taktile und haptische Information
  • Vermittlung von Kraft und Widerstand