Virtuelle Realität

Visuelle Wahrnehmung

Virtual Reality

Visual Perception

Dr. Thies Pfeiffer

Cognitive Interaction Technology Center of Excellence,
Technische Fakultät, Universität Bielefeld

Termin:Montags, 14:15 Uhr

Raum: CITEC Hörsaal

Schedule:Mondays, 2:15 p.m.

Room: CITEC Auditorium

Letztes Mal...Last time...

InhalteContent

  • EntwicklungsprozessDevelopment-Process of a VR installation
    • Einordnung der VorlesungstermineShort summary of the appointments to come
  • Geometrische-ModellierungGeometric Modeling
    • Euklidischer Raum/VektorraumEuclidean Space/Vector Space
    • Punkte/Linien/FlächenPoints, Lines, Surfaces
    • TransformationenTransformations
    • MatrizenMatrices
    • SzenengraphScenegraph

Overview

Inhalte dieser VeranstaltungTopic of this lecture

  • TheorieTheory
    • Visuelle Wahrnehmung des MenschenVisual perception in humans
    • ... mit dem Schwerpunkt auf 3D Wahrnehmungwith a focus on 3D perception
  • PraxisPractical aspects
    • Techniken zur Präsentation von 3D Stereo BildernTechnologies for the presentation of 3D stereo images

Visuelle Wahrnehmung des MenschenVisual Perception in Humans

Die menschlichen AugenThe human eyes

AufbauStructure

  • Cornea / HornhautCornea
  • Humor aquosus / KammerwasserHumor aquosus / Intraocular fluid
  • Phakos / LinsePhakos / Lens
  • Corpus vitreum / GlaskörperCorpus vitreum / Vitreous body
  • Retina: besteht aus Stäbchen (Helligkeiten) und Zapfen (Farben)Retina: contains rod cells (brightness) and cones (color)
Querschnitt des menschlichen Auges Querschnitt des menschlichen Auges
Querschnitt durch das menschliche Augecross-section of the human eye

Fakten zu den menschlichen AugenSome Facts about Human Eyes

Räumliche AuflösungSpatial resolution

    • Empfindlich für elektromagnetische Strahlung ($\lambda = 400\,nm ... 760\,nm$)Sensitive for elektromagnetic radiation ($\lambda = 400\,nm ... 760\,nm$)
    • Sichtfeld: $170^\circ$ horizontal und $110^\circ$ vertikalField of view: $170^\circ$ horizontally and $110^\circ$ vertically
    • hohe Sehschärfe in einem Bereich von etwa $5^\circ$High visual acuity in an area of about $5^\circ$
    • Fovea Centralis / Zentrum des Gelben Flecks: Region des schärfsten Sehens, viele Zapfen (ca. 1,5mm Durchmesser, Quelle Wikipedia)Fovea Centralis / Center of the yellow spot: area for high visual acuity, many rod cells (ca. 1.5mm diameter, source Wikipedia)
    • Foveola: ca. 0,33mm Durchmesser (Quelle: Wikipedia, bzw. ca. 0,1mm Durchmesser oder $1^\circ$ des Field of Views, Quelle Vince 1995), Zentrum der SehachseFoveola: ca. 0.33mm diameter (source: Wikipedia, respectively ca. 0.1mm diameter or $1^\circ$ of the field of view, source Vince 1995), Origin of the line of sight
    • Kleinster wahrnehmbarer Abstand: 0,4 Bogenminuten (0,0064 Grad), Bereich von 0,4 bis 1 Bogenminute im DurchschnittSmallest noticable distance: 0.4 arc minutes (0.0064 degrees), range from 0.4 to 1 arc minutes on average

Zeitliche AuflösungTemporal resolution

    • Das Auge benötigt ca. 25ms um das optische Licht in elektrische Signale zu verwandeln.It takes the eye about 25ms to convert optical light into electric signals.
    • Das zeitliche Auflösungsvermögen beträgt ca. 60 Hz.The temporal resolution is about 60 Hz.
    • Die Bewegungsfähigkeit beträgt $50^\circ$ links und rechts, bis zu $60^\circ$ nach unten und etwa $45^\circ$ nach oben.The degrees of freedom are $50^\circ$ to the left and to the right, about $60^\circ$ downwards and about $45^\circ$ upwards.
    • Das Auge ist ständig minimal in Bewegung, ca. 2-3 Mikrosakkaden pro Sekunde zur Korrektur und um einer Lokaladaption vorzubeugen.The eye is permanently moving, about 2-3 micro saccades per second for correction and to prevent a local adaption of the eye.

AkkomodationAccomodation

  • Insgesamt erzielt das menschliche Auge ungefähr 60 Dioptrien ($1 dpt = 1 m{-1}$), d.h. 17mm Abstand einer virtuellen Linse vor der Retina.Alltogether the eye has about 60 diopters ($1 dpt = 1 m{-1}$), i.e. 17mm distance of a virtual lens in front of the retina.
  • Der Augapfel insgesamt hat einen Durchmesser von ca. 24mmThe eyeball has a diameter of about 24mm.
  • Linse selbst erzielt 20 dpt und kann um insgesamt 14 dpt durch Anspannung oder Entspannung verändert werden = Akkomodation (19 - 33 dpt).The lens itself achieves about 20 dpt and is able to modulate additional 14 dpt by contraction or relaxation = Accomodation (19 - 33 dpt).
  • So können auch entfernte und sehr nahe Objekte scharf auf der Netzhaut abgebildet werden.With this mechanism, distant as well as very close objects can be projected sharply on the retina.
  • Die Linse oszilliert mit 2 Hz, so dass ständig zwischen scharf und unscharf gewechselt wird.The lense oscillates with 2 Hz, permanently switching between sharp and blurred projection.

FragenQuestions

FragenQuestions

Einige der eben genannten Eigenschaften unserer Augen sind besonders relevant für die Virtuelle Realität.Some of the aforementioned features of our eyes are especially of importance for virtual reality.

  • Welche sind das?Which features are especially important for VR?
  • Warum?Why are they important?

AntwortenAnswers

  • Die zeitliche Auflösung von 60 Hz ist wichtig für die BildgenerierungThe temporal resolution of 60 Hz is important for the generation of new images.
  • Das Sichtfeld ($170^\circ$ horizontal und $110^\circ$ vertikal) ist wichtig für die Gestaltung der Projektionseinheit.The field of view ($170^\circ$ horizontally and $110^\circ$ vertically) is important for the design of visual displays.
  • Die Sehschärfe, da mit deren Hilfe die maximale Pixelbreite berechnet werden kann (so dass die Pixel dann nicht mehr identifiziert werden können).The visual acuity is important, as it can be used to determine how small the pixels have to be to prevent the human from noticing them.
  • Akkomodation: Sie steht im Bezug zum Abstand der betrachteten Objekte, ähnlich wie die Konvergenz (später mehr). Die Akkomodation kann aber derzeit technisch nicht so leicht getäuscht werden.Accomodation: is related to the distance of the observed objects, similar to vergence (later more). At the moment it is technically demanding to deceive accomodation.

TiefenwahrnehmungPerception of Depth (1/2)

Monokulare Faktoren der TiefenwahrnehmungMonocular factors of depth perception

  • Verdeckung - Das vordere Objekt verdeckt das hintereOcclusion - objects in front occlude parts of objects in the back
  • Relative Größe/Höhe - Das größere von zwei Objekten ist näherRelative height - the larger of two similar objects is typically closer
  • Erwartete GrößeExpected size
  • Atmosphärische PerspektiveAtmospheric perspective
  • PerspektivePerspective
  • BewegungsparallaxeMotion parallaxis
  • TexturgradientTexture gradient
  • AkkomodationAccomodation

TiefenwahrnehmungPerception of Depth (2/2)

Binokulare Faktoren der TiefenwahrnehmungBinocular factors of depth perception

  • Vergenzbewegung der AugenVergence movements of the eyes
  • Binokulare DisparitätBinocular disparity
  • Stereopsis / Stereoskopische SichtStereopsis

Monokulare TiefenkriterienMonocular Factors of Depth Perception

Erwartete GrößeExpected Size

  • Die wahrgenommene Tiefe eines Objektes wird mit der erwarteten Größe in Einklang gebracht.The perceived depth of an object is aligned to the expected size.
  • In der Regel wird von einer Größenkonstanz des Objektes ausgegangen, daher muss sich bei Änderungen die Entfernung geändert haben.In the general case objects are expected to be of constant size, thus any perceived changes of size have to be the result of changes in depth/distance.
  • Beispiel eines sich bewegenden Objektes (siehe rechts)Look at the example of the moving object

Monokulare TiefenkriterienMonocular Factors of Depth Perception

Atmosphärische PerspektiveAtmospheric perspective

  • Durch die Atmosphäre While passing through the atmosphere
    • ... erscheinen entfernte Objekte bläulicherdistant objects appear to be more bluish
    • ... wird der Kontrast geschwächtthe contrast will get weaker

Monokulare TiefenkriterienMonocular Factors of Depth Perception

PerspektivePerspective

  • Rückschluss von der Größe eines Objektes auf dessen DistanzInferring the depth/distance of an object from its observed size

Verzerrter Raum

Experimente mit einem verzerrten Raum (Idee von Hermann von Helmholtz, Umsetzung Adalbert Ames)Experiments with a distorted room (idea by Hermann von Helmholtz, implemented by Adalbert Ames)

Monokulare TiefenkriterienMonocular Factors of Depth Perception

Projektionen von 3D $\to$ 2DProjecting from 3D $\to$ 2D

ParallelprojektionParallel projection

$\left( \begin{array}{c}x'\\ y'\\ 0\\ 1\end{array}\right) = \left( \begin{array}{ccc}1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 0\\0 & 0 & 0 & 1 \end{array}\right) \left( \begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

  • Vorteile der ParallelprojektionAdvantages of parallel projections
    • Parallele Linien bleiben erhaltenParallel lines are preserved
    • keine perspektivischen VerkürzungenNo perspective distortions
    • findet sich oft in Ansichten von CAD/3D ProgrammenOften used in CAD/3D programs (Front/Side/Top)
    • Meßdaten können direkt aus der Projektion entnommen werdenMeasurements can be taken directy from the visualization
  • Nachteile der ParallelprojektionDisadvantage of parallel projections
    • Darstellung wirkt nicht realitätsnahVisualization is not very realistic

Monokulare TiefenkriterienMonocular Factors of Depth Perception

Projektionen von 3D $\to$ 2DProjecting from 3D $\to$ 2D

Perspektivische ProjektionPerspective projection

$ \left( \begin{array}{c}x'\\ y'\\ 0\\ \frac{(z+d)}{d}\end{array}\right) = \left( \begin{array}{ccc}1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 0\\0 & 0 & \frac{1}{d} & 1 \end{array}\right) \left( \begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)$

$d$ ist der Abstand vom Betrachter zur Projektionsebeneis the distance from the observer to the projection screen

$ \left( \begin{array}{c}\frac{x'd}{(z+d)}\\ \frac{y'd}{(z+d)}\\ 0\\ 1\end{array}\right) = \left( \begin{array}{c}x'\\ y'\\ 0\\ \frac{(z+d)}{d}\end{array}\right)$

Vorteile der Perspektivischen ProjektionAdvantages of parallel projections

  • realitätsnaher Eindruckrealistic impression
  • Perspektive ähnlich zu der bei Fotos oder Videosperspective similar to that experienced in photos or videos

Nachteile der Perspektivischen ProjektionDisadvantages of perspective projections

  • Längenverhältnisse und Winkel bleiben nicht erhaltenratios between lengths and between angles are not preserved
  • perspektivische Verkürzungenperspective distortions
  • Parallelen konvergierenparallel lines converge
  • Objektgröße ändert sich mit dem Abstandsize of objects changes with their distance

Monokulare Tiefenkriterien

BewegungsparallaxeMotion Parallax

  • Objekte, die näher am Betrachter liegen, bewegen sich scheinbar schnellerObjects closer to the observer appear to move faster
  • Objekte, die weiter entfernt sind, bewegen sich scheinbar langsamerObjects more distant to the observer appear to move slower

Monokulare TiefenkriterienMonocular Factors of Depth Perception

TexturgradientTexture Gradient

  • Texturen zeigen in der Nähe feinere DetailsTextures show detailed structures in the proximity
  • Technisch ausgedrücktTechnically speaking
    • in der Nähe können hohe Frequenzen wahrgenommen werden (feine Strukturen)the closer to the observer, the higher the spatial frequencies that can be distinguished (fine structures)
    • mit zunehmender Distanz nimmt der wahrnehmbare Frequenzbereich ab (z.B. wie rechts zu sehen nur noch Farbflecken)with increasing distance the perceivable range of frequencies get smaller (see, e.g., to the right towards the upper half)
Tiefe kann auch über eine Textur vermittelt werden.Depth can also be perceived based on texture.
from http://www.psypress.co.uk/mather/resources/topic.asp?topic=ch10-tp-01, 2.11.2011

Monokulare TiefenkriterienMonocular Factors of Depth Perception

Texturgradient / Hybrid ImagesTexture gradient / Hybrid Images

  • Hybrid Images machen sich diesen Effekt zu NutzeHybrid images make use of this effect
    • Überblendung von Bildern mit unterschiedlichen FrequenzenBlending of different pictures with different frequencies
    • In der Nähe sind die feinen Strukturen des einen Bildes stark zu erkennen.In the proximity the fine structures encoded in the high frequencies of the first picture are perceived.
    • In der Ferne bleibt nur noch die tieffrequente Information des anderen Bildes.In the distance only the low frequencies of the second picture are perceived.
Aude Oliva, Antonio Torralba und Philippe G. Schyns, Hybrid Images, Siggraph 2006

Monokulare TiefenkriterienMonocular Factors of Depth Perception

AkkomodationAccomodation

  • Die Linse kann ihre Brechkraft zwischen 19 und 33 dpt variieren. Insgesamt hat das Auge etwa 60 dpt.The lens can vary its refractive power between 19 and 33 dpt. Alltogether the eye has about 60 dpt.
  • Damit können unterschiedlich weit entfernte Ziele scharf gestellt werden.This way targets of different distances can be perceived with high acuity.
  • Die Entfernung eines scharf eingestellten Punktes korreliert dann negativ mit der eingestellten Brechkraft der Linse.The distance of a focused point correlates then negatively with the adjusted refractive power of the lens.
    • Je kleiner die Distanz zu einem Objekt ist, desto größer die benötigte BrechkraftThe smaller the distance to an object, the higher the required refractive power
  • Damit könnten die Informationen über die Zustände der Muskeln, die für die Akkomodation zuständig sind, als nicht-visuelles Tiefenkriterium verwendet werden.Information about the contraction state of the muscles can thus be used as non-visual criteria for estimating the depth of an object.

Binokulare TiefenkriterienBinocular Factors of Depth Perception

TiefenwahrnehmungDepth Perception

  • Monokulare Faktoren der TiefenwahrnehmungMonocular Factors of Depth Perception
    • Verdeckung - Das vordere Objekt verdeckt das hintereOcclusion - objects in front occlude parts of objects in the back
    • Relative Größe/Höhe - Das größere von zwei Objekten ist näherRelative height - the larger of two similar objects is typically closer
    • Erwartete GrößeExpected size
    • Atmosphärische PerspektiveAtmospheric perspective
    • PerspektivePerspective
    • BewegungsparallaxeMotion parallaxis
    • TexturgradientTexture gradient
    • AkkomodationAccomodation
  • Binokulare TiefenkriterienBinocular Factors of Depth Perception
    • Vergenzbewegung der AugenVergence movements of the eyes
    • Binokulare DisparitätBinocular disparity
    • Stereopsis / Stereoskopische SichtStereopsis

Binokulare TiefenkriterienBinocular Factors of Depth Perception

VergenzbewegungVergence movements

  • Ein Punkt im Raum wird fixiert, indem jedes Auge so ausgerichtet wird, dass das Licht aus diesem Punkt in die Foveola fällt.A point in space is fixated by aligning each eye so that light from the point is projected onto the fovea.
  • Dadurch entstehen entgegengerichtete Augenbewegungen, die Vergenzbewegungen.This results in eye movements in opposite directions called vergence movements.
  • Wandert ein Punkt näher, so konvergieren die Augen. Entfernt er sich, divergieren die Augen.If a point moves closer, the eyes converge. If a point moves away, the eyes diverge.
  • Die maximale Divergenz ist erreicht, wenn die Augen parallel ausgerichtet sind.Maximum divergence is reached if the eyes are parallel.

Binokulare TiefenkriterienBinocular Factors of Depth Perception

VergenzbewegungVergence movements

  • Wie bei der Akkomodation könnten Informationen über die Muskelzustände als nicht-visuelles Tiefenkriterium verwendet werden.Similar to vergence, information about the muscle states of vergence movements can be used as non-visual depth criteria.
  • Es besteht ein Zusammenhang zwischen Akkomodation und Vergenz, da nachgewiesen wurde, dass reine Änderungen monokularer Akkomodation auch Vergenzbewegungen nach sich ziehen.There is a coupling between accomodation and vergence. It has been shown, that pure changes in monocular accomodation result in vergence movements.

Binokulare TiefenkriterienBinocular Factors of Depth Perception

Stereopsis und Binokulare DisparitätStereopsis and binocular disparity

  • Stereopsis: Durch zwei Augen vermittelter räumlicher EindruckImpression of depth caused by the combination of information provided by two eyes.
  • Das Gehirn koordiniert die Augenbewegungen mit dem Ziel, die Bilder auf der Netzhaut zu fusionieren.The brain coordinates eye movements to fuse the images on the retina.
    • Tiefenwirkung entsteht durch die Unterschiede bzw. die Verschiebung der Bilder auf der Netzhaut: Querdisparität bzw. Binokulare DisparitätThe perception of depth is based on differences or translations of the pictures on the retina: lateral dispartiy and binocular disparity
    • Minimaler Abstand auf der Netzhaut liegt bei etwa 0,002 mm $\to$ etwa eine Objektentfernung von 1 kmThe minimum distance on the retina is about 0.002 mm $\to$ about a distance of 1 km
    • Problem bei der technischen Darstellung: die Auflösung der Systeme ist geringer, daher z.B. bei 75 dpi nur bis zu einer Distanz von etwa 250 m unterschiedliche Bilder stereoskopisch darstellbarProblem of technical visualizations: the resolution of the projection is much lower, thus at 75 dpi only distances up to 250m can be differentiated based on stereoscopy
    • Horopter: Fläche an Punkten, die bei der Fixation eines bestimmten Punktes noch auf korrespondierende Stellen der Netzhaut abgebildet werden.surface of points that are projected on corresponding areas on the retina when fixating a specific point.
    • PanumraumPanum's Space: Volumen, das sich vor und hinter dem Horopter erstreckt, bei dem noch keine Doppelbilder entstehen, auch wenn die Stellen auf der Netzhaut nicht mehr korrespondieren. Dies ist der Bereich in dem Stereopsis funktioniert.volume extending in front of and behind of the horopter, in which no double vision occurs, even when the areas on the retina no longer correspond. This is the area in which stereopsis works.
    • Panum-ArealPanum's Fusional Areal: Projektion des Panumraums auf der Netzhautprojection of the panum space on the retina

Binokulare TiefenkriterienBinocular Factors of Depth Perception

Techniken zur Präsentation von 3D Stereo BildernTechniques for the Presentation of 3D Stereo Images

  • Verfahren zur Darstellung von 3D Stereo BildernMethods for presenting 3D stereo images
  • Datenformate zur Darstellung von 3D Stereo BildernRepresentation formats for 3D stereo images
  • Geräte zur Darstellung von 3D Stereo BildernDevices for the presentation of 3D stereo images

GütekriterienQuality Criteria

Kriterium: LichtausbeuteCriterion: luminance efficacy

    • Oft wird die verfügbare Lichtmenge auf beide Augen verteilt und ist daher geringer.Often the available light is distributed over both eyes and thus lower than for monocular displays.
    • Oft schluckt das Trennverfahren noch einen Teil der potentiellen Lichtausbeute.Often the method used for separating the images consumes a large part of the available light.
    • Die erreichbare Helligkeit ist damit ein wichtiges Gütekriterium.The achievable luminance is thus an important quality criterion.

Kriterium: FarbtreueCriterion: color fidelity

    • Manchmal erfolgt die Trennung direkt über Farbräume oder die Technik beeinflusst den möglichen Farbraum indirekt.Sometimes the separation is achieved by modulating colors or the technology affects directly the bandwith of available colors.
    • Die Farbtreue eines Verfahrens ist daher ein wichtiges Gütekriterium.Color fidelity is thus an important quality criterion.

Kriterium: GhostingCriterion: Ghosting

    • Bei vielen Verfahren werden zwei Bilder am gleichen Ort gezeigt, die durch Filter (aktiv, passiv) für die einzelnen Augen getrennt werden.Many approaches present two pictures at the same physical space, which are later separated for each eye using active or passive technologies.
    • Die Trennung ist bei manchen Techniken jedoch nicht vollständig zu erreichen, daher sieht jedes Auge Teile des für das andere Auge gedachten Bildes. So ähnlich, wie wenn man gar keine 3D Brille aufsetzt.The separation achieved with some technologies, however, is not perfect and each eye still perceives a small amount of the image intended for the other eye. Similar to watching a 3D movie without the glasses.
    • Da die Bilder durch die unterschiedlichen Perspektiven leicht versetzt sind, können so Geisterbilder wahrgenommen werden.As both images show a slightly shifted perspective, ghost images can be perceived.
    • Die Stärke des Ghostings eines Verfahrens ist daher ein wichtiges Gütekriterium.The strength of the ghosting of a stereo separation technique is thus an important quality criterion.

GütekriterienQuality Criteria

Kriterium: WiederholrateCriterion: Refresh rate

    • Für interaktive Darstellungen sind Wiederholraten > 30Hz pro Auge notwendigFor interactive presentations a refresh rate of > 30Hz per eye is required
    • Die erreichbare Wiederholrate eines Verfahrens ist daher ein wichtiges Gütekriterium.The refresh rate that can be achieved by a specific technology is thus an important quality criterion.

Kriterium: AuflösungCriterion: Spatial Resolution

    • Bei manchen Verfahren erfolgt die Trennung räumlich - auf Kosten der möglichen räumlichen Auflösung.Some techniques use a spatial separation, which comes at the cost of a reduced spatial resolution.
    • Daher kann z.B. jedes Auge unter Umständen weniger als die Hälfte der möglichen räumlichen Auflösung erhalten.Under certain circumstances each eye will then perceive less then half of the available resolution.
    • Die Ausnutzung der technisch möglichen Auflösung ist daher ein wichtiges Gütekriterium.The usage of the technically possible spatial resolution is thus an important quality criterion.

Verfahren zur Trennung der Stereo-BilderTechniques for Separating Stereo Images

Anaglyph-VerfahrenAnaglyph-Method

  • Entwickelt 1853 von Wilhelm RollmannDeveloped 1853 by Wilhelm Rollmann
    Rollmann, Wilhelm (1853). Zwei neue stereoskopische Methoden. In Poggendorf, J. C.: Annalen der Physik und Chemie. Ausgabe 90, Halle, Leipzig, S. 186f.
  • Überlagerung der linken und rechten Perspektivenansicht in einem BildOverlay of the left and the right perspective in a single image
  • farbliche Trennung der AnsichtenSeparation by color
    • rot-grünred-green
    • rot-blaured-blue
    • rot-cyan (Deep Vision von Stephen Gibson)red-cyan (Deep Vision by Stephen Gibson)
    • bernstein-blau (ColorCode 3-D)amber-blue (ColorCode 3-D)
Anaglyph Brille (rot-grün)Anaglyph glasses (red-green)
  • Pro: volle Auflösung nutzbar, hohe Wiederholrate, geringe KostenPro: full resolution, high refresh rate, low costs
  • Contra: eingeschränkter Farbraum, Ghosting, geringe LichtausbeuteContra: reduced color space, ghosting, low luminance

Verfahren zur Trennung der Stereo-BilderTechniques for Separating Stereo Images

Anaglyph-VerfahrenAnaglyph Method

Verfahren zur Trennung der Stereo-BilderTechniques for Separating Stereo Images

Shutter-VerfahrenShutter Method

    • Abwechselnde (sequentielle) Präsentation der linken und rechten Perspektivenansicht.Sequential alternating presentation of the left and right perspective.
    • Trennung durch synchrones Abblenden des anderen Auges.Separation by synchronous dimming of the alternative eye.
    • Volle örtliche Auflösung des Mediums nutzbar.Full resolution of the projection can be used.
    • Hohe Anforderungen an die Wiederholrate des Mediums (120 Hz)High demands at the refresh rate of the projection (120 Hz)
    • Heute im PC Bereich (NVIDIA 3D Vision) und bei 3D Fernsehern oft eingesetzt.This technique is commonly used for desktop pcs (NVIDIA 3D Vision) and for 3D television.
    • War schon 1999 einmal beliebt (ELSA Revelator), dann jedoch für einige Jahre nicht mehr praktikabel, da die Röhrenmonitore vom Markt verschwanden.Had been popular as early as 1999 (ELSA Revelator), but then disappeared for some time from the market because of the descent of the cathode ray screens.
ELSA Relevator Shutter-BrilleShutter Glasses (1999)
    • Pro: volle Auflösung nutzbar, gute Farbdarstellung, geringes GhostingPro: full resolution can be used, good coverage of color space, low ghosting
    • Contra: sehr geringe Lichtausbeute, teure Brillen, Interferenzen mit Umgebungslicht möglichContra: very low luminance, expensive glasses, interferences with the environmental light possible

Verfahren zur Trennung der Stereo-BilderTechniques for Separating Stereo Images

PolarizationsverfahrenPolarisation Method

  • Gleichzeitige Präsentation der linken und rechten Perspektivenansicht.Simultaneous presentation of the left and right perspective.
  • Überlagerung der Perspektivenansichten durch Beschränkung auf bestimmte Polarisationsbereiche (früher linear, heute zirkular).Overlay of the different perspectives by restriction on distinct planes of polarisations (formerly linear, today circular).
  • Durch die Polarisationsfilter verringert sich die Lichtausbeute.The required polarisation filters reduce luminance.
  • Bei Projektionen werden spezielle Leinwände benötigt (metallisch).Specific projection screens are required to maintain polarisation (metallic).
Zirkulare PolarisationCircular Polarisation
    • Pro: bei Projektion volle Auflösung nutzbar, gute Farbdarstellung, gute Lichtausbeute, günstige BrillenPro: full resolution, good color fidelity, good luminance, affordable glasses
    • Contra: bei TV nur halbe Auflösung nutzbar, GhostingContra: for TVs only half of the resolution usable, ghosting

Verfahren zur Trennung der Stereo-BilderTechniques for Separating Stereo Images

Auto-StereoskopieAuto-Stereoscopy

  • Spaltenweise alternierende Darstellung der linken und rechten Perspektive(n)Columnwise alternating presentation of the left and right perspective(s)
  • Trennung mittels Streifenmasken, manchmal adaptiv mittels Head-/EyetrackingSeparation using parallaxis mask, sometimes adaptive using head-/eyetracking
  • Multi-View Displays setzen dieses Prinzip mehrfach ein und erzeugen so 4 bis 8 parallele Perspektiven für unterschiedliche BlickwinkelMulti-view displays use this principle repeatedly and thus support 4 to 8 parallel perspectives for different viewing positions
  • Prinzip bekannt von "Wackelbildern" (Lenticularfolie)Principle is known from flip images (lenticular foil)
Parallaxen-MaskeParallaxis mask
    • Pro: gute Farbdarstellung, gute Lichtausbeute, keine BrillenPro: high color fidelity, high luminance, no glasses
    • Contra: halbe Auflösung nutzbar oder weniger, wenige Personen, manchmal bestimmte Positionen vorgegebenContra: half or less of the natural resolution, low number of observers, sometimes a particular viewing position has to be maintained

Datenformate zur Übertragung von 3D Stereo BildernData formats for the transmission of 3D stereo images

Einfache FormateBasic formats

  • Getrennte Kanäle (z.B. unterschiedliche Grafikkarten/-ausgänge) mit jeweils normalem BildSeparated channels (e.g. different connectors from a graphics card ), each transmitting standard full 2D image

Gemultiplexte FormateMultiplexed formats

  • Frame Packaging (Side-by-Side, Top-and-Bottom) bei halber (kompatibel zu vollem 2D Format) oder voller Auflösung Frame packaging (side-by-side, top-and-bottom) with half (compatible to standard 2D format) or full resolution (twice the size of standard 2D format)
  • Frame SequentialFrame sequential

Geräte zur Darstellung von 3D Stereo-BildernDevices for displaying 3D stereo images

3D Fernseher/Bildschirme3D televisions or computer monitors

  • Verfahren: Polarisation, Shutter, Auto-StereoskopieMethods: polarization, shutter, auto-stereoscopy
  • Derzeit Konkurrenz zwischen Shutter und PolarisationCurrently there is a competition between shutter- and polarisation-based techniques.
  • Langfristig hat Shutter keine ChanceIn the long-run, shutter technology will not have a chance (personal opinion).
  • Erste TV-Geräte mit Auto-Stereoskopie schon vorgestellt: Toshiba ZL2 Serie (Toshiba 55ZL2G) mit Quad-Full HD-Panels (3.840 x 2.160) und automatischer Linsenanpassung über KameraFirst 3D television devices with auto-stereoscopy have been presented: Toshiba ZL2 series (Toshiba 55ZL2G) with quad-full HD-panels (3.840 x 2.160) and automatic lense adaptation using camera-based tracking of the viewer's eyes

Geräte zur Darstellung von 3D Stereo-BildernDevices for displaying 3D stereo images

Head-Mounted Displays

  • Verfahren: bauliche KanaltrennungMethod: distinct screens or screen areas for each eye
  • Heute mögliche Auflösungen liegen bei 1920x1200 pro AugeResolutions of more than Full-HD per eye possible
  • Field-of-View: bis $85^\circ$ vertikal und $185^\circ$ horizontal möglichField-of-View: up to $85^\circ$ vertical and $185^\circ$ horizontal possible
  • Pro: kein Ghosting, volle ImmersionPro: no ghosting, full immersion
  • Contra: Simulator Sickness, keine visuelle Eigenwahrnehmung, schweres Gerät auf dem Kopf, kabelgebundenContra: simulator sickness, no visual self-perception, heavy device mounted on the head, most devices are cable-bound
Sensics piSight HMD mit 1920x1200 Pixeln pro AugeSensics piSight HMD with Full-HD resolution per eye

Geräte zur Darstellung von 3D Stereo-BildernDevices for displaying 3D stereo images

Oculus Rift

  • Head-Mounted-Display für EndverbraucherConsumer-level Head-Mounted-Display
  • Verfübar: seit 2015Availability: since 2015
  • SensorenSensors:
    • DK1: 9 DoF, Beschleunigung, Gyroskop und MagnetometerDK1: 9 DoF, accelerometer, gyroscope, and magnetometer
    • DK2: 9 DoF, Beschleunigung, Gyroskop und Magnetometer, externe KameraDK2: 9 DoF, accelerometer, gyroscope, and magnetometer, external camera
    • CV1: wie DK2CV1: same as DK2
  • AuflösungenResolutions: 1280x800 (DK1), 1920x1080 (DK2), 2x 1.080x1.200 (CV1)
Oculus Rift HMD CV1

Geräte zur Darstellung von 3D Stereo-BildernDevices for displaying 3D stereo images

PowerWall

  • Verfahren: Polarisation, Laser, Shutter, InfitecMethod: polarisation, laser, shutter, infitec
  • PowerWalls sind große, hochauflösende DisplaysPowerWalls are large, high-resolution displays
  • Die Projektion muss nicht zwingend 3D sein, oft reicht auch alleine die Größe aus, um einen räumlichen Eindruck zu erhalten (Bsp. Elbe Dom, $360^\circ$). The projection is not necessarily in stereo, often the huge dimensions of a powerwall are sufficient enough to provide a spatial immersion (Example: Elbe Dome, $360^\circ$).
Powerwall der Universität Konstanz, 5,20m x 2,15m, knapp 9 Mio. Pixel, 8 ProjektorenPowerwall of the University of Konstanz, 5,20m x 2,15m, about 9 mio. pixels, 8 projectors
    • Pro: gut geeignet für technische Projektionen, da hohe Auflösung, für mehrere Personen geeignetPro: well-suited for technical visualizations because of its high resolution, well-suited for groups of viewers
    • Contra: oft kein Stereo, begrenzte Interaktion im Nahbereich wegen fehlendem BodenContra: often no stereo projection, reduced interaction capabilities especially within working space, e.g. because of missing floor projection

Geräte zur Darstellung von 3D Stereo-BildernDevices for displaying 3D stereo images

CAVE

Entwurf der CAVE von First design of a CAVE by Cruz-Neira, 1993
    • Pro: volles Sichtfeld, sehr gute Interaktionsmöglichkeiten, Wahrnehmung des eigenen KörpersPro: maximum field of view, very good interaction possibilities, visual perception of the own body
    • Contra: nur für eine Person (neue auch für 2-3 Personen) geeignet, aufwändige InstallationContra: only well-suited for one viewer (newer installations may cover 2-3 persons) because of the projection technology, huge efforts for the installation necessary (space, ressources)

ZusammenfassungSummary

ZusammenfassungSummary

Inhalte dieser VeranstaltungTopics covered in this lecture

  • TheorieTheory
    • Visuelle Wahrnehmung des MenschenVisual perception in humans
    • ... mit dem Schwerpunkt auf 3D Wahrnehmungwith a focus on 3D perception
  • PraxisPractical aspects
    • Techniken zur Präsentation von 3D Stereo BildernTechnologies for the presentation of 3D stereo images

AusblickOutlook

Termin 04 - Akustische und andere WahrnehmungenAppointment 04 - Acoustic and other perceptions

  • Die auditive Wahrnehmung des MenschenThe acoustic perception of humans
  • Erzeugung von 3D GeräuschenProducing 3D sounds
  • Taktile und haptische InformationTactile and haptic information
  • Vermittlung von Kraft und WiderstandMediating force and resistance