Grundlagen der Multimedia, VR und 3D-Rekonstruktion

Multimedia: Definition und Grundlagen

Multimedia ist eine Form der Kommunikation, die verschiedene Medientypen nutzt: Audio, Bilder, Texte, Videos und Animationen.

• Lineare Medien: Diese laufen von einem Startpunkt bis zum Ende durch, zum Beispiel Filme, Fernsehen oder Kino.
• Nichtlineare Medien: Hierbei steuert der Benutzer den Umgang mit dem Inhalt oder interagiert aktiv damit.

Virtual Reality (VR)

Synonyme: Synthetic Environment, virtuelle Welt, Cyberspace, Virtual Environment, Virtual Presence, künstliche Realität.

Definition: VR ist eine ausgereifte Benutzeroberfläche, die in Echtzeit eine computergenerierte Umgebung simuliert und multisensorische Interaktion ermöglicht.

Das VR-Dreieck (Immersion, Interaktion, Imagination)

• Immersion: Der Benutzer sollte das Gefühl haben, in die virtuelle Umgebung eingebettet zu sein, was den Eindruck von Realität vermittelt.
• Interaktion: Eine der wichtigsten Anforderungen an eine Virtual-Reality-Umgebung. Der Anwender interagiert mit dem System, wodurch der Eindruck der Immersion verstärkt wird. Hierfür werden Tracking-Systeme zur Erfassung der Benutzerbewegungen verwendet.
• Imagination: Die Benutzer müssen ihre Phantasie einsetzen, um die virtuelle Umgebung als reale Umgebung wahrzunehmen.

Eingebettete vs. nicht-immersive Umgebungen

Eine immersive virtuelle Umgebung ist eine dynamische dreidimensionale Szene (Animation), die computergestützt (z. B. via HMD) in Echtzeit angezeigt wird, sodass der Benutzer glaubt, in die Umgebung eingetaucht zu sein. Bei nicht-immersiven Umgebungen wird lediglich ein Bildschirm zur Anzeige genutzt.

Systemkomponenten und Human Factors

Ein VR-System besteht aus I/O-Geräten, Software, Datenbanken, Anwendungsaufgaben und einer Engine (geometrische Modellierung, Kinematik, Physik, intelligente Agenten). Human Factors berücksichtigen dabei das Wohlbefinden des Nutzers, die Wahrnehmung von Systemgrenzen und die Ergonomie der Aufgaben.

Augmented Reality (AR)

• Monitor-basiert: Technologie, die eine Mischung aus realen und virtuellen Inhalten zeigt, jedoch bei der Interaktion Defizite aufweist.
• Optical See-Through: Die reale Welt wird in Echtzeit beobachtet, während nur der virtuelle Kanal gerendert wird. Dies ist technisch einfach, aber anfällig für Verzögerungen.
• Video See-Through: Reale und virtuelle Welt werden elektronisch verarbeitet und ausgerichtet. Dies ist komplexer, aber besser handhabbar.

Interaktion: Interaktionstechniken beschreiben die Wege, wie das Zusammenspiel erfolgt, wobei physische Geräte zur Aufgabenbewältigung eingesetzt werden.

3D-Rekonstruktion

Kameramodell

Die 2D-Darstellung von 3D-Objekten erfolgt durch die Einstellung der Pose (Position und Orientierung). Mit homogenen Koordinaten wird die Projektion durch eine lineare Transformation dargestellt: P = K [R | t].

• K: Kamerakalibrierungsmatrix.
• R: Rotationsmatrix (Kameraorientierung).
• t: Translationsmatrix (Ursprung der Kamera relativ zum Koordinatensystem).

Rekonstruktions-Pipeline

Wiederherstellung einer 3D-Oberfläche aus einer Sequenz von Bildern, die durch freie Kamerabewegung um das Objekt aufgenommen wurden, inklusive Texturgewinnung.

Grundelemente der Rekonstruktion

• Keyframe-Generierung: Die Epipolargeometrie zwischen den Frames erfordert einen Mindestabstand (Baseline) und eine minimale Geschwindigkeit.
• Structure from Motion (SfM): Technik zur Berechnung der fundamentalen oder essentiellen Matrix aus einem Bildpaar (unter Verwendung von 5, 7, 8 oder mehr Punkten).
• Dense Reconstruction: Photometrische Verfahren basierend auf Diskrepanz sowie Techniken basierend auf Berichtigung und Stereoskopie.