Grundlagen Immersiver Technologien: Multimedia, VR & AR

Grundlagen des Multimedia

Definition von Multimedia

Multimedia bezeichnet Medien, die mehrere Formen von Information und Informationsverarbeitung verwenden.

Lineares und Nicht-Lineares Multimedia

• Lineares Multimedia: Der Nutzer hat keine Kontrolle über den Ablauf oder das Geschehen.
• Nicht-Lineares Multimedia: Ermöglicht eine Interaktion mit dem Benutzer.

Anwendungsbereiche von Multimedia

• Handel und Unterhaltung: Werbung für Produkte (E-Mail, Flyer, etc.).
• Bildung: Didaktische Spiele.
• Industrie: Interaktion mit Computern zur Produktherstellung.
• Mathematik und wissenschaftliche Forschung: Darstellung von Forschungsergebnissen (z. B. Atommodelle).
• Medizin: Chirurgie auf Distanz (z. B. durch Roboter).

Grundlagen der Virtual Reality (VR)

Synonyme für Virtual Reality

Mindestens drei Bezeichnungen für VR:

• Virtuelle Umgebung
• Künstliche Realität
• Virtuelle Welt

Definition von VR

VR ist eine Benutzeroberfläche, die eine Echtzeit-Simulation beinhaltet und die Interaktion mit dem Benutzer ermöglicht.

Das VR-Dreieck: Immersion, Interaktion und Imagination

Erklärung der Elemente des VR-Dreiecks:

• Immersion (Eintauchen): Das Gefühl, sich tatsächlich in der virtuellen Umgebung zu befinden.
• Interaktion: Die Möglichkeit, in Echtzeit mit der virtuellen Umgebung zu „tinkern“ oder zu agieren.
• Imagination (Vorstellungskraft): Die Fähigkeit, sich vorzustellen, dass die Umgebung real ist, um die Immersion zu verstärken.

Immersive vs. Nicht-Immersive VR

• Immersiv: Der Anwender fühlt sich komplett in die virtuelle Welt eingebunden.
• Nicht-Immersiv: Der Benutzer sieht die virtuelle Welt nur durch ein „Sieb“ (z. B. Computerbildschirm, Fernseher).

Klassifizierung von Umgebungen

Differenzierung der Realitätsformen:

• Reale Umgebung: Die normale Wirklichkeit ohne virtuelle Elemente.
• Augmented Reality (AR): Die normale Umgebung, der virtuelle Objekte hinzugefügt werden.
• Augmented Virtualität: Eine virtuelle Umgebung, der reale Objekte hinzugefügt werden.
• Virtuelle Umgebung: Eine rein virtuelle Umgebung ohne hinzugefügte reale Elemente.

Gründe für die Nutzung von VR

Drei Hauptgründe:

• Die reale Umgebung ist gefährlich.
• Die reale Umgebung ist zu teuer.
• Virtuelle Umgebungen sind „größer“ oder bieten mehr Möglichkeiten.

Gründe gegen die Nutzung von VR

Drei Hauptgründe:

• Systemkosten und Komplexität.
• Aufwendige Entwicklung.
• Unbequeme Ausrüstung.

Historische Fakten zur VR

• Ivan Sutherland: US-amerikanischer Informatiker, der das HMD (Head Mounted Display) entwickelte.
• Begriff „Virtual Reality“: 1989 von Jaron Lanier geprägt.

Fünf Elemente eines VR-Systems

Kurze Erklärungen der Komponenten:

1. Motor: Zuständig für I/O-Mapping (Treiber) und Datenbank.
2. Software: Unterstützt die Kommunikation zwischen Geräten und I/O.
3. I/O-Geräte: Interface und Navigation für den Nutzer.
4. Gesten: Human Factors in der VR.
5. Arbeit/Anwendungen: Einsatzgebiete von VR (Medizin, Unterhaltung, etc.).

Human Factors in der VR

Drei zentrale Fragen:

• Sollen sich Benutzer wohlfühlen?
• Erkennen Benutzer die Grenzen des Systems?
• Welche Benutzermerkmale beeinflussen die Leistung in VR?

Einsatzgebiete von VR

• Traditionell: Medizin, Kunst, Militär, Unterhaltung.
• Schwellenländer: Verarbeitende Industrie, Öl und Gas.

Forschungsfragen in der VR

Drei aktuelle Forschungsbereiche:

• Erhöhung des Realismus.
• Reduzierung der Verzögerung (Latenz).
• Transparente Zusammenarbeit zwischen Nutzern.

Grundlagen der Augmented Reality (AR)

Definition von AR

AR kombiniert die reale Welt (die vom Benutzer beobachtet wird) mit einer durch den Computer generierten virtuellen Szene.

Utopisches Ziel der AR

Das utopische Ziel ist die Schaffung eines Systems, bei dem der Benutzer die reale Welt nicht von der virtuell erweiterten Welt unterscheiden kann.

Hauptunterschied zwischen VR und AR (Immersion)

• VR: Der Benutzer hat keinen Zugriff auf die reale Welt, sondern taucht vollständig in die virtuelle Welt ein.
• AR: Der Benutzer sieht die reale Welt um sich herum, die jedoch mit virtuellen Objekten angereichert ist.

AR vs. Hollywood-Effekte

Hollywood-Effekte können nicht als Augmented Reality betrachtet werden, da der Benutzer nicht mit ihnen interagieren kann.

Komponenten eines AR-Systems mit Tracking

Ein Tracking-System dient dazu, die tatsächliche und die virtuelle Kamera aufeinander auszurichten.

Funktionsweisen von AR-Systemen

Monitor-basierte AR

Virtuelle Objekte werden in ein Video über einen „Video-Mischer“ hinzugefügt, um ein erweitertes Video zu erzeugen.

Video-See-Through (Helm-basiert)

Eine Helmkamera verbindet die realen Bilder mit virtuellen Objekten und zeigt das Ergebnis auf einem Monitor vor dem Benutzer an.

Optisches See-Through (Helm-basiert)

Der Helm mischt Bilder durch eine geneigte Linse (optische Mischung), um virtuelle Objekte im Sichtfeld des Benutzers darzustellen.

Vor- und Nachteile von See-Through-Methoden

Video-See-Through

• Vorteil (Pro): Bessere Ausrichtung, da sowohl die reale als auch die virtuelle Welt elektronisch gesteuert werden.
• Nachteil (Kontra): Die Beobachtung der realen Welt erfolgt immer verzögert in Bezug auf die tatsächliche Realität.

Optisches See-Through

• Vorteil (Pro): Die reale Welt wird tatsächlich in Echtzeit beobachtet.
• Nachteil (Kontra): Die Kontrolle und Ausrichtung ist schwieriger, da nur das Virtuelle elektronisch gesteuert wird.

Probleme in der AR: Räumliche und Zeitliche Verzögerung

• Zeitliche Verzögerung (Latenz): Die Verzögerung zwischen dem realen und dem virtuellen Objekt.
• Räumliche Verzögerung: Objekte werden an der falschen Stelle angezeigt (z. B. „fliegende“ Objekte).

Anwendungsgebiete der AR

Drei Beispiele:

• Medizin
• Bildung
• Militär