Immersive Media Lab

Verknüpft Know-how zu aktuellen technologischen Entwicklungen in den Bereichen Augmented und Virtual Reality mit interdisziplinärer Forschung zu immersivem Storytelling.

Raum für Augmented und Virtual Reality

Das Forschungsprojekt Immersive Media Lab erweitert das Spektrum technologischer Entwicklungen und deren Anwendung im Bereich Augmented und Virtual Reality (AR/VR). Bedingt durch die mittlerweile einfache Verfügbarkeit ist die Popularität von immersiven Technologien stark gestiegen und hat neuen Ideen und Einsatzmöglichkeiten in unterschiedlichen Wissensfeldern und Anwendungsgebieten den Weg geebnet. Diese thematische Breite spiegelt auch das Immersive Media Lab wider, denn es lässt sich von Kunst, Wirtschaft und Wissenschaft inspirieren. Das Projekt setzt modernste AR- und VR-Technologie in fünf Use Cases ein (mehr dazu im Menü auf der linken Seite) "Immersive Video Interaction" (IVI), "Intermedia Motion Tracking in AR/VR" (IMTA), "Auditory Augmented Reality in Production" (AARiP), "AR Interfaces for the Industrial Internet of Things" (AIIT), und "Enlightening Patients with Augmented Reality" (EPAR) münden alle in prototypische Anwendungen und beinhalten als zentrales Element immersives Storytelling.

Copyright Julia Püringer

Methoden und Forschungsfragen

Bei der wissenschaftlichen und künstlerischen Auseinandersetzung mit Storytelling in Verbindung mit AR/VR spielen die Begriffe Interaktivität und Immersion eine wichtige Rolle. Eine "Geschichte" definiert sich in ihrer einfachsten Form aus zumindest zwei zeitlich aufeinanderfolgenden Ereignissen, die miteinander verknüpft sind. Bei komplexeren Ereignisketten kommen meist weitere Elemente hinzu, die gemeinsam einen linearen Erzählstrang bilden. Das digitale Storytelling geht darüber hinaus und eröffnet eine Vielfalt an neuen Möglichkeiten. Neben linearen, sind auch multilineare, episodische, zyklische oder andere experimentelle Formate mit oder ohne interaktive Komponenten und unter Einbindung von Datenvisualisierungen realisierbar. Das Immersive Media Lab deckt verschiedene Bereiche ab, darunter Creative Media, Smart Manufacturing und Digital Healthcare, die in unterschiedlichen Forschungskontexten eingebettet. Jeder Use Case entwickelte also seine eigene "Geschichte", die auf den definierten Kontext, den Zweck der Erzählung und die Anforderungen des jeweiligen Mediums abgestimmt ist.

Diese verschiedenen Wege eine Geschichte mit Methoden der AR/VR zu erzählen, verlangte nach der Beantwortung folgender Fragen:

  • Inwieweit können bekannte Storytelling-Strategien bei AR/VR-Anwendungsfällen sinnvoll eingesetzt werden?
  • Welche Potenziale lassen sich mit Storytelling in AR/VR für die jeweiligen Anwendungsbereiche heben?
  • In welchen Fällen ist es notwendig, neue Strategien zu entwickeln und bis zu welchem Grad lassen sich diese in generell anwendbare Lösungen überführen?

Enlightening Patients with Augmented Reality (EPAR)

Zum Use Case

Auditory Augmented Reality in Production (AARiP)

Zum Use Case

Intermedia Motion Tracking in AR/VR (IMTA)

Zum Use Case

IMMERSIVE VIDEO INTERACTION (IVI)

Zum Use Case

AR Interfaces for the Industrial Internet of Things (AIIT)

Zum Use Case

Projektergebnisse

Die fünf Use Cases demonstrieren, dass Storytelling in seinen unterschiedlichen Ausprägungen über ein breites Spektrum an immersiven Methoden hinweg sinnvoll eingesetzt werden kann. Das Potenzial für jeden Anwendungsbereich konnte klar herausgearbeitet werden.  Die Projektergebnisse zeigen außerdem, dass erzählerische Elemente, die für die einzelnen Use Cases entwickelt wurden, sich als allgemeine Lösungen für verschiedenen immersive Umgebungen eignen.

Die Projektresultate zu immersivem Storytelling in den Bereichen Creative Media, Smart Manufacturing und Healthcare sind in den Storytelling Guidelines (siehe Download unten) und in einer Präsentation zusammengefasst (siehe Video unten):

In mehreren Co-Creation Workshops wurden die Ergebnisse des Immersive Media Lab mit einem Expert*innenbeirat diskutiert. Darüber hinaus richteten das Immersive Media Lab und der Projektpartner OpenGLAM.at die Konferenz und den Hackathon "XChange! Reality! Exploring the Future of Current Challenges with Augmented and Virtual Reality" aus. Dabei ging es darum, den Nutzen von immersivem Storytelling und AR/VR für Umweltfragen, Regionalentwicklung, Architektur, Tourismus, Kunst, Industrie und Gesundheit zu diskutieren.

https://www.fhstp.ac.at/de/newsroom/events/xchange-reality

Präsentation

Storytelling Guidelines

Publikationen

Baumann, C., & Schlager, A. (2022, June 23). Immersive Storytelling as Knowledge Production in Virtual and Augmented Reality [Präsentation]. Epistemic Media: Atlas, Archive, NetworkNECS 2022 Conference, Bukarest. https://necs.org/conference/
Husinsky, M., Schlager, A., Jalaeefar, A., Schumach, M., & Jacheck, M. (2022, December 3). Situated Visualization of IIoT Data on the Hololens 2. 1st International Workshop on EXtended Reality for Industrial and Occupational Supports (XRIOS). IEEEVR, Online Event.
Wintersberger, M., Baumann, C., Jachek, M., Munk, C., Nagl, A., & Vogt, G. (2021, December 31). Intermedia Motion Tracking in AR/VR – On Immersive Storytelling and Choreographic Patterns. ISSN: 2436-0503 – The Kyoto Conference on Arts, Media & Culture 2021: Official Conference Proceedings. The Kyoto Conference on Arts, Media & Culture 2021, Kyoto, Japan. https://papers.iafor.org/submission61349/
Wintersberger, M., & Munk, C. (2021, October 11). Intermedia Motion Tracking in AR/VR – On Immersive Storytelling and Choreographic Patterns. The 2nd Kyoto Conference on Arts, Media & Culture (KAMC2021) [Vortrag mit Diskussion ONLINE]. https://kyoto-amc.iafor.org/
Aigner, W. (2021, March 23). Visual Analytics for Time-Oriented Data [Invited Talk]. ERFA Industrial Data & Analytics - Zeitreihenanalyse, Kremsmünster, Austria.
Bruckner, Franziska, F. (2020, July 9). Virtual Worlds, Virtual Realities [Keynote Lecture]. GLOBE PLAYHOUSE – EXPANDED ANIMATION WORLDS – Masterclass Artistic Research, Potsdam. https://www.filmuniversitaet.de/studium/studienangebot/filmuni-summer-school/masterclass-artistic-research/
Iber, M., Lechner, P., Jandl, C., Mader, M., & Reichmann, M. (2020). Auditory augmented process monitoring for cyber physical production systems. Personal and Ubiquitous Computing. https://doi.org/10/ghz24q
Jakl, A., Lienhart, A.-M., Baumann, C., Jalaeefar, A., Schlager, A., Schöffer, L., & Bruckner, F. (2020). Enlightening Patients with Augmented Reality. 9. https://doi.org/10/ghppzb
Jandl, C., Mader, C., & Iber, M. (2019). AARiP-Virtual Reality App for Oculus Go (1.0) [Computer software].
Bruckner, F. (2019, June 18). Virtual Hybrid Spaces. Notes in Combinations of Live-Action and Animation within Virtual Environments. [Presentation]. 31st Society for Animation Studies Conference: Animatio is a Place, Lisboa, Portugal. http://sas2019.ulusofona.pt/presentations/virtual-hybrid-spaces-notes-on-combinations-of-live-action-and-animation-within-virtual-reality-environments/
Bruckner, F., Fischer, E., Chihan Stanley, G., & Ladenhauf, G. (2019, May 16). Virtual and Augmented Reality as an artistic medium and a tool for communication [Panel Diskussion]. Soundframe Walkie Talkie, Vienna. http://soundframe.at/2019/05/21/discussion-record/?fbclid=IwAR0GsvwXxQimpWNxD3wd5TtXkYXBIaDpmaNcM38JbDtJNq8F5THIUoqIWt0#info
Bruckner, F., & Horsak, B. (2019). Labore für virtuelle Welten und Gesundheit [Radiobeitrag]. https://www.fhstp.ac.at/de/newsroom/news/labore-zum-erforschen-virtueller-welten?fbclid=IwAR1Ivh1Q0pjUQdn2GFaCjnwh3UbzocImZTPVvRxZ7NSS2i2E5YIpkYpDaH8
Iber, M., Lechner, P., Jandl, C., Mader, M., & Reichmann, M. (2019). Auditory Augmented Reality for Cyber Physical Production Systems. AudioMostly (AM"19). AudioMostly (AM"19), Nottingham, UNited Kingdom. https://doi.org/10.1145/3356590.3356600}
Schöffer, L., & Schlager, A. (2019). Enlightening Patients with Augmented Reality [Android].
Bruckner, F. (2019). Virtual Hybrid Image, Virtual Hybrid Montage: Notes on the Hybridization of Live Action and Animation within Virtual Reality Environments. In J. Hagler, M. Lankes, & A. Wilhelm (Eds.), Expanded Animation. Mapping an Unlimited Landscape (pp. 64–71). 978-3-7757-4525-3. https://www.hatjecantz.de/expanded-animation-7475-0.html
Bruckner, F., Vogt, G., Baumann, C., Husinsky, M., Jakl, A., Püringer, J., Von Suess, R., & Markus Wintersberger. (n.d.). The Spectrum of Immersive Storytelling - from Cinema to Data Storytelling. Convergence: The International Journal of Research into New Media Technologies, Convergence Immersive Storytelling Special Issue. https://journals.sagepub.com/home/con

Sie wollen mehr wissen? Fragen sie nach!

Forschungsgruppenleiterin
Forschungsgruppe Media Creation
Institut für Creative\Media/Technologies
Department Medien und Digitale Technologien
Arbeitsplatz: A - Campus-Platz 1
M: +43/676/847 228 674