SoniVis

Entwicklung eines einheitlichen Rahmens für die kombinierte auditive und visuelle Datenanalyseansätze

Hintergrund

Das Auswerten von Daten wie zum Beispiel in der Analyse von Produktionsprozessen erfordert viele Schritte, die sich nicht vollständig automatisieren lassen. Meist ist die Arbeit von  Analyst*innen, also Menschen, erforderlich. Derartige Analyseansätze zwischen automatisierter Auswertung und menschlicher Interpretation und Steuerung wurden sowohl im Forschungsfeld der Informationsvisualisierung als auch der Sonifikation, der „Verklanglichung“, also der Darstellung von Daten in Klängen, entwickelt. Während Informationsvisualisierungsansätze die computerbasierte, interaktive visuelle Darstellung von Daten erforschen, veranschaulicht Sonifikation Information auditiv durch nicht-sprachliche Klänge. Im Angesicht steigender Datenmengen und -komplexität stoßen aber beide Ansätze an ihre Grenzen, zumal die Wahrnehmungskapazitäten von Menschen als Grundlage der Interpretation der Bilder und Klänge limitiert sind.
Obwohl bereits zahlreiche Studien die auditive oder die visuelle Repräsentation von Daten untersuchten, gab es nur wenige Versuche diese beiden Kanäle zu kombinieren. Es fehlen Datenanalyseansätze, die beides auf systematische und komplementäre Weise kombinieren; also die gegenseitige Beeinflussung der Kanäle berücksichtigen. Bestehende Versuche waren oft auf einen Kanal fokussiert und vernachlässigten den anderen. Deshalb gibt es noch keinen etablierten methodischen Ansatz Informationsvisualisierung und Sonifikation in Form einer komplementären Designtheorie zu kombinieren.

Projektinhalt und -ziele

Das Projekt SoniVis zielt darauf ab, die Lücke zwischen Sonifikation und Visualisierung zu schließen. Dabei soll die Basis für eine vereinheitlichte Designtheorie einer audio-visuellen Analytics gelegt werden, die den visuellen und den auditiven Kanal miteinander ergänzt. Dafür vereinigt das Projekt Kompetenzen aus den Feldern der Informationsvisualisierung und Sonifikation. 
Im Rahmen des Projekts werden wir

  • die Bandbreite der Designmöglichkeiten für komplementäre audio-visuelle Datenanalyseansätze abstecken;
  • die praktische Umsatzbarkeit in Form einer Designstudie anhand der Analyse von Produktionsprozessen untersuchen; und
  • ein kontrolliertes Experiment durchführen, um verschiedene komplementäre audio-visuelle Analytics-Ansätze empirisch zu vergleichen.

 Methode und Ergebnisse

Das Projekt stellt den Menschen in den Mittelpunkt (human-centred) und verfolgt einen problemorientierten Forschungsprozess der auf dem Paradigma des Design Science Research basiert. Die Phasen des Entwurfs und der Evaluierung sind eng miteinander verzahnt, sodass Ansätze zeitnah überprüft werden können und so das Risiko nicht aussagekräftiger Ergebnisse reduziert wird.
Erwartete Forschungsergebnisse sind in erster Linie Designprinzipien (Kernprinzipien und Konzepte zur Steuerung des Designs) und Instanziierungen (digitale Artefakte, d.h. situierte Implementierungen in bestimmten Umgebungen). Darauf aufbauend arbeiten die Forschenden an einer Designtheorie zur Integration von interaktiver Visualisierung und Sonifikation für Datenanalyseaufgaben.
 

Presseberichte

Hören und Sehen miteinander verbinden
30.06.2022

Forscher*innen der FH St. Pölten verknüpfen unser Hören und Sehen für die Analyse von Daten

"Sehen und Hören in Einklang bringen"
22.01.2021

Medium: Die Presse
Autorin: Veronika Schmidt

Publikationen

Aigner, W. (2022, June 30). TimeViz: Visualization of Time-Oriented Data [Invited Talk]. CSIG-VIS International Lecture Series - ChinaVis, Online. https://chinavis.org/lectures/english/index_en.html
Aigner, W. (2022, June 10). TimeViz: Visualization of Time-Oriented Data [Invited Talk]. Seminar Series on "Information Technology Outlook," Bari, Italy.
Aigner, W., Enge, K., Iber, M., Rind, A., Elmqvist, N., Höldrich, R., Rönnberg, N., & Walker, B. N. (2022). Workshop on Audio-Visual Analytics. Proceedings of the 2022 International Conference on Advanced Visual Interfaces, 92:1-92:4. https://doi.org/10.1145/3531073.3535252
Rind, A., Böck, J., Boucher, M., Grassinger, F., Kirchknopf, A., Stoiber, C., Stumpe, E., & Zauchinger, M. (2022). Wie können wir Daten erlebbar machen? [Demo & Poster]. Lange Nacht der Forschung 2022, St. Pölten.
Enge, K., Rind, A., Iber, M., Höldrich, R., & Aigner, W. (2022). Towards Multimodal Exploratory Data Analysis: SoniScope as a Prototypical Implementation. In M. Agus, W. Aigner, & T. Hoellt (Eds.), Proc. 24th Eurographics Conference on Visualization (EuroVis 2022) - Short Papers (pp. 67–71). Eurographics Association. https://doi.org/10.2312/evs.20221095
Enge, K. (2021, October). Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization - IEEE VIS Doctoral Colloquium [Presentation]. IEEE VIS Doctoral Colloquium, Virtual Meeting.
Enge, K. (2021, June 25). Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization - ICAD Student Think Tank 2021 [Presentation]. ICAD Student Think Tank 2021, Virtual Meeting. https://icad2021.icad.org/think-tank/
Enge, K. (2021, June 19). Exploratory Data Analysis using Multimodal Representations: Joint Sonification and Visualization - KUG Doktorand*innen Forum [Presentation]. KUG Doktorand*innen Forum, Graz (Austria). https://phd.kug.ac.at/fileadmin/03_Microsites/01_Kuenstlerisch_wissenschaftliche_Einheiten/02_Doktorratsschulen/Doktoratsschule_fuer_das_wissenschaftliche_Doktoratsstudium/04_Laufende_Dissertationen/Enge_Praes1.pdf
Enge, K. (2021, June 18). Listening experiment on the plausibility of acoustic modeling in virtual reality [Invited Talk]. All Around Audio Symposium 2021, St. Pölten, Austria. https://www.fhstp.ac.at/en/newsroom/events/allaroundaudio-2021
Enge, K., Wasserfall, S., & Frauscher, E. (2021, December 5). Workshop on the Virtual Urban Soundscape Designer [Workshop]. klingt gut! symposium on sound 2021, Hamburg. https://www.klg-tenor-21.de/static/program/KlingGut2020_21%20-%20Digital%20Program%20-%20V2_2.pdf
Aigner, W. (2021, March 23). Visual Analytics for Time-Oriented Data [Invited Talk]. ERFA Industrial Data & Analytics - Zeitreihenanalyse, Kremsmünster, Austria.
Enge, K., Rind, A., Iber, M., Höldrich, R., & Aigner, W. (2021). It’s about Time: Adopting Theoretical Constructs from Visualization for Sonification. Proceedings of the 16th International Audio Mostly Conference (AM"21), 64–71. https://doi.org/10/gnhmbh
Aigner, W., Enge, K., Iber, M., Rind, A., Elmqvist, N., Höldrich, R., Rönnberg, N., & Walker, B. N. (2021). Workshop on Audio-Visual Analytics – Identifying Research Gaps for Integrating Sonification and Visualization. Audio Mostly Workshops.
Finanzierung
FWF
Laufzeit
01.09.2020 – 01.03.2024
Projektstatus
laufend