Hintergrund 

Die menschliche Wahrnehmung ist multimodal. Menschen sehen, hören, schmecken, riechen und fühlen. Die meisten Datenanalysetools sind jedoch rein auf die visuelle Wahrnehmung ausgerichtet. Designs, die Informationen aus verschiedenen sensorischen Kanälen integrieren, gibt es kaum. Speziell die Aufbereitung von Daten für den visuellen und den auditiven Sinneskanal brächte jedoch einen echten Mehrwert, denn die visuelle Darstellung von Daten bietet Vorteile bei der Erkennung komplexer Muster, während die auditive (nichtsprachliche) Darstellung von Daten (als Sonifikation bezeichnet) besser geeignet ist, Ähnlichkeiten im zeitlichen Verlauf (temporale Muster) aufzuspüren.
Jene Forscher*innen, die sich vorrangig mit Datenvisualisierung und jene, die sich hauptsächlich mit Sonifikation (Beispiele im Data Sonification Archive: https://sonification.design/) beschäftigen, verfolgen das gleiche Ziel: Sie wollen es Nutzer*innen erleichtern, Muster in Daten zu erkennen. Obwohl die beiden Forschungsrichtungen ein gemeinsames Ziel teilen, haben sie sich in den letzten Jahrzehnten weitgehend unabhängig voneinander entwickelt. Diese Situation stellt den Ausgangspunkt für das vorliegende Dissertationsprojekt dar. Es unternimmt den Versuch beide Disziplinen näher zueinander zu führen und Prozesse mitanzustoßen an dessen Ende ein vereinheitlichtes theoretisches Grundgerüst für audiovisuelle Analysen steht.

Projektinhalt und Ziele 

Forscher*innen aus dem Bereich der Datenvisulisierung und ihren Kolleg*innen aus dem Bereich Datensonifikation brauchen eine gemeinsame Sprache, um sich auszutauschen und miteinander neue Analysewerkzeuge, welche die Vorteile aus beiden Welten vereinen, zu entwickeln. Ziel dieses Projekts ist es, eine solche Sprache zu finden oder vielmehr einen theoretischen Rahmen zu schaffen, der den Anforderungen beider Bereiche gerecht wird. Designs, die Visualisierung und Sonifikation zusammenführen, auf ihre Praxistauglichkeit zu testen und zu evaluieren ist ebenfalls ein wesentlicher Bestandteil des Projekts. Dafür nutzen wir:

• Benutzer*innenleistungsmetriken, die Einblick gewähren, auf welche Weise und inwieweit audiovisuelle Analysewerkzeuge dabei unterstützen können, Daten besser zu verstehen. 
• Benutzer*innenerfahrungsmetriken, die zeigen, wie Anwender*innen audiovisuelle „Darstellungsformen“ erleben und ob diese Erfahrungen positiv sind. 
• Qualitative Methoden bei der Evaluierung der Analysewerkzeuge, um die  Vorteile, die sich aus der Kombination von Sonifikation und Visualisierung ergeben, für beide Forschungsfelder klar herauszustellen.

Forschungsfragen und Methoden 

In diesem Forschungsprojekt beantworten wir unter anderem folgende Forschungsfragen:

• Wie lässt sich ein multimodaler Design-Raum beschreiben, der deutlich macht, welche Vorteile Visualisierung in Kombination mit Sonifikation hat und welche Möglichkeiten es für die praktische Umsetzung gibt?
• Wie können wir Datenanalysewerkzeuge entwickeln, bei denen sich auditive und visuelle Wahrnehmung sinnvoll ergänzen?
• Welche Vorteile bietet die Kombination von Visualisierung und Sonifikation bei der Erkennung von Mustern in Daten?

Um diese Fragen zu untersuchen, verwenden wir Methoden, die den (1) Designwissenschaften und (2) der Psychoakustik entliehen sind. Die Designwissenschaften befassen sich mit der Entwicklung von Artefakten (d. h. Produkte der Softwareentwicklung, welche Einblick in die Architektur, das Design und die Funktion einer Software geben) mit deren Hilfe Lösungen für konkrete Probleme ausgearbeitet werden können. Während des Entwicklungsprozesses entsteht außerdem neues Wissen über die Artefakte selbst. Studien aus dem Bereich der Psychoakustik, auf der anderen Seite, befassen sich mit den physikalischen Eigenschaften von Klängen und wie diese vom menschlichen Wahrnehmungsapparat verarbeitet werden. Sie weisen die Richtung für Untersuchungen, in denen ermittelt wird, ob und bis zu welchem Grad Anwender*innen von multimodalen Designs in der Datenanalyse profitieren.

Ergebnisse 

In dem vorliegende Dissertationsprojekt wird der aktuelle Forschungsstand zu Sonifikation und Visualisierung in einem Bericht zusammengefasst. Daneben liefert der Bericht auch überzeugende Argumente dafür, die Zusammenarbeit zwischen Expert*innen für Visualisierung und ihren Kolleg*innen aus dem Bereich der Sonifikation zu vertiefen. Ein weiteres Projektergebnis ist eine Taxonomie, die beide Forschungsfelder zusammenführt und es möglich macht einen gemeinsamen audiovisuellen Design-Raum zu beschreiben. Diese Taxonomie schließt somit eine Lücke und bietet ein theoretisches Grundgerüst mit dessen Hilfe audiovisuelle Analysewerkzeugen systematisch untersucht werden können. Die durchgeführten qualitativen und quantitativen Studien mit Prototypen audiovisueller Analysewerkzeuge demonstrieren, wie viel Potenzial in integrierten Designs, die auditive und visuelle Darstellungsformen kombinieren, steckt. 
Insgesamt unterstreicht das Projekt, dass multimodale Designs – also solche, die Sonifikation und Visualisierung vereinen – einen erheblichen Mehrwert bieten.