JHML -Kooperative Datenexploration durch Mensch und Maschine

Kombination von Maschinellem Lernen mit Visualisierungsmethoden für die explorative Datenanalyse.

Hintergrund

Um mit Hilfe von Daten eine fundierte Entscheidung zu treffen, müssen diese analysiert, aufbereitet und verstanden werden. Da die Menge und Verfügbarkeit von Daten rapide zunimmt, spielt die explorative Datenanalyse eine immer größere Rolle. Ziel der explorativen Datenanalyse ist es, der Nutzer*in in möglichst kurzer Zeit einen möglichst guten Einblick in die Daten zu geben. Aufgrund der großen Datenmengen, die zudem häufig in unstrukturierter Form (z.B. Bilder) vorliegen, sind klassische Techniken der Datenexploration dafür jedoch nur bedingt geeignet. Methoden des maschinellen Lernens (ML) können hier zwar gute Dienste leisten, sind aber auf eine ausreichend große Anzahl an vorab verschlagworteten Daten angewiesen. In der Praxis sind diese aber oft nicht verfügbar. Noch schwieriger wird es, wenn die Struktur der Daten (z.B. die enthaltenen Kategorien und Klassen) nicht im Vorhinein bekannt sind. Wie aus solchen Daten effizient Wissen gewonnen werden kann, ist Thema dieses Projekts.

Projektinhalt

In diesem Projekt betrachten wir Datenexploration und Wissensextraktion als ineinandergreifende und sich gegenseitig befeuernde Prozesse. Das wachsende Verständnis der Daten durch die Benutzer*innen soll nach und nach in das ML-Modell einfließen und in gleicher Weise auf die Benutzer*innen zurückwirken und so deren Verständnis der Daten weiter vertiefen. Dieser schrittweise Prozess spiegelt sich auch in den verwendeten Visualisierungen wider, die das ermittelte Wissen repräsentieren. Konkret etablieren wir einen Ansatz der Joint Data Exploration (JDE), der inspiriert ist durch die sogenannte Data-Frame-Theorie und der die Stärken des maschinellen Lernens mit jenen menschlicher visueller Wahrnehmung und menschlicher analytischer Fähigkeiten vereint. Benutzer*innen und Domänenexpert*innen stehen dabei in einem Dialog mit einem intelligenten Agenten, der von ihren Erkenntnissen, Wissenslücken und Meinungsverschiedenheiten lernt.

Ein solche Vorgehensweise hilft vage Vorstellungen über die Daten in konkrete Erwartungen zu überführen. Außerdem weist der Agent die Benutzer*innen auf unerwartete Muster und Informationen hin und enthüllt so neue, potenziell interessante Aspekte. Er erweitert den Kenntnisstand und unterstützt dabei das gewonnenen Wissen zu festigen.

Ziele

Das Hauptziel des Projekts ist es, neue Wege bei der Datenexploration zu erkunden. Wir wollen einen Dialog zwischen Mensch und Maschine ermöglichen und auf diese Weise den Informationsgewinn aus Daten verbessern und effizienter gestalten. Da auch Personen mit wenig oder keiner Erfahrung im Bereich des maschinellen Lernens von den Datenexplorationsmethoden profitieren sollen, müssen sie leicht und intuitiv zu bedienen, zielgerichtet und vielseitig einsetzbar sein und in der Lage sein, mit den Standpunkten, Perspektiven und Ideen mehrerer Personen umzugehen. Wir streben überdies eine Lösung an, die leicht zugänglich ist, sich für verschiedene Szenarien und Umgebungen eignet und hohen Qualitätsstandards genügt. Um dies zu erreichen, müssen die folgenden Fragen geklärt werden:

  • Ist es möglich, auf Basis von grafischen Externalisierungen (z.B. Concept Maps, Mind Maps oder räumlich organisierte physische Informationseinheiten) zu lernen, wie Benutzer*innen Daten verstehen?
  • Lassen sich die subjektiven Perspektiven, Ideen, Ansichten von Benutzer*innen in formalisierbare Konzepte fassen (personalisierte Konzept-Räume).
  • Sind Visualisierungen dafür geeignet die Nutzer*innen dazu zu bewegen, bereits gewonnene Erkenntnisse zu hinterfragen, sie zu reformulieren und sie als neue Anfrage wieder an das System zu kommunizieren, um so das Verständnis der Daten schrittweise zu vertiefen.

Methoden

Wir setzen auf interaktives maschinelles Lernen und auf interaktive Visualisierungen, um Wissen aus Daten zu extrahieren. Die Kommunikation zwischen dem System und den Benutzer*innen wird dabei genutzt, um im Zuge der Datenexploration, Strukturen in den Daten zu identifizieren. Im Gegensatz zu bestehenden Ansätzen betrachten wir die Datenexploration aus einer neuen Perspektive. Wir richten das Augenmerk vorwiegend auf die Entdeckung und Definition komplexer struktureller Informationen auf Basis der Daten und fokussieren weniger auf das im Zuge der Datenexploration trainierte Modell (wie im Machine Learning) oder die Daten selbst (wie in der Visualisierung). Darüber hinaus schlagen wir einen neuen Designprozess an, der iterative Design- und Evaluierungsschritte umfasst. Im Mittelpunkt dieses Prozesses steht eine Studie, die darauf abzielt, Benchmark-Daten zu sammeln und Leitlinien für die interaktive Datenexploration zu entwickeln. Um die breite Anwendbarkeit unserer Entwicklung sicherzustellen, führen wir Fallstudien mit Expert*innen aus Disziplinen abseits der Computerwissenschaften durch.

 

Fördergeber

Sie wollen mehr wissen? Fragen Sie nach!

Forschungsgruppenleiter
Forschungsgruppe Media Computing
Institut für Creative\Media/Technologies
Department Medien und Digitale Technologien
Arbeitsplatz: A - Campus-Platz 1
M: +43/676/847 228 652
Externe Projektleitung
Assistant Prof. Dr.in techn. MSc. Manuela Waldner (lead)
Externe MitarbeiterInnen
Univ.Prof. Dipl.-Ing. Dr.techn. Eduard Gröller
PartnerInnen
  • TU Wien/ Institute of Visual Computing & Human-Centered Technology
Finanzierung
FWF /PrjNr: P 36453
Laufzeit
01.05.2023 – 30.04.2026
Projektstatus
laufend
Beteiligte Institute, Gruppen und Zentren
Center for Artificial Intelligence
Forschungsgruppe Media Computing
Institut für Creative\Media/Technologies