VisOnFire. Workflows verstehen und visualisieren

Visual Analysis of Large and Heterogeneous Scientific Workflows for Analytical Provenance – Ein forensisches Analysetool soll die Visualisierung von Datenanalyseworkflows ermöglichen und so die Reproduzierbarkeit von Studien erhöhen.

Copyright: JKU Linz/Stefan Luger

Komplexe Analyse von großen Datenmengen

In den letzten Jahren finden sich immer mehr wissenschaftliche Disziplinen mit einer großen Menge höchst komplexer Daten konfrontiert.  In groß angelegten Analyseexperimente werden Daten mithilfe von Workflows, bestehend aus Datentransformationen und Analyseoperationen, ausgewertet. Oft arbeiten große Forschungsteams von verschiedenen Standorten aus an solchen Workflows, administrieren und ändern sie laufend. Dadurch ist es schwierig nachzuvollziehen, wo welche Änderungen vollzogen wurden und welche Auswirkungen diese auf Resultate hatten. So wird die Reproduzierbarkeit und Nachvollziehbarkeit von repräsentativen Studien, einem Fundament der Wissenschaft, in Mitleidenschaft gezogen.  Denn was, wenn die einzelnen Forschungsschritte nicht mehr nachvollziehbar sind? 

Den Workflow verstehen und visualisieren

Der Schlüssel zu Nachvollziehbarkeit und Reproduzierbarkeit liegt in der Sammlung von Informationen über die verarbeiteten Daten, die angewandten Werkzeuge und Algorithmen im Laufe der Zeit. Derzeit ist es, wenn überhaupt möglich, sehr zeitaufwändig herauszufinden, welche konkreten Änderungen auf dem Level der Eingangsdatensätze, dem Workflow selbst oder der Parametrisierung bei der Wiederholung von Studien zu Variationen im Resultat geführt haben. Um ein forensisch visuelles Werkzeug für die Analyse von Workflow Provenance Graphen zu ermöglichen, werden folgende Komponenten entwickelt:

  1. Neuartige visuelle Analysemethoden für skalierbare Workflow-Visualisierung,
  2. Möglichkeiten zum Vergleich von komplexen Datenstrukturen, sowie
  3. Metriken zum Quantifizieren von Änderungen.

Nachvollziehbarkeit und Reproduzierbarkeit

Ziel des Projekts ist die Nachvollziehbarkeit auf allen Ebenen, also dass die Herkunft der Daten zu jeder Zeit klar und sichtbar ist. Visualisierung und detaillierte Beschreibung einzelner Arbeitsschritte sind mithilfe der neuen Tools möglich und machen die Herkunft von Änderungen klar ersichtlich und identifizierbar. Das garantiert Analyst*innen ein besseres Verständnis des Workflows und somit auch einen Einblick darin, wie sich Änderungen im Workflow auf die Resultate auswirken. So kann die Nachvollziehbarkeit von Analyseergebnissen garantiert und die Reproduzierbarkeit veröffentlichter Studien gehoben werden. Das Projekt birgt also für viele Bereiche und Disziplinen der Wissenschaft großes Potential.

Weiterführende Links

Project Website

Copyright: JKU Linz/Stefan Luger

Copyright: JKU Linz/Stefan Luger

Publikationen

Aigner, W. (2023, May 22). Visualization Literacy & Onboarding. VRVis Forum #176 | Digital Humanism, Vienna, Austria. https://www.vrvis.at/news-events/events/176-digital-humanism
Stoiber, C., Emrich, Š., & Aigner, W. (2023). Design Guidelines for Visualization Onboarding Concepts in Data Journalism [Vortrag]. STS Conference, Graz. https://stsconf.tugraz.at/
Horak, T., Aigner, W., Brehmer, M., Joshi, A., & Tominski, C. (2022). Responsive Visualization Design for Mobile Devices. In B. Lee, E. K. Choe, P. Isenberg, & R. Dachselt (Eds.), Mobile Data Visualization. CRC Press; 10.1201/9781003090823-2. https://www.routledge.com/Mobile-Data-Visualization/Lee-Dachselt-Isenberg-Choe/p/book/9780367534714
Stoiber, C., Grassinger, F., Pohl, M., Stitz, H., Streit, M., & Aigner, W. (2019). Visualization Onboarding: Learning How to Read and Use Visualizations. IEEE Workshop on Visualization for Communication. IEEE Symposium on Information Visualization, Vancouver, BC, Canada. https://doi.org/10/gh38zd
Stoiber, C., Rind, A., Grassinger, F., Gutounig, R., Goldgruber, E., Sedlmair, M., Emrich, S., & Aigner, W. (2019). netflower: Dynamic Network Visualization for Data Journalists. Computer Graphics Forum (EuroVis "19), 38. https://doi.org/10/ghm4jz
Stoiber, C., Wagner, M., Ceneda, D., Pohl, M., Gschwandtner, T., Miksch, S., Streit, M., Girardi, D., & Aigner, W. (2019). Knowledge-assisted Visual Analytics meets Guidance and Onboarding. IEEE Application Spotlight. IEEE Symposium on Information Visualization, Vancouver, BC, Canada.
Dahnert, M., Rind, A., Aigner, W., & Kehrer, J. (2019). Looking beyond the horizon: Evaluation of four compact visualization techniques for time series in a spatial context. ArXiv:1906.07377 [Cs]. http://arxiv.org/abs/1906.07377
Gäbler, J., Winkler, C., Lengyel, N., Wallner, G., Aigner, W., Stoiber, C., & Kriglstein, S. (2019). Diagram Safari: A Visualization Literacy Game for Young Children. Proceedings of CHI PLAY 2019. https://doi.org/10/gh377j
Streit, M., Aigner, W., & Girardi, D. (2018, March 1). Injecting Life into Visualizations for Biomedical Research. DBMI Open Insights Seminar, Harvard University. https://www.youtube.com/watch?v=a11GSabhDfs
Niederer, C., Stitz, H., Hourieh, R., Grassinger, F., Aigner, W., & Streit, M. (2018). TACO: Visualizing Changes in Tables Over Time. IEEE Transactions on Visualization and Computer Graphics (InfoVis "17), 24(1), 677–686. https://doi.org/10/ghppzq
Aigner, W. (2017, June 11). Media-Assisted Healthcare & Living: Daten besser nutzbar machen mit Interaktiven Technologien [Keynote]. IMC HealthWeek, Krems (Austria).
Rind, A., Haberson, A., Blumenstein, K., Niederer, C., Wagner, M., & Aigner, W. (2017). PubViz: Lightweight Visual Presentation of Publication Data. In B. Kozlíková, T. Schreck, & T. Wischgoll (Eds.), Proc. Eurographics Conf. Visualization (EuroVis) – Short Paper (pp. 169–173). EuroGraphics. https://doi.org/10/cwdc
Aigner, W. (2017, April 5). Mit Visual Analytics zu Data-Driven Banking [Keynote]. Bankensymposium Wachau, Göttweig (Austria).
Tominski, C., Aigner, W., Miksch, S., & Schumann, H. (2017). Images of Time: Visual Representation of Time-Oriented Data. In A. Black, P. Luna, O. Lund, & S. Walker (Eds.), Information Design: Research and Practice (pp. 23–42). Gower/Routledge. http://mc.fhstp.ac.at/sites/default/files/publications/Tominski17ImagesOfTime.pdf
Kromer, L., Wagner, M., Blumenstein, K., Rind, A., & Aigner, W. (2016). Performance Comparison between Unity and D3.js for Cross-Platform Visualization on Mobile Devices. Proceedings of the 9th Forum Media Technology 2016, 47–52. http://mc.fhstp.ac.at/sites/default/files/publications/Kromer_2016_FMT_crossVisComparison.pdf
Aigner, W. (2016, October 31). Visual Analytics of Time-Oriented Data and its Complex Structures [Invited talk].
Aigner, W. (2016, May 7). Research Highlights at the Institute of Creative\Media/Technologies [Invited Talk]. Chair of Computer Graphics, University of Rostock, Germany.
Ceneda, D., Aigner, W., Bögl, M., Gschwandtner, T., & Miksch, S. (2016). Guiding the Visualization of Time-Oriented Data. Poster Abstracts of IEEE Conference on Visual Analytics Science and Technology (VAST 2016).
Blumenstein, K., Niederer, C., Wagner, M., Schmiedl, G., Rind, A., & Aigner, W. (2016). Evaluating Information Visualization on Mobile Devices: Gaps and Challenges in the Empirical Evaluation Design Space. Proceedings of 2016 Workshop on Beyond Time And Errors: Novel Evaluation Methods For Visualization, 125–132. https://doi.org/10/cwc6
Wagner, M., Blumenstein, K., Rind, A., Seidl, M., Schmiedl, G., Lammarsch, T., & Aigner, W. (2016). Native Cross-platform Visualization: A Proof of Concept Based on the Unity3D Game Engine. Proceedings of International Conference on Information Visualisation (IV16), forthcoming. https://doi.org/10/cwc7
Stitz, H., Gratzl, S., Aigner, W., & Streit, M. (2015). ThermalPlot: Visualizing Multi-Attribute Time-Series Data Using a Thermal Metaphor. Poster Abstracts of IEEE Conference on Information Visualization (InfoVis "15). http://mc.fhstp.ac.at/sites/default/files/publications/Stitz%20et%20al_2015_ThermalPlot.pdf
Rosenthal, P., Aigner, W., & Scheidegger, C. (Eds.). (2015). EuroRV3 2015 - EuroVis Workshop on Reproducibility, Verification, and Validation in Visualization. Eurographics Association. https://diglib.eg.org/handle/10.2312/12461
Stitz, H., Gratzl, S., Aigner, W., & Streit, M. (2015). ThermalPlot: Visualizing Multi-Attribute Time-Series Data Using a Thermal Metaphor. IEEE Transactions on Visualization and Computer Graphics, 22, 2594–2607. https://doi.org/10/ghppzs

Presseberichte

Dem Workflow auf der Spur
01.02.2016

Veröffentlichungsdatum: 01.02.2016
Medium:  Austria Innovativ

Vorbereiten auf die digitale Welt
16.11.2016

Medium: Der Standard

Wissenschaft und Forschung in Niederösterreich
01.11.2016

Medium: UNIVERSUM Magazin

Big Data – und welche Chancen Daten bieten
10.06.2016

Veröffentlichungsdatum: 10.06.2017
Medium: Die Presse

Externe Projektleitung
Gesamtprojektleitung:
Ass. Prof. DI Dr. Marc Streit, Johannes Kepler Universität Linz, Institut für Computergrafik
Externe MitarbeiterInnen
DI Samuel Gratzl, BSc, Johannes Kepler Universität Linz, Institut für Computergrafik
PartnerInnen
  • Harvard University, School of Engineering & Applied Sciences, Visual Computing Group (Pfister Lab) [USA Massachusetts]
  • Harvard Medical School, Center for Biomedical Informatics, Computational Genomics Group (Park Lab)[USA Massachusetts]
  • Universität Rostock, Institut für Informatik, Visual Computing und Computergraphik [Deutschland]
Finanzierung
Fonds zur Förderung der wissenschaftlichen Forschung (FWF)
Laufzeit
01.01.2016 – 31.12.2019
Projektstatus
abgeschlossen
Beteiligte Institute, Gruppen und Zentren
Forschungsgruppe Media Computing
Institut für Creative\Media/Technologies