Immersive Media Lab

AR Interfaces for the Industrial Internet of Things (AIIT)

Laufzeit: 1.1.2020 - 31.12.2021 (covidbedingte Verlängerung)

Im Use Case AR Interfaces for the Industrial Internet of Things (AIIT) wurde der Einsatz von Augmented Reality Technologien (AR) in einem modernen, industriellen Produktionsumfeld zur Unterstützung von Mitarbeiter*innen bei Arbeits- und Wartungsprozessen prototypisch implementiert. Cyber Physical Systems – Maschinen, die neben ihrer realen Entsprechung auch einen digitalen Zwilling haben, erlauben eine virtuelle Echtzeit-Abbildung ihrer Eigenschaften. Augmented Reality soll Menschen durch die örtliche Visualisierung von Daten an Stellen, an denen üblicherweise keine Displays vorhanden sind, schneller Einsicht in Produktionsabläufe ermöglichen.

Mit der Firma Neuman Aluminium konnte ein Industriepartner gewonnen werden, der sowohl den Zugang zu einer realen Produktionsumgebung als auch den Zugriff auf Daten einer Industrial-Internet-of-Things (IIoT) Infrastruktur ermöglichte. Ein wichtiger Teil in der Produktion von Neumann ist ein Schmelzofen, in dem Aluminiumschrott aufbereitet wird. Im Störfall ist es für Mitarbeiter*innen wesentlich, schnell und unkompliziert Zugang zu den Maschinendaten zu erhalten.

Für den Use Case AIIT wurde in einem Analyseprozess eine Applikation auf einem Glass-based AR Display (Microsoft HoloLens 2) als geeignetste Technologie identifiziert, da diese im Vergleich zu mobiler AR (Smartphones, Tablets, …) die Hände nicht belegt. Großes Augenmerk musste dabei auf eine intuitive Benutzerinteraktion gelegt werden. Außerdem durften virtuellen Elemente nicht störend im Blickfeld sein, wenn Interaktion mit dem realen Umfeld geschehen.

Um eine örtlich passende Visualisierung der Maschine und der Daten mit der HoloLens 2 bewerkstelligen zu können, waren im Use Case AIIT mehrere Teilaufgaben zu lösen

  • Herstellung einer Datenschnittstelle zwischen HoloLens 2 und dem Industrie-Netzwerk
  • Aufbereitung eines 3D-Modells des Schmelzofens aus CAD Daten für die Visualisierung in der HoloLens 2
  • Exakter örtlicher Abgleich des virtuellen 3D Modells mit dem realen Schmelzofen für die Visualisierung
  • Visualisierung der Maschinendaten und Hervorhebung relevanter Baugruppen in der AR, an der realen Maschine
  • Entwurf und Implementierung der Anwendungslogik für AR-Applikationen mithilfe einer User-Story

Der AIIT-Prototyp besteht aus zwei Teilen: Einem Miniaturmodell des Ofens, das vor den Benutzer*innen platziert werden kann, und einem AR-Overlay in realer Größe, das den tatsächlichen Ofen ergänzt. Beide Modi zeigen ähnliche AR-Erweiterungen, sind aber für unterschiedliche Situationen geeignet. Das Miniaturmodell bietet ein hohes Potenzial für den Onboarding-Prozess von Mitarbeiter*innen, da es einen schnellen Überblick über die meisten großen Komponenten und deren Zusammenspiel ermöglicht. Die Benutzer*innen können um das Modell herumgehen und die verschiedenen Teile in ihrem eigenen Tempo untersuchen. Zur Unterstützung der Erkundung bietet ein Storytelling-Modul detaillierte Beschreibungen verschiedener Teile, die chronologisch oder nach dem Zufallsprinzip konsumiert werden können. 

Der andere Teil, ein lebensgroßes Overlay der Produktionsdaten des realen Ofens, wird auf der tatsächlichen Anlage angezeigt und hat Potenzial für Wartungs- und Reparaturanwendungen. Da das Innenleben der Anlage nicht direkt sichtbar ist, kann die AR-Brille genutzt werden, um die Daten direkt dort zu visualisieren, wo sie entstehen. In beiden Fällen mussten die abstrakten Maschinendaten jedoch in intuitive visuelle Metaphern umgewandelt werden. 

Use Case Leiter

  • FH-Dozent
  • Department Medien und Digitale Technologien
T: +43/676/847 228 250

Team

  • Junior Researcher
    Forschungsgruppe Digital Technologies
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien
T: +43/2742/313 228 684
  • ehemalige Mitarbeiterin
  • Junior Researcher
    Forschungsgruppe Media Creation
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien
  • Research Assistant Institut für Creative\Media/Technologies
  • Research Assistant
    Forschungsgruppe Media Creation
    Institut für Creative\Media/Technologies
  • Department Medien und Digitale Technologien
  • Research Assistant
    Center for Digital Health and Social Innovation
  • Department Gesundheit