Hintergrund

Immersive eXtended Reality (XR)-Technologien werden in den nächsten Jahren zu zahlreichen Innovationen im Gesundheitswesen führen und es ermöglichen in der klinischen und paraklinischen Ausbildung neue Wege zu beschreiten. Zum Beispiel können im virtuellen Raum verschiedene Alltagssituationen nachgestellt und auf diese Weise Patient*innen auf den Umgang mit Problemen und Herausforderungen besser vorbereitet werden. Um bei der Entwicklung hin zu einer individualisierter Gesundheitsversorgung (z. B. personalisierte Medizin und digitale Therapeutika) nicht ins Hintertreffen zu geraten, sollten XR-Umgebungen zu intelligenten Systemen werden, die sich auf die spezifischen Bedürfnisse von Nutzer*innen und Patient*innen einstellen können. Es braucht also adaptive XR-Tools, die über die Messung relevanter Biomarker (physiologische Messungen, Blickrichtung etc.) ein Feedback von den Nutzer*innen erhalten und auf dieses Feedback mit einer passenden Antwort reagieren. Messbare Biomarker haben zudem den Vorteil, dass sie den medizinischen Fachkräften eine quantitative Grundlage für die Erstellung von XR-Trainings und -Therapien liefern. 

Inhalt des Projekts

EyeQTrack schafft die Voraussetzungen für adaptive XR-Technologien und damit die Möglichkeit Trainings und Therapien im Gesundheitswesen zu individualisieren. Wir benutzen Eye-Tracking (erfasst Blickrichtung) Daten, Daten aus physiologischen Messungen sowie Daten, die von immersiven XR-Technologien geliefert werden. Um die Daten zu verarbeiten, verwenden wir moderne Bildverarbeitungs- und Analysemethoden und Methoden des maschinelles Lernen/der künstliche Intelligenz (ML/AI). Mit dieser Datengrundlage und den nachgeschalteten Verarbeitungsschritten ziehen wir Rückschlüsse über das Stressniveau, die kognitive Belastung, den Grad der Ermüdung und den Aufmerksamkeitszustand von Testpersonen und Patient*innen. Wir erkunden also das Potenzial moderner Technologien im Gesundheitswesen und die Möglichkeiten sie für individualisierte, therapeutische Interventionen einzusetzen.

Ziele

• Aufbau einer offenen Multisensor-Plattform, die parallele Datenströme verschiedener Messapparaturen und Sensoren (Augenbewegungen, physiologische Messungen) in Echtzeit verarbeitet und als Feedbacksignale an das angeschlossene XR-System sendet.
• Entwicklung neuartiger Algorithmen, um das Stressniveau auf der Grundlage der benutzten Messdaten zu ermitteln. Dies umfasst Eye-Tracking-Daten (z. B. Pupillenerweiterung), Herzfrequenz und weitere kardiologische Parameter, Hautleitwert und Hauttemperatur sowie Daten aus der menschlichen Ganganalyse (3DGA).
• Schaffung von Grundlagen für den kombinierten Einsatz von adaptiven XR-Umgebungen und Eyetracking-Technologien in der Therapie. Damit sollen beispielsweise Trainings zur Sturzprävention für Menschen mit Parkinson-Krankheit möglich werden.
• Entwicklung eines Anwendungsfalls für adaptives XR-Trainings im klinischen und paraklinischen Umfeld.

Methoden

Das EyeQTrack-Projekt ist an der Schnittstelle mehrerer etablierter Forschungs- und Lehrbereiche der FH St. Pölten angesiedelt (XR, ML/AI, motorische Rehabilitation, Pflege und Rettungsdienstausbildung). Die Expertise aus verschiedenen Disziplinen ist essentielle Voraussetzung für dieses Projekt, da wir Eye-Tracking-Daten, Daten aus Hautleitwertmessungen, Herzdaten und Daten aus menschlichen Gangmustern verwenden und sie mit Methoden des machine learning/deep learning Methoden aufbereiten und zur Vorhersage von Stressniveaus benutzen. Anders als in bisherigen Forschungsprojekten entwickeln wir nicht nur Methoden zur Vorhersage von Stressniveaus bei gesunden Probanden, sondern beziehen auch Daten von Patient*innen mit Bewegungs- und anderen neurodegenerativen Störungen ein. Außerdem entwickeln wir eine XR-Umgebung, die es erlaubt typische Situationen zu simulieren in denen Stürze vorkommen (z. B. ein unordentliches Wohnzimmer). Je nachdem wie sich Proband*innen/Patient*innen verhalten, nimmt diese Umgebung automatisch Anpassungen vor, was die Anzahl, Größe und Platzierung virtueller Hindernisse betrifft. Grundlage für die Anpassungen des Schwierigkeitsgrades bilden die Eye-tracking Daten und die physiologischen Messparameter, die über maschinelles Lernen aufbereitet werden.  Die Trainingseinheiten sind daher nicht statisch, sondern passen sich an den individuellen Trainingsfortschritt an.

Ergebnis

Die langfristigen Ziele von EyeQTrack gehen über die Projektlaufzeit hinaus und sind auf den Aufbau eines umfassenden Ökosystems für adaptive XR im Gesundheitswesen gerichtet. Wir setzen nicht nur auf interdisziplinäre Zusammenarbeit, um Innovationen zu voranzubringen, sondern knüpfen österreichweit aktiv Kontakte zu Entscheidungsträger*innen und Interessensgruppen aus dem Gesundheitswesen, der Industrie und zu Unternehmen, die im Bereich XR tätig sind. Außerdem richten wir einen EyeQTrack Hub ein, der sich zu einem Netzwerk entwickeln soll, der Leute aus Industrie, Wissenschaft und klinischer Praxis zusammenführt. Darüber hinaus fließen die Forschungsergebnisse in die Ausbildungsprogramme der Studiengänge Digital Healthcare (Master) und Nursing (Bachelor) am Department Medien und Digitale Technologien bzw. am Department Gesundheitswissenschaften ein.