Hintergrund 

Audiovisuelle Medien sind zu einem dominanten Kommunikationsmittel geworden, sowohl in den traditionellen als auch in den sozialen Medien. Die etablierten Praktiken zur Dokumentation und Indexierung multimedialer Inhalte (z.B. bei der Medienbeobachtung und -archivierung) erlauben jedoch keine feinkörnige Beschreibung (z.B. auf Szenen- und Objektebene) und lassen sich nicht auf die ständig wachsende Menge an Inhalten skalieren. 
Zwar sind Inhalte aller Modalitäten (Text aus Newsfeeds, Web, Produktionsinformationen usw., Audio, Bilder, Video) inzwischen in digitaler Form verfügbar, doch werden die potenziellen Vorteile der Digitalisierung noch nicht voll ausgeschöpft: Verschiedene Inhaltsquellen werden oft unabhängig voneinander verarbeitet, ohne sie mit anderen Quellen oder externen Informationen zu verbinden, und Kontextinformationen werden nicht genutzt, um den Annotationsprozess zu steuern und seine Robustheit zu verbessern.

Projektinhalt

TailoredMedia zielt darauf ab, die jüngsten Fortschritte bei der automatischen Analyse visueller Inhalte zu nutzen: Methoden basierend auf Künstlicher Intelligenz (KI) werden eingesetzt, um die Extraktion von Metadaten und die semantische Anreicherung für Anwendungsfälle in der Medienbeobachtung, im Journalismus und in der Archivierung zu unterstützen. Aufbauend auf modernsten Methoden für visuelle Analyseaufgaben (z.B. Objektdetektion, Szenenklassifikation, Gesichtserkennung, Re-Identifikation von Personen) erforscht das Projekt KI-basierte Methoden für die multimodale Informationsfusion sowie kontextsensitive KI-Methoden. Die Analysewerkzeuge werden durch einen Wissensgraph unterstützt, der semantische Informationen aus verschiedenen Quellen (einschließlich verknüpfter offener Daten) und Modalitäten integriert und eine interoperable Darstellung von kontextbezogenem Wissen bietet. Dies ermöglicht die Anreicherung von Text- und Medieninhalten mit semantischen Metadaten und ermöglicht die Entdeckung und Argumentation mit Hilfe des Wissensgraphen.

Mit dem Ziel der Skalierbarkeit wird die Gestaltung von Arbeitsabläufen erforscht, die es User*innen ermöglichen, die Kontrolle über den Prozess zu behalten. Dazu gehören aktive Lernansätze, die ein menschliches Eingreifen erfordern, wenn automatische Methoden kein Vertrauen in das Ergebnis haben oder Informationen aus verschiedenen Modalitäten oder kontextabhängiges Wissen widersprüchlich sind. Die Methoden sind so konzipiert, dass sie Herkunftsinformationen liefern, die es ermöglichen, die Zuverlässigkeit von Informationen zu beurteilen und Erklärungen zu Klassifizierungen zu geben. Dies ermöglicht es den Anwender*innen, mögliche Verzerrungen in den Trainingsdaten und den Bedarf an Weiterbildung  zu verstehen. Die Unterstützung von aktiven und Online-Lernansätzen wird auch "few shot learning" ermöglichen, d.h. das effiziente Erlernen  neuer Klassen aus sehr begrenzten Mengen von etikettierten  Daten (z.B. 5-10 Proben).
Um Interoperabilität zu ermöglichen und Anbieterbindung zu vermeiden, werden die Analysewerkzeuge von TailoredMedia als Mikrodienste eingesetzt. Dies ermöglicht die Nutzung der Dienste vor Ort und in privaten oder öffentlichen Cloud-Infrastrukturen. 

Beitrag der Fachhochschule St. Pölten

Die Forschenden vom Institut für Creative\Media/Technologies der Fachhochschule St. Pölten bringen ihre Expertise in den Bereichen Solution Co-design, Prototypen und Plattform-Demonstrator und Evaluierung von Prototypen ein.