Hintergrund

Unter dem Begriff "One Health" wird eine ganzheitliche Betrachtungsweise von Gesundheit verstanden, welche die wechselseitigen Abhängigkeiten und das Zusammenspiel von Boden, Pflanze/Tier und menschlichem Wohlbefinden in den Blick nimmt. Ziel ist es eine nachhaltigere Bodenbewirtschaftung zu erreichen, bei der Pflanzen besser mit biotischem und abiotischem Stress fertig werden, sodass aus ihnen schließlich hochwertigere Nahrungsmittel für eine gesunde menschliche Ernährung produziert werden können. Ein wichtiges Werkzeug zum Erreichen dieses Ziels ist der verstärkte Einsatz von automatisierten Überwachungssystemen mit denen der Zustand von Boden und Pflanzen genau erfasst werden können.

Mit Hilfe von Messinstrumenten können Abweichungen vom Normalzustand schnell festgestellt und  rechtzeitig Maßnahmen eingeleitet werden, welche die Gesundheit der Anbaupflanzen erhalten. In der Vergangenheit wurden für solche Messungen häufig Sensoren verwendet, die direkt an einer Pflanze angebracht werden müssen (z.B. Sensoren zum Messen des Wassergehalts eines Blattes). Mittlerweile finden immer öfter bildgebende Verfahren Anwendung, da sie den Vorteil haben nicht-invasiv zu sein (die Pflanze selbst wird nicht beeinträchtigt). Beispielsweise können mit einer Hyperspektralkamera Symptome für Vertrocknung, oder auch Nährstoffmangel frühzeitig erkannt werden. Das volle Potenzial der bildgebenden Methoden für die automatisierte Überwachung in der Landwirtschaft ist allerdings noch längst nicht ausgeschöpft. An dieser Stelle kommt das vorliegende Dissertationsprojekt ins Spiel.

Projektinhalt

Verfahren zur Bildverarbeitung werden in der Landwirtschaft eingesetzt, um Einflussfaktoren auf das Pflanzenwachstum zu bestimmen. Die Verfahren haben jedoch ihre Nachteile und geben oft nur indirekt Auskunft über relevante Informationen. RGB-Kameras zur Bestimmung der Blattfärbung (erlauben Rückschlüsse auf Wassergehalt) beispielsweise liefern nur unzureichend genaue Ergebnisse. In diesem Dissertationsprojekt habe ich vor Verbesserungen zu schaffen, indem ich mehrere Kameras für die Überwachung von Pflanzenproduktionssystemen kombiniere. Durch die Verwendung mehrerer Kameratechnologien (RGB, Wärmebild, Hyperspektral- und Tiefenbild) sollen komplementäre Informationen so zusammengeführt werden, dass die Genauigkeit und Robustheit der Monitoring-Prozesse erhöht wird. Außerdem entwickle ich neuartige multimodale maschinelle Lern- und Sensorfusionsmethoden, die in der Lage sind, Daten aus verschiedenen Quellen zu verarbeiten. Um die Praxistauglichkeit der entwickelten Methoden zu prüfen, werden sie in drei Anwendungsfällen, welche die gesamte landwirtschaftliche Kette (Boden - Pflanze - Ernte) umfassen, getestet.

Ziel

Hauptziel dieses Projekts ist es, neuartige Bildverarbeitungsmethoden zur Überwachung der landwirtschaftlichen Produktion zu entwickeln. Dafür gilt es folgende Forschungsfragen zu beantworten:

• Lassen sich durch die Verwendung mehrerer komplementärer Kameratypen und den Einsatz neuartiger multimodaler Lernverfahren Einflussgrößen, die für die Pflanzenproduktion relevant sind, präziser bestimmen? Welches Genauigkeitsniveau kann dabei erreicht werden? 
• Sind die entwickelten Methoden breit anwendbar und erweisen sie sich in verschiedenen Anwendungsszenarien als nützlich (in diesem Projekt werden drei Anwendungsfälle getestet)?
• Welche Modalitäten (bildgebende Geräte) spielen eine dominante/untergeordnete Rolle in den spezifischen Anwendungsfällen? Welche Kombination von Modalitäten ist für einen bestimmten Anwendungsfall am besten geeignet? Welche Modalitäten liefern nur wenig nützliche Informationen?
• Wie robust sind die entwickelten Techniken? Liefern sie auch dann noch brauchbare Ergebnisse, wenn Veränderungen (z. B. andere Lichtverhältnisse) auftreten oder Modalitäten fehlen?
• Können multimodale Lerntechniken charakteristische Muster identifizieren (Pattern Mining)? Sind Ansätze der erklärbaren KI (XAI) dafür geeignet charakteristische Muster zu beschreiben und lassen sich XAI-Methoden an die entwickelten multimodalen Lerntechniken anpassen?

Methodik

Wenn mehrere Kameratechnologien gleichzeitig in einem Monitoring System verwendet werden, hat jede Kamera eine unterschiedliche Position im Versuchsaufbau sowie unterschiedliche Schärfentiefen, Brennweiten, Objektivverzerrungen und Bildauflösungen. Aus diesem Grund wird eine zu untersuchende Pflanze in jeder Kamera anders dargestellt. Das macht es schwierig korrespondierende Oberflächenpunkte zu identifizieren und daher ist es notwendig Feature-Point-Deskriptoren und Stereo-Matching-Algorithmen sowie Matching-Ansätze für unterschiedliche Eingangsbilder zu entwickeln. Außerdem erschweren es überlappende Blätter oder schattige Bereiche die gewonnenen Kameradaten akkurat zu verarbeiten. Um den Einfluss solcher Fehlerquellen klein zu halten, werden derzeit gebräuchliche Methoden erweitert und so angepasst, dass sie multispektrale und Multikamera-Inputs einbeziehen können. Zudem werden multimodale Lernarchitekturen entwickelt, die auf verschiedenen Fusionsparadigmen beruhen und Daten von mehreren Kameras zusammenführen. Um charakteristische Muster in den Eingabedaten zu identifizieren und es besser nachvollziehbar zu machen, wie die verwendeten Deep-Learning-Netzwerke ihre Entscheidungen treffen, werden eXplainable Artificial Intelligence (XAI) Methoden eingesetzt. Die entwickelten Methoden werden zudem in drei Anwendungsfällen getestet. Der erste Anwendungsfall fokussiert auf den Gesundheitszustand und die Fruchtbarkeit des Bodens, der zweite Anwendungsfall auf die Erkennung von Nährstoffmängel (sind Pflanzen ausreichend mit Nährstoffen versorgt) und der letzte Anwendungsfall auf die frühzeitige Identifikation von Fäulnis bei Obst und Gemüse.

Ergebnis

In diesem Dissertationsprojekt werden Methoden der Computer Vision und des maschinellen Lernens für die automatisierte Überwachung in der Landwirtschaft entwickelt, mit denen der Gesundheitszustand von Anbaupflanzen gemessen werden kann. Das Projekt orientiert sich an dem "One Health"-Konzept, das sich einer ganzheitlichen Sicht auf die Pflanzen- und Lebensmittelproduktion verschreibt und somit den Fokus nicht nur auf einige wenige Aspekte richtet, sondern die gesamte Produktionskette und das Zusammenspiel verschiedenster Faktoren betrachtet. Alles in allem leistet das Projekt auch einen Beitrag zu einer sicheren Nahrungsmittelversorgung.

Projektpartner

Fördergeber

Der Inhalt repräsentiert nicht notwendigerweise die Sichtweise des Landes Niederösterreich oder der Gesellschaft für Forschungsförderung Niederösterreich als Förderstelle. Weder das Land Niederösterreich noch die Förderstelle können daher für den Inhalt verantwortlich gemacht werden.