Zur Beobachtung von Tieren in der Wildnis ist die Verwendung von Kameras überaus naheliegend. Für das visuelle Monitoring von verschiedenen Tierarten werden dazu spezielle Kamerasysteme in die AMMOD-Stationen integriert und entsprechende Bildverarbeitungsalgorithmen zur automatischen Auswertung der aufgenommenen Bilddaten entwickelt. Dabei wird in diesem Projekt zwischen zwei verschiedenen Kamerasystemen unterschieden. Zum einen kommen speziell konstruierte Lichtfallen zum Einsatz, um eine möglichst große Anzahl an verschiedenen Nachtfaltern am jeweiligen Standort anzulocken. Zum anderen wird ein Stereo-Kamerasystem mit Bewegungsmelder installiert, welches die kontinuierliche Beobachtung von Wildtieren ermöglicht.

Lichtfallen für Nachtfalter (moth scanner)

Um Nachtfalter aus der Umgebung einer AMMOD-Station mit Bildern zu erfassen, kommt eine Lichtfalle zum Einsatz. Dabei handelt es sich um eine aktiv beleuchtete, weiße Fläche (dem Schirm) im Sichtfeld einer hochauflösenden Kamera. Hier wird bei der Entwicklung auch mit unterschiedlichen Materialien für den Schirm experimentiert. Außerdem wird sowohl ein Reflektionsansatz, bei dem der weiße Schirm das Licht einer Beleuchtungsquelle reflektiert, als auch ein durchscheinender Ansatz, bei dem die Beleuchtungsquelle hinter dem Schirm sitzt und diesen von hinten (im Vergleich zur Position der Kamera) anstrahlt, ausprobiert. Durch die aktive Beleuchtung werden die Tiere angelockt, welche sich auf dem Schirm niederlassen und dann von der Kamera fotografiert werden können. Die Bildaufnahme wird in festen zeitlichen Abständen, beispielsweise ein Bild pro Minute, durchgeführt. Eine hohe Bildauflösung ist dabei besonders wichtig, um die feinen Strukturen auf den Flügeln von großen und kleinen Nachtfaltern realitätsgetreu abzubilden. Damit soll im Anschluss eine automatische Bestimmung der Art durch geeignete Algorithmen der Bildverarbeitung und des maschinellen Lernens ermöglicht werden.

Bei der Algorithmenentwicklung geht es zunächst um die automatische Lokalisation der Nachtfalter im Bild, indem umschreibende Rechtecke (bounding boxes) für jedes Individuum gefunden werden müssen (siehe Abbildung unten). Dabei werden sowohl tiefe Lernverfahren als auch klassische Methoden der Bildverarbeitung und des maschinellen Lernens zur Objektdetektion getestet und evaluiert. Ausgehend von den umschreibenden Rechtecken können die entsprechenden Bildausschnitte einem Klassifikator präsentiert werden, der automatisch die Art des Nachtfalters bestimmt. Hier finden verschiedene Architekturen von neuronalen Netzen Anwendung, die gegenwärtig den Stand der Technik auf dem Gebiet der Bildkategorisierung repräsentieren.

Beispiele für die Lokalisation von Nachtfaltern mit umschreibenden Rechtecken in Bildern einer Lichtfalle.

Um die Ressourcen der AMMOD-Station effizient zu nutzen, wird folgendes Vorgehen angestrebt. Die Lokalisation der Nachtfalter im Bild erfolgt durch die zuvor genannten Ansätze bereits an der Station selbst. Die gefundenen Bildausschnitte, die im Idealfall ausschließlich Nachtfalter beinhalten, werden dann über eine entsprechende Datenverbindung zum Server übertragen. Dies reduziert die zu übermittelnde Datenmenge erheblich, da ausschließlich Bildregionen mit Tieren übertragen werden und nicht die Gesamtbilder der hochauflösenden Kamera, bei denen viele Bildbereiche kein Tier zeigen. Ein weiterer Vorteil dieses Vorgehens ist, dass auf dem Server mehr Rechenleistung zur Verfügung steht, um die komplexe Aufgabe der Artbestimmung lösen zu können. Hier können rechenintensive Algorithmen eingesetzt werden, die die kleinen, fein-granularen Unterschiede zwischen ähnlichen Nachtfalterarten finden und insgesamt eine Vielzahl der Arten zuverlässig bestimmen können.

Die Erfolgsquote der Methode ist direkt an die Vollständigkeit der verwendeten Referenz Datenbanken gekoppelt. Eine erste Referenzdatenbank (EU Moths Dataset) mit rund 2205 Einträgen welche rund Mottenarten repräsentieren, wurde für die Entwicklung des „Mottenscanners“ vom Zoologisches Forschungsmuseum Alexander Koenig bereitgestellt. Um das Spektrum der bestimmbaren Arten zu erweitern, ist ein Ausbau der vorhandenen Referenzdatenbank jedoch unumgänglich. Wer dazu beitragen möchte, kann hier die Erläuterungen finden:

Vom Notizbuch zum Mottenscanner – Vollautomatische Ermittlung der Artenvielfalt bei Nachtfaltern

Anhand der Ergebnisse der automatischen Arterkennung können die Experten aus der Biodiversitätsforschung entsprechende Statistiken über Vorkommen und Häufigkeiten einzelner Arten ableiten, um im weiteren Verlauf Trends bei der Veränderung von Populationen zu erkennen oder Korrelationen mit den Einflüssen der verschiedenen Jahreszeiten oder anderer Umgebungsveränderungen aufzustellen.

Beobachtung von Wildtieren

Ein Stereokamerasystem liefert Bilder von Wildtieren, wenn deren Bewegung zur Auslösung des eingebauten Bewegungssensors geführt hat. Bei der Auswertung der anfallenden Bilddaten ist zunächst erstmal zu unterscheiden, ob sich tatsächlich ein Tier im Bild befindet oder ob der Bewegungsmelder aufgrund anderer Bewegungen (Personen vor der Kamera, durch Wind hervorgerufene Bewegungen von Pflanzenteilen, Wettereinflüsse wie Schnee) ausgelöst wurde. Ein gelerntes Klassifikationssystem wird dann automatisch die Tierart bestimmen können. Ähnlich wie bei den Nachtfaltern wird auch in diesem Teil des Projektes angestrebt, die Klassifikation nach der Übertragung der Bilder auf den Server durchzuführen, um mit entsprechend mehr Rechenleistung die Verwendung von neuronalen Netzen für die Artbestimmung zu ermöglichen. Dabei muss das Klassifikationssystem mit verschiedenen Herausforderungen wie Teilverdeckungen der Tiere sowie der Unterscheidung zwischen Tag- und Nachtaufnahmen umgehen können.

Wildtierkamera an der Teststation im Bonner Melbgarten (links oben), sowie Tages- (rechts oben, Eichhörnchen) und Nachtaufnahmen (unten, Dachs und Reh) dieser Kamera.

Im Zuge der kontinuierlichen Beobachtung von Wildtieren über einen längeren Zeitraum wird das automatische Klassifikationssystem in dieser Anwendung durch Methoden des lebenslangen Lernens ständig an die neu aufgenommenen Bilddaten angepasst und verbessert. Dabei sollen über Algorithmen des Aktiven Lernens auch Experten für zusätzliche Bildannotationen einbezogen werden. Vom System werden dazu Bilder vorgeschlagen, bei denen es sich hinsichtlich seiner Entscheidung unsicher ist oder von denen es sich den größtmöglichen Nutzen einer verlässlichen Annotation erhofft. Der Annotationsaufwand für den Menschen soll dabei so gering wie möglich ausfallen, zugleich aber auch zu einer größtmöglichen Verbesserung der automatischen Artbestimmung führen, nachdem der Klassifikator mit den zusätzlichen Bildern weitergelernt hat. Ebenso wird eine Komponente zur Neuigkeitsdetektion integriert, um zuvor ungesehene Arten als solche zu identifizieren. Diese können dann ebenfalls manuell bestimmt werden und durch anschließende Integration in das Klassifikationssystem eine Vergrößerung der Wissensbasis in Bezug auf die Anzahl der erkennbaren Tierarten bewirken.

Verarbeitung und Interpretation der Tiefendaten von Stereokamerafallen

Tiefendaten erlauben die Erkennung von Tieren sowie die Erkennung von Einzeltieren in Gruppen für das Monitoring und Zählen. Dies ist insbes. dann der Fall, wenn Tiere durch eine Tarntracht ihr visuelles Erscheinungsbild zur Tarnung nutzen sowie bei ungünstigen Sichtbedingungen, die insbes. bei dämmerungs- und nachtaktiven Tieren vorliegen. Darüber hinaus ermöglichen Tiefendaten die Schätzung der Abundanz, also der Anzahl von Individuen einer Art, bezogen auf ihr Habitat. 

Die folgenden Beispiele zeigen jeweils links ein Grauwert- bzw. Farbbild und rechts das entsprechende Tiefenbild. Dabei sind die Tiefenbilder als sogenannte Wärmebilder (Heatmaps) dargestellt: von Rot (für ganz heiß) über Orange (für mittelheiß), Gelb (für warm) und Grün (für kühl) bis Blau (für kalt) werden die zunehmenden Entfernungen der Objekte dargestellt. In den Wärmebildern sind das einzelne Reh bzw. die fünf Rehe durch ihre von der Umgebung bzw. den anderen Rehen unterschiedlichen Distanzen gut erkennbar.

Stereokameras besitzen zwei nebeneinander angebrachte Objektive und ermöglichen die gleichzeitige Aufnahme der von zwei leicht versetzten Bildern derselben Szene. Aus diesen beiden sogenannten stereoskopischen Halbbildern ist die Berechnung der Tiefenbilder möglich. Durch Stereokameras sind die Distanzen der erkannten Tiere also genau messbar.

Bespiel für die Berechnung von Distanzen mittels Stereokameras