Infos zum Projekt PAREK:

• HTW-Projektseite
• Offizielle Projekt-Webseite

Bei der Visualisierung von Repowering-Projekten von Windenergieanlagen (WEA) mittels Augmented Reality (AR) müssen bestehende Anlagen im Kamerabild erkannt und entfernt werden (Diminished Reality, DR).

Ziel der Abschlussarbeit ist es, ein generatives, neuronales Netz auszuwählen, zu trainieren und zu evaluieren, das weit entfernte Windenergieanlagen im Kamerabild eines mobilen Geräts (Smartphone) erkennen kann.

Technisch herausfordernd sind hier die kleine Form der Anlagen im Kamerabild und die eingeschränkte mobile Hardware (Ziel: möglichst geringe Latenzzeit).

Bestandteile der Arbeit sind:

• die Aufarbeitung der relevanten Literatur (Repowering von Windenergieanlagen (WEA), AR/DR, Künstliche Neurone Netze (KNN) für Objekterkennung/-segmentierung, Probleme/Lösungen bei kleinen Objekten, KNN auf mobilen Endgeräten)
• die Auswahl eines geeigneten Netzes,
• die Datensuche und –augmentierung,
• das Training des Netzes und
• die Evaluation des Ergebnisses.

Einstiegsliteratur:

• Einstiegs-Literatur/erster Überblick:
  • A Review of Lightweight Object Detection Algorithms for Mobile Augmented Reality
• Probleme bei kleinen Objekten:
  • Towards Large-Scale Small Object Detection: Survey and Benchmarks
• Lösungen bei kleinen Objekten (aus anderen Bereich, wie Verkehr)
  • MobileDenseNet: A new approach to object detection on mobile devices
  • EdgeDuet: Tiling Small Object Detection for Edge Assisted Autonomous Mobile Vision
  • The Power of Tiling for Small Object Detection
  • Small Object Detection in Traffic Scenes for Mobile Robots: Challenges, Strategies, and Future Directions
  • Single stage architecture for improved accuracy real-time object detection on mobile devices

Bei der Visualisierung von Planungsvorhaben im städtischen Raum (Stadtbegrünung, Bauvorhaben u.a.) mittels Augmented Reality (AR) müssen existierende Objekte im Kamerabild (Autos, Personen etc.) erkannt und entfernt werden (Diminished Reality, DR).

Ziel des Forschungsprojekts ist es, ein generatives, neuronales Netz auszuwählen, zu trainieren und zu evaluieren, das reale Objekte aus dem Kamerabild eines mobilen Geräts (Smartphone) entfernen kann, indem  die vom Objekt vedeckten Bildteile rekonstruiert werden (Inpainting).

Technisch herausfordernd ist die eingeschränkte mobile Hardware (Ziel: möglichst geringe Latenzzeit).

Bestandteile der Arbeit sind:

• die Aufarbeitung der relevanten Literatur (Planungsvorhaben im städtischen Raum (Stadtbegrünung, Bauvorhaben u.a.), AR/DR, Künstliche Neurone Netze (KNN) für Inpainting, KNN auf mobilen Endgeräten)
• die Auswahl eines geeigneten Netzes,
• die Datensuche und –augmentierung,
• das Training des Netzes und
• die Evaluation des Ergebnisses.

Einstiegsliteratur

• Reviews für DL-Based Inpainting-Techniken für mobile Endgeräte
  • Review of Deep Learning-Based Image Inpainting Techniques
  • GAN-based Image Inpainting Techniques: A Survey
  • A Review of Image Inpainting Methods Based on Deep Learning
• Veröffentlichungen zu mobilem Inpainting:
  • GAN-Driven Vehicle Inpainting for Mobile Mapping Scenes
  • MI-GAN: A Simple Baseline for Image Inpainting on Mobile Devices
  • Efficient Layout-Guided Image Inpainting for Mobile Use
  • GAN-Driven Vehicle Inpainting for Mobile Mapping Scenes
  • InDepth: Real-time Depth Inpainting for Mobile Augmented Reality