Matthias Kauter
Entwurf eines FPGA-Beschleunigers für ML-basierte Objekterkennung in Smart-Home-Systemen mit ROS-2-Middleware

Abstract
Das Internet of Things (IoT) befindet sich in den letzten Jahren immer mehr auf dem Vormasch und ermöglicht die Vernetzung von elektronischen Geräten miteinander. Eine besondere Form davon stellt das Artificial Internet of Things (AIoT) dar, welches das IoT mit Künstlicher Intelligenz (KI) verschmilzt. Im Rahmen des Forschungsprojektes Very Efficient Deep Learning in IoT (VEDLIoT) wird an einem Smart Mirror geforscht, welcher Gesten- und Objekterkennung in einem vereint. Rekonfigurierbare Hardwareplattformen wie FPGAs zeichnen sich neben ihrer Flexibilität durch Realisierungen aus, die eine geringe Verlustleistung und Latenz ermöglichen. Im Rahmen dieser Arbeit wurde ein FPGA-Beschleuniger für die Objekterkennung des Smart Mirrors entwickelt und im Vergleich zur derzeitigen Hardware evaluiert. Als neuronales Netz wurde dafür YOLOv4 verwendet. Die Kommunikation mit dem Smart Mirror erfolgt über ROS 2, welches die Kommunikation von verschiedenen Hardwarekomponenten miteinander ermöglicht. Die Implementierung wurde auf dem Xilinx Versal VCK190 umgesetzt, welches Teil der neusten Generation rekonfigurierbarer Hardware ist. Sie erreicht eine Bildrate von 38.08 Bildern pro Sekunde bei einer Verlustleistung von 40.08 Watt.