Sistema de visión por computador embebido para la detección y el seguimiento de objetivo móvil desde un vehículo aéreo no tripulado (UAV) usando ROS

Abstract

El objetivo principal de este proyecto de grado es desarrollar un sistema de visión por computador embebido para dotar a un cuadricóptero con la capacidad de detectar y hacer el seguimiento autónomo de un objeto móvil terrestre visto desde la plataforma aérea no tripulada (Unmanned Aerial Vehicle (UAV)), utilizando ROS.

La detección y el seguimiento de objetos en movimiento usando plataformas UAV, son consideradas tareas difíciles para los sistemas de visión por computador y su implementación requiere superar varios desafíos. Los modelos y algoritmos de visión expuestos en este trabajo de grado están basados en el uso de técnicas de deep learning para el procesamiento de imágenes, a través de los cuales se busca resolver varios de los desafíos asociados a la detección y el seguimiento visual de objetos en movimiento.

Este proyecto utilizó ROS como entorno de trabajo estandarizado para el desarrollo de la aplicación robótica, se diseñó e implementó un entorno de simulación Hardware-in-the-loop (HIL) de forma que el sistema embebido no controla un UAV real sino uno simulado. Para validar el funcionamiento del sistema, se implementó una interfaz en ROS que permite comunicar el sistema de visión por computador embebido y un cuadricóptero. Se empleó el paquete de ROS hector quadrotor, el cual ofrece un modelo 3D de un cuadricóptero, con dinámicas de vuelo realistas, cámaras y sensores integrados. Una vez conformado el ambiente de simulación se realizaron diferentes vuelos, experimentos y pruebas con la ayuda de herramientas de visualización como Rviz (ROS Visualization) y Gazebo que se integran con ROS.

Este trabajo de grado concluye que los sensores ópticos proporcionan una fuente de información confiable y su procesamiento constituye una herramienta de navegación para las tareas comunes de los UAV. Los detectores de objetos entrenados con Single Shot Multibox Detector (SSD) presentan el mejor equilibrio entre las métricas evaluadas, con un rendimiento de 18.1 ∼ 18.4 FPS y una precisión entre 84.97 % ∼ 94.44 %. Los resultados obtenidos en las diferentes simulaciones realizadas demuestran que el cuadricóptero es capaz de detectar y seguir de forma autónoma un carro de radio control que se mueve en tierra.

The main objective of this degree project is to develop an embedded computer vision system to equip a quadcopter with the capability of autonomously detect and track a ground moving object viewed from the Unmanned Aerial Vehicle (UAV) platform using ROS.

Detection and tracking of moving objects using UAV platforms are difficult tasks for computer vision systems and their implementation requires overcoming several challenges. The vision models and algorithms presented are based on the use of deep learning techniques for image processing, through which we seek to solve several of the challenges associated with the detection and visual tracking of moving objects.

This project used ROS as a standardized work environment for the development of the robotic application, a Hardware-in-the-loop (HIL) simulation environment was designed and implemented so that the embedded system does not control a real UAV but a simulated one. An interface in ROS was implemented to validate the operation of the system, which serves as communication between the embedded computer vision system and a quadcopter. The ROS package hector quadrotor was used, which offers a 3D model of a quadcopter, with realistic flight dynamics, cameras and integrated sensors. The system was validated with different flights, experiments and tests with the help of visualization tools such as RViz (ROS Visualization) and Gazebo that integrate with ROS.

This degree work concludes that optical sensors provide a reliable source of information and their processing makes up a navigation tool for common UAV tasks. Object detectors trained with Single Shot Multibox Detector (SSD) present the best balance among the evaluated metrics, with a performance of 18.1 ∼ 18.4 FPS and an accuracy between 84.97% ∼ 94.44%. The results obtained in the different simulations performed show that the quadcopter can autonomously detect and track a radio-controlled car moving on the ground.