• Annonces
  • Agenda partagé
  • Actualité partagée
• Espace ADUM
• Votre compte personnel
  • Compte
• Affiches réseau ADUM
  • Annonces Adum
• Inscription/Réinscription
• Retirer votre diplôme
• Catalogue de formation
• Soutenance de thèse
  • Soutenance en visio intégrale
• International
  • Aide à la mobilité internationale
  • Collège doctoral franco-allemand
• Après la thèse
  • Emploi
  • Mise à jour de la situation professionnelle
• Thèses en ligne
• Textes officiels
• Doctorat Site Institutionnel
  • Doctorat Site Institutionnel

Agenda partagé

Le 28 octobre 2021

Soutenance de thèse de David DUQUE

Compréhension de scènes urbaines 3D par analyse de données LiDAR, colorées et hyperspectrales

Résumé de la thèse en français

Les nuages de points ont suscité l'intérêt de la communauté de recherche au cours des dernières années. Au départ, ils étaient surtout utilisés pour des applications de télédétection. Plus récemment, grâce au développement de capteurs à faible coût et à la publication de plusieurs bibliothèques open source, ils sont devenus très populaires et ont été appliqués à un plus grand nombre d'applications. L'une d'entre elles est la voiture autonome, pour lequel de nombreux efforts ont été déployés au cours du siècle dernier pour le rendre réel. L'évaluation des algorithmes proposés constitue aujourd'hui un goulot d'étranglement très important pour la voiture autonome. En raison du grand nombre de scénarios possibles, il n'est pas possible de l'effectuer dans la vie réelle. Une alternative consiste à simuler des environnements virtuels où toutes les configurations possibles peuvent être établies à l'avance. Cependant, ces environnements ne sont pas aussi réalistes que le monde réel. Dans cette thèse, nous avons étudié la pertinence d'inclure des images hyperspectrales dans la création de nouveaux environnements virtuels. De plus, nous avons proposé de nouvelles méthodes pour améliorer la compréhension des scènes 3D pour la voiture autonome.

Résumé de la thèse en anglais

Point clouds have attracted the interest of the research community over the last years. Initially, they were mostly used for remote sensing applications. More recently, thanks to the development of low-cost sensors and the publication of some open source libraries, they have become very popular and have been applied to a wider range of applications. One of them is the autonomous vehicle where many efforts have been made in the last century to make it real. A very important bottleneck nowadays for the autonomous vehicle is the evaluation of the proposed algorithms. Due to the huge number of possible scenarios, it is not feasible to perform it in real life. An alternative is to simulate virtual environments where all possible configurations can be set up beforehand. However, they are not as realistic as the real world is. In this thesis, we studied the pertinence of including hyperspectral images in the creation of new virtual environments. Furthermore, we proposed new methods to improve 3D scene understanding for autonomous vehicles. During this research, we addressed the following topics. Firstly, we analyzed the spectrum in color and hyperspectral images because it provides a description about the electromagnetic radiation at different frequencies. Some applications rely only on visible colors. In other cases, such as the characterization of materials, the study of the invisible range is required. For this purpose, we proposed a simplified spectrum representation that preserves its diversity, the Graph-based color lines (GCL) model. Secondly, we studied the integration of hyperspectral images, color images and point clouds in urban scenes. The analysis was carried out by using the data acquired during this thesis in the context of the REPLICA project FUI 24. We inspected spectral signatures of different objects and reflectance histograms of the images. The obtained results demonstrate that urban scenes are challenging scenarios for current technology of hyperspectral cameras due to the presence of uncontrolled light conditions and moving actors. Thirdly, we worked with 3D point clouds from urban scenes that have proved to be a reliable type of data, much less sensitive to illumination variations than cameras. They are more accurate than color images and permit to obtain precise 3D models of urban environments. Deep learning techniques are very popular in this domain. A key element of these techniques is the loss function that drives the optimization process. We proposed two new loss functions to perform semantic segmentation tasks: power Jaccard loss and hierarchical loss. They obtained a higher performance in evaluated scenarios than classical losses not only in 3D point clouds but also in color and gray scale images. Moreover, we proposed a new dataset (Paris Carla 3D Dataset) composed of synthetic and real point clouds from urban scenes. It is expected to be used by the research community for different automatic tasks such as semantic segmentation, instance segmentation and scene completion. Finally, we conducted a detailed analysis of the influence of RGB features in semantic segmentation of urban point clouds. We compared several training scenarios and identified that color systematically improves the performance in certain classes. It demonstrates that including a more detailed description of the spectrum, when the hyperspectral cameras technology increases its sensitivity, can be useful to improve scene description of urban scenes.

Titre anglais : 3D urban scene understanding by analysis of LiDAR, color and hyperspectral data
Date de soutenance : jeudi 28 octobre 2021 à 9h00
Adresse de soutenance : 35 Rue Saint-Honoré, Fontainebleau, 77300, France - Hybride
Directeur de thèse : Beatriz MARCOTEGUI
Co-encadrant : Santiago VELASCO FORERO
Co-encadrant : Jean-Emmanuel DESCHAUD

Voir tous les événements