Soutenance de thèse de Omar ZENTENO

Un prototype d’endoscope augmenté d’une sonde multispectrale a été développé au moyen d’un fibroscope inséré dans le canal opérateur d'un système endoscopique commercial et connecté à une caméra multispectrale snapshot (41 bandes dans la gamme de 470 à 975 nm). La sonde multispectrale fonctionne comme une biopsie optique localisée pour une exploration médicale complémentaire avec un champ de vision beaucoup plus petit que l’endoscope. Cette thèse aborde le problème d’un recalage in vivo des images bimodales (RGB endoscope / MS fibroscope) afin de fournir au chirurgien une localisation précise de la biopsie dans l'image endoscopique pendant l'examen. Ce recalage est critique car l'absence de texture dans la paroi gastrique fait que les méthodes classiques exploitant une mise en correspondance des contenus des images échouent le plus souvent. De plus, par mesure d'asepsie, la sonde doit être retirée et nettoyée entre chaque patient.
Le système peut être modélisé comme une paire de caméras non rigidement liées avec des caractéristiques intrinsèques très différentes, et le problème de recalage peut alors être considéré comme une estimation de pose relative entre deux caméras hétérogènes. Nous profitons du fait que la pointe du fibroscope est visible dans l'image endoscopique et qu'elle peut être modélisée comme un cylindre 3D pour formuler le recalage de la biopsie optique comme un problème d'estimation de pose dans une image monoculaire. Les deux caméras peuvent être préalablement calibrées séparément à l'aide d'un motif en damier. Puis la pose du fibroscope est estimée en minimisant l'erreur de reprojection d'un cylindre 3D virtuel en utilisant une pose prédite, en deux étapes : l'axe du cylindre 3D est initialisé en utilisant les coordonnées de Plücker, puis, l'estimation de la pose est optimisée en maximisant l'indice de similarité de Jaccard entre la segmentation du fibroscope dans l'image et le cylindre virtuel projeté.  Cette approche a été validée en utilisant une simulation réaliste des mouvements du fibroscope à l'intérieur du canal opérateur (c'est-à-dire l'insertion et le béquillage). Elle permet une estimation rapide et précise de la pose du cylindre sans aucun marquage du fibroscope. Ensuite, la méthode a été appliquée à plusieurs séquences in vivo acquises avec le prototype multimodal dans un centre médical. La pointe du fibroscope peut être efficacement segmentée et suivie sur nos séquences endoscopiques grâce à des techniques d'apprentissage profond de réseaux de neurones. L'estimation en temps réel de la position relative entre les deux caméras permet au chirurgien de visualiser la zone ciblée par le fibroscope sur la paroi gastrique au cours de l’examen et de superposer les deux modalités d'images en donnant accès aux données spectrales pour la biopsie optique. Dans un processus hors ligne, il est également possible pour le suivi des patients de localiser les biopsies sur une carte panoramique construite par des techniques de mosaïquage d'images à partir de la vidéo endoscopique acquise lors de  l'examen. D'une manière générale, la méthode proposée pour localiser la biopsie optique peut être étendue à n’importe quel type d'imagerie, en particulier pour une sonde sans marqueur et des images peu texturées.