Synthèse de tumeurs par modèle génératif one-shot pour la segmentation inter-modale en imagerie médicale

Guillaume Sallé (1) , Pierre-Henri Conze (2, 1) , Nicolas Boussion (1, 3) , Julien Bert (1, 3) , Dimitris Visvikis (1) , Vincent Jaouen (1)

1 LaTIM - Laboratoire de Traitement de l'Information Medicale
2 IMT Atlantique - ITI - Département lmage et Traitement Information
3 CHRU Brest - Centre Hospitalier Régional Universitaire de Brest

L’apprentissage non-apparié par des réseaux de type CycleGAN est de plus en plus utilisé pour l’adaptation de domaines et trouve de nombreuses applications notamment en imagerie médicale. Des détails comme les tumeurs peuvent toutefois disparaître lors du transfert, un problème critique en imagerie du cancer. Dans ce travail, nous proposons une méthode pour encourager le maintien de structures d’intérêts 3D après synthèse non-appariée. Nous transférons la tumeur de la modalité source à la modalité cible grâce à une nouvelle application d’un modèle génératif one-shot SinGAN entraîné sur une unique image 2D. Nous exploitons ensuite cette technique dans une nouvelle architecture de segmentation inter-modale de tumeur en l’absence de labels cible

Mots clés: Segmentation; Adaptation de domaine; Imagerie multi modale; One shot learning

Domaines: Informatique [cs]; Vision par ordinateur et reconnaissance de formes [cs.CV]

Guillaume Sallé, Pierre-Henri Conze, Nicolas Boussion, Julien Bert, Dimitris Visvikis, et al.. Synthèse de tumeurs par modèle génératif one-shot pour la segmentation inter-modale en imagerie médicale. ORASIS 2021, Centre National de la Recherche Scientifique [CNRS], Sep 2021, Saint Ferréol, France. ⟨hal-03339729⟩