HAL Id: tel-02886659https://tel.archives-ouvertes.fr/tel-02886659

Submitted on 1 Jul 2020

HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.

Développement, optimisation, évaluation d’un systèmede réalité augmentée en chirurgie laparoscopique

Nicolas Bourdel

To cite this version:Nicolas Bourdel. Développement, optimisation, évaluation d’un système de réalité augmentée enchirurgie laparoscopique. Médecine humaine et pathologie. Université Clermont Auvergne, 2017.Français. �NNT : 2017CLFAS021�. �tel-02886659�

 

Développement, optimisation, évaluation d’un système de Réalité Augmentée en chirurgie laparoscopique

ECOLE DOCTORALE DES SCIENCES DE LA VIE ET DE LA SANTE

Thèse

Soutenue le 28 mars 2017

BOURDEL Nicolas

 

Année 2017 N° d’ordre : 4-DOC

ECOLE DOCTORALE DES SCIENCES DE LA VIE ET DE LA SANTE

Thèse

Présentée à l’Université Clermont Auvergne

pour l’obtention du grade de DOCTEUR (Décret du 5 juillet 1984)

Spécialité

`

soutenue le 28 mars 2017

BOURDEL Nicolas

Développement, optimisation et évaluation d’un système de réalité augmentée en

chirurgie laparoscopique

Président : M. Bartoli Adrien

Membres : M. Golfier François Mme Barthelemy Isabelle Mme Chauleur Céline M. Canis Michel Rapporteurs : M. Golfier François Mme Chauleur Céline

ENCOV: Endoscopy and Computer Vision group UMR 6602 - CNRS/UBP/SIGMA

3  

REMERCIEMENTS  :     J’ai parfois du mal (génétique ou acquis paternel?) à verbaliser mon attachement, ma reconnaissance, mon

admiration à vous tous qui m’entourez dans ma vie privée (Hélène (je t’aime), Jacques, Clotilde, Célestine, Alcide, Papa, Maman, Anne, Marie) mais aussi dans ma vie professionnelle. Donc je vous le dis ce jour: merci à tous pour tout ce qui fait de ma vie une richesse, un perpétuel avancement, une quête, une passion, un bonheur…. C’est grâce à chacun de vous. Si vous lisez ce message vous faites déjà partie de cet ensemble.

Merci de continuer à vouloir vivre, aimer et travailler avec moi. Nous avons encore tellement de choses à faire ensemble !

Merci également à Spotify pour ces playlists et ces choix algorithmiques qui m’allaient bien….

4  

RÉSUMÉ  :   Nous avons développé un système de réalité augmentée (RA) permettant de guider le chirurgien dans son

geste opératoire coelioscopique grâce aux données d’imagerie acquises en préopératoire. Ce système permet de voir au travers d’un organe comme si celui ci était semi-transparent. Le chirurgien peut ainsi parfaitement localiser une tumeur dans le parenchyme d’un organe. Il peut ou pourra voir également toutes les données anatomiques et structurelles disponibles en préopératoire sur l’imagerie.

Le fonctionnement de notre système se déroule en trois phases. En préopératoire, une acquisition des données d’imagerie (IRM) et la création des modèles 3D associés (surface externe de l’organe, tumeur(s), repères anatomique(s)) sont réalisées. En peropératoire un modèle 3D de l’organe d’intérêt est réalisé, une phase de recalage initial est réalisée, puis le suivi de l’organe est effectué en temps réel. Notre système permet de suivre un organe mobile ce qui n’avait jamais été réalisé auparavant.

Pour débuter le développement de notre système, nous avons étudié deux modèles de tumeurs : les myomes utérins et les tumeurs rénales. Pour chaque type de tumeur et d’organe les phases initiales de développement sont identiques: test sur modèle (phase 1), test ex-vivo et faisabilité clinique (phase 2), tests cliniques (phase 3). Nous sommes en phase 3 pour la myomectomie et en phase 2 pour la néphrectomie partielle.

Nous avons démontré sur un modèle utérin (utérus imprimé en 3D, myomes virtuels) les avantages de la RA par rapport à une technique standard pour laquelle l’opérateur n’utilise que la lecture de l’IRM. En effet, dans ce modèle, l’utilisation de la RA améliore la localisation des myomes en permettant à l’opérateur de voir littéralement au travers de l’utérus. Après optimisation ex-vivo, nous avons testé notre système en clinique. Nous avons démontré la faisabilité de son utilisation avec une localisation en temps réel des myomes et de la cavité utérine. L’objectif est maintenant la validation de son utilisation en pratique courante.

Pour la néphrectomie partielle nous avons développé un modèle de tumeur du rein (reins porcins, tumeurs créées par injection d’alginate). Dans ce modèle l’utilisation de la RA améliore la localisation tumorale en améliorant de façon significative le taux de marges saines péri-tumorales. La phase 2 est en cours de mise en place. Parallèlement l’étude du système pour les tumeurs hépatiques a débuté.

Le développement de notre système a été réalisé grâce à une équipe mixte associant scientifiques, ingénieurs, chirurgiens et médecins. Le champ des possibilités offert par la RA est très prometteur car il permettra d’intégrer l’ensemble des données préopératoires à notre vue laparoscopique. Le système devrait pouvoir rapidement être utilisé pour d’autres pathologies en gynécologie mais aussi en urologie et en chirurgie digestive. D’autres technologies comme le deep learning permettront également des évolutions majeures dans l’automatisation du système.

5  

ABSTRACT:    

We developed an Augmented reality (AR) system that can guide the surgeon during laparoscopy. Augmented Reality (AR) is a technology that can allow a surgeon to see subsurface structures. This works by overlaying information from another modality, such as MRI and fusing it in real time with the endoscopic images. The surgeon can easily localize tumor in the parenchyma of an organ. He could also easily localize all anatomical and structural landmarks available on the preoperative imaging.

Three phases are necessary. Firstly, Preoperative MRI data are used (segmentation) to construct 3D mesh models (external surface of the organ, tumor(s), anatomical landmarks). During the surgery a 3D mesh model of the organ is constructed and an initial registration phase (using a deformable model of the organ) is performed. Then the third phase is a real-time tracking phase. AR has never been developed for a very mobile organ like the uterus and has never been performed for gynecology. Our system works for soft and mobile organs.

We used two tumor models: myomas in gynecology and kidney’s tumor for partial nephrectomy. For each type of tumor we used the same step to develop our system. First step: experimental tumor model, second step: ex vivo improvement and first clinical evaluation, third step: clinical evaluation. We are in the third phase for myomectomy and in the second phase for partial nephrectomy.

In our uterine model (3D printed uterus), AR improves localization accuracy of the myomas compared to the classical localization method (MRI only). This was the first user study to quantitatively evaluate an AR system for improving a surgical task. After optimizing our system using ex-vivo data, we tested it during laparoscopic myomectomy and demonstrated the feasibility of the real-time tracking and localization of the myomas and of the uterine cavity.

For partial nephrectomy we created a kidney’s tumor model (porcine model). Our study shows that AR allows accurate localization of very small tumors and improved the mean accuracy of tumor resection, with higher rate of free margins around the tumor. We are currently developing phase 2. For liver resection the development is in phase 1.

Our team is a mix of engineers, scientists, doctors and surgeons. AR is a very promising technique with large applications. It allows displaying all preoperative imaging data on our laparoscopic screen. AR should be used soon for other gynecological, urological and digestive pathologies. Other technologies (including deep learning) should allow major improvement of our system.

6  

TABLE  DES  MATIÈRES  

I.  Introduction  et  rationnel  du  projet  de  recherche  ..............................................  7  

II.  Réalité  Augmentée:  définition,  historique,  developpement  en  medecine  ........  8  

III.  Principe  de  notre  système  de  réalité  augmentée  ..........................................  13  

IV.  Matériel  nécessaire  ......................................................................................  20  

V.  Évaluation  expérimentale  dans  un  modèle  utérin  ..........................................  24  

VI.  Utilisation  pour  la  myomectomie:  études  ex-­‐vivo  et  faisabilité  clinique  .......  31  

VII.  Evaluation  expérimentale  dans  un  modèle  de  néphrectomie  partielle    ........  34  

VIII.  Perspectives    ..............................................................................................  44  

IX.  Conclusion  ....................................................................................................  48  

X.  Bibliographie.................................................................................................49  

XI.  Annexes.......................................................................................................56                                                                                        

7  

I.   Introduction   et   rationnel   du  projet  de  recherche  

Pendant plus de 150 ans, depuis la première laparotomie réussie du Dr Ephraim McDowell (figure 1), l’accès à la cavité abdominale s’est fait systématiquement dans un milieu ouvert voire « public » (figure 2). La chirurgie laparoscopique se déroule par contre dans un environnement relativement clos obtenu par l’insufflation de CO2 dans l’immense majorité des cas. Il implique la diminution en taille de l’accès à la cavité péritonéale, cet accès se faisant par l’intermédiaire d’instruments chirurgicaux voire par l’intermédiaire de commandes déportées (chirurgie robotique). Le pendant de cet accès réduit appelé aussi « mini-invasif » est lié à la technique elle-même. Tout d’abord l’angle de vision est relativement fixe (l’optique entre par un trocart déterminé dans la cavité abdominale, les seuls mouvements possibles sont un rapprochement (équivalent du zoom) ou éloignement de la caméra de l’organe cible ainsi que son orientation latérale), le champ de vision est également limité par l’optique et l’orientation de la vision (angulation) également déterminée de l’optique (0°, 30° ou 70°). Un des inconvénients majeurs de ces techniques mini-invasives est la réduction ou l’absence de sensation tactile (12). La transmission de l’information haptique sera d’autant plus difficile avec les nouveaux abords chirurgicaux par les orifices naturels (NOTES) (comme la chirurgie par voie transvaginale tel que nous l’avons rapporté (18)) où des instruments souples sont utilisés.

Ces informations visuelles et surtout tactiles sont des éléments clefs de la décision et du geste chirurgical par laparotomie. La diminution des informations disponibles pour permettre la décision chirurgicale doit donc être compensée. Des progrès majeurs ont été réalisés mais ils concernent essentiellement le matériel utilisé pour retransmettre l’image (caméra HD, écran HD, caméra 3D…). Le retraitement de l’image est par contre toujours très limité. La vision par ordinateur pourrait permettre de compenser les limitations inhérentes aux techniques de chirurgie mini-invasive. Cette vision assistée ou améliorée par l’ordinateur ne concerne pas seulement le retraitement basique du contraste ou des couleurs mais l’application d’algorithmes pour comprendre réellement le contenu de l’image voire le combiner, le fusionner avec des données obtenues en préopératoire (12). Plus particulièrement, la réalité augmentée semble être une partie de la réponse à la diminution de l’information tactile. Elle permet en effet

d’afficher en temps réel les informations d’imagerie recueillies en préopératoire : les données de localisation, de limites chirurgicales, de repères anatomiques voire d’anatomie fonctionnelle peuvent ainsi être affichées directement et en temps réel sur l’écran utilisé par le chirurgien.

Pourtant si l’adjonction d’informations paraît intuitivement pertinente (3) il n’existe pas de données en chirurgie apportant des preuves d’un quelconque bénéfice de l’utilisation de cette technologie. Dans ce travail nous avons participé au développement d’un système de réalité augmentée au sein de l’équipe ALCoV (ENCOV depuis le 01/01/2017). Nous avons ensuite évalué ce système ex vivo. Cette évaluation s’est d’abord attachée à la chirurgie gynécologique laparoscopique (modèle de myomectomie). Nous avons ensuite débuté l’utilisation de notre système en clinique. Nous avons également développé un système adapté à la prise en charge des tumeurs rénales dont l’évaluation à été réalisée ex-vivo.

   

Figure 1. Ephraim McDowell (1771-1830) qui pratiqua en 1809 la première ovariotomie où la patiente survécut.  

Figure 2. Laparotomie. Hôpital Broca. 1901.

 

8  

II.   Réalité   Augmentée:   définition,  historique,   developpement   en  medecine  

Définition:

La réalité augmentée (RA) désigne les systèmes informatiques qui rendent possible la superposition d'un modèle virtuel 2D ou 3D à la perception que nous avons naturellement de la réalité et ceci en temps réel. Il faut séparer la réalité virtuelle (RV) qui par définition implique un environnement totalement virtuel de la réalité augmentée qui intègre et fusionne des « données virtuelles » à la vision que nous avons du monde physique réel (8). L’utilisation de l’appellation « données virtuelles » prête probablement à confusion. La définition scolastique qualifie de virtuel un être ou une chose n’ayant pas d’existence actuelle. Cette opposition entre virtuel et actuel se retrouve dans l’ouvrage de Pierre Levy qui tente de définir la notion de virtuel   (19). Dans notre utilisation il s’agit d’intégrer des données tout à fait réelles (données d’imagerie) à la vision que nous avons du champ opératoire. La définition de virtuel ne peut donc s’appliquer dans notre cas puisqu’il s’agit de données bien réelles, actuelles, existantes. En fait la virtualité est un continuum depuis le réel jusqu’à l’environnement virtuel (figure 3   (20)). Nous pourrions dans notre cas de l’adjonction « d’éléments synthétiques » plus que virtuels (8). Nous avons pu discuter de ce point avec le philosophe Pierre Levy. Pour lui la notion d’adjonction de données synthétiques (dans le sens "synthèse" de l'information préopératoire) au réel paraissait une définition intéressante. Il s’agit donc en fait de la superposition de données synthétiques virtuelles à la perception du monde physique réel.

Le deuxième élément majeur (en dehors de l’adjonction de données synthétiques) de la définition de la réalité augmentée en chirurgie est le recalage en temps réel. Il ne s’agit en aucun cas d’ajouter une information sur un point défini de l’écran (utilisation de Google glass, figure 4) mais il est nécessaire de « contextualiser » l’information : il faut que cette information s’affiche sur l’organe en temps réel quelque soit sa localisation et ses mouvements. Cette phase est la phase de recalage de notre système ou phase d’alignement. Azuma propose que soit considéré comme réalité augmentée un système qui (1) combine des objets virtuels et réels dans un environnement réel, (2) qui fonctionne de manière interactive et en temps réel, et (3) permette le recalage entre eux des objets virtuels et réels (21). Cela inclut donc toutes les caractéristiques de notre système en dehors du fait que les informations sont plutôt synthétiques que virtuelles comme nous en avons déjà parlé.

Figure 3. Continuum de la virtualité (8).

 

Figure 4. Image IRM affichée grâce aux lunettes Google, telle que l’image apparaît pour le chirurgien (Dr. Paul Szotek, Photo IU Health).

9  

Historique: Pour l’anecdote, le concept de réalité

augmentée est ancien même si le terme de réalité augmentée n’existait pas au départ. En 1901, dans le magicien d’Oz, Lyman Frank Baum décrit des lunettes qui pourraient s’apparenter à des lunettes de réalité augmentée « While you wear them every one you meet will be marked upon the forehead with a letter indicating his or her character. The good will bear the letter 'G,' the evil the letter 'E.' The wise will be marked with a 'W' and the foolish with an 'F.' » (figure 5).

Dans le début des années 60, Morton Heilig, aux Etats Unis invente le sensorma (figure 6). Il s’agit d’un appareil dans lequel le spectateur est « immergé » dans un environnement virtuel visuel, sonore, olfactif et mécanique. Le point de départ est la vidéo d’un parcours (réel lui) en moto dans New-York. Le film 3D du réel est « augmenté » par surimposition des effets sensoriels synchronisés avec le film. Il s’agit là de réalité virtuelle et non pas de réalité augmentée.

Le premier véritable système de réalité augmentée («l’épée de Damoclès », « the ultimate display ») a été developpé par Ivan E. Sutherland, un ingénieur informaticien. Il s’agit d’un casque de visualisation tête haute réagissant aux mouvements de la tête (figure 7) crée en 1968. Il peut être considéré comme l’ancètre des visiocasques et autres

casques de réalité virtuelle et augmentée. Ce système inclut plusieurs avancées majeures qui le différencie des systèmes précédents : il est informatisé. Il inclut un logiciel de traitement de l’image, il possède des capteurs de mouvement permettant de mesurer la position de la tête de l’utilisateur. Le troisième pionnier est Tom Furness (figure 8) qui travailla pour l’US army au développement de casque de la réalité virtuelle pour l’entraînement des pilotes.

Plus tard, vers la fin des années 70, début des années 80, Steve Mann chercheur canadien est un des premiers à proposer un dispositif vraiment opérationnel. Le EyeTap (figure 9) est un casque permettant d’afficher les informations virtuelles devant les yeux du porteur. Son système est aujourd’hui aussi léger qu’une paire de lunette, le système développé par Google est en beaucoup de point semblable.

Figure 5. William Wallace Denslow, illustration issue de l’ouvrage "The Wizard of Oz" de L. Frank Baum.  

Figure 6. Le sensorama. 1962.  

Figure 7. Système de réalité virtuelle « sword of

Damocles ».  

Figure 8. Dispositif mis au point par Tom

Furness pour l’armée américaine.  

Figure 9. Evolution du système mis au point par Steve Mann.

10  

De très nombreux projets ont été développés de façon concomitante à la fois en réalité augmentée et en réalité virtuelle. La réalité virtuelle a notamment été portée par la simulation pour les pilotes d’avion et par l’univers du jeu. Le terme réalité augmentée a probablement été utilisé par la première fois en 1990 par un ingénieur travaillant pour Boeing (Tom Caudell) (5). Il développe avec David Mizell une des premières applications civiles de réalité augmentée : il s’agit d’aider les ouvriers au câblage dans la fabrication des avions. Ce câblage nécessite de se référer en permanence à des manuels difficiles à consulter. La réalité augmentée permettra d’afficher leur contenu de manière simplifiée alors que l’ouvrier continue son travail (figure 10). Un système analogue a été développé par Feiner et al. Au début des années 90, il permettait l’utilisation de la RA pour la réparation d’imprimantes électroniques (système KARMA, figure 11) (7).

Un système (virtual fixtures, laboratoire Amstrong de l’U.S. Air Force était également développé par Rosenberg à ces mêmes dates (figure 12). Ce chercheur a publié le premier article qui retrouvait une amélioration de la performance humaine lors de l’utilisation de la RA (22).

De nombreux autres acteurs ont ensuite été impliqués dans le développement de la RA. Ce développement a été non seulement très rapide mais une des caractéristiques principales est la miniaturisation des dispositifs nécessaires pour son fonctionnement. En 2003, une première étude démontre la faisabilité de l’utilisation d’un simple « assistant personnel » (figure 13, (6)).

Un simple Smartphone peut être suffisant a l’heure actuelle (23, 24). Le jeu Pokémon go est un des exemples d’utilisation récréative de la RA. Parallèlement, de nombreux software en open source ont été développés et ont permis une amélioration logicielle continue (ARtoolkit, (25)). La RA est maintenant présente dans notre quotidien avec des applications disponibles sur notre Smartphone ou l’affichage d’informations en temps réel lors de programmes télévisuels (figure 14).

Figure 11. RA permettant de montrer le démontage et la réparation en temps réel d’une imprimante laser. (7)  

  Figure 10. RA: Système développé pour Boeing. (5)  

Figure 12. Système developpé par Louis Rosenberg. Amstrong labs

Figure 13. RA avec assistant personnel utilisé (6)  

Figure 14. Image d’une course automobile en direct avec utilisation de la RA.

Application smartphone de la RA.  

11  

Developpement en médecine : En médecine, et notamment en chirurgie

l’évolution est en fait relativement similaire (26): la publication d’une des première utilisation de réalité augmentée en médecine date des années 1990. Plusieurs équipes notamment en Autriche et aux États Unis ont rapporté à ce moment l’utilisation de la RA afin de faciliter les gestes de biopsies écho guidées (21, 27).

La première publication en neurochirurgie date de 1996 (28), Il s’agissait de chirurgie pour le traitement de l’épilepsie. Comme le décrit l’auteur le système était « rudimentaire » mais le coût peu élevé. Les données du scanner ou de l’IRM étaient affichées en utilisant le moniteur d’un Portable PC ou un système « tête haute » semi-transparent. Le recalage était réalisé en utilisant des repères visuels (marqueurs fiduciaires), le suivi (tracking) étant réalisé avec l’aide de repères magnétiques. Ce premier article rapporte l’utilisation du système chez 40 patients. La plupart des séries suivantes rapportées en neurochirurgie rapportent l’utilisation de repères visuels. La phase de recalage est manuelle ou utilise la peau (les reliefs) de la face comme dans l’exemple de la figure 15 (16). Dans cette série, l’auteur rapporte également l’utilisation du système « dextroscope » qui permet de recréer l’ensemble de la boîte crânienne et de son contenu en réalité virtuelle. Cette étude évalue auprès de 10 chirurgiens l’apport théorique de la RV sur la planification du geste opératoire (compréhension de l’anatomie de cette tumeur, de sa localisation exacte, de la localisation de la crâniotomie..). Le système utilisé est celui développé par Brainlab (https://www.brainlab.com/fr/). Dans cette série 5 patients ont été opérés avec une combinaison de la réalité virtuelle, de la neuro-navigation et de techniques endoscopiques.

Dans leur revue récente, publiée en 2016, Meola et al rapportent que seulement 195 cas de patients opérés en utilisant la réalité augmentée ont été rapportés en neurochirurgie alors que la première publication date de 1996. La majorité des études rapportent l’utilisation d’un microscope afin d’afficher les données préopératoires. Ce microscope est parfaitement aligné par rapport au champ opératoire permettant ainsi un recalage facilité. Mais cet alignement requiert une fixation invasive sur la boîte crânienne ou les dents du patient. Plus récemment un recalage basé sur l’analyse de la surface a été proposé. Ce recalage se rapproche un peu plus de la technique que nous avons développée figure 16 (3, 29).

Dans d’autres spécialités plusieurs utilisations sont apparues plus récemment comme l’affichage (utilisation de lumière infra rouge) du réseau veineux des patients (30), des dispositifs sont déjà commercialisés ((31, 32) figure 17).

D’autres systèmes permettant notamment de voir en RA le champ irradié en peropératoire (33) mais aussi les localisations (et les images microscopiques correspondantes) des biopsies réalisées en endoscopie (34). En psychiatrie la RA est utilisée pour l’immersion de patient afin de traiter certains types de phobie (figure 18, (8)).

Elle est également utilisée dans le traitement des douleurs des membres fantômes (35) en intégrant un système de projection du membre fantôme relié au contrôle neurologique volontaire du patient.

Figure 16. Recalage en neurochirurgie utilisant la reconnaissance surfacique (ici l’oreille) (3)  

 

Figure 15. RA: Chirurgie pour un cavernome avec RA (16).  

Figure 17. Dispositif VeinViewer ASSESS™  

Figure 18 (13). RA utilisée dans le traitement des arachno-phobies.    

12  

En ce qui concerne la chirurgie hépatique, l’institut Fraunhofer rapporte la première utilisation en 2012 de son système de RA « MEVIS » en utilisant une de ses applications sur tablette (36). En 2009, une chirurgie avec guidage stéréotaxique avait été rapportée par la même équipe mais il ne s’agissait pas de RA à proprement parlé (37). Une des équipes pionnières est celle de Marescaux et Soler qui ont publié en 2009 une évaluation de l’utilisation de la RA ex-vivo (38). En 2015 ils rapportent l’utilisation de la RA pour la réalisation de segmentectomies hépatiques (Série de trois cas, (1)), figure 20) et en 2016 l’utilisation de la RA en laparotomie pour la résection de métastases hépatiques (2). Ils utilisent le système VR RENDER(®) pour la segmentation préopératoire. Par l’intermédiaire de ce système commercialisé et mis au point à l’IRCAD, tout clinicien peut soumettre les images DICOM de ses patients et obtenir une reconstruction en 3D de ces images. En laparotomie l’exoscope VITOM® (Storz, Tüttlingen, Germany) est utilisé par cette équipe. Marescaux et al. ont également rapporté l’utilisation de la RA pour une résection surrénalienne dès 2004 (39) ainsi que la réalisation d’une duodénopancreatectomie robotique (40) en 2013. Malgré leur expérience, La technique de recalage utilisée par cette équipe est encore largement et essentiellement manuelle. Elle est réalisée en temps réel uniquement du fait de la présence et du travail continu d’un scientifique (ou « opérateur » puisqu’il va exécuter l’opération technique déterminée associée à l’intervention mais

pas opérateur dans le sens médical « chirurgien »). C’est à ce niveau que notre système a une approche différente et nous permet l’automatisation et la simplification de cette phase essentielle de la RA. En urologie, l’utilisation de la RA a essentiellement été rapportée pour la réalisation de néphrectomies partielles (17). Moins de 20 cas ont été rapportés à l’heure actuelle avec des méthodologies là encore très variables. Plusieurs systèmes de recalage ont été décrits mais aucun système de suivi vraiment fiable de l’organe (17). Encore une fois c’est ici qu’interviennent les solutions techniques que nous proposons et que nous avons évaluées. Pour la prostatectomie l’utilisation de la RA à partir d’images préopératoires scanner et /ou IRM a également été rapportée (41, 42). L’utilisation notamment de la combinaison de l’image échographique en temps réel et de l’image laparoscopique a été aussi rapportée ((4), figure 21). Il ne faut pas confondre avec un guidage échographique peropératoire (échographie transrectale surtout) qui est décrit depuis plus longtemps et pour lequel il n’y a pas de recalage des deux images ce qui limite bien sur l’aide à la décision et au geste pour le chirurgien (43-45). Là encore les techniques utilisées nécessitent dans la majorité des cas l’adjonction de marqueurs visuels ((4), figure 21). Là encore notre système qui ne nécessite pas de marqueurs visuels ou magnétiques pourrait avoir un intérêt majeur.

Figure 19 (Prof. Oldhafer / MEVIS)  

Figure 20, RA en chirurgie robotique et en laparotomie, IRCAD (1, 2).  

Figure 21: Utilisation de marqueurs visuels pour la RA dans la prostatectomie (étude-préclinique) (4).  

13  

III.  Principe  de  notre  système  de  réalité  augmentée   4 étapes sont essentielles au fonctionnement de la RA en général et de notre système en particulier : 1) Acquisition des données d’imagerie et création

du modèle 3D associé (préopératoire) 2) Création du modèle 3D peropératoire et

recalage initial 3) Le suivi ou « tracking » en temps réel. 4) Affichage de la RA

1) Acquisition des données d’imagerie et création du modèle 3D associé (préopératoire): L’objectif est la création d’un modèle en trois dimensions de toutes les données d’imagerie que l’opérateur voudra voir s’afficher y compris l’organe « cible ». Cette étape nécessite la segmentation ou le « contourage » des données (images) que l’on veut intégrer à la RA. Il faut donc déterminer le contour de chaque élément que l’on veut intégrer à la réalité augmentée : pour intégrer l’image 3D (modèle 3D, 3D mesh) de l’utérus il faut déterminer sa forme en 3D. L’image (IRM, scanner, échographique) dont nous disposons de cet organe en constitué de coupe en 2D (dans plusieurs plans axial, sagittal et coronal). En délimitant le contour d’un organe sur toutes les coupes axiales par exemple et en additionnant tous ces contours on va pouvoir déterminer sa forme 3D. Cette étape peut être automatique ou semi-automatique. Plusieurs logiciels et/ou matériels informatiques (notamment ceux des fabricants de matériel d’imagerie (comme Syngo 3D visualization workstation de Siemens). D’autres logiciels sont aussi disponibles : Mimics (Materialise's Interactive Medical Image Control System, Belgium) (46) ou MITK (medical imaging interaction toolkit) (47) que nous utilisons et qui peuvent fonctionner sur un PC standard (47, 48). Leurs performances semblent globalement satisfaisantes et comparables (48) pour certains tissus dont le contraste scanner, IRM ou échographique est élevé (os, poumon, rein, foie) (49). Des solutions techniques de segmentation totalement automatiques ont été décrites (50-52). Il s’agit en fait de simplement remplacer les points d’une intensité donnée (par exemple celle de l’os qui est très homogène et très spécifique sur le scanner notamment) par une couleur et une transparence données. Il s’agit d’une fonction de transfert simple qui est disponible sur toutes les stations de travail

des radiologues actuellement. Malheureusement cette segmentation automatique ou semi-automatique est essentiellement limitée encore une fois aux organes avec fort contraste ou en tout cas homogènes et bien différenciés des organes adjacents. Plusieurs équipes de recherche commencent à décrire des systèmes de segmentation pour l’utérus ainsi que pour les myomes avec comme application l’évaluation pré et post procédures lors du traitement par ultrasons focalisés (53). Des solutions de segmentation des images échographiques de l’utérus ont également été proposées (54). Ces solutions sont notamment développées pour l’irradiation dans les cancers du col utérin permettant de définir de façon plus précise le champ d’irradiation (55). Tout cela s’inscrit aussi dans une analyse de l’anatomie assistée par l’ordinateur et est donc voué à des développements futurs importants. Des structures fortement convexes, hétérogènes, aux frontières mal définies (jonction isthme / col, trompe / corne …) sont autant de difficultés pour la segmentation utérine. Nous avons choisi de ne pas orienter nos recherches sur ces méthodes de segmentation car nécessitant un développement à elles seules, d’autres équipes travaillant également sur des algorithmes de segmentation des reins (56). Nous avons utilisé un logiciel simple mais robuste : MITK (47), un logiciel gratuit en Open-source qui permet une segmentation semi-automatique. Dans la figure 22, on peut voir le contourage (segmentation) d’un rein sur une image IRM en T1. Plusieurs instruments 2D (« 2D tools ») du programme existent, la fonction « region growing » permet de sélectionner toute une région homogène puis l’opérateur va affiner manuellement la segmentation. L’opérateur vérifie sur les coupes sagittales et coronales correspondantes que la segmentation soit correcte. Plus la surface de

Figure 22. Utilisation du logiciel MITK (Images de gauche) pour la segmentation. Création du modèle 3D avec Meshlab.

14  

l’organe à segmenter est irrégulière plus il faudra segmenter de coupes axiales pour obtenir un résultat précis et cohérent intégrant toutes les variations de formes. En général la segmentation est réalisée quasiment sur chaque coupe pour l’utérus et toutes les 3 à 4 coupes sur le rein (la résolution étant meilleure). Le modèle est ensuite vérifié, exporté et « lissé » (smoothed). Le logiciel MeshLab est ensuite utilisé pour créer à partir du contourage en 2D un modèle 3D utilisable (figure 22). Il s’agit donc d’un processus semi-automatique. Trois écueils sont inhérents à cette méthode : elle est opérateur dépendant et nécessite donc un apprentissage (il faut savoir isoler et délimiter l’organe sur l’imagerie), elle est relativement longue et troisièmement elle exige une définition suffisante de l’imagerie sinon le modèle 3D est trop extrapolé et trop loin de la réalité surtout si son volume est irrégulier et hétérogène (non géométrique). Dans nos travaux basés sur l’IRM, cette segmentation est réalisée à partir des images brutes DICOM de l’organe d’intérêt. Elle nécessite une résolution suffisante c’est à dire des coupes fines tous les 2.5 mm. En effet la résolution classique des IRM pelviens fait appel a des coupes tous les 4 mm. Notre objectif a été de recréer dans un premier temps le modèle 3D utérin (figure 23). Un utérus normal mesure 30 à 40 mm de large (57), des coupes tous les 4 mm ne peuvent donner un rendu précis de l’organe. De plus certains myomes (notre premier modèle de pathologie) font 10 à 15 mm, leur modèle 3D ne peut être créé avec seulement deux à trois coupes IRM. Pour notre deuxième modèle d’étude (rein porcin), l’organe cible mesurait en moyenne 75 mm mais surtout les tumeurs étudiées mesuraient 8 mm en moyenne ce qui a imposé une optimisation de l’IRM pour avoir des coupes de 1,5 mm d’épaisseur avec une résolution de 0,4mm, bien supérieure à un IRM classique. Nous utilisions initialement les séquences LAVAFLEX (séquence T1 avec suppression de graisse au contraste amélioré développé par General Electric et comparable aux autres techniques utilisées en pratique courante et développées par d’autres fabricants (VIBE pour Siemens, THRIVE pour Philips) (58, 59). Nous utilisons maintenant les séquences T2 hautes résolution (coupes axiales tous les 2,5 mm). Cette étape permet donc de créer un modèle 3D de l’organe d’intérêt, de la tumeur à réséquer mais également de tout élément anatomique qui pourrait être pertinent pour le chirurgien. Le modèle ainsi crée possède une surface mais pas de texture particulière à sa surface (figure 23). Nous avons segmenté dans nos travaux l’utérus, les reins

porcins, les tumeurs à reséquer (myome et tumeur du rein crées ex-vivo) et également la cavité utérine. D’autres éléments tels que la vascularisation, les canaux excréteurs, les uretères, le rectum… pourront être segmentés.

2) La création du modèle 3D en peropératoire et recalage initial :

La création du modèle 3D peropératoire va permettre en fait la phase initiale du recalage (« initial registration stage » (60, 61)), la deuxième phase étant la phase de suivi (« tracking ») et donc de recalage en temps réel développé dans le chapitre suivant (Troisième phase: phase de suivi (tracking)). L’objectif de cette étape peropératoire est la réalisation d’un modèle 3D de l’organe d’intérêt. Ce modèle 3D est constitué d’un ensemble d’informations géométriques (position, orientation, ….) et photométriques (couleur, texture, ombres, contours....) (62). Il existe plusieurs techniques de reconstruction de ces modèles 3D à partir d’image digitales 2D (nous utilisons une optique 2D donc nous n’avons pas l’information 3D). On utilise pour les regrouper le terme Shape-from-X (« forme à partir de X »). X étant la méthode et donc l’information utilisée dans la reconstruction. Schématiquement il existe deux catégories : les techniques photométriques (Shape-from-shading, Shape-from-focus, stéreophotométrie) et les techniques géométriques (Shape-from-shadow, Shape-from-contour, Shape-from-texture, Shape-from-Template, la projection de lumière structures, Shape-from-motion, Shape-from-silhouettes, la stéréoscopie...) (62) Figure 24. En fait ces méthodes sont souvent combinées (62) mais la plupart des approches ont été développées pour la chirurgie robotique avec des stéréo-laparoscopes et non des optiques monoculaires (60, 63-67). L’avantage indéniable du robot est la vision stéréoscopique systématique. Elle permet de faciliter la reconstruction 3D et le recalage en donnant deux images d’un même objet vu par deux optiques selon un angle légèrement différent.

Figure 23. Modèle 3D préopératoire correspondant à la segmentation de l’utérus et des myomes de la figure 23A. A gauche le modèle est au représenté au sein de l’IRM ave4

15  

Plusieurs auteurs ont rapporté l’utilisation de cette vision stéréoscopique dans la création du modèle 3D per opératoire et dans le recalage (68). Malgré ces développements récents les méthodes de reconstruction 3D sont encore peu fiables (68) (69) et les auteurs proposent d’associer à leur technique une technique de marqueurs optiques ou magnétiques (68). En effet même avec la stéréoscopie il faut pouvoir intégrer la déformation des tissus, l’occlusion partielle du champ due aux instruments, la réflectivité variable des tissus... La stéréoscopie ne résout donc pas l’ensemble de la problématique, de plus elle implique un cout très important à la fois en matériel et en software et sa disponibilité dans tous les blocs opératoires est loin d’être acquise (17).

Les optiques « classiques » 2D sont de loin les plus utilisées en laparoscopie du fait de leur coût bien moindre qu’une optique 3D, de leur facilité d’utilisation, de leur performance (résolution 4k maintenant disponible). Depuis plus de 10 ans les chercheurs ont essayé de trouver des solutions à la reconstruction 3D à partir d’image 2D d’objet déformable (70), (71, 72) : la forme préopératoire de l’utérus notamment n’est pas la même que sa forme peropératoire. Ces modifications sont notamment dues à la canulation et aux pressions externes différentes appliquées sur l’utérus. Trois équipes sont pionnières dans ces recherches sur la reconstruction d’objet 3D déformable : le CVLab à l’école polytechnique de Lausanne, t EPFL, le groupe d’Agapito à la Queen Mary University of

London, et notre groupe (travaux initiés par le Pr Bartoli A.) (12). Seul notre groupe travaille plus spécifiquement sur des applications médicales. La solution technique developpée par notre équipe s’appuie au départ sur une structure 3D réalisée par shape-from-motion (figure 24, 25) grace à un nuage de point sur la surface du fond utérin ou à la surface du rein. Cela permet une reconstruction rigide de l’organe d’interêt. Ce sytème est déjà validé et a prouvé sa robustesse pour de nombreuses applications (70, 72). Il faut pour cela disposer d’une courte séquence vidéo de l’organe d’intérêt intégrant à la fois un mouvement propre à l’organe et un mouvement de la caméra. Cette séquence a une durée d’une minute à une minute trente. Dans cette séquence sont extraites des image « clefs » de l’organe d’intérêt (une dizaine d’images nettes où l’organe apparaît correctement de façon complète mais aussi en possition extrême (mouvement de l’organe), sous différents angles et à différentes distances. Les images sont choisies automatiquement : la vidéo est fractionnée en 12 séquences, pour chaque séquence le meilleur cliché clef est retenu (celui où le flou est le moins important, déterminé par une technique utilisée dans la compression vidéo pour déterminer les parties stables d’une image à l’autre), la SfM (Shape form Motion) étant plus fiable pour des images plus nettes. Sur ces images l’organe n’a donc pas toujours la même position, il faut manuellement appliquer un masque pour indiquer au software où est l’organe d’intérêt et enlever le « bruit de fond ».

Figure 24.: A gauche la vue peropératoire, Exemple de forme 3D de l’utérus reconstruite au centre (obtenue par

shape-from-motion) et à droite (obtenue par shape-from-shading) (12)  

Figure 25: construction du modèle 3D peropératoire. De gauche à droite: les images de la courte sequence video initiale sont combines pour extraire un nuage de points de la surface uterine. Puis le modèle 3d est construit et texturé.

 

16  

On délimite donc manuellement sur 4 ou 5 clichés la zone d’intérêt où ce trouve l’organe (figure 26): on indique ainsi au logiciel quelle est la zone à reconstruire. Plus on réalise de contourage sur un grand nombre de clichés, plus le recalage sera précis mais le temps de création du modèle 3D peroératoire en sera d’autant plus long. Ce contourage peut être partiel, rapide et grossier puisque secondairement l’intervention d’un logiciel de découpe automatique (« ciseaux intelligents ») affine la silouhette automatiquement (73).

Initialement (63), pour l’utérus un repère anatomique était repéré manuellement sur les clichés clefs et sur l’IRM (jonction utérus / trompe). Ce repère peut être utile si l’utèrus est très déformé ou la texture utérine trop homogène. Dans notre expérience initiale le SfM ne marchait pas systématiquement, il faut alors augmenter le nombre de clichés clefs en augmentant le temps de la séquence vidéo initiale, nous nous sommes également aperçu que en pratique clinique la réalisation de marques de coagulation sur la surface de l’utérus facilitait également cette tache. L’utilisation du mode CLARA de la colonne Spies (Storz) qui augmente le contraste et la visibilité des vaisseaux de surface facilite cette phase de reconstruction 3D (elle favorise ensuite aussi la phase de suivi).

Il faut dans un second temps faire la correspondance entre le modèle pré et per-opératoire (72). Cette correspondance doit être exacte en forme et en localisation (63, 72) si on veut pouvoir localiser très précisément une forme (tumeur) à l’intérieur de l’organe d’intérêt. Pour adapter, transformer la forme pré à la forme peropératoire il faut appliquer une transformation à la forme préopératoire. Cette transformation est déterminée par une fonction faisant intervenir deux termes : a) un terme de distance entre le modèle 3D pré et

per-opératoire (localisation de chaque point identique et dépendant notamment de l’echelle)

b) un terme d’énergie interne dérivé des propriétés biomécaniques du tissu (le rein, l’utérus, les myomes ont des propriétés biomécaniques propres (modèle de St Venant-Kirchhoff, élasticité non linéaire) (72, 74, 75)).

La détermination de la fonction nécessite une première étape d’initialisation manuelle. Schématiquement, l’initialisation fait intervenir la détermination de 4 points de correspondance sur le modèle 3d préopératoire et 1 point sur les images clefs peropératoires. Ces mises en correspondance sont initialement déterminées (initialisation du système) en utilisant une interface interactive manuelle permettant la rotation du modèle pour qu’il corresponde à une vue similaire de l’image clef. Tout le modèle 3D préopératoire est alors modifié en utilisant une transformation rigide (localisation et échelle, pas de critère biomécanique d’élasticité). Puis ce modèle est comparé au modèle réalisé grâce aux nuages de points peropératoires (figure 25). La transformation de chaque point (fonction) est déterminée par la composition de toutes les transformations retrouvées. Dans la première description de notre système (63) le modèle 3D per-opératoire était simplement adapté au modèle per-opéraoire sans intégrer de données biomécaniques de déformation mais cela ne permettait pas un recalage correct.

Il est necessaire par ailleurs que la caméra soit calibrée pour intégrer les déformations propres à l’optique et à la caméra. Pour cela une courte séquence vidéo d’un damier est réalisée en début de procédure. Cette courte vidéo est réalisée en réalisant un plan fixe puis en réalisant un mouvement du damier par rapport à la caméra (angulation de celui ci) et enfin de l’optique elle même (70).

Le modèle pré-opératoire va donc être déformé, modélisé pour correspondre exactement au modèle peropératoire : le modèle 3D préopéraoire modifié peut être fusionné avec l’image

 

Figure 26. SfM d’un utérus. Chaque première image correspond à une des images de la séquence vidéo initiale sur laquelle l’opérateur contoure grossiererment l’utérus (deuxième image), un modèle 3D est ainsi construit.

17  

laparoscopique. Pour la phase de recalage initiale, Il faut, en utilisant notre système, trois minutes sur un PC standard : deux minutes pour réaliser les masques et créer le modèle 3d et une minute pour son optimisation.

3) Troisième phase: phase de suivi (tracking) : Une fois la phase initiale de recalage réalisée, cette phase de tracking est plus simple (dans notre système, contrairement aux systèmes développés par d’autres équipes). Elle doit être néanmoins précise, fiable et réalisée en temps réel bien sûr. Elle doit être automatique et stable. Elle repose en fait sur le suivi de la texture de la surface utérine. A chaque position de la texture de l’utérus sera associée une posisiton du modèle 3D peropératoire. Le suivi est modélisé sur une transformation (mouvement) uniquement rigide (pas d’intervention de propriétées biomécaniques) la forme de l’utérus une fois canulé se modifiant peu (avant incision) lors des mouvements (il en est de même pour le rein une fois que son expostion est réalisée). Cette transformation (mouvement) rigide peut être estimée de façon beacoup plus rapide et robuste que la phase intiale car elle fait intervenir une fonction mathématique intégrant les données de rotation et de translation de l’organe mais pas de déformation ce qui rend le calcul beaucoup plus simple et rapide. Les techniques de tracking en RA « classique » pour une optique monoculaire nécessitent en fait l’emploi de marqueurs (magnétiques ou visuels) (14, 76). Il

faut que soit la position l’organe, soit la position du patient (si l’organe est fixe par rapport au patient : c’est a peu près le cas du cerveau par exemple) soient déterminés dans l’espace et que la position de la caméra (de l’optique) ou d’un des instruments soit déterminée également dans l’espace. En fait la majorité des autres techniques nécessite un recalage manuel si l’organe d’intérêt bouge mais également si la caméra est sortie et réinsérée dans le champ opératoire ou même si un instrument occulte temporairement le champ de la caméra. Autrement dit un recalage manuel va être nécessaire plusieurs fois au cours d’une intervention ce qui est consommateur de temps et ne facilite pas le geste (2, 17, 38, 40, 77, 78). De plus ce recalage manuel nécessite une localisation spatiale d’un instrument qui va réaliser un contourage / un repérage spatial de l’organe d’intérêt : cela correspond dans notre technique à la phase initiale du recalage. En chirurgie robotique cela complique encore plus les choses si on veut localiser un instrument : plusieurs systèmes ont été étudiés (17) figure 27 : un système qui utilise les données connues par le robot uniquement (la positon des articulations (donnée intrinsèque, système le plus grossier)), un système de marqueur optique (en haut de la partie terminale de l’instrument ou après les articulations : figure 27), un système optique associé pour la partie terminale au repérage du robot ou un système utilisant un repère magnétique sur la partie terminale de l’instrument. Avec le premier système la marge d’erreur est de 10 à 22mm ce qui n’est pas acceptable si l’on considère que l’objectif de marge de résection pour une tumeur rénale par exemple est de 5mm (79) (80, 81). Une méthode combinant les données intrinsèque au robot et extrinsèque (capteur optique ou magnétique sur un instrument et la caméra 3D) arrive à des résolutions beaucoup plus convaincantes de 10 à moins de 2 mm (79). Le problème majeur des capteurs optiques est qu’il ne doit pas y avoir d’interférence (donc de passage d’instrument, de personnel ..) entre la caméra qui filme le repère optique et le repère optique lui même ce qui est difficile dans un bloc opératoire.

Aucun de ces systèmes ne peut intégrer le déplacement de l’organe d’intérêt. Pour intégrer ce déplacement plusieurs auteurs ont proposé d’intégrer des repères magnétiques, comme ceux déjà utilisés pour la radiothérapie dans le cancer de la prostate (Calypso 4D Localization System (Calypso Medical Technologies, Seattle, WA) figure 25. Il s’agit en fait de transpondeur injecté dans l’organe d’intérêt de la même manière qu’auraient été réalisées des biopsies guidées par imagerie.

 

Figure 27 : méthode de repérage de la position des instruments en chirurgie robotique(17)  

18  

Cette technique (42, 76) a été décrite pour la néphrectomie partielle. Malheureusement la présence d’instruments laparoscopiques diminue la fiabilité de ces repères (42, 76), par ailleurs toutes les salles opératoires renferment des éléments pouvant avoir une interaction ferromagnétique avec ce dispositif, cela réduit d’autant plus son intérêt. Tout comme une autre équipe a décrit l’injection de traceur fluorescent (82) ,figure 28) cela nous paraît relativement invasif et impose un geste supplémentaire au patient non dénué de risques immédiats (83) même si cela ne semble pas entraîner de dissémination tumorale. Une autre équipe a proposé la mise en place per–opératoire d’aiguille dont la tête est recouverte d’un bille de couleur donnée (14) figure 29. Cette technique paraît également invasive, de plus l’introduction de matériel de petit calibre non résorbable augmente par définition le risque de perte et donc de complications liées à son utilisation.

Il semble donc nécessaire de développer des techniques n’utilisant pas de marqueurs physiques. Les techniques utilisant la reconnaissance de surface n’impliquent pas l’utilisation systématique de repères ou traceurs (marqueurs, « trakers », repères) visuels ou magnétiques. En fait lors de l’utilisation d’une optique monoculaire, la technique surfacique la plus utilisée est la technique SLAM (Simultaneous Localization And Mapping). SLAM implique de construire une représentation 3D de l’environnement (une carte 3D) et détermine une transformation rigide (pas d’intégration de données biomécaniques) pour repositionner cette carte dans l’image de l’optique (dans la réalité). Ce système (construction de la carte 3D puis localisation des points de la carte dans l’image) fonctionne bien dans un environnement relativement fixe et relativement rigide : typiquement une pièce avec des objets statiques (en forme et en localisation par rapport aux autres), une rue avec beaucoup d’éléments fixes,

tout cela d’aspect / texture très différents et très spécifiques). Ce n’est pas le cas d’un environnement chirurgical biologique (par exemple modification de la place du tube digestif, de la paroi, liquides biologiques (sang) sous jacent à l’organe d’intérêt, mouvement rapide de la caméra, textures relativement répétitives et homogènes). En fait la technique SLAM (par définition) crée une carte alors que nous n’utilisons que l’organe d’intérêt (sur lequel nous voulons afficher les informations en RA). Le système SLAM a malheureusement beaucoup de chance d’associer des points sur deux images qui ne sont en fait pas les mêmes mais qui sont semblables (texture, localisation…). Ce n’est pas le cas avec la technique SfM que nous avons développée. Notre système est basé sur une approche novatrice qui utilise une cartographie très large des textures de la surface de l’utérus (70). Le système utilise cette précision dans l’analyse des textures (70) pour identifier précisément les changements dans l’apparence de la surface de l’utérus. Cette technique apporte des changements majeurs et indéniables par rapport aux techniques SLAM utilisées classiquement par les autres équipes (39, 78, 84, 85). L’utilisation de la technique SLAM était déjà une évolution majeure par rapport aux autres techniques utilisées. Une autre caractéristique de notre technique est qu’elle n’utilise pas de modèle prédictif. Dans le modèle SLAM, le recalage en temps réel se fait en partie grâce aux données du recalage de l’image juste avant, dans notre modèle le recalage est réalisé de novo sur chaque image car basé la reconnaissance des textures de l’organe d’intérêt (« Wide-Baseline Multi-Texturemap Registration : WBMTR »). Il faut pour cela que dans la séquence vidéo que nous prenons de l’organe d’intérêt inclure des images prises de différents points de vue et de différentes positions de l’organe. Les différences et les variations de texture entre

 Figure 28. Beacon® electromagnetic

transponder (~8 mm in length).  

 

Figure 29. Prostatectomie radicale. Repères visuels (aiguille + tête colorée). (14)

19  

chaque cliché clef vont être analysés et enregistrés, ces données vont permettre de littéralement suivre l’organe en reconnaissant sa texture de surface et en déduire ainsi sa position dans l’espace. Cette position dans l’espace étant reconnue on va pouvoir y ajouter le modèle préopératoire « optimisé » (transformé) et les données d’intérêt (tumeur à l’intérieur de l’organe, repères anatomiques)…. En fait ce qui pourrait être un handicap (différents aspects de la texture en fonction de la réflectivité du tissu (très variable sur un tissu biologique intra-abdominal), de l’éclairage, de l’angle de vue) va être transformé en avantages de reconnaissance et de véritable lecture du champ opératoire et de son contenu. Nous avons testé ce modèle et démontré sa fiabilité et sa robustesse comparées à la méthode de référence SLAM (article reproduit en Annexe 1) sur des données vidéo acquises in-vivo. En effet notre système est beaucoup moins sensible que le système SLAM au mouvement de l’organe, à sa déformation secondaire par la pression d’un instrument, à l’occlusion du champ opératoire par un instrument et aux différentes phases de retrait/insertion de l’optique.

Le Circuit est donc complet : les textures sont automatiquement reconnues, en est déduite la position de l’organe, position initialement paramétrée grâce à une courte séquence vidéo initiale (incluant des mouvements de l’organe ou tout du moins son angle de vue et nécessitant un traitement manuel minime) qui permet ainsi de positionner l’image 3D préopératoire modifiée selon les données du modèle 3D peropératoire et les caractéristiques biomécaniques de l’organe…. On sait donc où et avec quelles modifications afficher l’information obtenue en préopératoire. Il faut alors définir les modalités pratiques (couleur, texture…) d’affichage de ces informations et déterminer quelles informations afficher : surface externe de l’organe, tumeur à l’intérieur de l’organe, repères anatomiques

4) Modalités pratiques d’affichage de l’information

La dernière problématique, en fin de circuit,

est donc l’affichage des informations à l’écran. Il s’agit d’afficher deux types d’informations : les informations réelles synthétiques (tumeurs, repères anatomiques, cavité utérine, …) et l’affichage d’informations, de repères guidant le chirurgien (marge saine, niveau d’incision, aide à la 3D …) décidées en préopératoire. Pour localiser (localisation spatiale) correctement une tumeur dans un organe opaque il faudrait que le chirurgien voit au travers de cet organe comme si cet organe était transparent. C’est cet effet que nous utilisons : l’information d’intérêt (tumeur, structure interne d’un organe : cavité, vaisseaux, canaux excréteurs, …) situés dans l’organe d’intérêt vont s’afficher sur l’organe d’intérêt. Nous utilisons de la 2D, l’information va donc s’afficher sur l’organe mais il faut non seulement donner l’impression que l’information d’intérêt est à l’intérieur de l’organe mais également que le chirurgien puisse estimer de façon précise la localisation en profondeur de l’information ce qui est pas intuitif sur un écran 2D. Dans le début de nos travaux était affiché au chirurgien uniquement l’information d’intérêt (figure 30) sans aucun rendu de la surface de l’organe d’intérêt ce qui rendait difficile l’évaluation de la profondeur de cette information par rapport à la surface de l’organe. L’organe apparaissait totalement transparent, dans un deuxième temps, pour améliorer la localisation en profondeur donc la capacité du chirurgien à localiser l’information d’intérêt un rendu de type maillage noir a été ajouté (figure 30). Celui ci correspond au modèle 3D préopératoire optimisé et recalé de l’organe suivi. En dehors de cet avantage de retranscription au moins partielle de l’information 3D il permet au chirurgien et à l’opérateur qui s’occupe de la partie manuelle du recalage de vérifier en temps réel, quelque soit le mouvement de l’organe, la bonne corrélation du modèle 3D optimisé et de l’image laparoscopique réel de l’organe.

Figure 30. Dans les deux images de gauche : affichage de l’information d’intérêt, sans rendu de la surface de l’organe. Images de droite : rendu de la surface de l’organe par un maillage noir semi transparent.  

20  

De fait le mouvement de l’organe est finalement un avantage majeur dans la localisation de l’information puisque l’opérateur peut voir l’organe de profil et estimer plus facilement la localisation de la tumeur ou de l’information d’intérêt en général (figure 30 et 31). Nous avons également débuté l’optimisation d’ajout de repères en RA permettant d’augmenter la précision de la localisation. Il s’agit de formes en « clou » dont la tête est à la surface de l’organe (au niveau du maillage de l’organe) et la pointe au niveau de la tumeur (Figure 31). Plusieurs de ces formes peuvent être ajoutées selon des angles différents déterminés par l’opérateur informatique avant la chirurgie (angle de 90° entre chaque forme généralement, figure 31).

Nous avons également ajouté des marges de résections pour afficher aux chirurgiens la marge tumorale minimale à respecter lors d’une résection oncologique notamment (figure 32). Cette marge est définie en préopératoire (5 mm par exemple en néphrectomie partielle) et peut être facilement adaptée aux désidérata du clinicien. Au cours de nos expérimentations et notamment dans la mise au point du modèle de néphrectomie partielle nous avons réalisé que cette vue transparente ou semi-transparente présentait des limitations dans la localisation de tumeurs et dans la décision de l’incision initiale s’il s’agissait de

petites tumeurs ou de tumeurs profondes. Cette limitation est représentée figure 32: il existe une angulation entre la caméra et l’instrument coelioscopique, en 2D si seule l’information de la tumeur et des marges est affichée le chirurgien aura tendance à effectuer un accès à la tumeur aligné avec l’optique, là ou se projette l’image du centre de la tumeur (c, sur la figure 32) si son objectif est d’accéder directement à la tumeur. L’incision est poursuivie dans l’alignement de l’instrument (trait fin rouge de la figure 32, image de gauche) et se trouve en dehors de la tumeur. La projection est la même pour une tumorectomie: le risque est de réaliser une résection conique passant par la tumeur ou sans respect des marges saines (trait épais rouge de la figure 32, image de gauche), nous avons donc adapté la projection des limites de section à réaliser pour effectuer une tumorectomie à l’angulation instrument / caméra. Nous avons appelé ce système « tool port projection ». Cet anneau de section représente la projection de la tumeur à laquelle sont ajoutées les marges de résection. Nous avons donc développé de véritables outils d’aide à la tumorectomie (projection de l’anneau d’incision, représentation des marges saines à respecter, aide d’estimation de la profondeur, tumeur en elle même) permettant probablement de diminuer le facteur « expérience » dans la tumorectomie.

Figure 32. Image de gauche, système sans repère d’incision adapté à l’angulation caméra instrument (c : point de projection du center de la tumeur aligné à l’optique et le utilisé comme point d’incision du chirurgien, traits rouge : poursuite de l’incision si l’angulation de l’instrument n’est pas pris en compte). Image du centre : projection du cercle d’incision adapté à l angulation optique/instrument et sa vue laparoscopique telle qu’utilisé dans notre protocole.  

Figure 31. Vue de dessus (a gauche), l’évaluation de la localisation en profondeur de la tumeur est difficile. Vue latérale (au centre) permettant d’apprécier plus facilement la localisation de la tumeur. Adjonction de formes en «clou» améliorant la vision 3D, sur cette image sont également présentent la simulation de marge de résection et l’adjonction d’autres informations telle que la cavité utérine.  

21  

IV.  Matériel  nécessaire   Comme nous l’avons décrit plus haut la plupart des systèmes actuels de RA nécessite un repérage spatial des instruments et ou de la caméra tel qu’illustré dans la figure 27 avec le système NARVIS (Figure 33).

Dans notre système il n’est pas nécessaire d’avoir recours ni à des repères ni à ce suivi spatial (« tracked » instruments / endoscope). Nous avons donc « éliminé » cette contrainte technique majeure. Il faut quand même afficher l’information au chirurgien. En chirurgie ouverte, si l’opérateur regarde habituellement directement le champ opératoire il semble logique d’interposer un système de visualisation entre l’œil et le champ opératoire : il apparaît délétère de regarder un écran et le champ opératoire alternativement ou d’un œil l’écran et de l’autre le champ opératoire (figure 34) alors que des systèmes de visualisation fixés sur la tête du chirurgien (Head Mounted Device, visiocasque en français) existent Il existe de très nombreuses versions de ces systèmes de visiocasque du plus simple au plus évolué (figure 35).

Figure 33. Navigated Augmented Reality Visualization System (NARVIS) (11)

Figure 34. En haut : affichage de l’information sur un écran déporté, l’opérateur est obligé de déporté son regard du champ opératoire. En bas système de visiocasque (optical see through). Illustration Bernard Peuchot. (9)  

   Figure  35.  Visiocasques  :  systèmes  simples  et  peu  couteux  à  gauche    (67)  et  plus  beaucoup  plus  évolués  (système  anthropomatik,  système  Augmented  Intervention  Assistant  (AIA)),  Système  VIPAAR  :  Virtual  Interactive  Presence  in  Augmented  Reality,  University  of  Alabama).  A  droite  :  Projet  d’évolution  la  plus  récente  :  Lentille  pour  RA.  

22  

Pour certaines chirurgies ouvertes (neurochirurgie, chirurgie maxillo-faciale) l’utilisation systématique d’un microscope impose déjà la présence d’un appareillage entre le chirurgien et le patient, l’affichage de l’information de la RA au niveau des lentilles est donc logique et intuitive (figure 36). En fait la différence majeure entre ces systèmes est le fait de voir directement la réalité au travers de verre-écran (ou lentille) sur lesquels s’affiche la RA (Optical see-through) ou par l‘intermédiaire d’écran comme dans notre système (vidéo see-through) ce qui impose que la réalité soit filmée (figure 37).

Dans la littérature, un travail a rapporté les différentes méthodes d’affichage utilisées en RA en chirurgie Kersten-Oertel, Jannin (15), figure 38. Le système d’affichage des données est donc essentiellement fonction du type de chirurgie : microscope dans la majorité des cas en neurochirurgie, figure 36), écran en laparoscopie, projecteur en chirurgie ouverte maxillo-faciale. En chirurgie laparoscopique, la majorité du temps un écran est donc utilisé puisque le principe même de ce type de chirurgie nécessite l’utilisation d’un écran.

Figure 38. Graphiques montrant la part de chaque méthode d’affichage utilisé en RA en fonction du type de chirurgie. Kersten-Oertel, Jannin (15).

Figure 36. Intervention de neuro-chirurgie avec RA. Technologie CaptiView. Leica. Dr Joshua Bederson, MD.

 Figure 37. Différence entre l’Optical see-through et le vidéo see-trough.

23  

Par rapport à un circuit classique de transmission simple de l’image avec un traitement minime (caméra – processeur caméra (colonne) – écran) notre système nécessite l’adjonction d’un ordinateur (PC) relativement classique dont le coût avoisine les 1000 à 1500 euros (description schématique figure 39). Nous utilisons une optique 10 mm Storz de 0° soit standard soit Spies. La colonne coelioscopique est également une colonne Storz « standard » en HD ou une colonne Storz Spies. L’avantage de la colonne Spies est que l’on peut utiliser le mode « CLARA » notamment qui par une amélioration automatique des zones plus sombres de l’image laparoscopique facilite la phase initiale de recalage (86) (60). A la sortie de la colonne la résolution du signal vidéo est de 1920x1080 pixels avec 25 images par secondes. L’ordinateur utilisé est équipé d’un processeur Intel i7 et d’une carte graphique puissante (NVidia GTX 660). Le software spécifique développé par notre équipe pour le recalage et le tracking est nommé « Utéraug » pour « utérus » et « réalité augmentée ». La phase de Tracking implémentée et réalisée en langage C++/CUDA optimisé permet de réaliser une RA à 16 images par secondes, il existe

donc un léger décalage entre le mouvement de l’organe et le suivi en RA. Ce décalage était largement perceptible au début des expérimentations, il est maintenant très réduit et permet de réaliser un geste chirurgical de repérage (marque /coagulation / section) en utilisant l’écran de la RA. Pour l’écran, nous avons utilisé le plus souvent un double affichage surtout en pratique clinique (figure 40) : le circuit de l’image sans RA n’était pas modifié mais ajouté en parallèle grâce à l’utilisation d’un routeur vidéo le circuit de la RA était installé. Cela permet d’avoir toujours en fonctionnement le circuit classique si le circuit RA est défaillant. Mais un circuit unique de RA (figure 40) peut être utilisé avec un affichage sur l’écran de célioscopie habituel. Notre système ne nécessite donc qu’une installation simple, peu couteuse, facilement transportable.

Figure 39. A gauche, le circuit classique de l’image en coelioscopie conventionnelle, A droite le circuit de l’image dans notre système de RA.

Figure 40. A gauche : double affichage : écran habituel et écran RA (écran de l’ordinateur). A droite : affichage de la RA sur l’écran de la colonne coelioscopique, on peut remarquer en haut à droite de l’écran l’affichage synchrone en incrustation de l’image 4

24  

V.  Évaluation  expérimentale  dans  un  modèle  utérin  

Pour débuter le développement de notre système de RA, nous avons choisi un modèle simple de tumeur : les fibromes utérins. Le fibrome utérin est une tumeur bénigne des cellules musculaires lisses de l’utérus. Il s’agit de la tumeur la plus fréquente chez la femme en âge de procréer (87), et l’on estime leur fréquence à environ 25% des femmes en âge de procréer (88), mais cette fréquence est probablement sous estimée puisque la plupart des fibromes utérins sont asymptomatiques donc non diagnostiqués (89). Les cas symptomatiques le sont souvent par des douleurs pelviennes, des métrorragies ou un impact sur la fertilité (90). Après l’examen clinique, l’examen complémentaire de première ligne est représenté par l’échographie pelvienne. L’échographie pelvienne est très « opérateur dépendant » et l’utilisation des images à posteriori est plus difficile du fait qu’il s’agit d’un examen dynamique contrairement au scanner ou à l’IRM qui sont beaucoup plus statiques. La réalisation de coupes sériées parallèles est également très difficile (voire impossible en abord transvaginal) et rend donc difficile une reconstruction en échographie. En deuxième intention, l’imagerie par résonance magnétique (IRM) permet une cartographie des myomes très précise. Elle est souvent utilisée en pré-thérapeutique, ou cas de fibromes particulièrement nombreux et/ou volumineux ou de pathologies associées (adénomyose…) (87). Cet examen est reproductible mais doit être complet avec trois plans de coupe : sagittal, transversal et coronal et trois séquences T1, T2 et injection de gadolinium (91,Tan, 2014 #720,Perez-Lopez, 2014 #8859, 92, 93). L’IRM est de plus en plus systématiquement utilisé dans la cartographie préopératoire des myomes, certains centres très spécialisés revendiquent son utilisation systématique (92,Perez-Lopez, 2014 #8859, 93). Aucun argument dans la littérature ne permet cependant de recommander son utilisation systématique. En ce qui concerne la prise en charge chirurgicale, la myomectomie demeure le traitement conservateur le plus souvent proposé, en particulier chez les patientes jeunes, ayant un désir de grossesse. Dans le cas des myomes sous-muqueux de type 0, 1, ou 2, de petite taille, la résection hystéroscopique reste le traitement de référence (87). Pour le reste des myomes, la voie d’abord coelioscopique est recommandée dès que la situation le permet (en général taille de myome < 8 cm et

nombre de myomes < 3). Il est possible d’utiliser l’ulipristal acétate (ESMYA ®) ou des analogues de la LHRH pour réduire la taille du myome en préopératoire. L’utilisation de l’ulipristal notamment s’est largement répandue avec pour corolaire une possible diminution des indications opératoires mais aussi une diminution de la taille des myomes à opérer et une structure plus souple de ces myomes rendant leur localisation encore plus difficile (94-96). L’incision de la séreuse utérine est l’étape initiale de la myomectomie. Le nombre et la taille des incisions sont un facteur important d’adhérences post-opératoires (97). Le choix de la zone d’incision est important dans le but de faciliter l’accès au(x) myome(s), diminuer le nombre et la taille des incisions et ainsi diminuer le risque d’adhérences post-opératoire (97). En effet, en cas de myomectomie le nombre et la taille des incisions réalisées, la façon de suturer l’utérus et le nombre de nœuds réalisés influencent la survenue de novo d’adhérences post-opératoires (97). L’objectif de l’utilisation de la RA dans la prise en charge des fibromes serait donc d’optimiser la chirurgie, en permettant la visualisation des fibromes: car leur localisation précise est parfois difficile du fait de leur nombre et de leur taille associés au moindre retour de force lié à la cœlioscopie. La visualisation de la cavité utérine, de la vascularisation utérine, des fibres musculaires utérines (DTI: diffusion tensor imaging, nous développerons ce point dans le chapitre « perspectives ») et de tout autre élément anatomique ou structurel pourrait également faciliter la chirurgie des myomes. La réalité Augmentée n’avait pas encore été développée, utilisée ou publiée sur un organe très mobile comme l'utérus. Dans un souci de démarche la plus scientifique possible nous avons d’abord testé notre sur modèle d’utérus fantôme. Ce travail initial avait pour objectif de tester le modèle et d’évaluer un bénéfice potentiel pour la myomectomie en terme de précision d’incision, avec et sans Réalité Augmentée. Les résultats de cette étude montrent que le système de Réalité Augmentée permet d'améliorer considérablement la précision de la localisation des myomes et la facilité de cette localisation évaluée par le chirurgien. L’article médical (par opposition aux travaux publiés dans des revues scientifiques non médicales) lié à ce travail est reproduit ci-dessous (98). Le deuxième article publié dans une revue non médicale (à comité de lecture) est reproduit en annexe 1 (63).

25  

   

Augmented reality in gynecologic surgery: evaluation of potential benefits for myomectomy in an experimental uterine model

Nicolas Bourdel1,2 • Toby Collins2 • Daniel Pizarro2 • Adrien Bartoli2 •

David Da Ines2,3 • Bruno Perreira4 • Michel Canis1,2

Received:  21  October  2015  /  Accepted:  9  April    2016  © Springer  Science+Business  Media  New  York    2016  

Abstract Background Augmented Reality (AR) is a technology that can allow a surgeon to see subsurface structures. This works by overlaying information from another modality, such as MRI and fusing it in real time with the endoscopic images. AR has never been developed for a very mobile organ like the uterus and has never been performed for gynecology. Myomas are not always easy to localize in laparoscopic surgery when they do not significantly change the surface of the uterus, or are at multiple locations. Objective To study the accuracy of myoma localization using a new AR system compared to MRI-only localization. Methods Ten residents were asked to localize six myomas (on a uterine model into a laparoscopic box) when either using AR or in conditions that simulate a standard method (only the MRI was available). Myomas were randomly divided in two groups: the control group (MRI only, AR

Electronic supplementary material The   online   version   of     this    article   (doi:10.1007/s00464-­‐016-­‐4932-­‐8)   contains  supplementary   material,   which   is   available   to   authorized      users.  

&  Nicolas  Bourdel  

nicolas.bourdel@gmail.com   1   Department  of  Gynecological  Surgery,    CHU  Clermont  

Ferrand,  1  Place  Lucie  Aubrac,  63000  Clermont-­‐Ferrand,  France  

2   Faculte ́    de  Me´decine,  ALCoV-­‐ISIT  (UMR6284    CNRS  /  Universite´    d’Auvergne),  28  Place  Henri   Dunant,  63000  Clermont-­‐Ferrand,  France  

3   Department  of  Radiology,  CHU  Clermont  Ferrand,     1  Place  Lucie  Aubrac,  Clermont-­‐Ferrand,   France  

4   Biostatistics  Unit,  Department  of  Clinical     Research  and  Innovation,  CHU  Clermont   Ferrand,  63000  Clermont-­‐Ferrand,  France  

not activated) and the AR group (AR activated). Software was used to automatically measure the distance between the point of contact on the uterine surface and the myoma. We compared these distances to the true shortest distance to obtain accuracy measures. The time taken to perform the task was measured, and an assessment of the complexity was performed. Results The mean accuracy in the control group was 16.80 mm [0.1–52.2] versus 0.64 mm [0.01–4.71] with AR. In the control group, the mean time to perform the task was 18.68 [6.4–47.1] s compared to 19.6 [3.9–77.5] s with AR. The mean score of difficulty (evaluated for each myoma) was 2.36 [1–4] versus 0.87 [0–4], respectively, for the control and the AR group. Discussion We developed an AR system for a very mobile organ. This is the first user study to quantitatively evaluate an AR system for improving a surgical task. In our model, AR improves localization accuracy.

Keywords Gynecologic surgery · Laparoscopy · Augmented Reality · Myomectomy · MRI

Uterine incision is the starting point to gain access to interstitial myomas in laparoscopic surgery. Optimization of this incision is crucial to facilitate the best access to the myoma. This means determining the correct incision length, orientation and position, and also to decrease the number of incisions required for access. Number and size of incisions, suturing and number of knots were found to influence de novo adhesion formation in a randomized double-blind study assessing the use of 4 % icodextrin solution and reported by Trew et al. [1]. However, myomas are not always easy to correctly localize when they do not significantly change the surface of the uterus, or are in

Surg  Endosc  DOI  10.1007/s00464-­‐016-­‐4932-­‐8  

 

DYNAMIC  MANUSCRIPT    

26  

multiple locations [2]. MRI (magnetic resonance imaging) provides a good cartography of myomas; however, using it for intra-operative navigation remains challenging. Aug- mented Reality (AR) is a technology that can allow a surgeon to see subsurface structures in an endoscopic video [3–5]. This works by overlaying information from another modality, such as MRI and fusing it in real time with the endoscopic images [3–7]. AR systems have been success- fully developed to assist surgical procedures including adrenalectomy [3], prostatectomy [7], liver resection [4, 8] and neurosurgery [9]. However, AR has never been attempted on a very mobile organ like the uterus and has never been developed for gynecology. As the first AR system for uterine surgery, we targeted assisted laparo- scopic myomectomy. Our objective was to test our system for its potential benefit for myomectomy by answering the question: Can we localize small sized intramural myomas more accurately using an Augmented Reality (AR) system?

Materials  and  methods  

AR software (supplemental material: video 1): We have developed an intra-operative myoma visualization system based on AR [10]. Two phases are necessary: the seg- mentation phase and the fusion phase. In the segmentation phase, the outer surface of the uterus and myomas are delimited (segmented) in the preoperative MRI by the radiologist and a 3D mesh model is constructed (Fig. 1). This 3D model is then automatically positioned (or ‘‘aligned’’) and fused with the laparoscopic image of the uterus in real time (real-time fusion phase) [10] (Fig. 1, supplemental material: video 1). The fusion gives the impression that the uterus is semitransparent and the sur- geon can see the exact location of the myoma inside it. The fusion stage is fully automatic. In vivo accuracy results were reported showing that the system could correctly align the uterus to within ± 1 mm despite the movement of the uterus. The system was shown to be robust to other

challenges including occlusion with surgical tools, rapid camera motion and motion blur. Our algorithms run on a standard PC with a GPU equipped graphics card [10].

Synthetic uterus model We used a synthetic 3D printed uterus model with the typical shape of the uterus during laparoscopy, after insertion of a uterine manipulator. We applied a realistic texture to the model by texture mapping it with five images of a real uterus. The model was printed in color with a Z-Corp multicolor 3D printer (3D Systems Rock Hill, USA). The synthetic uterus was inserted into a pelvic trainer box; a laparoscope (Karl Stortz 10-mm HD laparoscope) was inserted through one trocar and a laparoscopic pointing instrument through a second trocar (Fig. 3).

Myomas We simulated six synthetic myomas (Fig. 2). These were modeled as 20-mm spheres and positioned within the uterine wall. The distance of the myomas to the outer surface of the uterus varied between 3 and 30 mm. For each myoma, a synthetic MRI was created (sagittal, axial and coronal slices, supplemental material Fig. 1). The synthetic MRI has the ability to recreate the different slices available in clinical practice.

Measures The objective was to evaluate how accurately surgeons could localize the myomas when either using the AR system or in conditions that simulate the gold standard method (where only the MRI was available for the sur- geon). Ten residents trained in laparoscopy and in inter- preting MRI were asked to perform a measurable task: to touch with the laparoscopic pointing instrument where on the uterine model surface (point of contact) that they believed was the closest point to the myoma (Fig. 3). Each resident performed the task six times (one time for each myoma). For three of the myomas, AR was activated, and for the other three AR was deactivated. This was done by dividing the six myomas into two sets of size three [set 1 (myomas 1, 4 and 6) and set 2 (myomas 2, 3 and 5)]. The use of AR for set 1 or 2 was randomly determined for each resident. We refer to the ‘‘control group’’ as the all the tasks performed without the AR system (30 myomas: three

Fig. 1 Overview  of  AR  system  for  visualizing  the  locations  of  myomas  in  laparoscopic  video  of  the  uterus  

27  

Fig. 2 Six  virtual  myomas  positioned  within  the  uterus  body.  Each  myoma  was  tested  separately  

Fig. 3 On  the  left:  external    view  of  the  pelvic  trainer  with  the  pointing  instrument  used  to  assess  task  1.  On  the  right:  laparoscopic  images  of  uterus  model  with  rendered  virtual  myomas  with  the  pointing  instrument  

myomas per resident, ten residents) and the ‘‘AR group’’ as the all the tasks performed with the AR system activated. In total, 60 myomas were tested (30 samples for control and 30 samples for AR). The AR software was used to automatically measure the distance d in mm between the point of contact on the uterine surface and the myoma. We denote d1 in mm to be a sample distance for the control group and d2 in mm to be a sample distance for the AR group. We compared these distances to the true shortest distance (d0 in mm) to obtain accuracy measures |d1 - d0| and |d2 - d0|. |d(1 or 2) - d0| was measured for each myoma (if this distance was zero, it meant the surgeon touched the surface at the closest point to the myoma). The time between the insertion of the pointer and the local- ization of the closest point was also measured for all the myomas. The surgeon was then asked to evaluate the dif- ficulty of the task using a Likert scale [task complexity: How complex was the procedure? very easy, easy, mod- erately difficult, difficult, very difficult corresponding, respectively, to scores of difficulty: 0, 1, 2, 3 and 4, cor- responding to one of the items (simplified) described in the Surgical Task Load Index (SURG-TLX)] [11].

Statistical analysis: Statistical analysis was performed

using Stata software, version 13 (StataCorp, College Sta- tion, TX, U.S.). The tests were two-sided, with a type I error set at a = 0.05. Random effects models were used to compare accuracy, time of the localization and surgeon’s appreciation between control and AR groups. These mod- els allow to study fixed effects as group (control or AR) taking into account between and within surgeon variability (random effects) due to repeated correlated data for a same surgeon. The normality of residual was studied for each model, by the Shapiro–Wilk test.

Results:  (Table  1)   Accuracy   and   time   of   the   localization   The   mean  accuracy  in  the  control  group  (|d2  - d0|)  was  16.80  mm  [0.1–52.2].  In  the  AR  group,  the  mean  accuracy  (|d1  - d0|)          was  0.64 mm [0.01–4.71] with p \ 0.001 between the two groups (Table 1). Intra-class correlation coefficient (ICC) according to surgeon was 9 % (low ICC, which means no dependence in between every single task of one surgeon).

28  

Table 1 Results  of    accuracy,  

Mean  accuracy   Mean  time   Mean  difficulty  

time  and  difficulty,  all  data    are                    expressed  as  mean  ± SE  

AR   Control   AR   Control   AR   Control  

R01 0.47 ± 0.6 11.6 ± 15.4 18.16 ± 10.3 12.0 ± 3.3 1.00 ± 0.0 2.33 ± 0.6

R02 1.87 ± 3.0 23.9 ± 7.4 6.44 ± 2.5 10.3 ± 3.7 1.33 ± 0.6 2.33 ± 0.6 R03 0.07 ± 0.1 27.3 ± 17.1 23.53 ± 8.1 32.1 ± 16.7 0.33 ± 0.6 2.67 ± 0.6 R04 0.38 ± 0.2 5.2 ± 4.8 39.60 ± 32.9 23.1 ± 6.0 1.33 ± 0.6 1.33 ± 0.6 R05 0.32 ± 0.3 21.7 ± 12.1 14.09 ± 6.8 22.5 ± 10.8 1.00 ± 0.0 2.67 ± 0.6 R06 0.64 ± 1.1 14.4 ± 11.5 14.55 ± 2.6 16.9 ± 7.0 0.33 ± 0.6 2.33 ± 0.6 R07 1.68 ± 2.6 29.5 ± 13.8 21.93 ± 5.2 18.9 ± 7.9 1.67 ± 1.2 2.00 ± 0.0 R08 0.23 ± 0.1 0.9 ± 1.3 17.27 ± 3.0 34.6 ± 7.8 0.00 ± 0.0 3.00 ± 0.0 R09 0.08 ± 0.0 6.8 ± 6.4 18.72 ± 9.8 14.7 ± 3.1 0.67 ± 0.6 2.33 ± 0.6 R10 0.65 ± 0.7 26.6 ± 25.3 12.54 ± 11.0 11.0 ± 2.6 1.00 ± 0.0 2.67 ± 0.6 Total 0.64 ± 1.26a

16.8 ± 8.94a 18.68 ± 13.4 19.6 ± 10.6 0.87 ± 0.68b

2.37 ± 0.6b

AR  Augmented  Reality  group,  R  resident    1–10  a      p  \₩ 0.001;  b    p  \₩ 0.001  

In the control group, the mean time to perform the task was 18.68 [6.4–47.1] s compared to 19.6 [3.9–77.5] s in the AR group (p = 0.73). ICC according to surgeon was 21 %.

Surgeon’s appreciation The mean score of difficulty (evaluated for each myoma) was 2.4 [1–4] versus 0.87 [0–4], respectively, for the control and the AR group with p \ 0.001 with no ICC according to surgeon.

Discussion  

Research on AR in gynecology has never been reported. One of the reasons is most likely the technical challenge, as the uterus and ovaries are very mobiles organs. Moreover, there is no automatic segmentation available for abdominal MRI [12], and the segmentation phase is still manually based. The radiologist must delimit the entire surface of the uterus and the entire surface of all the myomas. This phase is time consuming but not truly challenging. Our system solves the most challenging phase: the registration phase. The main problem is to achieve registration accurately, reliably and in real time. Currently, the main approach for registration is SLAM (simultaneous localization and map- ping). This technique, which can be used without any other hardware such as magnetic or optical tracking devices [6, 7], is usable when the surgical scene is approximately rigid. However, it fails when there is a mobile organ such as the uterus because it requires the entire scene to be rigid. Moreover, even if the scene is rigid, SLAM during laparoscopy is still proving challenging, due to the repeated nature of tissue texture, rapid camera motion, blur appearance changes caused by blood or coagulation. We used a novel two-phase approach (Wide-Baseline Multi- Texturemap Registration) that was shown to significantly outperform SLAM [10].

Our study shows that the AR improved the mean accuracy of localization by a factor of about 20. There was no significant difference in the time to perform the task. When observing residents completing the task, this appears to be due to the time spent on ‘‘fine localization.’’ This is because when the AR system was activated the residents spent more time to perfect the localization to submillimeter accuracy. This was not observed with the control group, since without AR, once the surgeon had decided on the point of contact it was not usually refined. Without the AR, the first phase of ‘‘global’’ localizations seems to be longer. Using the AR, in one case and for a posterior myoma with a difficult approach, the localization was defined as ‘‘dif- ficult’’ (score = 3) and 27 localizations (for a total of 30) were defined as ‘‘easy’’ or ‘‘very easy.’’ Without AR, 29 localizations were defined as ‘‘moderately difficult’’ or ‘‘difficult.’’ Although this score of complexity is subjective, it portrays the confidence of the surgeon in the localization of the myoma. The localization of myomas during laparoscopy can be very simple when the deformation of the serosa is present, but for small myoma, it can be dif- ficult since there is no tactile feedback. Moreover, although MRI provides a good cartography of myomas, to transpose it for intra-operative navigation using a 2D vision is still challenging. The radiologist anatomical landmarks are at times different than those used by surgeons [13]. The range of accuracy in the control group [0.1–52.2(!)] shows that MRI might be completely misinterpreted. The highest number in the control group range (52, 17) corresponds to localization on the wrong side of the uterus. We can argue that this is due to the inexperience of the resident (e.g., more experimented surgeon might have decreased the significance of the results), but on the other hand, wrong side error is still, unfortunately, an important issue in sur- gery even for trained surgeons and even when surgery

29  

concerns a very well determined side of the patient (joint, ureter, etc.) [14–16].

The choice of 2-cm fibroids was made to model cases when interstitial myomas do not deform the surface of the uterus, which makes them hard to localize [17]. No myomas were physically present in the model to avoid any bias of adding information of tactile feedback in the model or any defor- mation, as the objective was to compare MRI ‘‘navigation and tracking’’ to MRI plus AR ‘‘navigation and tracking.’’ Of course, an isolated 2-cm myoma is rarely an indication for surgery [18], but 2-cm or less myomas are often present in patients with multiples myomas [19, 20], and recurrence after laparoscopic myomectomy has been described as more likely than after laparotomy. Because the localization of these myomas is still challenging, small myomas are probably more often left in place after laparoscopy [20–22]. This indicates the necessity of a better localization of the myomas during laparoscopy [20–22]: Recurrence rate 5 years after laparo- scopic myomectomy reaches 50 % or more in many series reported in the literature [20, 22, 23]. Robotic myomectomy also requires technical improvements since the residual fibroids volume was described as much as five times greater then after laparotomy [24]. The cost-effectiveness of MRI [compared to ultrasound (US)] has to be proved. However, MRI is the most sensitive modality of imaging (for identifi- cation of uterine fibroids (particularly for detection of small fibroids) and in differentiating leiomyoma from adenomyosis) [25–29]. Moreover, our system runs on a standard Intel i7 desktop PC costing\1000 Euros (with the cost dropping each year for the same level of hardware) and does not need any other device.

Owing to the fact that no previous data was reported, no sample estimation was carried out. We performed a post hoc estimation to ensure the statistical power of our study and to define sample size for future research in this field. For the measure of accuracy, the statistical power seems satisfactory with a high effect size [1.53 (CI 95 % [0.95; 2.11]), 16.81 mm  ± 14.86  vs.  0.64  mm  ± 1.26].  This  effect  

size  (difference between the means divided by standard deviation) is above 0.8 and classified as ‘‘large’’ [30] (magnitude of improvement between the two groups considered as major). The statistical power was greater than 95 % (taking into account between and within surgeon variability (random effects) due to repeated correlated data for the same surgeon). These results confirmed that the statistical power was satis- factory and confirmed that the sample size was sufficient.

Conclusion  

In an experimental model, using our new method of fusion of both MRI and laparoscopic images, the myomas can be seen inside the uterus during a laparoscopic procedure

(real-time fusion). Our new AR system enhances the accuracy of the localization of myomas by a factor of about twenty. The comfort of surgeons is also enhanced with an easier localization of myomas. This could be a way to make laparoscopic myomectomy easier, safer and faster. The different steps of surgery could also be planned pre- operatively using this method. For example, the optimized incision could be predefined before laparoscopic surgery and then visualized during fusion to guide the surgeon (video 1). The technique could be used in other gyneco- logical surgeries with slight adaptation, such as en- dometriotic nodules and ovarian cysts [31]. In the near future, intra-operative localization of all anatomical struc- tures (including ureters, uterine arteries, uterine cavity, insertion of the tube, complete vascularization of the myoma) will be possible using our AR system.

Acknowledgments We  want  to  thank  Rochette  E.  and  Comptour  A.  (assistance  in  proofreading  the    article).  

Compliance with ethical standards

Disclosures N.  Bourdel,  T.  Collins,  D.  Pizarro,  A.  Bartoli,  D.  Da    Ines,  B.  Pereira,  M.  Canis  have  no  conflicts  of  interest  or  financial  ties  to  disclose.  

References  

1. Trew  G,  Pistofidis  G,  Pados  G,  Lower  A,  Mettler  L,  Wallwiener  D   et   al   (2011)  Gynaecological   endoscopic   evaluation   of   4  %  icodextrin   solution:   a   European,   multicentre,   double-­‐blind,  ran-­‐  domized  study  of  the  efficacy  and  safety  in  the  reduction  of   de   novo   adhesions   after   laparoscopic   gynaecological  surgery.  Hum  Reprod  26(8):2015–2027  

2. Desai  P,  Patel  P   (2011)  Fibroids,   infertility  and   laparoscopic  myomectomy.  J  Gynecol  Endosc  Surg    2(1):36–42  

3. Marescaux   J,   Rubino   F,   Arenas  M,   Mutter   D,   Soler   L   (2004)  Augmented-­‐reality-­‐assisted   laparoscopic   adrenalectomy.  JAMA  292(18):2214–2215  

4. Pessaux  P,  Diana  M,  Soler  L,  Piardi  T,  Mutter  D,  Marescaux   J  (2014)  Towards   cybernetic   surgery:   robotic   and  augmented  reality-­‐assisted  liver  segmentectomy.  Langenbecks  Arch  Surg  400(3):381–385  

5. Pessaux  P,  Diana  M,  Soler  L,  Piardi  T,  Mutter  D,  Marescaux   J  (2014)   Robotic   duodenopancreatectomy   assisted   with  augmented  reality  and  real-­‐time  fluorescence  guidance.  Surg  Endosc  28(8):2493–2498  

6. Nakamoto   M,   Nakada   K,   Sato   Y,   Konishi   K,   Hashizume   M,  Tamura  S  (2008)  Intraoperative  magnetic  tracker  calibration  using   a   magneto-­‐optic   hybrid   tracker   for   3-­‐D   ultrasound-­‐based   navigation   in   laparoscopic   surgery.   IEEE   Trans   Med  Imaging  27(2):255–270  

7. Simpfendorfer  T,  Baumhauer  M,  Muller  M,  Gutt  CN,  Meinzer  HP,  Rassweiler  JJ  et  al  (2011)  Augmented  reality  visualization  during   laparoscopic   radical   prostatectomy.   J   Endourol  25(12):1841–1845  

8. Soler   L,  Nicolau   S,   Pessaux   P,  Mutter  D,  Marescaux   J   (2014)  Real-­‐time   3D   image   reconstruction   guidance   in   liver  resection  surgery.  Hepatobiliary  Surg  Nutr    3(2):73–81  

9. Grimson  WL,  Ettinger  GJ,  White  SJ,  Lozano-­‐Perez  T,  Wells  WM,  Kikinis   R   (1996)   An   automatic   registration   method   for  frameless   stereotaxy,   image   guided   surgery,   and   enhanced  reality  visualization.  IEEE  Trans  Med  Imaging     15(2):129–140  

10. Collins   T,   Pizarro   D,   Bartoli   A,   Canis   M,   Bourdel   N   (2013)  Realtime   wide-­‐baseline   registration   of   the   uterus   in  laparoscopic   videos   using   multiple   texture   maps.   In:   Liao   H,  

30  

Linte   C,  Masa-­‐  mune  K,   Peters   T,   Zheng  G   (eds)   Augmented  reality   environ-­‐   ments   for   medical   imaging   and   computer-­‐assisted  interventions.  Lecture    notes     in    computer    science,    8090.    Springer,    Berlin,    pp  162–171  

11. Wilson  MR,  Poolton  JM,  Malhotra  N,  Ngo  K,  Bright  E,  Masters  RS  (2011)  Development  and  validation  of  a  surgical  workload  measure:   the   surgery   task   load   index   (SURG-­‐TLX).   World   J  Surg  35(9):1961–1969  

12. Sharma   N,   Aggarwal   LM   (2010)   Automated   medical   image  segmentation  techniques.  J  Med  Phys    35(1):3–14  

13. Rizzo   S,   Calareso   G,   De   Maria   F,   Zanagnolo   V,   Lazzari   R,  Cecconi   A   et   al   (2013)   Gynecologic   tumors:   how   to  communicate  imaging  results  to  the  surgeon.  Cancer  Imaging      13(4):611–625  

14. Alleemudder   A,   King   P,   Mehta   S   (2014)   Point   of   technique:  reducing   wrong-­‐side   errors   for   endourology   procedures.  Urology  84(6):1541–1543  

15. Neily   J,  Mills   PD,   Eldridge  N,  Dunn  EJ,   Samples   C,   Turner   JR      et  al  (2009)  Incorrect  surgical  procedures  within  and  outside  of  the  operating  room.  Arch  Surg    144(11):1028–1034  

16. Irace   C,   Corona   C   (2010)   How   to   avoid   wrong-­‐level   and  wrong-­‐   side   errors   in   lumbar  microdiscectomy.   J  Neurosurg  Spine  12(6):660–665  

17. Togashi  K,  Nakai  A,  Sugimura  K  (2001)  Anatomy  and  physiol-­‐  ogy  of  the  female  pelvis:  MR  imaging  revisited.  J  Magn  Reson  Imaging  13(6):842–849  

18. Metwally  M,  Farquhar  CM,  Li  TC  (2011)  Is  another  meta-­‐anal-­‐  ysis  on  the  effects  of  intramural  fibroids  on  reproductive  out-­‐  comes  needed?  Reprod  Biomed  Online     23(1):2–14  

19. Sinha  R,  Hegde  A,  Mahajan  C,  Dubey  N,  Sundaram  M  (2008)  Laparoscopic  myomectomy:  do  size,  number,  and  location  of  the   myomas   form   limiting   factors   for   laparoscopic  myomectomy?          J  Minim  Invasive  Gynecol  15(3)292-­‐3  

20. Shimanuki  H,  Takeuchi  H,  Kikuchi   I,  Kumakiri   J,  Kinoshita  K  (2006)  Effectiveness  of  intraoperative  ultrasound  in  reducing  recurrent   fibroids   during   laparoscopic   myomectomy.   J  Reprod  Med  51(9):683–688  

21. Doridot  V,  Dubuisson  JB,  Chapron  C,  Fauconnier  A,  Babaki-­‐Fard   K   (2001)   Recurrence   of   leiomyomata   after  laparoscopic   myomectomy.   J   Am   Assoc   Gynecol   Laparosc    8(4):495–500  

22. Nezhat  FR,  Roemisch  M,  Nezhat  CH,  Seidman  DS,  Nezhat  CR  (1998)   Recurrence   rate   after   laparoscopic  myomectomy.   J  Am  Assoc  Gynecol  Laparosc.   5(3):237–240  

23. Hanafi  M  (2005)  Predictors  of   leiomyoma  recurrence  after  myomectomy.  Obstet  Gynecol   105(4):877–881  

24. Griffin   L,   Feinglass   J,   Garrett   A,   Henson   A,   Cohen   L,  Chaudhari   A   et   al   (2013)   Postoperative   outcomes   after  robotic   versus   abdominal   myomectomy.   JSLS.   17(3):407–413  

25. Khan   AT,   Shehmar   M,   Gupta   JK   (2014)   Uterine   fibroids:  current  perspectives.  Int  J  Womens  Health    6:95–114  

26. Tan  N,  McClure  TD,  Tarnay  C,  Johnson  MT,  Lu  DS,  Raman  SS  (2014)   Women   seeking   second   opinion   for   symptomatic  uterine   leiomyoma:  role  of  comprehensive   fibroid  center.   J  Ther  Ultra-­‐  sound  2:3  

27. Zawin  M,  McCarthy  S,  Scoutt  LM,  Comite  F  (1990)  High-­‐field  MRI   and   US   evaluation   of   the   pelvis   in   women   with  leiomyomas.  Magn  Reson  Imaging   8(4):371–376  

28. Dueholm  M,   Lundorf   E,   Hansen   ES,   Ledertoug   S,   Olesen   F  (2002)   Accuracy   of   magnetic   resonance   imaging   and  transvaginal   ultrasonography   in   the   diagnosis,   mapping,  and  measurement  of  uterine  myomas.  Am  J  Obstet  Gynecol    186(3):409–415  

29. Byun  JY,  Kim  SE,  Choi  BG,  Ko  GY,  Jung  SE,  Choi  KH  (1999)  Diffuse   and   focal   adenomyosis:   MR   imaging   findings.  Radio-­‐  graphics  19:161–170  

30. Cohen   J   (1998)   Statistical   power   analysis   for   the  behavioral   sciences,   2nd   edn.   Lawrence   Erlbaum  Associates,  New      Jersey  

31. Bartoli  A,  Collins  T,  Bourdel  N,  Canis  M  (2012)  Computer  assisted  minimally  invasive  surgery:  is  medical  computer  vision   the   answer   to   improving   laparosurgery?   Med  Hypotheses  79(6):858–863  

   

 

31  

VI.   Utilisation   pour   la  myomectomie:   études   ex-­‐vivo  et  faisabilité  clinique       Après avoir évalué notre système dans un modèle de fantôme utérin, nous avons débuté son évaluation à partir de données patientes : il s’agissait de tester le système ex-vivo mais à partir de données réelles (article reproduit en Annexe 2).

Le travail de mise au point et de test a

donc été réalisé à partir des données IRM et des données Vidéo laparoscopiques. Ce travail a permis ensuite de réaliser les premiers cas de myomectomies et d’hystérectomies utilisant la RA. L’article médical lié à ce travail est reproduit ci dessous (99).  

 

   

ORIGINAL(ARTICLE:(GYNECOLOGY(

A(

Use of augmented reality in laparoscopic gynecology to visualize myomas Nicolas(Bourdel,(M.D.,a,b(Toby(Collins,(Ph.D.,b(Daniel(Pizarro,(Ph.D.,b(Clement(Debize,b(AnneEsophie(Gre'meau,(M.D.,a((Adrien(Bartoli,(Ph.D.,b((and(Michel(Canis,(M.D.,(Ph.D.a,b(a(Department(of(Gynecologic(Surgery,(Centre(Hospitalier(de(l’Universite' Estaing(ClermontEFerrand;(and(b(ALCoV,(Image(Science( for( Interventional( Techniques( (Unite' Mixte(de(Recherche(6284,(Centre(National(de( la(Recherche(Scientifique),(University(of((Auvergne,((ClermontEFerrand,(France(

((((

Objective: To report the use of augmented reality (AR) in gynecology. Design: AR is a surgical guidance technology that enables important hidden surface structures to be visualized in endoscopic images. AR has been used for other organs, but never in gynecology and never with a very mobile organ like the uterus. We have developed a new AR approach specifically for uterine surgery and demonstrated its use for myomectomy. Setting: Tertiary university hospital. Patient(s): Three patients with one, two, and multiple myomas, respectively. Intervention(s): AR was used during laparoscopy to localize the myomas. Main Outcome Measure(s): Three-dimensional (3D) models of the patient's uterus and myomas were constructed before surgery from T2-weighted magnetic resonance imaging. The intraoperative 3D shape of the uterus was determined. These models were automatically aligned and ‘‘fused’’ with the laparoscopic video in real time. Result(s): The live fused video made the uterus appear semitransparent, and the surgeon can see the location of the myoma in real time while moving the laparoscope and the uterus. With this information, the surgeon can easily and quickly decide on how best to access the myoma. Conclusion(s): We developed an AR system for gynecologic surgery and have used it to improve laparoscopic myomectomy. Technically, the software we developed is very different to approaches tried for other organs, and it can handle significant challenges, including image blur, fast motion, and partial views of the organ. (Fertil Steril® 2016;-:-–-. ©2016 by American Society for Repro- ductive Medicine.) Key Words: Gynecologic surgery, laparoscopy, augmented reality, myomectomy, MRI

Discuss: You can discuss this article with its authors and with other ASRM members at https://www.fertstertdialog.com/users/ 16110-fertility-and-sterility/posts/14016-22248

ugmented Reality (AR) is a general concept that allows a surgeon

to see subsurface structures in an endoscopic video. This works by

overlaying information from another modality, such as

magnetic resonance imaging (MRI) and fusing it with the endoscopic

images (1, 2). AR systems have been developed to assist surgical procedures including liver resection (2) and

neurosurgical navigation (3). Despite progress, automatic real-time AR is technically challenging and has never been attempted on a very mobile organ like the uterus. We have developed a new approach that can handle mobile organs. We reported recently the usefulness of AR for localizing myomas in a uterine model (1). We here report its use for laparoscopic myoma localiza- tion. Myomectomy can be challenging

for cases where the myoma is small- to medium-sized and does not signifi- cantly change the uterus’ outer shape. Because AR can show the exact positions of hidden subsurface struc- tures, it has great potential to guide the surgeon in these cases.

MATERIALS(AND(METHODS(A 38-year-old woman with a 6-cm intramural uterine myoma on the

Received(April(13,(2016;(revised(December(14,(2016;(accepted(December(16,((2016.(N.B.(has(nothing(to(disclose.(T.C.(has(nothing(to(disclose.(D.P.(has(nothing(to(disclose.(C.D.(has(nothing(

to( disclose.( A.Es.G.( has( nothing( to( disclose.( A.B.( has( nothing( to( disclose.( M.C.( has( nothing( to(disclose.(

Reprint(requests:(Nicolas(Bourdel,(M.D.,(Department(of(Gynecologic(Surgery,(CHU(Estaing(ClermontEFerrand,( 1,( place( Lucie( Aubrac,( ClermontEFerrand( 63000,( France( (EEmail:( micolas.(bourdel@gmail.com).(

Fertility(and(Sterility®(Vol.(-,(No.(-,(- 2017(0015E0282/$36.00(Copyright(©2016(American(Society(for(Reproductive(Medicine,(Published(by(Elsevier(Inc.(http://dx.doi.org/10.1016/j.fertnstert.2016.12.016(

posterior part of the fundus underwent a laparoscopic myomectomy (Video 1, available online at www.fertstert.org). Signed consent was obtained, which included a clause of no modification of her surgery. This patient was chosen as the first case for using AR because of the simplicity of the procedure and the

VOL.(- NO.(- /(- 2017( 1

 

32  

   

FIGURE 1

demonstrability of the use of AR. The AR system was then used in two other patients with, respectively, two and multiple myomas. Signed consents were obtained, which included clauses of no modification of the surgery.

Before surgery, the outer surface of the uterus, uterine cavity, and myoma were delimited according to a preopera- tive T2-weighted MRI (Fig. 1; Video 1). This segmentation phase was performed with the use of an interactive segmen- tation software (Medical Imaging Interaction Toolkit; German Cancer Research Center).

A standard laparoscopic technique and a standard laparo- scopic set were used with a 0o laparoscope (Spies; Karl Storz). During surgery, AR software was then activated to visualize the myoma. To achieve real-time AR (>10 frames per second), our system processed the uterus in three distinct phases (4, 5) (Fig. 1; Video 1). In the first phase, the intraoperative 3D shape of the uterus was determined by our software, which involves a process called ‘‘dense structure-from-motion’’ (4, 5) (Fig. 1). This works by capturing a small number of images of the

uterus taken from different viewpoints and then automatically reconstructing a 3D intraoperative mesh model (Video 1). In the second stage, the preoperative uterus model was aligned to the intraoperative 3D model by means of a semiautomatic registration process (5). This involved a small amount of manual input to mark the organ's boundary contours. The third stage is what we call the tracking and fusion stage. This stage runs in real-time and aligns the preoperative models to the live laparoscopic video.

RESULTS'

The aligned models are blended with each video frame to give the impression that the uterus is semitransparent, and the surgeon can see the exact location of the myoma inside it (Video 1). For the first patient, the incision was confirmed after having accurately localized the myoma with the use of AR. Myomectomy was then performed with the use of a classic laparoscopic technique. In the two other patients, AR

2 VOL.'- NO.'- /'- 2017'

(A)'With'the'use'of'(A1)'T2=weighted'magnetic'resonance'imaging'(MRI),'preoperative'construction'of'the'3D'mesh'models:'(A2)'uterus'and'(A3)'

myoma'and'uterine'cavity.'(B)'Intraoperative'3D'mesh'model'construction:'(B1)'laparoscopic'view;'(B2)'mesh'model.'

Bourdel.)Augmented)reality)for)gynecology.)Fertil)Steril)2016.)

 

33  

 

Fertility and Sterility®

allowed localizing multiple myomas. For the last patient, the uterine cavity also is displayed in the video.

DISCUSSION(We report the use of AR in gynecology. To our knowledge there is no other report of the use of AR in gynecology. One of the most likely reasons is the technical challenge it presents, because the uterus and ovaries are very mobile organs. In contrast to AR systems previously reported for other organs, our AR system requires no additional laparo- scopic hardware (only a standard monocular laparoscope is needed). The software runs on a standard PC (Intel i7 desktop PC) (5). It does not require artificial landmarks, and unlike other systems (6, 7) it does not fail with motion blur or when the laparoscope is removed (e.g., for cleaning) and then reinserted. Our system solves the most challenging stage: the tracking and fusion phase in real time (1).

Our goal is to use AR to improve surgery of small- or medium-sized intramural myomas that can not be easily localized during laparoscopy, by fusing the laparoscopic images with preoperative MRI. The localization of myomas during laparoscopy can be very simple when the deformation of the serosa is present, but when they do not significantly change the surface of the uterus (types 2–4 of the Interna- tional Federation of Gynecology and Obstetrics classification system [8]) or are in multiple locations, these myomas are not always easy to correctly localize (9). Moreover, with the increased use of ulipristal, myomas are more often soft, decreasing the tactile feedback that could help the surgeon. With a decrease in size, the number of myomas potentially operated on with the use of laparoscopy (instead of laparot- omy) also increases (10, 11). Small myomas are probably more often left in place after laparoscopy (because there is no tactile feedback) compared with laparotomy, and recurrence after laparoscopic myomectomy has been described as more likely than after myomectomy with the use of laparotomy (9). In contrast, robotic myomectomy requires more technical improvement, because the residual fibroid volume was described to be as much as five times greater than after laparotomy (12), and the recurrence rate 5 years after laparoscopic myomectomy reaches 50% or more in many series reported in the literature. The current way to localize myomas seems to be inadequate for small and/or multiple myomas. Our system allows visualizing the positions of these myomas and can be applied in robotic surgery as well. We reported previously (1) the better accuracy in the localization of small myomas when using AR in a uterine model.

The only time-consuming aspect of our system is in the preoperative stage of MRI segmentation. Automation of this phase will probably be possible in the near future (13). The intraoperative phase (construction of the 3D intraoperative model and the registration phase) is a quick procedure, taking <5 minutes. The cost-effectiveness of MRI (compared with ultrasound) has to be proved. However, MRI is the most sensitive modality to identify myomas (particularly small ones) and to differentiate leiomyoma from adenomyosis, and it is less operator dependent.

In the first case, we augmented only the laparoscopic images of the myoma. In the third case (Video 1), the uterine cavity was shown on the laparoscopic image. The next step will be to include the vascularization of the myoma. AR could also improve planning the surgery: Our system can be used for visualizing during surgery a preoperative optimized incision plan (which takes into account vascularization, access to all the myomas, tool ports, localization of the uterine cavity, insertion of the tube, etc.). Myomas are simple tumor models to develop AR systems. In other indications (endometriosis, oncologic proced- ure, uterine scar niche, etc.), AR could be helpful to localize not only the pathology itself, but also all the anatomic landmarks and surrounding organs (ureter, main vessels, rectum).

Our AR system overlays important additional information to enhance uterine surgery without additional laparoscopic hardware. We have developed software that is very different from approaches in nongynecologic uses of AR to account for the mobility of the uterus. Our system could be a way to make laparoscopic myomectomy easier, safer, and faster. The tech- nique could be used in most gynecologic surgeries with slight adaptation allowing localization of anatomic landmarks (14).

REFERENCES(1. Bourdel(N,(Collins(T,(Pizarro(D,(Bartoli(A,(da(Ines(D,(Perreira(B,(et(al.(Augmented(

reality(in(gynecologic(surgery:(evaluation(of(potential(benefits(for(myomectomy(

in(an(experimental(uterine(model.(Surg(Endosc(2017;31:456–61.(2. Soler( L,( Nicolau( S,( Pessaux( P,(Mutter( D,(Marescaux( J.( RealTtime( 3D( image(

reconstruction( guidance( in( liver( resection( surgery.( Hepatobiliary( Surg( Nutr(

2014;3:73–81.(3. Grimson(WL,(Ettinger(GJ,(White(SJ,(LozanoTPerez(T,(Wells(WM,(Kikinis(R.(An(

automatic(registration(method(for(frameless(stereotaxy,(image(guided(surgery,(

and(enhanced(reality(visualization.(IEEE(Trans(Med(Imaging(1996;15:129–40.(4. Collins(T,(Pizarro(D,(Bartoli(A,(Canis(M,(Bourdel(N.(ComputerTAssisted(LapaT(

roscopic(myomectomy(by(augmenting(the(uterus(with(preToperative(MRI(

data.(2014(IEEE(International(Symposium(on(Mixed(and(Augmented(Reality(

(ISMAR),(2014:243–8.(5. Collins(T,(Pizarro(D,(Bartoli(A,(Canis(M,(Bourdel(N.(RealTtime(wideTbaseline(

registration(of(the(uterus(in(monocular(laparoscopic(videos.(MICCAI(conferT(

ence,(Nagoya,(Japan,( 2013.(

6. Nakamoto(M,(Nakada(K,( Sato( Y,( Konishi( K,(Hashizume(M,( Tamura( S.( IntraT(

operative(magnetic(tracker(calibration(using(a(magnetoToptic(hybrid(tracker(for(3TD(ultrasoundTbased(navigation(in(laparoscopic(surgery.(IEEE(Trans(Med(

Imaging((( 2008;27:255–70.(7. Marescaux(J,(Rubino(F,(Arenas(M,(Mutter(D,(Soler(L.(AugmentedTrealityTasT(

sisted(laparoscopic(adrenalectomy.(JAMA(2004;292:2214–5.(8. Munro(MG,(Critchley(HO,(Broder(MS,(Fraser(IS.(FIGO(classification(system(

(PALMTCOEIN)( for( causes( of( abnormal( uterine( bleeding( in( nongravid(

women(of(reproductive(age.(Int(J(Gynaecol(Obstet(2011;113:3–13.(9. Desai(P,(Patel(P.(Fibroids,(infertility(and(laparoscopic(myomectomy.(J(Gynecol(

Endosc((Surg(( 2011;2:36–42.(10. Donnez(J,(Dolmans(MM.(Uterine(fibroid(management:(from(the(present(to(

the(future.(Hum(Reprod(Update(2016;22:665–86.(11. Trefoux(Bourdet(A,(Luton(D,(Koskas(M.(Clinical(utility(of(ulipristal(acetate(for(

the(treatment(of(uterine(fibroids:(current(evidence.(Int(J(Womens(Health(

2015;7:321–30.(12. Griffin(L,(Feinglass(J,(Garrett(A,(Henson(A,(Cohen(L,(Chaudhari(A,(et(al.(PostT(

operative( outcomes( after( robotic( versus( abdominal(myomectomy.( JSLS(

2013;17:407–13.(13. de(Leener(B,(Kadoury(S,(CohenTAdad(J.(Robust,(accurate(and(fast(automatic(

segmentation(of(the(spinal(cord.(Neuroimage(2014;98:528–36.(14. Bartoli(A,(Collins(T,(Bourdel(N,(Canis(M.(Computer(assisted(minimally(invaT(

sive(surgery:(is(medical(computer(vision(the(answer(to(improving(laparosurT(

gery?(Med(Hypotheses(2012;79:858–63.(

(

(VOL.(- NO.(- /(- 2017( 3

 

34  

VII.   Evaluation   expérimentale  dans   un   modèle   de  néphrectomie  partielle:        

Parallèlement au développement

clinique en gynécologie nous avons débuté le développement du système pour une utilisation en urologie pour la néphrectomie partielle dans le cancer du rein. La néphrectomie partielle est le traitement de référence des tumeurs de moins de 4 cm (100). L’incidence de ces tumeurs de petit volume a largement augmenté notamment du fait de leur découverte fortuite à l’occasion d’un examen d’imagerie réalisé pour une autre raison. La néphrectomie partielle (NP) peut être également réalisée pour des tumeurs de plus de 4 cm si l’obtention d’une marge saine est techniquement possible. L’objectif de cette chirurgie est l’ablation de la tumeur associée à une marge saine (5 à 10 mm). La néphrectomie partielle en marge saine permet d’obtenir le même taux de survie que la néphrectomie radicale (101), (102) en préservant au maximum le capital néphrotique (103) et donc la fonction rénale.

Une des principales difficultés de la NP

par coelioscopie ou chirurgie robotique est la localisation de la tumeur en intra-parenchymateux quand celle ci ne déforme pas la surface du rein. La problématique est donc la même que pour les fibromes peu volumineux ou multiples. Dans l’objectif d’une démarche scientifique, comme pour l’utilisation de la RA pour la myomectomie, nous avons développé un modèle de tumeur du rein pour tester et développer notre système. Un modèle porcin de création de tumeur a été utilisé. Il a permis de démontrer la fiabilité, la reproductibilité et les avantages de la RA dans la NP dans ce modèle expérimental. L’article médical correspondant à ce travail (encadrement du master 2 du Dr Chauvet P.) est reproduit ci dessous. Cet article a été soumis dans European Urology. Les deux autres articles publiés dans des revues non médicales (à comité de lecture) sont reproduits en annexe 3 (104) et 4 (72). Le premier relate le développement du système de suivi basé sur la texture qui a été amélioré suite à l’ensemble du développement du système (104)et le deuxième relate le développement du système adapté aux tumeurs rénales (72).

   

Elsevier Editorial System(tm) for European Urology

Manuscript Draft

Manuscript Number: EURUROL-D-16-01883 Title: Evaluation of augmented reality for partial

nephrectomy Article Type: Original Article

Section/Category: From Lab to Clinic (LAB) Keywords: Augmented Reality MRI Partial nephrectomy Corresponding Author: Mr. nicolas bourdel, M.D Corresponding Author's Institution: CHU Estaing Clermont-

Ferrand First Author: Pauline Chauvet, M.D

Order of Authors: Pauline Chauvet, M.D; Toby Collins; Clement Debize; Lorraine Novais-Gameiro; Adrien Bartoli, Ph. D ; Michel Canis, M.D Ph. D; nicolas bourdel, M.D      

 

35  

 KEY POINTS Question: How much can Augmented Reality help the surgeon locate small tumors and do a correct surgical resection in a partial nephrectomy model? Findings: 90 tumors were segmented: 28 were used to test the AR software, 62 were used to randomly compare surgical resection: 29 tumors were resected using AR, and 33 without AR. Analysis of our pathological results showed that in total, there were 14 (42.4 %) tumors that were completely missed or had a positive margin in the non-AR group. Meaning: Augmented Reality allows to precisely perform real-time location of some lesion and anatomical landmarks, and so to assist the surgeon during the surgical procedure. ABSTRACT Importance: Nowadays, lots of surgical intervention are done by laparoscopy that allows a less aggressive surgery. During laparoscopy tactile feedback is limited and localization of tumors inside an organ can be hard. The precise localization of tumors allows a conservative treatment in renal cancer. Augmented Reality (AR) is a technology that allows a surgeon to see sub-surface structures in an endoscopic video, by overlaying preoperative MRI data. Objective: To evaluate an AR system in a tumor surgical resection model, comparing the accuracy of the resection with and without the AR system. Design: Our AR technique consists of three phases. Phase 1: segmentation. Using the MRI images, the kidneys and pseudotumor’ surfaces are segmented to construct a 3D model. Phase 2: the intra-operative 3D model of the kidney is determined. Phase 3: fusion. The pre-operative and intra-operative models are fused, and the laparoscopic view is augmented. Setting: ISIT Laboratory, and International Laparoscopic Surgery Centre, Clermont-Ferrand, France Participants : We did a prospective, experimental study on ex vivo porcine kidneys. Intervention(s): Alginate was injected ex vivo into the parenchyma to create pseudotumors measuring 4-10mm. The kidneys were then analyzed by MRI (T1-weighted). Kidneys were then placed into pelvic trainers, and the pseudotumors were resected laparoscopically. Main Outcome(s) and Measure(s): Resection margins were measured microscopically to evaluate the accuracy of resection. Results: 90 tumors were segmented: 28 were used to test the AR software, 62 were used to randomly compare surgical resection: 29 tumors were resected using AR, and 33 without AR. Analysis of our pathological results

showed 4 failures (13.8%) in the AR group, and 10 (30.3%) in the Non-AR group. There was no complete miss in the AR group, while there were 4 complete misses in the non-AR group. In total, there were 14 (42.4 %) tumors that were completely missed or had a positive margin in the non-AR group. Conclusions and Relevance: Our AR system facilitates accurate localization of very small inner tumors. AR in laparosurgery could thus enhance the accuracy of surgical resection, even for really small tumors. Crucial information such as resection margins, and vascularization could also be displayed. INTRODUCTION

Augmented Reality (AR) is a technology that can allow a surgeon to see sub-surface structures in an endoscopic video image (1,2,3). This works by overlaying information obtained using another technique, such as MRI, fusing it in real-time with the endoscopic images (1)(2). AR systems have been successfully developed to assist surgical procedures including adrenalectomy (2) prostatectomy (4), liver resection and neurosurgery (5). AR has not been developed however for mobile organs, and despite considerable research, robust systems capable of handling soft tissue deformation do not yet exist. Furthermore, quantitative evaluation is both difficult and limited in the literature. The clinical benefit of AR guidance has therefore not yet been measured.

We have already evaluated AR with a phantom uterus model, with small intramural myomas in a synthetic 3D printed uterus model. The results of this study showed that the AR system can significantly improve the localization of small tumors (6).

Historically, the reference standard for treatment of renal cell carcinoma has been radical nephrectomy. However, during the past two decades partial nephrectomy has gained acceptance for treatment of small tumors. During partial nephrectomy, the surgeon tries to preserve as much healthy renal tissue as possible while ensuring that all tumor cells are removed (7). Partial nephrectomy has been shown to provide cancer-free survival comparable to radical nephrectomy (8–10), seems to significantly decrease the risk of developing renal insufficiency (11) and is associated with better quality of life (12). We here provide experiments in an animal model, to validate the use of AR in vivo. The aim of our work was to evaluate an AR system in a tumor surgical resection model on porcine kidneys, comparing the accuracy of the resection with and without the AR system.

 

36  

MATERIALS & METHODS

First step: development of a new pseudotumor model :

The study protocol was the subject of an authorization request for using animals for scientific purposes (Ministry of Higher Education and Research, Ethics Veterinarian Committee). All the procedures have been performed in the operating room of the International Center of Endoscopic Surgery (CICE), approval number: C63 18 113, and under the direction of Prof. Canis (certificate of authorization to trade in live animals number B 63-168) and Dr. Nicolas Bourdel. We started the procedure with ex-vivo tests, on pigs’ kidneys. We used porcine kidneys recovered from pigs operated after resident training (laparoscopic nephrectomy).

Development of the Optimal Pseudotumor Material

To determine the optimal pseudotumor agent to use, various substances were injected ex vivo into the parenchyma of porcine kidneys. For each substance, we looked at the ease of preparation and injection, the reproducibility, and the physical palpability. The objectives were to create a pseudotumor mixture with a viscosity that would minimize extravasation from the injection site while still allowing injection through the needle.

We tried silicone (Silicone plomb, Dalbe®, Référence 477001100) but the mixture was too thick and difficult to implant. We also tried polyurethane resin (Résine polyuréthane - 2x500gr – Dalbe® Référence 477001700) but the mixture was also difficult to use because the solidification phase takes less than 1 minute. Finally, to create a model that would include all the needed characteristics, we used alginate, a hydrocolloid (Alginate nourisson – DTM®, Référence 477008500).

Pseudotumor creation. (Figure 1).

The alginate mixture was prepared by adding lukewarm water to the alginate powder and stirring for 1 minute. The solidification takes between 1 to 4 minutes, and after 3 minutes the mixture reaches a semisolid state and is no longer injectable through the needle. The optimal concentration of alginate mixture was assessed by injecting different concentrations of mixtures in ex vivo porcine kidneys. Finally, a concentration of 0,5 gram / mL proved to result in a mixture that was easily injected, and formed firm tumours in the kidney ‘s parenchyma. After mixing, the alginate mixture was loaded in a 5mL syringe, and 1-2mL of the mixture was slowly injected into the renal

parenchyma using an 18-gauge needle. The purpose was to create tumors between 5 and 10 mm. We created two or three tumors in each kidney (one in the bottom, one in the top, and one in the middle depending on the kidney size).

Figure 1: Material for the pseudotumor creation.

MRI: Imaging of pseudotumors.

T1-weighted MRIs were made of the kidneys with 3T MR scanner along the three planes (axial, coronal and sagittal). We improved MRI settings to have a 0,4mm resolution, and slice thickness 1.5mm. Pseudotumors were easily identified as hypointense focal lesions.

Second step: evaluation with an augmented reality system :

AR software.

For soft organs, AR is very challenging, and robust systems capable of handling soft tissue deformation did not yet exist. To achieve AR in this context, three main challenges must be overcome:

The first challenge is to build a segmented deformable model of the organ and its internal structures from the radiological data. In this segmentation phase with the MRI images, the kidneys and pseudotumor’ surfaces are determined in order to construct a 3D mesh model (14).

The second challenge is real-time registration, where the goal is to transform the organ model to the laparoscope’s coordinate frame, using visual information present in the laparoscope’s image.

The third challenge is visualization, where the goal is to augment the laparoscope’s image with data from the organ model in order to guide the surgeon. This 3D model is automatically positioned (or “registered”) and

 

37  

fused with the laparoscopic view of the kidneys (real-time fusion phase) (9). This blending gives the impression that the kidney is semi-transparent and the surgeon can see the exact location of the tumor inside it (Figure 2).

Our AR software ran on a mid-range Intel i7 desktop workstation with an NVidia 980Ti GPU, with visualizations shown on a 26-inch monitor. Our AR system guides the surgeon, by showing them how to access the tumor with an incision tool. It improves the software while we developed and used it (6). The main improvement is what we call this Tool-port Projection visualization. What the surgeon actually wants is to be shown how to reach the tumor using the incision tool, seeing the tumor’s safe tissue margin.

We provide both information, as illustrated in figure 3. Our system works by showing the tumor’s safe tissue margin projected onto the organ’s surface as a ring, which we call the tumor guidance ring. The projection is made so that if the surgeon were to cut into the organ along the tumor guidance ring, they would segment the tumor with a minimal tissue margin, which is set depending on the surgeon’s requirements.

On the 2D images in real time, to improve the depth localization of the tumor the AR software allows also to display kidneys' surface meshes in addition to tumors meshes. Our software also allows to display the resection margins defined preoperatively by the surgeon (5mm margins in our model), and landmarks on the kidney's surface, showing orthographic projection of the tumors, and showing to the surgeon the place to cut respecting the margins. In total, we segmented 90 tumors. 28 were used to test and improve the AR software. 62 were surgically resected (29 with AR / 33 without).

Figure 2: Overview of our AR system.

Figure 3 : Tool-port Projection

 

38  

Surgical procedure (Figure 4) :

The surgical equipment consists of a Karl Storz 10mm laparoscope column with CLARA image enhancement activated, a laparoscopic pelvic trainer, a standard surgical grasper, a standard incision tool, and an instrument with a surgical marker pen attached at the tip (referred to as the marker instrument).

Laparosurgery was performed using a box pelvic trainer, with the kidney inserted on the ground surface and the laparoscope and instruments inserted through three ports. The same port configuration was used in all cases. All surgical procedures were performed by a last year gynecological surgery resident. The objectives were to remove each tumor and its safe tissue margin by cutting out a conic-like section of tissue, which included the tumor and its safe tissue margin. The kidneys were divided equally and randomly into two groups (the AR group and the Non-AR group), with 12 kidneys in the AR group with 29 tumors, and 12 kidneys in the Non-AR group with 33 tumors. In the AR-group the task was to mark out the safe tissue margin on the organ’s surface using the marker instrument, guided by the AR visualization. Then we started the surgical resection with the AR visualization, and the marks was used to guide the resection (with AR disactivated) when the kidney became deformed by the resection, because our guidance system is not designed to handle significant deformation caused by intervention, which occurs as a tumor is resected. For the Non-AR group, the surgeon had to do the resection in conditions that simulate the gold standard method (where only the MRI was available) : the surgeon had to first consulte the MRI using interactive slice-based (8), then to remove the tumor without AR guidance using the same safe tissue margin of 5mm.

Pathological analysis :

The specimens were transported in formalin to the laboratory then embedded in paraffin, and then manually sectioned with a microtome to obtain 5 µm paraffin sections. The sections were then stained with toluidine blue, and analyzed with a 10 x magnification olympus BX51® microscope. To measure margins, we used the CellSens standard® software. We evaluated the quality of each resection with histological analysis: the healthy parenchymal margins were measured at the superior, inferior and both lateral ends of the surgical specimen. We also measured the superficial and deep ends, even if in our protocol those margins were not taken into account to evaluate the accuracy of the AR system. Those superficial and deep margins were used to evaluate the tumors’ localization, in both groups. The parenchymal margin was considered “complete” when a continuous ring of healthy parenchyma/tissue surrounded the lesion, and we measured those margins, and “incomplete” when the tumor abutted the enucleation capsule (positive margin).

 Figure 4: Surgical procedure.  

 

39  

Statistical analysis :

Statistical analysis was performed using the Stata software (version 13, StataCorp, College Station US). The tests were two-sided, with a type I error set at α=0.05. Continuous data were presented as mean (± standard-deviation) or median [interquartile range]. The assumption of normality was assessed using the Shapiro–Wilk test. The number of kidneys and associated percentages were presented for categorical parameters. Then, to take into account between and within subject variability (due to several repeated measures), random-effects models (linear for quantitative dependant outcome, with logarithmic transformation to achieve normality when appropriate, logistic for dichotomous dependent variable) were performed rather than usual statistical tests which would be not appropriate due to the hypothesis of independence data not verified. To measure the impact of group effect, this variable has been considered as fixed effect and kidney was studied as random-effect.

RESULTS

Tumors creation and MRI (Table 1)

128 tumors were created: 38 were not segmented because of faults in the creation phase (tumor visible on kidney surface, or mixture accidentally injected in the urinary tract). 90 tumors were segmented. 28 were used to test the AR software, improve visualization, and for surgeon training. Then 62 tumors were surgically resected (29 with AR / 33 without). and the tumors ranged in size from 4.03 to 15.4 mm (Table 1).

The pig’s kidneys ranged in size from 63.88 to 85.05mm. At MRI, the tumors ranged in size from 4.03 to 15.4 mm. The measurements were not statistically different between our two groups.

Pig’s kidneys size (mm)

Tumors size (mm)

Kidneys volume (mm3)

Tumors volume (mm3)

AR Group 75.13 ± 6.88 8.15 ± 2.34 32818 ± 8722 163 ± 117

Non AR Group

75.22 ± 4.49 8.71 ± 2.87 29719 ± 5252. 132 ± 93

Total 75.18 ± 5.69 8.45 ± 2.63 31169 ± 7198 146 ± 105

Table 1: MRI Images

 

40  

Visualization with the AR software :

The system gives the impression that the kidney is semi-transparent and the surgeon can see the exact location of the tumor inside it. On those 2D images, to improve the depth localization of the tumor the AR software allows one to display in real-time the kidneys' surface meshes in addition to inner tumor meshes. We also introduced 5mm margins around each tumor, and landmarks on kidney's surface, showing orthographic projection of the tumors, and showing to the surgeon the place to cut respecting the margins.

To improve the visualization, we tried

different colors of meshes (Figure 5), and different types of landmarks (Figure 6), and we also modified transparency depending on the depth.

Figure 6: Different landmarks

 

Figure 5: Tests with different colors for meshes, and different light effects on a synthetic uterus model placed into a pelvic trainer box

 

 

41  

Pathological analysis :

The volume of the specimens was analyzed macroscopically, and specimens ranged in size from 0.720 to 8.57cm3 (mean 3.39 ± 1.67). There were no differences between the two groups (p=0.44). Complete miss and positive margin (figure 1)

The size of the margins were greater in superior and external margins in the AR group compare to non AR group. Even if there was a tendency, there was no statistical difference between the two groups for the inferior and superior margins (table 2).

Our results showed 4 tumors with at least one positive margin (4/29=13.8%) in the AR group, and 10 tumors with contact margins (30.3%) in the non-AR group (with p=0.01). There was no complete miss in the AR group, while there were 4 complete misses in the non-AR group.

In total, there were 14 (42.4 %) tumors with a positive margin or completely missed in the non-AR group (Figure 1).

Figure 1 : Complete miss and positive margin.

Superior margin

Inferior margin

Internal margin

External margin

AR Group 3,07 ± 1,81 3,12 ± 1,79 4,36 ± 2,15 4,48 ± 2,13

Non-AR Group

2,18 ± 1,56 2,86 ± 2,09 3,38 ± 1,79 2,68 ± 2,34

p-value p=0,068 p=0,606 p=0,154 p=0,006

Table 2: Measured margins in both groups. (mm), Mean ± SD

 

 p=0.01  

 

42  

DISCUSSION

Historically, Recent series have demonstrated a local recurrence rate of less than 5% after partial nephrectomy (8,9,16). Local tumor recurrence can be attributed to residual tumor at the surgical margin due to inadequate tumor resection, so margin negativity remains an oncologic imperative to decrease this risk of local recurrence (17,18). The traditional practice has been to excise an additional 1 cm of per tumor parenchyma although recent studies have indicated that narrower margins are sufficient (19). Currently, the precise amount of normal renal parenchyma that must be removed to ensure a safe surgical margin is still a subject of much concern. The only imperative rule is negativity of the margins. If the tumor is completely excised with a surrounding margin of normal renal tissue, the width of the resection margin does not correlate with long-term disease progression (20). Accurate localization of small renal tumors could allow the surgeon to excise only the tumor with a small healthy margin, and could help to reduce the learning curve for partial nephrectomy. Inaccurate tumor localization can lead to the excision of an inordinate amount of normal parenchyma in an effort to obtain a complete resection or, even worse, could result in positive margins. AR allows real-time and precise localization of the lesion and adjustment of the extent of the resection accordingly. Virtual exploration with AR may assist the surgeon during the preliminary phase of a surgical procedure, through interactive and visual planning of the operative strategy, which can be simulated and corrected at every step. In our AR system, we don’t need any external navigation tracking systems or preplaced surface markers.

We reported the use of AR on a very mobile organ but the use of AR in soft organ is still technically challenging. The most challenging phase remains the registration phase. The main problem is to achieve registration accurately, reliably and in real time. In our study, we describe an AR guidance system based on the system we recentely published (6) in which we use a two-phase approach (Wide-Baseline Multi-Texturemap Registration) that was shown to significantly outperform the main traditional approach SLAM (simultaneous localization and mapping) (15). Our system has undergone several important improvements. The main improvement is a considerably better way to visually guide the surgeon, by showing how to access the tumor with an incision tool. We provide both types of information with what we call Tool-port Projection, which is shown in figure 2. Tool-port Projection works by showing the tumor’s safe tissue margin projected onto the organ’s surface as a ring,

which we call the tumor guidance ring. The projection is made such that if the surgeon were to cut into the organ along the tumor guidance ring, the tumor would be resected with a minimal tissue margin, which is set depending on the surgeon’s requirements.

Our study shows that AR allows accurate localization of very small tumors and improved the mean accuracy of tumor resection, with higher rate of free margins around the tumor. Other important information (like vascularization, ureters, and other anatomical structures) could also be displayed in the near future. In our technique, the registration phase is solved, so the only challenge is the segmentation that is the least time-critical because it can be done before the intervention, and is typically done with semi-automatic facilities (14).

Limitations

One of the limitations is that we used MRI. We know that Computed tomography (CT) has traditionally been the imaging technique of choice for evaluating potential solid renal tumors (21). For the most part, however, CT is limited to characterization based upon the attenuation and enhancement characteristics of a lesion. For these reasons, MRI is being increasingly used to characterize solid renal masses (21), especially in case of lesions that are deemed to be too small to characterize by CT (22). To add to these arguments, segmentation is easier using MRI due to the precision of the resolution. In the future, US segmentation will be possible using the same technique we described, probably adding to the cost-effectiveness of our technique.

The cost of the system may also be a weakness. However, our system runs on a standard Intel i7 desktop PC costing less than 1000 Euros (with the cost dropping each year for the same level of hardware) and does not need any other device.

CONCLUSION

There is a significant benefit in the use of our AR guidance system in our surgical model. It provides an accurate localization of very small tumors, and allows the surgeon to do a tumor resection with free margin. Crucial information such as vascularization could also be displayed. In the near future, intra-operative localization of all anatomical structures (including ureters, arteries, and complete vascularization of the tumor) will become possible. Our system could also be used in various laparoscopic surgical procedures.

 

43  

REFERENCES 1. Pessaux P, Diana M, Soler L, Piardi T, Mutter D, Marescaux J. Robotic duodenopancreatectomy assisted with augmented reality and real-time fluorescence guidance. Surg Endosc. août 2014;28(8):2493‑8. 2. Marescaux J, Rubino F, Arenas M, Mutter D, Soler L. Augmented-reality-assisted laparoscopic adrenalectomy. JAMA. 10 nov 2004;292(18):2214‑5. 3. Pessaux P, Diana M, Soler L, Piardi T, Mutter D, Marescaux J. Towards cybernetic surgery: robotic and augmented reality-assisted liver segmentectomy. Langenbecks Arch Surg Dtsch Ges Für Chir. avr 2015;400(3):381‑5. 4. Simpfendörfer T, Baumhauer M, Müller M, Gutt CN, Meinzer H-P, Rassweiler JJ, et al. Augmented reality visualization during laparoscopic radical prostatectomy. J Endourol Endourol Soc. déc 2011;25(12):1841‑5. 5. Grimson WL, Ettinger GJ, White SJ, Lozano-Perez T, Wells WM, Kikinis R. An automatic registration method for frameless stereotaxy, image guided surgery, and enhanced reality visualization. IEEE Trans Med Imaging. 1996;15(2):129‑40. 6. Bourdel N, Collins T, Pizarro D, Bartoli A, Da Ines D, Perreira B, et al. Augmented reality in gynecologic surgery: evaluation of potential benefits for myomectomy in an experimental uterine model. Surg Endosc. 29 avr 2016; 7. Teber D, Guven S, Simpfendörfer T, Baumhauer M, Güven EO, Yencilek F, et al. Augmented Reality: A New Tool To Improve Surgical Accuracy during Laparoscopic Partial Nephrectomy? Preliminary In Vitro and In Vivo Results. Eur Urol. août 2009;56(2):332‑8. 8. Hafez KS, Fergany AF, Novick AC. Nephron sparing surgery for localized renal cell carcinoma: impact of tumor size on patient survival, tumor recurrence and TNM staging. J Urol. déc 1999;162(6):1930‑3. 9. Herr HW. Partial nephrectomy for unilateral renal carcinoma and a normal controlateral kidney: 10-year followup. J Urol. janv 1999;161(1):33‑5. 10. Lee CT, Katz J, Shi W, Thaler HT, Reuter VE, Russo P. Surgical management of renal tumors 4 cm or less in a contemporary cohort. J Urol. mars 2000;163(3):730‑6. 11. McKiernan J, Simmons R, Katz J, Russo P. Natural history of chronic renal insufficiency after partial and radical nephrectomy. Urology. juin 2002;59(6):816‑20. 12. Clark PE, Schover LR, Uzzo RG, Hafez KS, Rybicki LA, Novick AC. Quality of life and psychological adaptation after surgical treatment for localized renal cell carcinoma: impact of the amount of remaining renal tissue. Urology. févr 2001;57(2):252‑6. 13. Kilkenny C, Browne WJ, Cuthill IC, Emerson M, Altman DG. Improving Bioscience Research Reporting: The ARRIVE Guidelines for Reporting Animal Research. PLoS Biol. 29 juin 2010;8(6):e1000412. 14. Wolf I, Vetter M, Wegner I, Böttger T, Nolden M, Schöbinger M, et al. The medical imaging interaction toolkit. Med Image Anal. déc 2005;9(6):594‑604. 15. Collins T, Pizarro D, Bartoli A, Canis M, Bourdel N. Realtime Wide-Baseline Registration of the Uterus in Laparoscopic Videos Using Multiple Texture Maps. In: Liao H, Linte CA, Masamune K, Peters TM, Zheng G, éditeurs. Augmented Reality Environments for Medical Imaging and Computer-Assisted Interventions [Internet]. Springer Berlin Heidelberg; 2013 [cité 10 oct 2015]. p. 162‑71. (Lecture Notes in Computer Science). Disponible sur: http://link.springer.com/chapter/10.1007/978-3-642-40843-4_18 16. Hafez KS, Novick AC, Campbell SC. Patterns of Tumor Recurrence and Guidelines for Followup After Nephron Sparing Surgery for Sporadic Renal Cell Carcinoma. J Urol. juin 1997;157(6):2067‑70. 17. Vermooten V. Indications for conservative surgery in

certain renal tumors: a study based on the growth pattern of the cell carcinoma. J Urol. août 1950;64(2):200‑8. 18. Russo P. Renal cell carcinoma: presentation, staging, and surgical treatment. Semin Oncol. avr 2000;27(2):160‑76. 19. Sutherland SE, Resnick MI, Maclennan GT, Goldman HB. Does the size of the surgical margin in partial nephrectomy for renal cell cancer really matter? J Urol. janv 2002;167(1):61‑4. 20. Castilla EA, Liou LS, Abrahams NA, Fergany A, Rybicki LA, Myles J, et al. Prognostic importance of resection margin width after nephron-sparing surgery for renal cell carcinoma. Urology. déc 2002;60(6):993‑7. 21. Allen BC, Tirman P, Jennings Clingan M, Manny J, Del Gaizo AJ, Leyendecker JR. Characterizing solid renal neoplasms with MRI in adults. Abdom Imaging. avr 2014;39(2):358‑87. 22. Fananapazir G, Lamba R, Lewis B, Corwin MT, Naderi S, Troppmann C. Utility of MRI in the Characterization of Indeterminate Small Renal Lesions Previously Seen on Screening CT Scans of Potential Renal Donor Patients. AJR Am J Roentgenol. août 2015;205(2):325‑30.  

 

VIII.  Perspectives    

Pour chaque pathologie le développement se fait en trois phases: Phase 1 : mise au point et tests expérimentaux sur modèles (modèle utérin, modèle de tumeur rénale) ; Phase 2 : test ex vivo (imagerie / vidéo chirurgicales réelles : IRM, Scanner, coelioscopie…) et faisabilité clinique : test sur une série initiale de patientes; Phase 3 : évaluation clinique: apport de la RA : amélioration de la localisation tumorale (affichage de la tumeur, de l’incision « idéale », des marges saines à respecter…) et des structures anatomiques repères (vascularisation, cavités à respecter…), amélioration du confort et du stress du chirurgien. Un autre apport de la RA vient des données nécessairement acquises en préopératoire et en peropératoire qui permettent d’envisager un véritable entrainement préopératoire et un travail prévisionnel préopératoire spécifique d’un ou d’une patiente mais aussi un entrainement et un apprentissage en général de telle ou telle pathologie.

Myomectomie

Les phases 1 et 2 ont été validées. La mise en place de la phase 3 est en cours. Il s’agira d’évaluer en clinique les bénéfices de la RA. Il n’existe dans la littérature aucune évaluation de l’apport des ces techniques que cela soit sur modèle expérimental ou en clinique. Historiquement on retrouve finalement la même évolution pour beaucoup d’innovations technologiques chirurgicales: de l’imagerie haute définition à la 3D, le développement clinique n’a

pas inclus d’études expérimentales ou cliniques prouvant leur apport. Pourtant, à l’heure actuelle personne ne remet en cause l’apport de la haute définition de part l’addition d’informations qu’elle apporte par rapport à une définition standard.

Notre objectif est, plus que de prouver son utilité, d’ajouter toutes les données préopératoires dont nous disposons. Nous affichons déjà au chirurgien la cavité utérine. L’objectif est non seulement de pouvoir éviter toute incision passant près ou par celle ci mais aussi d’estimer la distance (en situation chirurgicale, après canulation) de chaque myome par rapport à la cavité utérine (figure 41).

Nous pouvons également afficher l’incision idéale par rapport à la cavité utérine (figure 42). Cette incision peut être déterminée de façon objective, mathématique en calculant « le plus court chemin » entre un myome et la surface séreuse : l’ordinateur calcule quelle est l’incision qui permettra d’avoir le moins possible de myomètre a sectionner pour avoir accès au myome. Elle peut être également déterminée de façon « subjective » par la décision préopératoire du chirurgien qui étudie le modèle 3D préopératoire de l’utérus et des myomes : il peut déterminer quelle est la meilleure incision qui lui permettra d’avoir accès en une seule fois à tous les myomes, ou l’incision qu’il pense la plus facile à suturer, ou bien celle qui lui permettra de rester le plus à distance possible de la cavité utérine (plus spécifiquement au niveau des cornes utérines par exemple).

Nous avons pour objectif de segmenter tous les éléments anatomiques intra-utérins pour pouvoir ajouter ces informatisions durant la

Figure 42. Affichage de l’incision à réaliser sur l’organe d’intérêt.  

Figure 41. Affichage des myomes, de la cavité utérine, de la surface externe de l’organe.  

 

45  

chirurgie. Parmi ces informations, la vascularisation des myomes nous semble essentielle.

La localisation et l’orientation des fibres myométriales nous semblent également intéressantes. Ces données pourraient potentiellement améliorer notre chirurgie des myomes intramyométriaux en général. Nous utilisons pour cela des images du tenseur de diffusion (DTI, diffusion tensor images)   (105-109). Grâce aux séquences de diffusion, en utilisant des algorithmes de suivi des fibres (tractographie: fiber tracking) on peut obtenir une véritable cartographie des fibres myométriales utérines (figure 43). Cette technique a initialement été décrite pour l’identification et la reconstruction d'un faisceau de fibres nerveuses sur toute sa longueur. Nous développons actuellement l’acquisition et le traitement de ces données chez les patientes porteuses de myomes. Aucun travail n’a été rapporté dans la littérautre sur l’orientation des ces fibres en présence de myomes (il existe par ailleurs très peu de travaux rapportés sur la tractographie utérine (105-109)). Nous avons à l’heure actuelle pu inclure 22 patientes, 20 IRM ont permis de reconstruire un modèle 3D des fibres musculaires (travail en cours de publication, figure 43).

Cela nous permet donc en préopératoire d’avoir une reconstruction 3D complète des fibres utérines périmyomateuses (figure X). L’objectif à plus long terme est d’optimiser l’incision et la dissection initiales qui permettront de respecter au maximum les fibres musculaires. En sectionnant le moins possible de fibres musculaires nous espérons pouvoir favoriser la cicatrisation post-opératoire et diminuer le risque de rupture utérine secondaire. La démarche est en fait la même que pour toute incision musculaire (qui imaginerai à l’heure actuelle réaliser une section horizontale des muscles grands droits pour une césarienne alors que les techniques actuelles permettent de respecter ce muscle).

Autres procédures en chirurgie gynécologique

L’objectif est d’apporter au chirurgien tous les éléments anatomiques dont il a besoin pour réaliser correctement son geste. L’utilisation de la RA pour l’hystérectomie est notre prochain objectif. Nous voulons inclure les données de localisation de l’uretère dans sa partie terminale et de l’artère utérine notamment dans sa partie ascendante où elle sera coagulée (110). A plus long terme nous avons pour objectif de pouvoir utiliser la RA dans le traitement des nodules d’endométriose. Le travail est éminemment plus complexe notamment au niveau des modèles de déformation biomécanique.

 Figure 43. Exemple de tractographie utérine. En haut : reconstruction des fibres sur diffrentes coupes IRM. En bas Modèle 3D des fibres musculaires utérines. En bas à droite : Utèrus porteur de 2 myomes : les fibres en rose sont celles qui entourent le premier myome, les fibres jaunes sont celles qui entourent le deuxième myome (Dr Leila Messadeg, Dr Benoit Magnin, Toby Collins).

 

46  

Néphrectomie partielle La phase 1 est donc en cours de

publication. Dans tous les systèmes publiés jusqu’ici des systèmes de repères visuels et de suivi des instruments et/ou de la caméra sont nécessaires. Notre système a donc encore une fois un réel avantage. La phase 2 est en cours de mise en place notamment avec l’équipe du Pr Manuel Lopez au Vall d'Hebron Hospital à Barcelone. L’objectif est de développer la RA pour des tumeurs de petit volume chez l’enfant. La segmentation fera appel à la fois à l’IRM mais aussi au scanner. Nous avons pu définir les objectifs communs lors d’une visite récente du site à Barcelone. La phase 3 sera définie en fonction des résultats de la phase clinique 2.

Hépatectomie partielle Comme pour les procédures

précédemment envisagées pour le développement de la RA, les avantages de la laparoscopie ont été démontrés (111-115). Pourtant, encore plus que pour la myomectomie ou la néphrectomie partielle les limitations de la voie coelioscopique sont dues notamment à l’appréhension du chirurgien des plaies des gros vaisseaux et du non respect des marges saines (111, 112). Les phases 1 et 2 (figure 44) sont en cours pour ce type de chirurgie mais le problème est plus complexe du fait de l’extrême déformation du foie entre les données d’imagerie préopératoire et la situation peropératoire (initiale mais aussi lors de sa manipulation).

Figure 44. Premières Images de RA dans la chirurgie Hépatique utilisant un nouveau système de recalage développé par notre équipe.  

 

47  

Préparation du geste chirurgical Il existe deux aspects de cette

préparation : une préparation liée à un enseignement d’un type de geste chirurgical en général (hystérectomie, myomectomie, néphrectomie partielle …). De nombreux simulateurs en réalité virtuels existent (116-119). Notre système (exactement comme nous l’avons utilisé dans la phase 1 pour la myomectomie) permet de recréer une pathologie virtuelle (myome, tumeur) dans un modèle d’organe déterminé (utérus, rein…) et pourrait permettre la création de scénarios destinés à l’entrainement des chirurgiens en formation. Pour chaque patient opéré en utilisant la RA nous disposons d’un potentiel nouveau scénario. L’autre aspect peut être plus intéressant et beaucoup spécifique de notre système et la préparation et l’entrainement au geste chirurgical spécifique d’un patient donné. Il s’agirait non seulement de prévoir chaque étape du geste chirurgical sur ordinateur avant la chirurgie puisque nous recréons en 3D les données nécessaires à ce geste (organe et données d’intérêts) mais aussi de s’entrainer au geste spécifique du patient donné. Il suffira pour cela d’imprimer (grâce à une imprimante 3D dont nous disposons déjà) l’organe et les données d’intérêts et de l’intégrer par exemple dans un pelvic trainer.

Développements scientifiques et

technologiques Parallèlement aux perspectives relativement

spécifiques d’une pathologie donnée que nous venons de développer, les performances du système de RA seront optimisées. Comme nous l’avons dit pour l’endométriose les données et les modèles de déformations biomécaniques pourront être améliorés.

Il faudra inclure des données biomécaniques non seulement plus spécifiques de chaque tissue mais aussi spécifiques du tissu de chaque patiente à opérer. L’étude de l’élastographie par ultrason pourrait permettre une caractérisation de ces données biomécaniques (120, 121). Nous avons débuté cette étude élastographique pour les nodules endométriosiques recto-vaginaux. Ces modèles biomécaniques pourront permettre de maintenir également la RA après l’incision des tissus comme l’ont décrites certaines équipes.

L’évolution des connaissances en biomécanique et des modèles de déformation permettront probablement de pouvoir maintenir l’aide de la RA après qu’une incision ait été réalisée sur l’organe d’intérêt. Plusieurs équipes travaillent sur ce problème (10) (Figure 46). C’est actuellement une des principales limitations dans l’utilisation de la RA avec un recalage surfacique mais dans ce domaine aussi les avancées récentes sont importantes et permettent de supposer que des solutions logicielles et technologiques devraient être disponibles dans les prochaines années.

Un autre versant du développement fait appel au « deep learning » c’est à dire aux capacités d’apprentissage automatique. Ces capacités d’auto-apprentissage qui font partie de l’intelligence artificielle dépassent parfois maintenant les capacités humaines. Ces techniques ont déjà permis des avancées majeures dans l’analyse de (reconnaissance faciale, vision par ordinateur.....). L’objectif est d’utiliser ces techniques pour la segmentation automatique de l’image d’un organe durant la coelioscopie ou pour prédire de façon automatique les propriétés photométriques de la surface externe de l’organe. Ces méthodes de deep learning ont démontré leur supériorité par rapport à la perception humaine dans un large spectre de taches visuelles (122) (123)  

 Figure 45. A gauche le modèle 3D préopératoire permet de prévoir l’incision initiale idéale il permettra un entrainement préopératoire. Au centre la combinaison des modèles 3D pré et peropératoire permettront de modéliser des scénarios chirurgicaux. A droite création d’un myome virtuel de myome pouvant permettre un entrainement à la myomectomie.  

 Figure 46. Exemple de modèle de déformation après incision permettant de maintenir la RA après incision (10).  

 

48  

IX.  Conclusions      

Nous avons développé un système de réalité augmentée (RA) permettant de guider le chirurgien dans son geste opératoire coelioscopique. Notre démarche se veut très scientifique pour chaque type de tumeur et d’organe : test sur modèle (phase 1), test ex-vivo (phase 2), test cliniques (phase 3). Nous sommes en phase 3 pour la myomectomie et en phase 2 pour la néphrectomie partielle. Nous avons démontré sur un modèle utérin les avantages de la RA par rapport à une technique standard pour lequel l’opérateur n’utilise que la lecture de l’IRM. Après optimisation ex-vivo, nous avons testé notre système, en clinique. Nous avons démontré la faisabilité de son utilisation avec une localisation en temps réel des myomes et de la cavité utérine. L’objectif est maintenant la validation de son utilisation en pratique courante. Pour la néphrectomie partielle nous avons développé un modèle de tumeur du rein, dans ce modèle l’utilisation de la RA améliore la localisation tumorale en améliorant de façon significative le taux de marges saines péri-tumorales. La phase 2 est en cours de mise en place. Parallèlement l’étude du système pour les tumeurs hépatiques a débuté.

Le développement de notre système a été réalisé grâce à une équipe mixte associant scientifiques, ingénieurs, chirurgiens et médecins. Le champ des possibilités offert par la RA est très prometteur car il permettra d’intégrer l’ensemble des données préopératoires à notre vue laparoscopique. Ces données disponibles grâce à l’imagerie ont un potentiel de développement énorme (segmentation automatique, DTI, élastographie…).

Une fois ces données acquises notre système

de reconstruction et de suivis surfaciques offre des possibilités jamais exploitées auparavant en chirurgie. Il nous permet de suivre un organe mobile ce qui n’avait jamais été réalisé auparavant. Le développement logiciel et technologique nous permettra rapidement de disposer d’un système fiable pour d’autres pathologies en gynécologie mais aussi en urologie et en chirurgie digestive. D’autres technologies comme le deep learning permettront également des évolutions majeures dans l’automatisation du système.

Nous sommes en train d’apprendre « l’alphabet chirurgical » à l’ordinateur : il sait reconnaître et suivre un organe. Il saura bientôt reconnaitre des phrase : l’organe et son environnement (uretère par exemple).

On peut raisonnablement penser que l’intelligence artificielle permettra à l’ordinateur (comme le fait qujourd’hui le chirurgien) de reconnaitre un tissu, d’optimiser un accès opératoire ou une technique. Ce système, couplé à des bras chirurgicaux motorisés qui sont déjà disponibles, pourra peut être un jour remplacer le chirurgien dans des taches simples. Peu de monde il y a dix ans aurait imaginé que nous ayons sur nos routes des voitures autonomes sans chauffeur. C’est aujourd’hui une réalité….

La limitation des avancées de notre équipe à l’heure actuelle n’est pas technique ou technologique mais essentiellement due aux limitations en terme de moyens humains. Gageons que les financements à venir permettent de nouveaux moyens humains et nous permettent ainsi de confirmer et de développer notre approche en RA pour les organes mobiles.

 

49  

X.  Bibliographie   1. Pessaux P, Diana M, Soler L, Piardi T, Mutter D, Marescaux J. Towards cybernetic surgery: robotic and augmented reality-assisted liver segmentectomy. Langenbecks Arch Surg. 2015;400(3):381-5. 2. Ntourakis D, Memeo R, Soler L, Marescaux J, Mutter D, Pessaux P. Augmented Reality Guidance for the Resection of Missing Colorectal Liver Metastases: An Initial Experience. World J Surg. 2016;40(2):419-26. 3. Cabrilo I, Bijlenga P, Schaller K. Augmented reality in the surgery of cerebral arteriovenous malformations: technique assessment and considerations. Acta Neurochir (Wien). 2014;156(9):1769-74. 4. Lanchon C, Custillon G, Moreau-Gaudry A, Descotes JL, Long JA, Fiard G, et al. Augmented Reality Using Transurethral Ultrasound for Laparoscopic Radical Prostatectomy: Preclinical Evaluation. J Urol. 2016;196(1):244-50. 5. Caudell TP, Mizell DW. Augmented reality: an application of heads-up display technology to manual manufacturing processes. 6. Wagner D, Schmalstieg D. First Steps Towards Handheld Augmented Reality. In: Press ICS, editor. Proceedings of the 7th International Conference on Wearable Computers; White Plains, new york, USA: IEEE. p. 127 - 35. 7. Steven F, Blair M, Dor, e S. Knowledge-based augmented reality. Commun ACM. 1993;36(7):53-62. 8. Baus O, Bouchard S. Moving from virtual reality exposure-based therapy to augmented reality exposure-based therapy: a review. Front Hum Neurosci. 2014;8:112. 9. Rolland JP, Fuchs H. Optical Versus Video See-Through Head-Mounted Displays in Medical Visualization. Presence: Teleoperators and Virtual Environments. 2000;9(3):287-309. 10. Paulus CJ, Haouchine N, Kong SH, Soares RV, Cazier D, Cotin S. Handling topological changes during elastic registration : Application to augmented reality in laparoscopic surgery. Int J Comput Assist Radiol Surg. 2016. 11. Fallavollita P, Brand A, Wang L, Euler E, Thaller P, Navab N, et al. An augmented reality C-arm for intraoperative assessment of the mechanical axis: a preclinical study. Int J Comput Assist Radiol Surg. 2016;11(11):2111-7. 12. Bartoli A, Collins T, Bourdel N, Canis M. Computer assisted minimally invasive surgery: is medical computer vision the answer to improving laparosurgery? Med Hypotheses. 2012;79(6):858-63. 13. Hamacher A, Kim SJ, Cho ST, Pardeshi S, Lee SH, Eun SJ, et al. Application of Virtual, Augmented, and Mixed Reality to Urology. International neurourology journal. 2016;20(3):172-81. 14. Simpfendorfer T, Baumhauer M, Muller M, Gutt CN, Meinzer HP, Rassweiler JJ, et al. Augmented reality visualization during laparoscopic radical prostatectomy. J Endourol. 2011;25(12):1841-5. 15. Kersten-Oertel M, Jannin P, Collins DL. The state of the art of visualization in mixed reality image guided surgery. Comput Med Imaging Graph. 2013;37(2):98-112. 16. Stadie AT, Reisch R, Kockro RA, Fischer G, Schwandt E, Boor S, et al. Minimally invasive cerebral cavernoma surgery using keyhole approaches - solutions for technique-related limitations. Minim Invasive Neurosurg. 2009;52(1):9-16. 17. Hughes-Hallett A, Mayer EK, Marcus HJ, Cundy TP, Pratt PJ, Darzi AW, et al. Augmented reality partial nephrectomy: examining the current status and future perspectives. Urology. 2014;83(2):266-73. 18. Bourdel N, Kondo W, Botchorishvili R, Poincloux L, Niro J, Rabischong B, et al. Assessment of sentinel nodes for gynecologic malignancies by natural orifices transluminal endoscopic surgery (NOTES): preliminary report. Gynecologic oncology. 2009;115(3):367-70. 19. Levy P. Sur les chemins du virtuel. v ed. 8éme udp, editor. Paris: université de paris 8éme; 2013. 20. Milgram P, Kishino F. A taxonomy of mixed reality visual displays. IEICE Trans Inf Syst1994. 21. Azuma RT. A survey of augmented reality. presence (Camb) 1997;6:355–85. 22. Rosenberg LB. Virtual fixtures: perceptual tools for telerobotic manipulation. In: Society IC, editor. IEEE Annual International Symposium on Virtual Reality; Washington, DC: IEEE Computer Society; 1993. p. 76–82.

23. Wagner D, Schmalstieg D. Making augmented reality practical on mobile phones, part 1. IEEE Comput Graph Appl. 2009;29(3):12-5. 24. Wagner D, Schmalstieg D. Making augmented reality practical on mobile phones, part 2. IEEE Comput Graph Appl. 2009;29(4):6-9. 25. Kato H, Billinghurst M. Marker tracking and HMD calibration for a video-based augmented reality conferencing system. In: IEEE, editor. Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR 99); Ssn Francisco: IEEE; 1999. 26. Meola A, Cutolo F, Carbone M, Cagnazzo F, Ferrari M, Ferrari V. Augmented reality in neurosurgery: a systematic review. Neurosurgical review. 2016. 27. Andrei S, Mark AL, William FG, Gentaro H, Mary CW, Etta DP, et al. Technologies for augmented reality systems: realizing ultrasound-guided needle biopsies. Proceedings of the 23rd annual conference on Computer graphics and interactive techniques: ACM; 1996. 28. Doyle WK. Low end interactive image-directed neurosurgery. Update on rudimentary augmented reality used in epilepsy surgery. Stud Health Technol Inform. 1996;29:1-11. 29. Cabrilo I, Bijlenga P, Schaller K. Augmented reality in the surgery of cerebral aneurysms: a technical report. Neurosurgery. 2014;10 Suppl 2:252-60; discussion 60-1. 30. Miyake RK, Zeman HD, Duarte FH, Kikuchi R, Ramacciotti E, Lovhoiden G, et al. Vein imaging: a new method of near infrared imaging, where a processed image is projected onto the skin for the enhancement of vein treatment. Dermatol Surg. 2006;32(8):1031-8. 31. de Graaff JC, Cuper NJ, Mungra RA, Vlaardingerbroek K, Numan SC, Kalkman CJ. Near-infrared light to aid peripheral intravenous cannulation in children: a cluster randomised clinical trial of three devices. Anaesthesia. 2013;68(8):835-45. 32. Szmuk P, Steiner J, Pop RB, Farrow-Gillespie A, Mascha EJ, Sessler DI. The VeinViewer vascular imaging system worsens first-attempt cannulation rate for experienced nurses in infants and children with anticipated difficult intravenous access. Anesth Analg. 2013;116(5):1087-92. 33. Rodas Nl Fau - Padoy N, Padoy N. 3D global estimation and augmented reality visualization of intra-operative X-ray. Med Image Comput Comput Assist Interv. 2014;17(Pt 1):415-22. 34. Mountney P, Giannarou S, Elson D, Yang GZ. Optical biopsy mapping for minimally invasive cancer screening. Med Image Comput Comput Assist Interv. 2009;12(Pt 1):483-90. 35. Ortiz-Catalan M, Guethmundsdottir RA, Kristoffersen MB, Zepeda-Echavarria A, Caine-Winterberger K, Kulbacka-Ortiz K, et al. Phantom motor execution facilitated by machine learning and augmented reality as treatment for phantom limb pain: a single group, clinical trial in patients with chronic intractable phantom limb pain. Lancet. 2016;388(10062):2885-94. 36. Prause G. Tablet PC Supports Liver Surgeons. New app from Fraunhofer MEVIS tested for the first time during an operation in Germany Bremen, Germany: Fraunhofer MEVIS; 2013 [cited 2013 2017]. 37. Oldhafer KJ, Stavrou GA, Prause G, Peitgen HO, Lueth TC, Weber S. How to operate a liver tumor you cannot see. Langenbecks Arch Surg. 2009;394(3):489-94. 38. Nicolau SA, Pennec X, Soler L, Buy X, Gangi A, Ayache N, et al. An augmented reality system for liver thermal ablation: design and evaluation on clinical cases. Med Image Anal. 2009;13(3):494-506. 39. Marescaux J, Rubino F, Arenas M, Mutter D, Soler L. Augmented-reality-assisted laparoscopic adrenalectomy. JAMA. 2004;292(18):2214-5. 40. Pessaux P, Diana M, Soler L, Piardi T, Mutter D, Marescaux J. Robotic duodenopancreatectomy assisted with augmented reality and real-time fluorescence guidance. Surg Endosc. 2014;28(8):2493-8. 41. Ukimura O, Gill IS. Image-fusion, augmented reality, and predictive surgical navigation. Urol Clin North Am. 2009;36(2):115-23, vii. 42. Nakamoto M, Ukimura O, Faber K, Gill IS. Current progress on augmented reality visualization in endoscopic surgery. Curr Opin Urol. 2012;22(2):121-6. 43. Long JA, Lee BH, Guillotreau J, Autorino R, Laydner H, Yakoubi R, et al. Real-time robotic transrectal ultrasound navigation during robotic radical prostatectomy: initial clinical experience. Urology. 2012;80(3):608-13. 44. Ukimura O, Magi-Galluzzi C, Gill IS. Real-time transrectal ultrasound guidance during laparoscopic radical

 

50  

prostatectomy: impact on surgical margins. J Urol. 2006;175(4):1304-10. 45. Hung AJ, Abreu AL, Shoji S, Goh AC, Berger AK, Desai MM, et al. Robotic transrectal ultrasonography during robot-assisted radical prostatectomy. Eur Urol. 2012;62(2):341-8. 46. Germec-Cakan D, Canter HI, Nur B, Arun T. Comparison of facial soft tissue measurements on three-dimensional images and models obtained with different methods. J Craniofac Surg. 2010;21(5):1393-9. 47. Wolf I, Vetter M, Wegner I, Bottger T, Nolden M, Schobinger M, et al. The medical imaging interaction toolkit. Med Image Anal. 2005;9(6):594-604. 48. An G, Hong L, Zhou XB, Yang Q, Li MQ, Tang X. Accuracy and efficiency of computer-aided anatomical analysis using 3D visualization software based on semi-automated and automated segmentations. Annals of anatomy = Anatomischer Anzeiger : official organ of the Anatomische Gesellschaft. 2016. 49. Okada T, Yokota K, Hori M, Nakamoto M, Nakamura H, Sato Y. Construction of hierarchical multi-organ statistical atlases and their application to multi-organ segmentation from CT images. Med Image Comput Comput Assist Interv. 2008;11(Pt 1):502-9. 50. Dandin O, Teomete U, Osman O, Tulum G, Ergin T, Sabuncuoglu MZ. Automated segmentation of the injured spleen. Int J Comput Assist Radiol Surg. 2016;11(3):351-68. 51. Dean JA, Welsh LC, McQuaid D, Wong KH, Aleksic A, Dunne E, et al. Assessment of fully-automated atlas-based segmentation of novel oral mucosal surface organ-at-risk. Radiotherapy and oncology : journal of the European Society for Therapeutic Radiology and Oncology. 2016;119(1):166-71. 52. Yiannakas MC, Mustafa AM, De Leener B, Kearney H, Tur C, Altmann DR, et al. Fully automated segmentation of the cervical cord from T1-weighted MRI using PropSeg: Application to multiple sclerosis. NeuroImage Clinical. 2016;10:71-7. 53. Rundo L, Militello C, Vitabile S, Casarino C, Russo G, Midiri M, et al. Combining split-and-merge and multi-seed region growing algorithms for uterine fibroid segmentation in MRgFUS treatments. Med Biol Eng Comput. 2016;54(7):1071-84. 54. Gong XH, Lu J, Liu J, Deng YY, Liu WZ, Huang X, et al. Segmentation of Uterus Using Laparoscopic Ultrasound by an Image-Based Active Contour Approach for Guiding Gynecological Diagnosis and Surgery. PLoS One. 2015;10(10):e0141046. 55. Bondar ML, Hoogeman M, Schillemans W, Heijmen B. Intra-patient semi-automated segmentation of the cervix-uterus in CT-images for adaptive radiotherapy of cervical cancer. Phys Med Biol. 2013;58(15):5317-32. 56. Cuingnet R, Prevost R, Lesage D, Cohen LD, Mory B, Ardon R. Automatic detection and segmentation of kidneys in 3D CT images using random forests. Med Image Comput Comput Assist Interv. 2012;15(Pt 3):66-74. 57. Esmaelzadeh S, Rezaei N, HajiAhmadi M. Normal uterine size in women of reproductive age in northern Islamic Republic of Iran. East Mediterr Health J. 2004;10(3):437-41. 58. Saranathan M, Rettmann DW, Hargreaves BA, Clarke SE, Vasanawala SS. DIfferential Subsampling with Cartesian Ordering (DISCO): a high spatio-temporal resolution Dixon imaging sequence for multiphasic contrast enhanced abdominal imaging. J Magn Reson Imaging. 2012;35(6):1484-92. 59. Li XH, Zhu J, Zhang XM, Ji YF, Chen TW, Huang XH, et al. Abdominal MRI at 3.0 T: LAVA-Flex compared with conventional fat suppression T1-weighted images. J Magn Reson Imaging. 2014;40(1):58-66. 60. Collins T, Pizarro D, Bartoli A, Canis M, Bourdel N. Real-time Wide-baseline Registration of the Uterus in Monocular Laparoscopic Videos. MICCAI conference, Nagoya, Japan, 2013. 2013. 61. Collins T, Pizarro D, Bartoli A, Canis M, Bourdel N. Realtime Wide-Baseline Registration of the Uterus in Laparoscopic Videos Using Multiple Texture Maps. In: Liao H, Linte C, Masamune K, Peters T, Zheng G, editors. Augmented Reality Environments for Medical Imaging and Computer-Assisted Interventions. Lecture Notes in Computer Science. 8090: Springer Berlin Heidelberg; 2013. p. 162-71. 62. Queau Y. Reconstruction tridimensionnelle par stereophotometrie. In: Institut National Polytechnique de Toulouse, editor. Vision par ordinateur et reconnaissance de formes. toulouse2016. 63. Collins T, Pizarro D, Bartoli A, Canis M, Bourdel N. Computer-Assisted Laparoscopic myomectomy by augmenting the uterus with pre-operative MRI data. 2014 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). 2014:243-8.

64. Haouchine N, Dequidt J, Berger M-O, Cotin S. Monocular 3D Reconstruction and Augmentation of Elastic Surfaces with Self-occlusion Handling. IEEE Transactions on Visualization and Computer Graphics. 2015:14. 65. Nosrati MS, Abugharbieh R, Peyrat JM, Abinahed J, Al-Alao O, Al-Ansari A, et al. Simultaneous Multi-Structure Segmentation and 3D Nonrigid Pose Estimation in Image-Guided Robotic Surgery. IEEE Trans Med Imaging. 2016;35(1):1-12. 66. Nosrati MS, Amir-Khalili A, Peyrat JM, Abinahed J, Al-Alao O, Al-Ansari A, et al. Endoscopic scene labelling and augmentation using intraoperative pulsatile motion and colour appearance cues with preoperative anatomical priors. Int J Comput Assist Radiol Surg. 2016;11(8):1409-18. 67. Puerto-Souza GA, Cadeddu JA, Mariottini GL. Toward long-term and accurate augmented-reality for monocular endoscopic videos. IEEE Trans Biomed Eng. 2014;61(10):2609-20. 68. Stoyanov D, Scarzanella MV, Pratt P, Yang GZ. Real-time stereo reconstruction in robotically assisted minimally invasive surgery. Med Image Comput Comput Assist Interv. 2010;13(Pt 1):275-82. 69. Myron ZB, Darius B, Gregory DH. Advances in Computational Stereo. IEEE Trans Pattern Anal Mach Intell. 2003;25(8):993-1008. 70. Collins T, Pizarro D, Bartoli A, Canis M, Bourdel N. Realtime Wide-Baseline Registration of the Uterus in Laparoscopic Videos Using Multiple Texture Maps. In: Liao H, Linte CA, Masamune K, Peters TM, Zheng G, editors. Augmented Reality Environments for Medical Imaging and Computer-Assisted Interventions: 6th International Workshop, MIAR 2013 and 8th International Workshop, AE-CAI 2013, Held in Conjunction with MICCAI 2013, Nagoya, Japan, September 22, 2013 Proceedings. Berlin, Heidelberg: Springer Berlin Heidelberg; 2013. p. 162-71. 71. Collins TB, A.; Pizarro, D. A Robust Analytical Solution to Isometric Shape-from-Template with Focal Length Calibration. Proceedings of the IEEE International Conference on Computer Vision; sydney, australia2013. 72. Collins T, Chauvet P, Debize C, Pizarro D, Bartoli A, Canis M, et al., editors. A System for Augmented Reality Guided Laparoscopic Tumor Resection with Quantitative Ex-vivo User Evaluation. Computer-Assisted and Robotic Endoscopy (CARE); 2016. 73. Eric NM, William AB. Intelligent scissors for image composition. Proceedings of the 22nd annual conference on Computer graphics and interactive techniques: ACM; 1995. 74. Egorov V, Tsyuryupa S, Kanilo S, Kogit M, Sarvazyan A. Soft tissue elastometer. Med Eng Phys. 2008;30(2):206-12. 75. Pearsall GW, Roberts VL. Passive mechanical properties of uterine muscle (myometrium) tested in vitro. J Biomech. 1978;11(4):167-76. 76. Nakamoto M, Nakada K, Sato Y, Konishi K, Hashizume M, Tamura S. Intraoperative magnetic tracker calibration using a magneto-optic hybrid tracker for 3-D ultrasound-based navigation in laparoscopic surgery. IEEE Trans Med Imaging. 2008;27(2):255-70. 77. Pessaux P, Diana M, Soler L, Piardi T, Mutter D, Marescaux J. Towards cybernetic surgery: robotic and augmented reality-assisted liver segmentectomy. Langenbecks Arch Surg. 2014. 78. Soler L, Nicolau S, Pessaux P, Mutter D, Marescaux J. Real-time 3D image reconstruction guidance in liver resection surgery. Hepatobiliary Surg Nutr. 2014;3(2):73-81. 79. Kwartowitz DM, Miga MI, Herrell SD, Galloway RL. Towards image guided robotic surgery: multi-arm tracking through hybrid localization. Int J Comput Assist Radiol Surg. 2009;4(3):281-6. 80. Lam JS, Bergman J, Breda A, Schulam PG. Importance of surgical margins in the management of renal cell carcinoma. Nat Clin Pract Urol. 2008;5(6):308-17. 81. Sutherland SE, Resnick MI, Maclennan GT, Goldman HB. Does the size of the surgical margin in partial nephrectomy for renal cell cancer really matter? J Urol. 2002;167(1):61-4. 82. Kong SH, Haouchine N, Soares R, Klymchenko A, Andreiuk B, Marques B, et al. Robust augmented reality registration method for localization of solid organs' tumors using CT-derived virtual biomechanical model and fluorescent fiducials. Surg Endosc. 2016. 83. Dave CN, Seifman B, Chennamsetty A, Frontera R, Faraj K, Nelson R, et al. Office-Based Ultrasound Guided Renal Core Biopsy is Safe and Efficacious in the Management of Small Renal Masses. Urology. 2016;23(16):31013-5. 84. Nicolau S, Soler L, Mutter D, Marescaux J. Augmented reality in laparoscopic surgical oncology. Surg Oncol. 2011;20(3):189-201.

 

51  

85. Marzano E, Piardi T, Soler L, Diana M, Mutter D, Marescaux J, et al. Augmented reality-guided artery-first pancreatico-duodenectomy. J Gastrointest Surg. 2013;17(11):1980-3. 86. Kamphuis GM, de Bruin DM, Brandt MJ, Knoll T, Conort P, Lapini A, et al. Comparing Image Perception of Bladder Tumors in Four Different Storz Professional Image Enhancement System Modalities Using the iSPIES App. J Endourol. 2016;30(5):602-8. 87. Fernandez H, Goffinet F, Benifla JL, Chapron C. [Management of fibroma. Recommendations for clinical practice]. Gynecol Obstet Fertil. 2000;28(6):473-5. 88. Stewart EA. Uterine fibroids. Lancet. 2001;357(9252):293-8. 89. Okolo S. Incidence, aetiology and epidemiology of uterine fibroids. Best Pract Res Clin Obstet Gynaecol. 2008;22(4):571-88. 90. Lippman SA, Warner M, Samuels S, Olive D, Vercellini P, Eskenazi B. Uterine fibroids and gynecologic pain symptoms in a population-based study. Fertil Steril. 2003;80(6):1488-94. 91. Marret H, Fritel X, Ouldamer L, Bendifallah S, Brun JL, De Jesus I, et al. Therapeutic management of uterine fibroid tumors: updated French guidelines. European journal of obstetrics, gynecology, and reproductive biology. 2012;165(2):156-64. 92. Tan N, McClure TD, Tarnay C, Johnson MT, Lu DS, Raman SS. Women seeking second opinion for symptomatic uterine leiomyoma: role of comprehensive fibroid center. J Ther Ultrasound. 2014;2:3. 93. Perez-Lopez FR, Ornat L, Ceausu I, Depypere H, Erel CT, Lambrinoudaki I, et al. EMAS position statement: management of uterine fibroids. Maturitas. 2014;79(1):106-16. 94. Donnez J, Donnez O, Courtoy GE, Dolmans MM. The place of selective progesterone receptor modulators in myoma therapy. Minerva Ginecol. 2016;68(3):313-20. 95. Donnez J, Arriagada P, Donnez O, Dolmans MM. Current management of myomas: the place of medical therapy with the advent of selective progesterone receptor modulators. Curr Opin Obstet Gynecol. 2015;27(6):422-31. 96. Donnez J, Donnez O, Dolmans MM. With the advent of selective progesterone receptor modulators, what is the place of myoma surgery in current practice? Fertil Steril. 2014;102(3):640-8. 97. Trew G, Pistofidis G, Pados G, Lower A, Mettler L, Wallwiener D, et al. Gynaecological endoscopic evaluation of 4% icodextrin solution: a European, multicentre, double-blind, randomized study of the efficacy and safety in the reduction of de novo adhesions after laparoscopic gynaecological surgery. Hum Reprod. 2011;26(8):2015-27. 98. Bourdel N, Collins T, Pizarro D, Bartoli A, Da Ines D, Perreira B, et al. Augmented reality in gynecologic surgery: evaluation of potential benefits for myomectomy in an experimental uterine model. Surg Endosc. 2016. 99. Bourdel N, Collins T, Pizarro D, Debize C, Gremeau AS, Bartoli A, et al. Use of augmented reality in laparoscopic gynecology to visualize myomas. Fertil Steril. 2017. 100. Campbell SC, Novick AC, Belldegrun A, Blute ML, Chow GK, Derweesh IH, et al. Guideline for management of the clinical T1 renal mass. J Urol. 2009;182(4):1271-9. 101. Van Poppel H, Da Pozzo L, Albrecht W, Matveev V, Bono A, Borkowski A, et al. A prospective, randomised EORTC intergroup phase 3 study comparing the oncologic outcome of elective nephron-sparing surgery and radical nephrectomy for low-stage renal cell carcinoma. Eur Urol. 2011;59(4):543-52. 102. Kim SP, Thompson RH, Boorjian SA, Weight CJ, Han LC, Murad MH, et al. Comparative effectiveness for survival and renal function of partial and radical nephrectomy for localized renal tumors: a systematic review and meta-analysis. J Urol. 2012;188(1):51-7. 103. Weight CJ, Larson BT, Fergany AF, Gao T, Lane BR, Campbell SC, et al. Nephrectomy induced chronic renal insufficiency is associated with increased risk of cardiovascular death and death from any cause in patients with localized cT1b renal masses. J Urol. 2010;183(4):1317-23. 104. Collins T, Bartoli A, Bourdel N, Canis M. Robust, Real-Time, Dense and Deformable 3D Organ Tracking in Laparoscopic Videos. In: Ourselin S, Joskowicz L, Sabuncu MR, Unal G, Wells W, editors. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016: 19th International Conference, Athens, Greece, October 17-21, 2016, Proceedings, Part I. Cham: Springer International Publishing; 2016. p. 404-12.

105. Fiocchi F, Nocetti L Fau - Siopis E, Siopis E Fau - Curra S, Curra S Fau - Costi T, Costi T Fau - Ligabue G, Ligabue G Fau - Torricelli P, et al. In vivo 3 T MR diffusion tensor imaging for detection of the fibre architecture. Br J Radiol. 2012;85(1019):e1009-17 LID - 10.259/bjr/76693739 [doi]. 106. Kara Bozkurt D, Bozkurt M, Nazli MA, Mutlu IN, Kilickesmez O. Diffusion-weighted and diffusion-tensor imaging of normal and diseased uterus. World J Radiol. 2015;7(7):149-56 LID - 10.4329/wjr.v7.i7.149 [doi]. 107. Toba M, Miyasaka N Fau - Sakurai U, Sakurai U Fau - Yamada I, Yamada I Fau - Eishi Y, Eishi Y Fau - Kubota T, Kubota T. Diagnostic possibility of diffusion tensor imaging for the evaluation of. J Magn Reson Imaging. 2011;34(3):616-22 LID - 10.1002/jmri.22693 [doi]. 108. Weiss S, Jaermann T Fau - Schmid P, Schmid P Fau - Staempfli P, Staempfli P Fau - Boesiger P, Boesiger P Fau - Niederer P, Niederer P Fau - Caduff R, et al. Three-dimensional fiber architecture of the nonpregnant human uterus determined. Anat Rec A Discov Mol Cell Evol Biol. 2006;288(1):84-90. 109. Zhang L, Liu A, Zhang T, Song Q, Wei Q, Wang H. Use of diffusion tensor imaging in assessing superficial myometrial invasion by. Acta radiologica. 2015;56(10):1273-80 LID - 10.177/0284185114552293 [doi]. 110. Bourdel N, Tran X, Botchorhisvili R, Pouly JL, Canis M, Mage G. [Laparoscopic hysterectomy in 10 steps]. J Chir (Paris). 2009;146(5):483-91. 111. Fuks D, Cauchy F, Fteriche S, Nomi T, Schwarz L, Dokmak S, et al. Laparoscopy Decreases Pulmonary Complications in Patients Undergoing Major Liver Resection: A Propensity Score Analysis. Ann Surg. 2016;263(2):353-61. 112. Slakey DP, Simms E, Drew B, Yazdi F, Roberts B. Complications of liver resection: laparoscopic versus open procedures. JSLS. 2013;17(1):46-55. 113. Buell JF, Cherqui D, Geller DA, O'Rourke N, Iannitti D, Dagher I, et al. The international position on laparoscopic liver surgery: The Louisville Statement, 2008. Ann Surg. 2009;250(5):825-30. 114. Cheung TT, Poon RT, Yuen WK, Chok KS, Jenkins CR, Chan SC, et al. Long-term survival analysis of pure laparoscopic versus open hepatectomy for hepatocellular carcinoma in patients with cirrhosis: a single-center experience. Ann Surg. 2013;257(3):506-11. 115. Cannon RM, Scoggins CR, Callender GG, Quillo A, McMasters KM, Martin RC, 2nd. Financial comparison of laparoscopic versus open hepatic resection using deviation-based cost modeling. Ann Surg Oncol. 2013;20(9):2887-92. 116. Larsen CR, Oestergaard J, Ottesen BS, Soerensen JL. The efficacy of virtual reality simulation training in laparoscopy: a systematic review of randomized trials. Acta Obstet Gynecol Scand. 2012;91(9):1015-28. 117. Lamata P, Gomez EJ, Sanchez-Margallo FM, Lamata F, del Pozo F, Uson J. Tissue consistency perception in laparoscopy to define the level of fidelity in virtual reality simulation. Surg Endosc. 2006;20(9):1368-75. 118. Passmore PJ, Read OJ, Nielsen CF, Torkington J, Darzi A. Effects of perspective and stereo on depth judgements in virtual reality laparoscopy simulation. Stud Health Technol Inform. 2000;70:243-5. 119. Bernstein P. Virtual Reality Simulation of Gynecologic Laparoscopy. J Am Assoc Gynecol Laparosc. 1996;3(4, Supplement):S4. 120. Frank ML, Schafer SD, Mollers M, Falkenberg MK, Braun J, Mollmann U, et al. Importance of Transvaginal Elastography in the Diagnosis of Uterine Fibroids and Adenomyosis. Ultraschall in der Medizin. 2016;37(4):373-8. 121. Mezzi G, Ferrari S, Arcidiacono PG, Di Puppo F, Candiani M, Testoni PA. Endoscopic rectal ultrasound and elastosonography are useful in flow chart for the diagnosis of deep pelvic endometriosis with rectal involvement. J Obstet Gynaecol Res. 2011;37(6):586-90. 122. Zhang Z, Luo P, Loy CC, Tang X. Facial Landmark Detection by Deep Multi-task Learning. In: Fleet D, Pajdla T, Schiele B, Tuytelaars T, editors. Computer Vision – ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part VI. Cham: Springer International Publishing; 2014. p. 94-108. 123. Russakovsky O, Deng J, Su H, Krause J, Satheesh S, Ma S, et al. ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision. 2015;115(3):211-52.