HAL Id: tel-00383924https://tel.archives-ouvertes.fr/tel-00383924

Submitted on 13 May 2009

HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.

Larchive ouverte pluridisciplinaire HAL, estdestine au dpt et la diffusion de documentsscientifiques de niveau recherche, publis ou non,manant des tablissements denseignement et derecherche franais ou trangers, des laboratoirespublics ou privs.

Le rendu expressif, un ensemble doutils et techniquespour la communication visuelle

Jolle Thollot

To cite this version:Jolle Thollot. Le rendu expressif, un ensemble doutils et techniques pour la communication visuelle.Interface homme-machine [cs.HC]. Institut National Polytechnique de Grenoble - INPG, 2008.

https://tel.archives-ouvertes.fr/tel-00383924https://hal.archives-ouvertes.fr

Habilitation diriger des recherches

Le rendu expressif

Un ensemble doutils et techniques pour la

communication visuelle

Jolle Thollot

7 novembre 2008

2

Table des matires

1 Introduction 5

1.1 Comment en suis-je arrive l ? . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 Quest-ce-qui fait une bonne image ? . . . . . . . . . . . . . . . . . . . . . 7

1.3 Organisation du document . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2 Outils de cration dimages 11

2.1 Simulation de mdia traditionnels . . . . . . . . . . . . . . . . . . . . . . . . 11

2.2 Dessin vectoriel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.1 Les courbes de diffusion : une nouvelle primitive de dessin vectoriel . . 13

2.2.2 Dessin de motifs par lexemple . . . . . . . . . . . . . . . . . . . . . . 15

2.3 Contrler le rendu par une image . . . . . . . . . . . . . . . . . . . . . . . . . 16

3 Contrle du dtail visuel 19

3.1 Dtail et regroupement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.2 Dtail et modle de la vision humaine . . . . . . . . . . . . . . . . . . . . . . 21

3.3 Ce qui est important nest pas du dtail . . . . . . . . . . . . . . . . . . . . . . 22

3.3.1 Perception de la couleur . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.3.2 Perception de la forme . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.3.3 Perception des matriaux . . . . . . . . . . . . . . . . . . . . . . . . . 25

4 Cohrence temporelle 27

4.1 Quel est le problme ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.2 Papier dynamique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.3 Advection de texture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.4 Distribution de points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4.5 Motifs 2D dynamiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.6 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

5 Conclusion 35

A Etat de lart 41

B Principales publications 73

3

4 TABLE DES MATIRES

Chapitre 1

Introduction

Mes travaux de recherche, si lon inclut mes travaux de thse, ont port sur diffrentes dis-

ciplines de linformatique graphique. Nanmoins mon questionnement sous-jacent est rest le

mme et continue dorienter mon projet de recherche actuel. Je le rsumerai ltude de la

communication visuelle et des outils informatiques permettant de lamliorer. Cela implique

en particulier dtre en lien avec les utilisateurs de tels outils, cest--dire les personnes qui

vont vouloir communiquer un message visuel et qui ne sont pas ncessairement des spcialistes

de linformatique. Cela implique aussi, au del des aspects purement algorithmiques, de com-

prendre ce qui est important dans une image (ncessairement dpendant de lapplication) pour

concentrer les efforts sur ces points, que ce soit les temps de calcul ou la qualit visuelle.

Ce thme fondamental sest dclin en divers travaux (modlisation gomtrique fractale,

rendu temps rel de scnes complexes, rendu expressif) et diverses applications (arts graphiques,

architecture, archologie). Jai choisi de ne prsenter dans ce mmoire que mes travaux sur le

rendu expressif car cest lobjet de mes recherches actuelles et cest le sujet qui mest le plus

personnel puisque je ne lai dmarr quune fois en poste et suite mes propres rflexions et

contacts. Je commencerai nanmoins par un bref historique de mes travaux me permettant de

motiver ma dmarche et de citer les diverses personnes avec qui jai collabor car ce sont en

partie grce elles que ce mmoire existe aujourdhui.

1.1 Comment en suis-je arrive l ?

Jai effectu ma thse au LIGIM (maintenant LIRIS) luniversit Claude Bernard Lyon

sous la direction de Denis Vandorpe et Eric Tosan [Tho96]. Durant ma thse jai travaill sur la

modlisation gomtrique fractale. Notre but tait de faciliter la cration dobjets 3D ayant des

proprits fractales car ces objets sont en gnral difficiles modliser par les techniques stan-

dards. Nous avons pour cela dfini des oprateurs permettant de composer des objets fractals

simples pour obtenir des objets complexes ([TT93] [TT95] [Tho97] [TZTV97]). Ce prinipe est

connu en modlisation gomtrique classique sous le nom de CSG (Constructive Solid Geome-

try). Jai dfini de tels oprateurs bass sur des notion ensemblistes mais aussi sur des oprateurs

spcifiques aux langages formels comme la concatnation ou le mlange (figure 1.1 gauche).

Un objet fractal peut en effet tre vu comme un langage sur un alphabet constitu de transfor-

mations affines. Ces travaux ont t mens en troite collaboration avec une artiste, Martine

5

6 CHAPITRE 1. INTRODUCTION

Mlange de deux fractales Voyage en Egypte cMartine Rondet-Mignotte

FIG. 1.1 Modlisation gomtrique dobjets fractals.

Rondet-Mignotte, qui appliquait les mthodes proposes dans lquipe pour sa propre produc-

tion artistique (figure 1.1 droite). Cette collaboration nous a permis de valider lutilisabilit

des outils de modlisation que nous dveloppions.

Lors de mon arrive dans lquipe iMAGIS du laboratoire GRAVIR jai chang de thma-

tique de recherche puisque les domaines de recherche privilgis de lquipe taient le rendu

ou lanimation. Je me suis naturellement tourne vers le rendu dont la vocation est la visuali-

sation et donc, en quelque sorte, la fin de la chane de construction dune image. Je me suis

alors intresse aux techniques permettant le rendu interactif de scnes complexes : niveaux de

dtails et visibilit [DDTP00]. La visualisation de scnes urbaines tait une des applications de

ces travaux et jai donc cherch nouer des contacts avec des architectes. Cela a dbouch sur

une collaboration avec lcole darchitecture de Lyon (laboratoire ARIA) durant la quelle jai

en particulier travaill avec Xavier Marsault et Renato Saleri. Au cours de nos discussions, jai

pris conscience du manque de visualisations adaptes leur domaine. Toute une partie du travail

de larchitecte dbute par des dessins et croquis prparatoires. Suit une tape de modlisation

avec des logiciels spcialiss, comme AutoCAD, puis une prsentation du projet aux clients

avec des visualisations 3D tires du modle gomtrique mais aussi de nombreux dessins. En-

suite, mme lors du raffinement du projet, lutilisation de dessins reste prsente pour donner

une vision globale du projet.

Jai alors nouveau r-orient ma recherche, tout en restant dans la problmatique du rendu

interactif, vers des techniques plus expressives que lon appelle aussi non-photoralistes. Jai,

en plus des architectes, pris contact avec des archologues qui sont aussi de grands utilisateurs

de dessins pour illustrer leurs recherches. Ces collaborations ont t formalises dans le projet

rgion DEREVE et lARC ARCHEOS. Jai en particulier travaill avec lquipe Homerica de

luniversit Stendhal (Grenoble), et plus spcifiquement avec Franoise Ltoublon et Isabelle

Ratinaud sur un projet de visualisation du site dArgos comme montr figure 1.2 ([RT03]).

Un des btiments du site avait en effet deux interprtations contradictoires et la possibilit de

montrer une restitution 3D du site avec une visualisation de type aquarelle permettait de souli-

gner laspect hypothtique des choix darchitecture effectus (et accessoirement de mnager les

susceptibilits des archologues auteurs des deux interprtations).

Ces exemples refltent bien pour moi la problmatique de la communication visuelle qui

ne se restreint pas la production dimages ralistes alors que la majeure partie des travaux de

1.2. QUEST-CE-QUI FAIT UNE BONNE IMAGE ? 7

Le site dArgos Aquarelle relle dun monument

Animation dune foule [HLTC03] Rendu avec papier dynamique [CTP+03]

FIG. 1.2 Restitution archologique dans le cadre de lARC ARCHEOS.

recherche en synthse dimages sest porte sur la cration dimages ressemblant une photo.

Ces premiers travaux ont marqu pour moi le dbut des travaux de recherche que je poursuis

encore aujourdhui et que je prsente dans ce mmoire.

1.2 Quest-ce-qui fait une bonne image ?

De manire gnrale pour produire une image il faut un auteur et un outil. Il parait assez

vident que pour faire une bonne image il faut un bon auteur et un bon outil. La

recherche en informatique graphique vise faire de bons outils mais il est crucial de garder

lesprit que ces outils vont tre utiliss par un auteur. Linformatique tant un outil dautoma-

tisation de tches, une question fondamentale dans la cration dimages est ainsi de savoir ce

quil est raisonnable dautomatiser et ce qui est du ressort de lauteur, puis comment lauteur

va pouvoir aisment assurer sa part du travail. Cette question est trs dpendante de lapplica-

tion que lon vise. Selon les mtiers un certain nombre de rgles pourront tre utilises pour

automatiser certaines tches. La libert laisse lauteur dpendra aussi fortement de son but.

Un graphiste souhaitera certainement plus de possibilits de contrle quun archologue. Le

premier critre de qualit de nos approches sera donc la juste place du contrle utilisateur.

Il est probablement vain desprer lister et formaliser de manire exhaustive les critres de

qualit dune image. On peut nanmoins dgager un certain nombre de principes qui sont autant

8 CHAPITRE 1. INTRODUCTION

de guides pour la production doutils de cration dimages performants.

Lisibilit. Pour quune image communique efficacement un message il faut quelle soit li-

sible, autrement dit comprhensible. Pour cela, quelque soit la technique picturale utilise et

la scne reprsente, les artistes ont souvent travaill sur la gestion du dtail. Un photographe

va, au travers de la profondeur de champ, tre en mesure de mettre en valeur certaines parties

de la scne, un illustrateur va pouvoir choisir de dtailler certaines parties de son dessin ou de

varier lintensit et la prcision de son trait selon son but. Une partie de mes travaux sest ainsi

attache proposer des outils de cration ou de traitement dimages permettant de contrler le

dtail visuel.

Absence dartefacts. Un critre important de qualit dune image est labsence dartefacts

visuels. Cette considration a toujours exist (par exemple le peintre cherche viter les cra-

quelures lors du schage de ses toiles) mais est particulirement importante dans le cas de

linformatique graphique. En effet, la nature mme du mdium (une image discrte) est source

naturelle dartefacts. Cest pourquoi je me suis intresse des techniques de dessin vectoriel

qui permettent de saffranchir de la nature discrte de loutil informatique. Les artefacts sont en-

core plus visibles lorsque lon sintresse aux animations. Dans ce cas, des artefacts temporels

sajoutent aux artefacts spatiaux pouvant amener une baisse radicale de la qualit du rsultat. Je

me suis donc intresse dans de nombreux travaux la question de la cohrence temporelle qui

vise limiter les artefacts temporels dans les films danimation styliss.

Esthtisme. Une bonne image doit tre belle ! La beaut tant trs subjective, il parait difficile

de se baser sur un critre esthtique pour conditionner un outil. Il nen reste pas moins quau

cours de lhistoire de lart les peintres et dessinateurs ont produit de magnifiques images avec

les outils dont ils disposaient. Une partie de mes travaux a donc consist tenter de reproduire

certains effets des mdia traditionnels tout en laissant un contrle suffisant lutilisateur pour

quil puisse crer limage de son choix. Dans ce domaine le compromis entre automatique et

manuel est fondamental. La collaboration avec des graphistes professionnels permet de vrifier

la pertinence des choix effectus.

Figuration. Si lon exclut lart abstrait, une bonne image doit efficacement reprsenter la

scne figure. Une manire de simplifier le travail de lauteur est alors simplement de lui per-

mettre de crer ses images partir dune donne existante (photographie, vido, scne 3D).

Dans le cas des animations stylises cela devient un gain de temps notable mais dans le cas g-

nral cela permet aussi des non-spcialistes daccder plus facilement la cration artistique.

Ainsi, mes travaux ne se sont pas spcialiss un type de donnes. Ce critre est aussi en lien

avec la gestion du dtail. Si lon propose un algorithme qui est capable denlever du dtail, cet

algorithme doit aussi prserver la forme gnrale de la scne reprsente.

Une image est faite pour tre vue. Le but dune image est dtre montre un tre humain.

Cela nous donne un cadre supplmentaire pour guider nos outils : la perception humaine. Dun

cot il est inutile de reprsenter des choses que loeil humain ne peut percevoir ; dun autre

cot il est important de concentrer nos efforts sur les lments auxquels lhomme est sensible.

1.3. ORGANISATION DU DOCUMENT 9

La prise en compte des connaissances que les scientifiques ont acquises dans ce domaine est

ainsi une source dinformation fructueuse pour la cration dimages. Les travaux prsents ici

utilisent en particulier des rsultats sur la perception des couleurs, le regroupement perceptuel

et la thorie des espaces dchelle (scale-space).

1.3 Organisation du document

Dans la suite du document je prsente les travaux que jai effectus depuis 2003. Ces travaux

sont le rsultat de plusieurs collaborations scientifiques. En premier lieu avec mes tudiants de

thse ou de master, ainsi quavec plusieurs collgues franais et trangers. Tous ces collabora-

teurs seront cits lors de la description des travaux correspondants.

Un tat de lart sur le rendu expressif est donn en annexe A sous la forme du chapitre sur

le rendu expressif publi dans louvrage Informatique graphique et rendu [BTT07] et crit en

collaboration avec Pascal Barla et Gwenola Thomas.

Je prsenterai dans la suite mes contributions regroupes en trois grands thmes : outils

de cration dimages ; simplification et abstraction ; cohrence temporelle. Une description d-

taille sera donne en annexe sous la forme dune collection darticles. Je conclurai enfin par

des perspectives de recherche.

10 CHAPITRE 1. INTRODUCTION

Chapitre 2

Outils de cration dimages

Dans ce chapitre je prsente des travaux cherchant produire des outils de cration dimage.

Ces outils visent essentiellement les graphistes et une part importante du questionnement est de

trouver les bons contrles laisser lutilisateur de tels outils. Je travaille depuis de nombreuses

annes avec des infographistes (Philippe Chaubaroux, Florent Moulin, Laurence Boissieux, Isa-

belle ?) afin de dterminer leurs besoins et les compromis acceptables pour eux. Il savre que

les utilisateurs actuels des logiciels proposs sur le march (que ce soit pour de la retouche

photo, du dessin vectoriel, du traitement de vido ou de lanimation 3D) sont habitus mani-

puler des interfaces extrmement complexes et supportent de trs longs temps de calculs sans

sourciller. En revanche leur demande majeure est de pouvoir contrler finement le rsultat vi-

suel final et de pouvoir crer des images en y mettant leur style personnel. Dans le mme temps

et pour des raisons historiques, une bonne partie des travaux de recherche en informatique gra-

phique vise acclrer les calculs et augmenter lautomatisation.

Les travaux que je prsente ici ont ainsi pour but essentiel de redonner du choix au graphiste.

Bien videmment nous chercherons tout de mme optimiser les temps de calculs car cela ne

gche rien.

2.1 Simulation de mdia traditionnels

Un gain prcieux de loutil informatique par rapport au dessin traditionnel est doffrir la

possibilit de produire des images partir dune donne existante : photographie, vido, scne

3D. Une faon de donner du choix au graphiste est alors dtendre les possibilits des outils de

traitement en terme de richesse visuelle. En effet, la gamme des styles actuellement disponibles

reste relativement rduite et varie selon le type dentre traiter. Au niveau industriel, si lon

prend le cas des animations 3D ou des vidos, les styles disponibles se rsument grosso-modo

un style photo raliste et un style dessin anim (contours et aplats de couleur). Une gamme plus

importante est disponible pour le traitement de photographies, essentiellement sous forme de

filtres dimages. En revanche de nombreux travaux acadmiques (voir lannexe A) ont cherch

reproduire des mdia plus varis tels que le hachurage, la peinture, laquarelle, etc...

Pour que ces mthodes soient intressantes pour le graphiste, il faut dune part quelles lui

laissent suffisamment de libert et dautre part quelles offrent un rel bnfice par rapport au

dessin traditionnel. Pour cela il nous semble important que les mthodes que nous proposons

11

12 CHAPITRE 2. OUTILS DE CRATION DIMAGES

FIG. 2.1 Modle base de marques : un mme objet 3D rendu dans quatre styles diffrents.

FIG. 2.2 Modle base de textures : rendu aquarelle obtenu partir dune photographie

(gauche) ou de modles 3D (milieu et droite).

ne soient pas spcifiques un seul type dentre. Nous cherchons ainsi tre capable de traiter

aussi bien des images que des animations (vidos ou 3D).

Nous avons tudi deux modles informatiques pour reproduire les effets de mdia tradi-

tionnels : un modle base marques et un modle base de textures. Le modle base de

marques est dfini par lanalogie avec la peinture dans laquelle une image est constitue dun

ensemble de coups de pinceaux. Le modle base de texture reprsente une image sous une

forme plus continue. Les effets du mdia sont simuls par une composition de textures et de

filtres. Ce type de reprsentation est parfaitement adapte des mdia comme laquarelle o il

ny a pas de coups de pinceaux distincts mais plutt des variations de frquence caractristiques

du mdium.

Le modle base de marque (figure 2.1) a t tudi par David Vanderhaghe dans le cadre

de sa thse. La problmatique principale de ces travaux est de donner au graphiste la possibilit

de dfinir son style. David a propos un modle de style et une implmentation concrte de ce

modle [VBTS07b]. Ce principe a t valid par la ralisation dun court mtrage [MBV+07]

en collaboration avec deux infographistes 3D : Florent Moulin et Laurence Boissieux.

Le modle base de texture (figure 2.2) a t tudi par Adrien Bousseau dans le cadre de sa

thse en spcialisant ltude pour laquarelle. La problmatique principale tait la dfinition des

effets caractristiques de laquarelle et leur modlisation sous forme de textures et de traitements

dimages. Adrien a propos un pipeline de traitement dimage paramtrable pour laquarelle

[BKTS06]. Ces travaux ont donn lieu une collaboration avec David Salesin (Adobe research

lab). Adrien a produit un plugin photoshop et un plugin After Efffect durant un sjour chez

Adobe Seattle. Lapproche a t valide par un deuxime court mtrage ralis par Laurence

Boissieux.

Pour ces deux modles une question spcifique se pose lors du traitement danimations : la

gestion des artefacts temporels. Nous y reviendrons plus en dtail au chapitre 4.

2.2. DESSIN VECTORIEL 13

2.2 Dessin vectoriel

Parmi les outils informatiques pour la cration dimage, le dessin vectoriel offre de nom-

breux avantages. Les primitives de dessin sont reprsentes par un modle paramtrique et sont

ainsi facilement ditables et indpendantes de la rsolution de limage finale. Les outils comme

Flash ou Illustrator en sont les exemples les plus connus. Ils sont principalement utiliss pour

produire des illustrations ou des courts mtrages danimation 2D (la paramtrisation des primi-

tives permettant des techniques de morphing bien plus efficaces que sur des images pixelliques).

Toujours dans le but de donner au graphiste des outils plus performants nous nous sommes in-

tresss deux problmes dans le cadre du dessin vectoriel. Tout dabord nous avons propos

une nouvelle primitive de dessin permettant en particulier le dessin de dgrads complexes de

manire intuitive. Deuximement nous nous sommes intresss la question de la cration de

motifs partir dun exemple donn par lutilisateur. Le point commun de ces deux approches

est dune part de faciliter le travail du graphiste et dautre part de sinspirer de travaux lis la

perception humaine.

2.2.1 Les courbes de diffusion : une nouvelle primitive de dessin vectoriel

(a) (b) (c) (d)

FIG. 2.3 Une courbe de diffusion est compose de (a) une courbe de Bzier, (b) des contraintes

de couleurs arbitrairement positionnes de chaque cot de la courbe puis interpoles, (c) des

contraintes de flou interpoles linairement le long de la courbe. (d) Limage finale est obtenue

par diffusion et floutage.

Ce travail a t effectu par Alexandrina Orzan et Adrien Bousseau dans le cadre de leur

thse et en collaboration avec Holger Winnemoller (Adobe), Pascal Barla (IPARLA - INRIA) et

David Salesin (Adobe). En nous appuyant sur des travaux en vision montrant que linformation

contenue dans une image peut tre concentre sur les artes de limage, nous avons propos une

nouvelle primitive de dessin vectoriel constitue dune courbe de Bzier au long de laquelle

sont dfinies (aussi de manire vectorielle) une couleur gauche, une couleur droite et un niveau

de flou (voir figure 2.3). Limage finale est ensuite construite par diffusion des couleurs et du

flou. Ce modle trs simple permet de dessiner de manire intuitive des dgrads complexes

mais nous avons aussi propos une mthode dextraction automatique qui construit lensemble

des courbes de diffusion approximant au mieux une image donne (voir figure 2.4).

Cet outil a t valid par Laurence Boissieux et Philippe Chaubaroux par la production de

divers dessins vectoriels (voir figure 2.4) et a t lobjet dune publication Siggraph 2008

[OBW+08].

14 CHAPITRE 2. OUTILS DE CRATION DIMAGES

Conversion automatique

Image originale Courbes automatiquement extraites

Image vectorise rsultat Diffrence entre les deux images

Dessins effectus par des artistes

cLaurence Boissieux cPhilippe Chaubaroux

FIG. 2.4 Courbes de diffusion.

2.2. DESSIN VECTORIEL 15

FIG. 2.5 Mthode paramtrique de synthse de points et hachures.

2.2.2 Dessin de motifs par lexemple

Ce travail a t effectu par Pascal Barla dans le cadre de sa thse et en collaboration avec

Simon Breslaw et Lee Markosian (University of Michigan). Lobjectif tait de fournir aux gra-

phistes un outil leur permettant de produire des motifs vectoriels. Par motif nous entendons un

ensemble dlments vectoriels rpartis le long dun chemin 1D ou dans une rgion 2D selon

une distribution similaire sur toute la forme. Nous avons choisi une approche "par lexemple"

car cela permet au graphiste de se librer des contraintes lies la description de son style. Il

donne un exemple en dessinant quelques lments du motif et le systme informatique se charge

de reproduire ce motif sur une plus grande rgion. Toute la difficult de ce type dapproche est

dtre capable de capturer les caractristiques importantes du style et dviter des rptitions

visibles dans limage finale. Nous avons propos deux approches inspires de la synthse de

texture.

La premire (voir figure 2.5) est une approche paramtrique o lon analyse les statistiques

de lexemple et o lon recre un motif similaire ayant les mmes statistiques. Cela suppose

de dfinir un modle paramtrique de ce type de motifs. Nous avons bas ce modle sur la

thorie du regroupement perceptuel. Cette thorie nous indique en effet comment le systme

visuel humain groupe des lments similaires rptitifs en donnant divers critres (continuation,

paralllisme, proximit). Cependant ce modle ne dcrit correctement que des lments simples

(points, segments).

Pour tre en mesure de prendre en compte des lments plus complexes, nous avons propos

une autre mthode cette fois non paramtrique (voir figure 2.6). Ce type dapproche consiste

placer des lments un par un en cherchant localement dans lexemple des voisinages similaires

celui o lon veut ajouter un nouvel lment. Il ny a ainsi plus besoin dun modle complet du

motif mais il faut dfinir ce quest un voisinage et quelle est la mesure de similarit entre deux

voisinage. Une fois encore la thorie du regroupement perceptuel nous a fourni des indices de

similarit. Cette approche permet de synthtiser des motifs constitus dlments quelconques

16 CHAPITRE 2. OUTILS DE CRATION DIMAGES

FIG. 2.6 Mthode non paramtrique de synthse de motifs 1D et 2D.

mais restreint la distribution tre quasi uniforme. Cette mthode a t publie Eurographics

2006 [BBT+06].

Ce domaine reste de mon point de vue trs ouvert. Des travaux rcents de collgues japonais

ont tendu notre deuxime approche mais il reste encore beaucoup de travail faire pour tre

en mesure doffrir des outils pouvant couvrir la gamme des motifs que les graphistes souhaitent

pouvoir dessiner.

2.3 Contrler le rendu par une image

FIG. 2.7 Xtoon : ( gauche) une texture 2d est utilise pour controler lclairage (N.L) enfonction dun paramtre de dtail D. Par exemple ( droite) D peut tre la profondeur depuis la

camra.

Les ides simples tant parfois les meilleures, je termine ce chapitre par un travail effectu

par Pascal Barla dans le cadre de sa thse et en collaboration avec Simon Breslaw et Lee Mar-

kosian (University of Michigan) qui illustre limportance du choix de loutil de contrle laiss

au graphiste. Dans ce projet Pascal a propos de contrler le rendu dun objet 3D grce une

image 2D, telle que montre figure 2.7. Cette image est une interface extrmement intuitive

pour corrler 2 paramtres (correspondant aux deux axes de limage).

Cest un principe trs gnral et Pascal la mis en oeuvre dans le cas du contrle de lclai-

rage dun objet. Laxe x de limage correspond lillumination de lobjet (produit scalaire entre

2.3. CONTRLER LE RENDU PAR UNE IMAGE 17

FIG. 2.8 Xtoon : diffrents rendus obtenus.

la normale et la direction de la lumire) et la couleur du pixel de limage donne la couleur du

point 3D sous lillumination correspondante. Laxe y permet alors de faire varier cette couleur

selon un autre paramtre. Ce peut tre la profondeur ce qui permet par exemple de dsaturer ou

de simplifier la couleur en fonction de la distance au point de vue. Ce peut tre la distance un

point donn dans la scne pour permettre une mise en valeur dune certaine zone de la scne.

Mais lon peut imaginer nimporte quel autre couplage.

Cette technique est codable trs facilement en utilisant le GPU et offre ainsi un contrle

temps-rel permettant une large gamme de rendus (voir figure 2.8). Le graphiste peut aisment

crer sa propre image 2D pour contrler leffet quil souhaite obtenir.

Cette technique a t implmente dans un plugin de rendu aquarelle dvelopp par David

Lanier (socit dl3D) dans le cadre dun contrat de recherche avec Studio Brocliande (un studio

de production de films danimations situ Paris) et publie NPAR 2006 [BTM06].

18 CHAPITRE 2. OUTILS DE CRATION DIMAGES

Chapitre 3

Contrle du dtail visuel

Ce chapitre prsente des travaux visant contrler le dtail visuel dans une image. Cette

thmatique est souvent dcrite comme de labstraction visuelle utilise ici au sens simplifica-

tion de la donne dentre. Cette notion est commune tous les arts graphiques car cest une

manire damliorer la lisibilit dune image et de mettre en valeur les lments cls (fonction

du message que veut transmettre le crateur de limage).

Dans ce contexte, abstraire revient ainsi enlever du dtail. Cependant, les critres permet-

tant de choisir ce qui peut tre considr comme du dtail sont mal dfinis car la notion de

dtail est mal dfinie. Cette notion est en partie smantique : cest lapplication vise ou le gra-

phiste qui fixe ce qui est important. Pour une autre part, le dtail est li la perception humaine.

Intuitivement, ce qui ne se peroit pas ou peu est du dtail.

Dans ces travaux nous nous sommes ainsi pos la question de savoir ce quest du dtail pour

diverses applications. Il me parait encore aujourdhui impossible de donner une dfinition de

cette notion dans un cas gnral. En revanche nous avons explor un certain nombre doutils

mathmatiques et de thories de la perception pour asseoir nos divers travaux. Nous avons

aussi propos une mthode plus tourne vers le graphiste, lui permettant de dinclure sa propre

smantique dans les critres de simplification.

3.1 Dtail et regroupement

FIG. 3.1 Intrt de la segmentation pour laquarelle. A gauche limage originale, au milieu la

version aquarelle sans segmentation, droite la version aquarelle aprs segmentation.

Une premire manire de dfinir ce quest du dtail est de considrer que si lon peut grouper

19

20 CHAPITRE 3. CONTRLE DU DTAIL VISUEL

FIG. 3.2 Simplification de dessins au trait.

deux lments dune image en un seul sans changer la smantique de limage alors la prcision

apporte par ces deux lments tait superflue. Par consquent une manire de simplifier une

image est de regrouper ce qui est similaire pour le remplacer par un unique reprsentant. Toute

la question est alors de dfinir ce que veut dire similaire.

Une application directe de ce principe est la segmentation dimage (voir figure 3.1). Dans

ce cas deux pixels sont similaires sils sont proches spatialement et ont des couleurs similaires.

Nous avons ainsi utilis une segmentation base sur un mean-shift dans le cas de laquarelle

pour crer des zones de couleur uniformes dans limage sources [BKTS06].

Nous avons dautre part appliqu ce principe au dessin au trait vectoris. Le but tait, partant

dun dessin au trait noir et blanc constitu de lignes vectorielles munies dune paisseur, de le

simplifier en un ensemble plus petit de lignes. Ce travail a t effectu par Pascal Barla dans le

cadre de sa thse [BTS05a, BTS05b]. Pascal a propos un algorithme glouton de regroupement

progressif des lignes une chelle choisie par lutilisateur. Le critre de similarit des lignes est

3.2. DTAIL ET MODLE DE LA VISION HUMAINE 21

FIG. 3.3 Groupement 3D permettant de produire une stylisation dune scne 3D.

donn par la thorie du regroupement perceptuel auquel on peut ajouter des critres de couleur.

Une fois le groupement obtenu chaque groupe de ligne peut tre redessin selon une stratgie

choisie par lutilisateur et dpendante de lapplication : ne garder quune seule ligne du groupe,

construire la ligne mdiane, etc. La figure 3.2 montre deux exemples de simplification avec

deux stratgies de dessin diffrentes : en haut la ligne mdiane de chaque groupe est dessine ;

en bas seule la ligne la plus longue de chaque groupe est conserve. Cette deuxime stratgie

fonctionne trs bien pour des applications de type niveaux de dtail.

Enfin, nous nous sommes intresss au regroupement dans le cas dune scne 3D dyna-

mique. Ce travail a t effectu par Hedlena Bezerra dans le cadre de sa thse en collaboration

avec Elmar Eiseman et Xavier Dcoret tous deux membres de lquipe. Lide ici est de grou-

per les objets 3D selon un critre de similarit choisi par lutilisateur comme une combinaison

des informations disponibles dans scne (voir figure 3.3). Le fait que la scne soit dynamique

imposait de plus une contrainte temps-rel. Hedlena et Elmar ont propos un algorithme de re-

groupement bas sur un mean shift 3D dun ensemble de points reprsentatifs de la scne. Le

mean-shift tant un algorithme qui peut travailler en nimporte quelle dimension, le regroupe-

ment peut seffectuer sur un ensemble dinformations choisies par lutilisateur. Par exemple on

peut vouloir grouper en fonction de la position des points en projection perspective et de leur

couleur. Une extension du mean-shit a aussi t propose pour ajouter des paramtres acces-

sibles lutilisateur lui permettant de prciser sa stratgie de regroupement ; typiquement en

donnant une importance diffrente selon les objets de la scne. Ces travaux ont t publis

NPAR 2008 [BEDT08].

3.2 Dtail et modle de la vision humaine

Une autre faon de voir le problme est de considrer que le dtail est ce qui se peroit

moins bien. Divers modles et thories du fonctionnement du systme visuel humain peuvent

ainsi nous donner des critres de dfinition du dtail.

En particulier nous avons utilis la thorie des espaces dchelles (scale space) pour pro-

poser un algorithme de manipulation de photographies. Ce travail a t effectu par Alexan-

drina Orzan et Adrien Bousseau dans le cadre de leur thse en collaboration avec Pascal Barla

(IPARLA - INRIA) [OBBT07b, OBBT07a]. Les espaces dchelles gaussiens offrent un modle

de la perception humaine bas-niveau qui a de solides fondations mathmatiques. Intuitivement,

ce modle consiste en une pile dimages convolues par un filtre gaussien de noyau de plus en

22 CHAPITRE 3. CONTRLE DU DTAIL VISUEL

Divers niveaux de dtails construits partir de limage de gauche.

Combinaion de divers niveaux au sein dune

mme image (ici labeille est choisie comme

importante)

Stylisations appuyes sur les niveaux de dtail

obtenus

FIG. 3.4 Utilisation des espaces dchelle pour dtecter les lments importants dune image.

plus large. Limage dorigine, dchelle minimum, perd ainsi progressivement du dtail au fur

et mesure que lon monte dans les chelles. Pour cette raison, les artes de limage dispa-

raissent aussi progressivement et la thorie des espaces dchelle garantit quune mme arte ne

peut rapparatre dans les chelles suprieures. La perception humaine nous dit alors que plus

une arte persiste dans lespace dchelle, plus elle est importante. Ce critre nous permet ainsi

de savoir quelles artes sont du dtail une chelle donne. En sappuyant sur cette thorie

Alexandrina et Adrien ont pu proposer une mesure de limportance des artes dune image. Ils

ont montr diverses applications selon que lon enlve les artes de faible importance, que lon

les stylise ou que lon les dforme (voir figure 3.4).

3.3 Ce qui est important nest pas du dtail

Il est parfois plus facile de savoir ce qui est important que de dfinir ce qui est du dtail.

En effet, sous cette forme l, la question revient chercher quels sont les indices visuels per-

tinents pour reprsenter linformation de dpart. Nous avons travaill sur cette question en va-

riant les applications et les angles dapproche. Cest un domaine difficile car les connaissances

en sciences cognitives et modles de la perception haut niveau sont encore trs partielles. Les

travaux prsents dans cette section sont ainsi moins aboutis que mes autres travaux mais ils me

semblent nanmoins prometteurs et fondamentaux si lon veut comprendre comment reprsen-

ter au mieux une information visuelle.

3.3.1 Perception de la couleur

Nous avons travaill sur la conversion dimages couleur en niveau de gris (voir figure 3.5).

Ce travail a t effectu par Kaleigh Smith (MPI Informatik, Saarbrcken) durant un stage ef-

3.3. CE QUI EST IMPORTANT NEST PAS DU DTAIL 23

FIG. 3.5 Conversion dune image couleur (gauche) en niveau de gris (droite) et comparaison

avec la version de gimp (milieu).

fectu sous ma direction et Pierre-Edouard Landes (membre de lquipe) en collaboration avec

Karol Myszkowski (MPI Informatik, Saarbrcken) et publi Eurgraphics 2008 [SLTM08].

Lorsque lon convertit une image couleur en niveau de gris on perd de linformation. Pour obte-

nir une bonne conversion la question est alors de savoir comment limiter la perte et rintroduire

linformation perdue. Pour cela il faut dfinir quelle est linformation importante. Kaleigh et

Pierre-Edouard ont propos une approche en deux temps. Tout dabord, en se basant sur un

modle valid par des expriences en perception, ils ont propos une conversion de linforma-

tion de couleur vers un niveau de gris qui minimise la perte. En particulier ce modle prend en

compte leffet Helmholtz-Kohlrausch qui permet de diffrencier des couleurs iso-luminantes.

Dans un second temps ils ont propos un algorithme pour rintroduire linformation impor-

tante : le contraste au niveau des discontinuits dans limage pour linformation chromatique.

Cette deuxime tape est contrlable par lutilisateur qui peut ainsi fixer son propre compro-

mis entre fidlit loriginal et discrimination de linformation. Kaleigh a implment cette

mthode sous forme dun plugin Gimp disponible en ligne.

3.3.2 Perception de la forme

Dans le cas du dessin au trait, nous nous sommes penchs sur le problme de la reprsenta-

tion de la forme. La question est ici de dterminer quelles sont les lignes qui dcrivent au mieux

la forme dun objet. De nombreuses quipes travaillent sur cette question et toute une srie de

type de lignes ont t proposes dans la littrature : contours, crtes et valles, contours sugges-

tifs, crtes dans la direction du point de vue, etc. Les exprimentations montrent quil ny a pas

un seul type de ligne qui donne une reprsentation visuelle correcte de la forme (variant entre

trop de lignes ou pas assez). Il est donc probable quil faille trouver soit une combinaison de ces

diffrents types, soit une nouvelle dfinition du problme. Nous avons travaill avec lquipe

IPARLA (INRIA Bordeaux) et le laboratoire de science cognitive de Bordeaux sur cette ques-

tion dans le cadre de lARC MIRO. Gwenola Thomas (IPARLA) et moi-mme avons encadr

24 CHAPITRE 3. CONTRLE DU DTAIL VISUEL

FIG. 3.6 Exprience utilisateur pour qualifier les lignes caractritiques dun dessin. Linterface

est montre gauche et le rsultat cumul de plusieurs sujets est montr droite : le taux de

slection varie du vert (aucun utilisateur) au rouge (tous les utilisateurs).

deux tudiants de master, David Vanderhaeghe Grenoble et Audrey Legeai Bordeaux, sur

deux approches orthogonales du problme.

David a propos une plateforme interactive pour permettre la mise en oeuvre dune tude

utilisateur visant dterminer quelles lignes conserve un utilisateur pour reprsenter un objet 3D

(voir figure 3.6). Le systme prsentait lutilisateur un modle 3D sous une vue fixe et rendu

de manire classique (Phong shading). Lutilisateur pouvait afficher un ensemble de lignes cal-

cules par le systme (contours, crtes et valles et contours suggestifs). Il devait ensuite effacer

les lignes lui semblant superflues jusqu obtenir un dessin le satisfaisant. Les rsultats obtenus

ont montr que les contours taient indispensables pour reprsenter correctement la forme. En

revanche ils nont pas permis de conclure sur une comparaison ou combinaison entre les crte

et valles et les contours suggestifs. Ce rsultat est en partie du au fait que ces deux types de

lignes vivent dans les lieux de courbure maximale et sont donc souvent redondants. Dans ces

cas-l il est impossible de savoir quelle ligne particulire lutilisateur a voulu conserver.

Audrey a propos une approche pour slectionner automatiquement les lignes pertinentes

parmi le mme ensemble de ligne que David. Elle sest appuye pour cela sur un modle de la

vision humaine qui dfinit les lieux de discontinuit perus dans une image en niveau de gris. Ce

modle sappelle une carte de brillance et est bas sur le fonctionnement des cellules situes sur

la rtine qui mesurent des diffrences de luminosit entre le centre et le pourtour de la cellule

diffrentes chelles. Grce cette carte de brillance calcule sur une vue dun modle 3D,

on peut seuiller automatiquement les divers algorithmes de calcul de lignes (voir figure 3.7).

Audrey a tendu cette approche a des vues multiples permettant ainsi de tourner autour dun

objet 3D rendu au dessin au trait.

Ces travaux sont pour moi un premier pas mais de nombreuses pistes restent explorer. La

comprhension du mcanisme permettant au cerveau humain dinterprter facilement un dessin

est un champ de recherche actif des sciences cognitives et plusieurs quipes dans le monde

3.3. CE QUI EST IMPORTANT NEST PAS DU DTAIL 25

FIG. 3.7 Pipeline dextraction de lignes caractristiques.

travaillent sur cette question du point de vue informatique.

3.3.3 Perception des matriaux

Enfin, nous nous sommes intresss la perception des matriaux. Ce sujet a t tudi en

vision humaine et appliqu cot informatique la reconstruction dobjets partir des dforma-

tions de sa texture. Mais peu de travaux se sont poss la question de la stylisation des matriaux.

La question est ici de savoir quels sont les indices visuels qui permettent de reconnatre tel ou

tel type de matriaux. Cest une question complexe car un matriau est dfini par un ensemble

de proprits qui vont de sa raction lclairage (est-il diffus ou brillant), sa surface (est-il plus

ou moins rugueux) et ses motifs (veines, craquelures, etc). Cest cet ensemble dindices qui font

que lon reconnat un matriau dans une image.

Nous avons travaill sur le cas de lillustration par hachures et pointillage (stippling). Cette

recherche a t mene par Kaleigh Smith (MPI Informatik, Saarbrcken) durant un stage effec-

tu sous ma direction en collaboration avec Pascal Barla et Cyril Soler (membres de lquipe)

et Thomas Luft et Oliver Deussen (universit de Constance). Nous avons dfini les lments

caractristiques dun matriau en nous fondant sur les travaux existants en vision humaine puis

pour chacun de ces indices nous avons propos des solutions pour les extraire automatiquement

dun modle 3D muni dune fonction de texture bidirectionnelle (BTF ou bidirectional texture

function) et les reprsenter visuellement dans le style que nous visions (voir figure 3.8). Nous

avons ensuite men une tude utilisateur pour valider cette approche en demandant dordonner

26 CHAPITRE 3. CONTRLE DU DTAIL VISUEL

FIG. 3.8 Reprsentation de matriaux dans un style illustration. En haut les textures sont

reprsentes, en bas la proprit de brillance est illustre.

des sries de sphres textures ralistes et illustres selon les lments caractristiques que nous

avions choisis.

Les rsultats obtenus montrent que notre approche donne des rsultats comparables au cas

raliste mais nous a aussi montr que lhumain ntait pas trs efficace pour faire ce type de

classement. Il savre ainsi que notre perception des matriaux partir dune image est en fait

peu prcise quelle que soit le type de visualisation. Dautre part les rsultats visuels obtenus

natteignent pas la qualit des algorithmes semi-automatiques (o cest lutilisateur qui choisit

lui-mme sa texture dillustration). Nous continuons donc travailler sur ce sujet afin dob-

tenir une reprsentation automatique de qualit quivalente aux mthodes semi-automatiques

disponibles actuellement.

Chapitre 4

Cohrence temporelle

La stylisation est un procd qui vise reprsenter une scne en sloignant plus ou moins de

la donne photomtrique de dpart (ce que lon verrait si lon prenait une photo de la scne). Ds

lors que lon veut produire une animation stylise partir dune animation donne sous forme

dune vido ou dune animation 3D se pose la question des artefacts visuels engendrs par cette

stylisation. Ces artefacts sont de plusieurs types mais trouvent tous leur origine dans le fait que

la stylisation dune animation doit satisfaire des contraintes intrinsquement contradictoires en

terme de mouvement et caractristiques 2D.

4.1 Quel est le problme ?

Les caractristiques du mdium utilis pour styliser la scne sont dfinies en 2D (ce peut

tre une frquence, une distribution, une taille de coups de pinceaux, une paisseur de trait, etc.)

mais ce mdium doit voluer en accord avec la scne reprsente. Or le mouvement 3D de la

scne cre un mouvement 2D qui, si le mdium le suit simplement, va induire des trous ou des

concentrations de mdium dans limage. Il est donc impossible du point de vue thorique de

satisfaire les deux contraintes : conserver des caractristiques 2D fixes et suivre le mouvement

3D tout au long de lanimation. Pour pallier a, on va alors proposer des algorithmes qui

approximent ces deux contraintes au prix de certains artefacts : cart par rapport au mouvement,

ajout/suppression de mdium qui peut provoquer des discontinuits dans lanimation, cart par

rapport aux caractristiques du mdium qui peut provoquer du flou ou des oscillations plus ou

moins continues, induction de mouvements fantmes (qui nexistent pas dans lanimation de

dpart), etc.

A cela peuvent sajouter des contraintes supplmentaires. On peut vouloir que les caract-

ristiques du mdium varient par objet de la scne ou par zone dans limage. Cest le cas par

exemple pour les hachures o la densit de hachure doit varier en fonction du ton (donc dans

lespace image) mais lorientation des hachures peut varier en fonction de la courbure des ob-

jets (donc dans lespace objet). Ces variations peuvent induire des discontinuits temporelles

supplmentaires quil faut lisser au cours de lanimation.

Enfin, le mouvement que le mdium est suppos suivre nest pas ncessairement le mou-

vement 3D des objets. Par exemple si une scne est fixe mais lclairage dynamique, on peut

vouloir que le mdium suive le mouvement dun reflet spculaire sur un objet plutt que rester

27

28 CHAPITRE 4. COHRENCE TEMPORELLE

fixe sur lobjet en changeant uniquement ses attributs (couleur, paisseur par exemple). Il nest

donc pas vident de dfinir la mtaphore de mouvement adapte au but recherch par lauteur

de lanimation.

Ainsi nous avons propos plusieurs approches pour amliorer la cohrence temporelle de

la stylisation qui chacune offre un compromis diffrent entre les divers artefacts. Je les dcris

ci-dessous et je terminerai par un bilan sur ces mthodes.

4.2 Papier dynamique

FIG. 4.1 Papier dynamique : le grain du papier suit les traits du dessin au cours de la prome-

nade.

Le premier travail que nous avons effectu sur ce sujet a port sur le cas du papier sur lequel

limage est suppose tre dessine. Ce travail a t effectu par Matthieu Cunzi lors de son

stage de master en collaboration avec Sylvain Paris, Gilles Debunne et Jean-Dominique Gascuel

(membres de lquipe) et Frdo Durand (MIT). Nous avons propos une mthode permettant

danimer le papier en accord avec les mouvements de la camra (voir figure 4.1). Ce choix de

mtaphore correspond aux promenades virtuelles sur un terrain plat (ville, site archologique).

Le mouvement du promeneur est dcompos en deux parties : avancer/reculer, tourner la tte.

Pour ces deux mouvements nous avons propos une mtaphore dvolution du papier. Lorsque

le promeneur avance ou recule le papier subit un zoom. Afin de conserver des caractristiques

constantes en espace image nous avons propos un algorithme de zoom infini en composant

diverses chelles du mme papier. Lorsque le promeneur bouge la tte, le papier se dplace

dans le sens oppos. Nous avons montr que son mouvement est similaire celui dune sphre

englobant la camra qui roule sans glisser sur le plan du papier.

Ces deux mtaphores permettent une volution cohrente du papier tout au long de la pro-

menade et offrent ainsi lillusion davoir chaque instant une scne dessine sur un papier. Le

dessin se fait simplement en compositant le rendu de la scne avec limage de papier. Cette m-

thode a ainsi t utilise par un lve de Philippe Chaubaroux SupCra (cole de ralisateur

3D) pour son projet de fin danne en compositant le papier dynamique un rendu obtenu avec

3DStudio et a t publie Graphics Interface 2003 [CTP+03].

Cette mthode prsente bien sur des artefacts. Tout dabord, le zoom infini tant produit par

le mlange de plusieurs chelles dune mme texture, le rsultat visuel nest pas exactement

quivalent la texture de dpart. Ce nest pas perceptible dans le cas de motifs hautes fr-

quences comme pour le grain du papier mais devient visible pour des motifs plus structurs. Le

mlange va alors crer des motifs (des frquences et des couleurs) qui ntaient pas prsents

dans la texture de dpart.

4.3. ADVECTION DE TEXTURE 29

FIG. 4.2 Zoom infini tridimensionnel (original 2D droite).

FIG. 4.3 Rendu aquarelle avec textures volumiques.

Dautre part, le mouvement 3D rel de la scne lors dun dplacement nest rductible

un zoom uniforme. Il y a donc un cart entre le mouvement du papier et celui de la scne

en fonction de la profondeur pour laquelle le zoom a t calcul. Cela se peroit comme un

glissement de certaines parties de la scne sous le papier. Pour supprimer cet artefact nous

avons propos de considrer une texture 3D au lieu dune texture 2D. Pierre Bnard dans le

cadre de son master et Adrien Bousseau dans le cadre de sa thse ont travaill sur une extension

du zoom infini aux textures volumiques. Lintrt est de pouvoir associer une texture par objet

qui va, par le mme mcanisme de mlange, maintenir une apparence fixe en 2D lorsque lobjet

se rapproche ou sloigne de la camra (voir figure 4.2). Une premire version de ce travail a

t implmente dans un plugin de rendu aquarelle dvelopp par David Lanier (socit dl3D)

dans le cadre dun contrat de recherche avec Studio Brocliande (voir figure ??). En revanche

les limitations lies au mlange persistent et Pierre va tudier, dans le cadre de sa thse, des

alternatives pour permettre de prendre en compte une plus large gamme de textures.

4.3 Advection de texture

Toujours dans le cas de textures peu structures nous avons propos une mthode alternative

pour la stylisation de vido. Ce travail a t effectu par Adrien Bousseau dans le cadre de sa

thse loccasion dun sjour chez Adobe Seattle en collaboration avec David Salesin (Adobe)

et Fabrice Neyret (membre de lquipe). Le but tait dobtenir un style aquarelle partir dune

vido. Dans ce cas la seule information de mouvement dont nous disposons est le flot optique.

30 CHAPITRE 4. COHRENCE TEMPORELLE

FIG. 4.4 Stylisation de vido dans un style aquarelle.

Les mthodes dcrites la section prcdente sont donc plus applicables. Adrien a alors propos

de faire voluer une texture aquarelle couvrant le plan image en accord avec le flot optique.

Cette volution correspond de ladvection de texture selon un champ de vecteur. Il est bien

vident que la texture se dforme au fur et mesure que la vido avance et perd en quelques

dizaines de frames ses caractristiques de dpart. Adrien a propos une mthode permettant de

limiter ces artefacts en revenant priodiquement la texture dorigine et en combinant plusieurs

advections : dans le sens de lecture et dans le sens inverse ainsi quavec des cycles diffrents.

Pour chaque pixel, sa couleur sera prise dans la texture advecte la moins dforme autour de

ce pixel.

Cette mthode produit des rsultats trs convainquants pour des textures peu structures au

prix dune lgre baisse de nettet due au fait que les couleurs des pixels sont tires de diverses

textures. Cette perte de nettet est cependant moins notable que dans le cas du papier dynamique

o lon effectuait par pixel un mlange de plusieurs images. Cette technique a t implmente

par Adrien comme un plugin After Effect et valide par un court mtrage ralis par Laurence

Boissieux. Elle a fait lobjet dune publication Siggraph 2007 [BNTS07].

Cette approche ne convient par contre pas aux textures structures pour lesquelles la dfor-

mation du motif est visible aprs quelques frames.

4.4 Distribution de points

David Vanderhaeghe a travaill dans le cadre de sa thse sur la cohrence dune distribution

de points. Ce travail a t men en collaboration avec Pascal Barla et Franois Sillion (membres

de lquipe). Comme dcrit au chapitre 2, un modle de simulation de mdium est le rendu

base de marques. Le principe est dattacher des marques des points distribus dans la scne.

Les points voluent selon le mouvement de la scne et les marques sont dessines en 2D cen-

tres sur la projection 2D des points. David a propos un algorithme permettant de distribuer

ces points de sorte satisfaire les deux contraintes : avoir une distribution de type bruit bleu

dans limage et suivre un mouvement dfini par lanimation (mouvement des objets pour une

animation 3D ou flot optique pour une vido). Pour cela il propose de distribuer les points en

espace image en assurant un critre de Poisson ; puis de les dplacer selon le mouvement de-

mand (soit en suivant directement le flot optique, soit en les projetant sur les objets de la scne

pour les reprojeter en 2D limage suivante) ; et de corriger la distribution rsultat en enlevant

4.5. MOTIFS 2D DYNAMIQUES 31

FIG. 4.5 Distribution de points temporellement cohrente. (Gauche) Les points sont distribus

en espace image. Ici on utilise la luminance pour guider la densit. Les points sont ensuite

projets sur lobjet 3D. (Milieu) Lobjet est dplac et les points reprojets en espace image.

Les points rouges sont supprims, les points bleus sont conservs et les points verts sont ajouts.

Les points jaunes ne eux sont plus visibles. (Droite) Rsultat finale de la distribution.

et ajoutant des points en 2D de manire conserver le critre de Poisson (voir figure 4.5).

Cette approche sintgre parfaitement dans les systmes existants de rendu base de marque

et assure un suivi exact du mouvement. La contrepartie est lapparition et disparition des points

qui peuvent crer des discontinuits dans lanimation (popping). Cependant les points tant

suivis au cours de lanimation, on peut lisser ces vnements dans le temps lors du rendu final

en faisant voluer les marques continment, soit par transparence, soit par grossissement.

Cette mthode a t valide par le court mtrage Dumb Luck [MBV+07] ralis par Florent

Moulin et Laurence Boissieux et publise EGSR 2007 citeVBTS07a.

Contrairement aux deux mthodes dcrites prcdemment, cette approche va tre trs bien

adaptes aux motifs contenant des lments reconnaissables individuellement : points, hachures,

coups de pinceaux. Elle est en revanche peu efficace pour des textures de type papier ou aqua-

relle pour lesquelles il faudrait autant de points que de grains de papier ou marques de pigments.

4.5 Motifs 2D dynamiques

Nous avons vu que nous pouvions proposer des approches pour amliorer la cohrence

temporelle dans le cas de motifs non structures, que ce soit des textures hautes frquences

(papier, aquarelle) ou des textures possdant des lments distincts distribus selon un bruit

bleu (peinture, pointillage). Nous avons travaill sur une dernire mthode visant les motifs

structurs (croisillons, trames, ...). Ce travail a t effectu par Pascal Barla dans le cadre de sa

thse et en collaboration avec Simon Breslaw et Lee Markosian (university of Michigan). Le

but est cette fois de faire voluer un motif en 2D qui suit le mouvement la scne sans perdre sa

structure (voir figure 4.6). Cette contrainte forte interdit les dformations non rigides du motif.

Nous avons ainsi propos une mthode qui approxime le mouvement de la scne 3D par une

similitude 2D qui est alors applique au motif. Cette transformation du motif ne permet pas de

suivre exactement le mouvement de la scne sous-jacente et nous laissons le choix lutilisateur

de placer plusieurs morceaux de motifs sur la scne (usuellement un par objet) pour amliorer

lapproximation. Cette approche a t publie Siggraph 2007 [BSM+07].

Cette solution respecte la structure du motif au prix dun cart avec le mouvement suivre.

Une fois de plus, cela se peroit comme un glissement du motif sur lobjet. En revanche cette

32 CHAPITRE 4. COHRENCE TEMPORELLE

FIG. 4.6 Motif 2D dynamique : le motif se dforme rigidement pour approximer le mouvement

3d de lobjet.

solution est extrmement simple mettre en oeuvre et fonctionne ainsi en temps rel.

4.6 Bilan

Nous venons de voir un ensemble de solutions au problme de la stylisation danimations.

Chacune propose un compromis diffrent entre toutes les contraintes induites par la stylisation.

Reprsentation du mdium : Selon les approches, une fidlit plus ou moins grande au

mdium choisi va tre obtenue. Lcart avec le motif vis va sexprimer en terme de variation

de frquence, de dformation ou de perte de structure. Chaque mthode va ainsi tre adapte

un type de mdium particulier selon le type dcart effectu. Par exemple, une perte de structure

est invisble sur un motif totalement irrgulier. De nombreuses classifications ont t proposes

pour dfinir les types de textures. Ici nous en distinguons trois : les matires granuleuses ou

quasi stochastiques (papier, pigments daquarelles), les motifs irrguliers o chaque lment est

peru individuellement (coups de pinceaux) et les motifs rguliers ou quasi rguliers qui ont

une structure fixe (trames, croisillons).

Reprsentation du mouvement 3D : Selon les mthodes le mouvement 3D reprsent va

tre plus ou moins exact. Lcart entre le mouvement 3D et celui reprsent cre une impression

visuelle de glissement du mdium sur la scne. Le cas extrme est appel rideau de douche :

quand le mdium est fixe en espace image, la scne semble glisser derrire une plaque de verre

texture.

Continuit temporelle : Cest un des problmes principaux que lon entend par cohrence

temporelle. Diverses types de discontinuits peuvent tre cres selon le type dapproche. Le cas

le plus vident est lapparition brutale dun lment de dessin (popping) mais des discontinuits

plus subtiles peuvent apparaitres comme des variations de nettet ou de contraste (typiquement

lies au mlange de plusieurs textures).

Le tableau suivant rsume les proprits de chacune des mthodes.

4.6. BILAN 33

Mdium Mouvement 3D Continuit Problme

Papier 2D Granuleux Approch OK Mlange doctaves

dynamique zoom global

Texture 3D Granuleux Exact par sommet OK Mlange doctaves

dynamique Dformation perspective

Advection Granuleux Exact par pixel Variation de Besoin de lanimation

de texture nettet complte

Distribution Irrgulier Exact par Poppings Gestion des

de points point dancrage apparitions/disparitions

Motif 2D Tous Approch OK Glissements

dynamique transformation rigide

34 CHAPITRE 4. COHRENCE TEMPORELLE

Chapitre 5

Conclusion

Le domaine du rendu expressif est trs jeune. Il reste par consquent de nombreuses ques-

tions ouvertes. Pour ma part, quatre points fondamentaux vont trs probablement occuper mes

prochaines annes de recherche.

Ma premire ambition est davancer sur la comprhension de ce qui constitue le sens dune

image. Pour cela il me parait ncessaire daller plus loin dans la description des indices visuels

qui permettent lhumain de comprendre ce qui est reprsent dans une image (dessin ou pho-

tographie). Cela peut conduire des problmes dinformatique graphique trs concrets comme

la reprsentation efficace de la forme ou des matriaux prsents section 3.3. Cela peut aussi

donner lieu des recherches sur la dcomposition dimages en ses principaux constituants (cou-

leur, texture, ombres, contours, ...). Dans tous les cas, la perception humaine doit rester un des

guides majeurs pour ce type des travaux.

Un deuxime champs de recherche qui reste approfondir est la question de la cohrence

temporelle lors de la stylisation danimations. Ce mmoire prsente plusieurs approches mais

la validation des rsultats et la formalisation du problme reste incomplte. Il est impossible de

comparer les rsultats obtenus avec une rfrence relle puisquil est impossible de faire une

animation cohrente la main. En revanche nous devons tre capable de mesurer et qualifier

les artefacts visuels crs par les diffrentes approches possibles. Cest en tout cas lun des buts

que je me fixe moyen terme.

A plus long terme, une autre question, probablement plus difficile, me semble intressante.

Cest la question du style en tant quel. Si nous tions capables de dfinir des modles de styles

suffisamment gnraux, nous pourrions alors aller beaucoup plus loin quaujourdhui dans les

mthodes de dessin par lexemple. Ce champ de recherche a de trs nombreuses applications

dans la production audiovisuelle mais la notion de style tant extrmement complexe il me parait

raisonnable davancer progressivement sur les cas particuliers (comme nous avons commenc

le faire sur les motifs ou la peinture) avant desprer obtenir des modles gnriques.

Enfin, le thme de labstraction reste un des fondements de la stylisation puisque le proces-

sus mme de la production dune reprsentation visuelle est la production dune abstraction de

la scne reprsente. Ce terme est un mot qui couvre de nombreux sens. Nous navons pour

linstant approch labstraction que sous langle de la simplification. Il me paratrait intressant

douvrir nos approches dans la direction de la gnralisation ou factorisation. Ce sens-l du mot

abstraction pose la question de ce qui est commun aux diverses instances dun mme objet.

Lors de la production dun dessin, cest souvent les caractristiques communes qui font quun

35

36 CHAPITRE 5. CONCLUSION

objet est reconnaissable. Il me semble que cette vision des choses pourrait ouvrir la voie de

nouveaux algorithmes, typiquement pour le dessin au trait. Cette question rejoint bien sur la

question des indices visuels pertinents pour reprsenter un objet donn.

Liste complte de mes publications

[BBMT06] Pascal Barla, Simon Breslav, Lee Markosian, and Jolle Thollot. Interactive hat-

ching and stippling by example. Technical Report inria-00255958, INRIA, 2006.

[BBT+06] Pascal Barla, Simon Breslav, Jolle Thollot, Franois Sillion, and Lee Markosian.

Stroke pattern analysis and synthesis. Computer Graphics Forum (Proc. of Euro-

graphics 2006), 25(3) :663671, 2006.

[BEDT08] Hedlena Bezerra, Elmar Eisenman, Xavier Dcoret, and Jolle Thollot. 3d dy-

namic grouping for guided stylization. In International Symposium on Non-

Photorealistic Animation and Rendering (NPAR), pages 8995, jun 2008.

[BKTS06] Adrien Bousseau, Matthew Kaplan, Jolle Thollot, and Franois Sillion. Interac-

tive watercolor rendering with temporal coherence and abstraction. In Internatio-

nal Symposium on Non-Photorealistic Animation and Rendering (NPAR), pages

141149. ACM, 2006.

[BNTS07] Adrien Bousseau, Fabrice Neyret, Jolle Thollot, and David Salesin. Video water-

colorization using bidirectional texture advection. ACM Transaction on Graphics

(Proceedings of SIGGRAPH 2007), 26(3) :104.1104.7, 2007.

[BSM+07] Simon Breslav, Karol Szerszen, Lee Markosian, Pascal Barla, and Jolle Thol-

lot. Dynamic 2d patterns for shading 3d scenes. ACM Transaction on Graphics

(Proceedings of SIGGRAPH 2007), 26(3) :20.120.5, 2007.

[BTM06] Pascal Barla, Jolle Thollot, and Lee Markosian. X-toon : An extended toon sha-

der. In International Symposium on Non-Photorealistic Animation and Rendering

(NPAR), pages 127132. ACM, 2006.

[BTS04] Pascal Barla, Jolle Thollot, and Franois Sillion. Simplification et abstraction de

dessins au trait. In AFIG 04 (Actes des 17mes journes de lAFIG), Nov 2004.

[BTS05a] Pascal Barla, Jolle Thollot, and Franois Sillion. Geometric clustering for line

drawing simplification. In Siggraph technical sketch : SIGGRAPH2005. ACM,

2005.

[BTS05b] Pascal Barla, Jolle Thollot, and Franois Sillion. Geometric clustering for line

drawing simplification. In Proceedings of the Eurographics Symposium on Ren-

dering, pages 183192, 2005.

[BTT07] Pascal Barla, Jolle Thollot, and Gwenola Thomas. Rendu expressif. In D. Bech-

mann B. Proche, editor, Informatique graphique et rendu, Traitement du signal

et de limage, chapter 11. Hermes - Lavoisier, 2007.

37

38 LISTE COMPLTE DE MES PUBLICATIONS

[CHNT00] Marie-Paule Cani, Stefanie Hahmann, Fabrice Neyret, and Jolle Thollot, editors.

Actes des Journes Franaise dInformatique Graphique, 2000.

[CHT01] Marie-Paule Cani, Stefanie Hahmann, and Jolle Thollot. Numro spcial de la re-

vue de cfao et dinfographie : Mondes virtuels reprsentation et simulation, 2001.

[CTP+03] Matthieu Cunzi, Jolle Thollot, Sylvain Paris, Gilles Debunne, Jean-Dominique

Gascuel, and Frdo Durand. Dynamic canvas for immersive non-photorealistic

walkthroughs. In Proc. Graphics Interface, pages 121130. A K Peters, LTD.,

june 2003.

[DDTP00] Frdo Durand, George Drettakis, Jolle Thollot, and Claude Puech. Conservative

visibility preprocessing using extended projections. In Kurt Akeley, editor, 27th

annual conference on Computer graphics and interactive techniques, SIGGRAPH

2000, July, 2000, Annual Conference Series, pages 239248, New Orleans, Loui-

siana, Etats-Unis, July 2000. ACM SIGGRAPH, ACM Press / /Addison-Wesley.

[HLTC03] Laure Hegas, Annie Luciani, Jolle Thollot, and Nicolas Castagn. A physically-

based particle model of emergent crowd behaviors. In International Conference

Graphicon 2003, September, 2003, pages 19, Moscou, Russie, September 2003.

[LNHT04] Sylvain Lefebvre, Fabrice Neyret, Samuel Hornus, and Jolle Thollot. Mobinet :

a pedagogic platform for computer science, maths and physics (how to make stu-

dents love maths by programming video games). In Eurographics - Education.

Eurographics, august 2004. Grenoble.

[LTT06] Audrey Legeai, Gwenola Thomas, and Jolle Thollot. Non-photorealistic line-

based rendering : A perceptual approach npar poster session, june 2006.

[MBV+07] Florent Moulin, Laurence Boissieux, David Vanderhaeghe, Jolle Thollot, and

Pascal Barla. Dumb luck. Eurographics Animation Theatre, sep 2007.

[OBBT07a] Alexandrina Orzan, Adrien Bousseau, Pascal Barla, and Jolle Thollot. Multi-

scale shape manipulations of photographs - Siggraph poster. SIGGRAPH, 2007.

[OBBT07b] Alexandrina Orzan, Adrien Bousseau, Pascal Barla, and Jolle Thollot. Structure-

preserving manipulation of photographs. In International Symposium on Non-

Photorealistic Animation and Rendering (NPAR), pages 103110, aug 2007.

[OBW+08] Alexandrina Orzan, Adrien Bousseau, Holger Winnemller, Pascal Barla, Jolle

Thollot, and David Salesin. Diffusion curves : A vector representation for smooth-

shaded images. ACM Transactions on Graphics (Proceedings of SIGGRAPH

2008), 27(3) :92.192.8, 2008.

[RT03] Isabelle Ratinaud and Jolle Thollot. Virtual immersion in the ancient greek city

of argos. In International Congress of Classical Archaeology, 2003.

[SLTM08] Kaleigh Smith, Pierre-Edouard Landes, Jolle Thollot, and Karol Mysz-

kowski. Apparent greyscale : A simple and fast conversion to percep-

tually accurate images and video. Computer Graphics Forum (Proceedings

of Eurographics 2008), 27(2) :193200, apr 2008. url : http ://www.mpi-

inf.mpg.de/resources/ApparentGreyscale/.

[Tho96] Jolle Thollot. Extension du modle IFS pour une gomtrie fractale constructive.

PhD thesis, Universit Claude Bernard Lyon 1, 1996.

LISTE COMPLTE DE MES PUBLICATIONS 39

[Tho97] Jolle Thollot. Set manipulations of fractal objects using matrices of IFS. In

Ehoud Ahronovitz and Christophe Fiorio, editors, 7th International Workshop on

Discrete Geometry for Computer Imagery, DGCI97, September, 1997, volume

1347 of Lecture Notes in Computer Sciences, pages 223234, Montpellier, France,

1997. Springer.

[Tho04] Jolle Thollot. Numro spcial de la revue i-mag sur la ralit virtuelle. Magazine

de lAAE ENSIMAG, 2004.

[TT93] Jolle Thollot and Eric Tosan. Construction of fractales using formal languages

and matrices of attractors. In Harold P. Santos, editor, Compugraphics, pages 74

81, 1993.

[TT95] Jolle Thollot and Eric Tosan. Constructive fractal geometry : constructive ap-

proach to fractal modeling using language operations. In Graphics Interface

(GI95) Proceedings, 1995.

[TZTV97] Jolle Thollot, Chems Eddine Zair, Eric Tosan, and Denis Vandorpe. Modeling

fractal shapes using generalizations of ifs techniques. In Claude Tricot Jacques

Lvy Vhel, Evelyne Lutton, editor, Fractals in Engineering. Springer, 1997.

[VBT+07] Romain Vergne, Adrien Bousseau, Jolle Thollot, David Vanderhaeghe, Pascal

Barla, and Xavier Granier. Utilisation du rendu expressif pour lillustration et

lexploration de donnes archologiques. In Virtual Retrospect 2007 : Archologie

et Ralit Virtuelle. Ausonius, 2007.

[VBTS06a] David Vanderhaeghe, Pascal Barla, Jolle Thollot, and Franois Sillion. A dyna-

mic drawing algorithm for interactive painterly rendering. In Siggraph technical

sketch : SIGGRAPH2006. ACM, aug 2006.

[VBTS06b] David Vanderhaeghe, Pascal Barla, Jolle Thollot, and Franois Sillion. Dynamic

painting of animated 3d scenes. NPAR Poster Session, jun 2006.

[VBTS06c] David Vanderhaeghe, Pascal Barla, Jolle Thollot, and Franois Sillion. Un sys-

tme interactif et controlable de peinture pour lanimation 3d. In AFIG 06 (Actes

des 19mes journes de lAFIG), nov 2006.

[VBTS07a] David Vanderhaeghe, Pascal Barla, Jolle Thollot, and Franois Sillion. Dynamic

point distribution for stroke-based rendering. In Rendering Techniques 2007 (Pro-

ceedings of the Eurographics Symposium on Rendering), pages 139146, 2007.

[VBTS07b] David Vanderhaeghe, Pascal Barla, Jolle Thollot, and Franois Sillion. Rendu

peinture, interactif et controlable, de scnes 3d. Revue Electronique Francophone

dInformatique Graphique, 1(1) :5362, jan 2007.

40 LISTE COMPLTE DE MES PUBLICATIONS

Annexe A

Etat de lart

Cette annexe reprend lintgralit du chapitre sur le rendu expressif publi dans louvrage

Informatique graphique et rendu [BTT07] et crit en collaboration avec Pascal Barla et Gwe-

nola Thomas.

41

Chapitre 1

Rendu Expressif

1.1. Introduction

Le rendu expressif, aussi appel non-photoraliste (NPR en anglais) concerne len-semble des techniques de rendu qui ne sintressent pas reproduire fidlement les loisde la physique (i.e. matriaux ralistes et illumination globale). Cette dfinition restevague et en pratique, la grande majorit des approches en rendu expressif imitent ousinspirent des mdia traditionnels : peinture lhuile, dessin au trait, aquarelle, etc.Il serait cependant rducteur de considrer que le rendu expressif ne se limite qusimuler de tels mdia ; tout comme en peinture et dessin, il faut dabord se poser laquestion de ce que limage est sense reprsenter. Pas seulement la nature du sujet,mais surtout les aspects qui doivent tre mis en avant et ceux que lon va prfrerignorer. Car aprs tout, cest lavantage des mdia traditionnels sur la photographie :pouvoir mettre en avant ou abstraire certains aspects.

Afin dillustrer cela, on peut comparer deux types de reprsentations nettementdiffrents : lillustration scientifique et la peinture impressionniste. Avec le premier,cest la forme de lobjet qui prime sur tout le reste. Souvent, lartiste doit mme sup-primer certains dfauts de lobjet pour reprsenter non pas le spcimen qui est sousses yeux, mais un prototype qui reprsente une catgorie dobjets. Tandis quavec lesecond, cest limage rtinienne qui est mise en avant, la distribution des couleurs enparticulier. Ici, lartiste se concentre plus sur la retranscription de limpression susci-te par la scne reprsente que sur la forme prcise des objets qui la composent (dole terme "impressionnisme").

Chapitre rdig par Pascal BARLA, Jolle THOLLOT et Gwenola THOMAS.

1

2 Titre de louvrage, dfinir par

Le mdium utilis nintervient quensuite, mais il a toutefois un intrt crucial :il impose des contraintes de par ses limitations, et peut aussi tre choisi pour cer-taines proprits qui permettent de mieux atteindre le but de la reprsentation. Parexemple, le dessin au trait ne peut reprsenter quune gamme de tons limite (grace des groupes de hachures par exemple) mais illustre clairement la forme des objets parune conomie de moyens (quelques contours), et de ce fait convient parfaitement denombreuses illustrations scientifiques o la forme doit tre mise en avant au dtrimentdu matriau. Parfois, le choix du mdium est aussi li des problmes de reproduc-tion ; pour reprendre lexemple prcdent, le dessin au trait a cet avantage quil estbien adapt limpression noir et blanc.

Le rendu expressif en informatique graphique a de nombreux points communs avecles techniques traditionelles ; il partage les mmes problmatiques de reprsentation,indpendantes du mdium utilis : quels sont les aspects importants de la scne mettre en avant, et quels sont ceux que lon va prfrer abstraire, voire mme omettre.Il a aussi intrt, tout dumoins dans un premier temps, imiter ses prdcesseurs : queltype de "medium" est employ (quil reproduise ou seulement sinspire dun mediumtraditionnel), quel type doutil est utilis (quil soit simul ou simplement suggr), etcomment introduire le style personnel de lartiste ?

Dun autre cot, lordinateur apporte de nombreuses nouvelles possibilits : lerendu expressif peut assister lartiste pour produire plus facilement et plus rapide-ment une image ou une animation par le biais de mthodes automatiques ou semi-automatiques (dessin par analogie) ; il permet de mieux contrler lvolution dunereprsentation au cours dune animation (on parle de cohrence temporelle) ; il facilitela reproduction dune oeuvre en enregistrant la composition dune image sous formenumrique ; il apporte la notion dinteractivit, quasi-absente des mdia traditionnels ;etc. Ces nombreux avantages font du rendu expressif un outil utile de nombreuxdomaines dapplications tels que lanimation, lillustration scientifique, larchologie,larchitecture, le dessin technique ou les jeux vidos.

Nous prsentons dans ce chapitre une vue densemble de ce domaine. Le lecteurpourra complter ce survol en se rfrant deux livres de langue anglaise [GOO 01,STR 02] ainsi qu tous les articles que nous rfrons au cours du chapitre.

1.2. Les tapes du rendu expressif

Une manire dtudier ce vaste domaine de recherche est de dfinir les divers l-ments qui permettent de passer dune scne 3D un dessin ou peinture 2D. Commepropos par John Willats et Frdo Durand [WIL 05, DUR 02], on peut dcomposerun rendu en quatre tapes : le systme spatial, lextraction des primitives, le systmedattributs et le choix des marques.

Rendu Expressif 3

Le systme spatial est ce qui dfinit le changement despace. En gnral cest uneprojection qui permet de passer du 3D au 2D. Lextraction des primitves fait corres-pondre les primitives de lespace objet (points, courbes, surfaces, volumes) avec lesprimitives de lespace image (points, lignes, rgions). Le systme dattributs relie lesproprits visuelles telles que la couleur, la texture, lpaisseur, etc... aux primitives delimage. Finalement, le systme de marques correspond au trac physique des primi-tives laide de marques dont laspect dpend des outils (e.g. pinceau, fusain), mdia(e.g. peinture lhuile, aquarelle) et supports (e.g. toile, papier) employs. Le styledun artiste est dfini par la mise en oeuvre de chacun de ces quatre systmes.

Pour fixer les ides, si lon prend le cas ci-contre, le sys-tme de projection utilis est ortographique ; les primitivesextraites sont des lignes representant les silhouettes, lesartes vives et des elements de matriaux ; les marques uti-lises sont des pierres de mosaque ; et pour dessiner chaquemarque il faut choisir pour chaque ligne quelle est sa couleur,sa forme, son paisseur, etc... Cela dfinira les attributs desmarques.

Un style de dessin au trait est alors donn par le choix de la projection (spatial),le choix des lments de la scne qui seront reprsents avec les lignes (primitives),quelles marques choisit-on pour dessiner (marques) et quelles sont leurs proprits (at-tributs). Nous dtaillons dans le reste de ce chapitre les travaux existant pour chacunsde ces quatres sytmes.

1.3. Systme Spatial

La premire tape dun rendu expressif est de passer de lespace 3D de la scne lespace 2D de limage. La projection perspective est la plupart du temps utilise, maisdautres types de projection existent et sont employs des fins artistiques ou didac-tiques en peinture et dessin. On peut les organiser en trois catgories : les variationssur les projections perspective et orthographique, les projections multi-perspectives etles projections topologiques.

Afin de dfinir les variations possibles sur les modles de projection perspectiveet orthographique, nous reprenons lapproche dveloppe par Levene dans sa thse deMaster [LEV 98]. Une projection est dfinie par trois caractristiques : la forme de lasurface de projection, assimilable la combinaison objectif+film photographique dansun appareil photo ; les proprits de convergence des lignes de vue, dfinies comme leslignes manant de loeil dans la direction de la scne ; ainsi que la courbure des lignesde vue. Dans le cas dune projection perspective classique, la surface de projectionest plane, les lignes de vue convergent vers le centre de projection et sont rectilignes.En dformant la surface de projection, on peut obtenir une perspective curviligne. Des

4 Titre de louvrage, dfinir par

peintures comme Chambre a Arles de Van Gogh emploient ce type de perspectivecurviligne, et certains objectifs de camra dits fish-eye reproduisent cet effet. Si leslignes de vue sont parallles (elles ne convergent ni ne divergent), la projection obte-nue est oblique, et dans le cas spcifique o les lignes de vue sont perpendiculaires auplan image, on se retrouve dans le cas dune projection orthographique. On retrouvece type de projections dans lart asiatique mdival, mais aussi en illustration tech-nique (vues de dessus, de face, de ct, etc). Si les lignes de fuite divergent, alors onobtient une perspective dite inverse, frquemment utilise dans les illustrations ico-nographiques Europennes du Moyen ge. Enfin, la courbure des lignes de fuite peutgalement tre modifie dans un but artistique.

Certains peintres du XXime sicle comme Cezanne, de Chirico ou Escher ontgalement expriment la combinaison de multiples projections. Les travaux rali-ss dans ce domaine en NPR se sont intresss combiner diffrentes vues gnrale-ment en perspective, do le nom de projections multi-perspectives [LEV 98, COL 04,YU 04, AGR 00]. La principale difficult est de combiner les diffrentes projections ;il faut en particulier rsoudre les problmes de visibilit poss par des objets adjacentsdans la scne mais projets depuis diffrents points de vue. La solution gnralementdonne est dexprimer et combiner les diffrentes contraintes poses par chaque pro-jection. Lapproche de Coleman et al. [COL 04] a notamment t utilise dans uncourt mtrage appel RYAN et a prouv son efficacit dans ce contexte artistique (c.f.fig 1.1).

Enfin, les projections topologiques sont des transformations qui sont plus axessur la structure dun objet ou dune scne afin den comprendre le sens ou le fonc-tionnement. Agrawala et al. ont notamment ralis des travaux sur des systmes deprojection topologique, que ce soit pour la cration de plans routiers [AGR 01], oupour la cration automatique de vues clates dun objet et de plans dassemblage[LI 04, AGR 03] (c.f. fig 1.1).

Figure 1.1. Mthodes de projection. A gauche : combinaison de plusieurs

perspectives [COL 04]. A droite : vue eclate dun objet [AGR 03].

Rendu Expressif 5

Un problme inverse

Un domaine connu sous le nom de modlisation partir de croquis est galementconcern par le passage dun espace un autre, mais cette fois-ci dans le sens inverse,dun espace 2D vers un espace 3D. A partir dun dessin en 2D ralis par lutilisateur,le systme a pour but de reconstruire un objet 3D plausible. Toute la difficult rsidedans le fait que le problme est sous-contraint : plusieurs interprtations 3D sont pos-sibles pour un mme dessin en 2D. Le lecteur intress par ces techniques peut sereporter [BOU 01, HAL 02].

1.4. Extraction des primitives

Les objets dune scne 3D sont caractriss par des primitives gomtriques (points,courbes, surfaces, volumes) qui peuvent tre reprsentes dans limage par dautresprimitives (points, lignes, rgions) une fois la projection effectue.

Actuellement, lessentiel des travaux dextraction de primitives 2D portent sur leslignes. Nous ne dtaillerons par consquent pas le cas des points et rgions. Les tra-vaux concernant les points ont essentiellement vis le problme inverse de la modli-sation partir de dessin. Le cas des rgions est trait en gnral par dfaut : la primitivergion est la projection de lobjet et ensuite cest dans le travail de remplissage par desmarques que se concentre le style. Quelques travaux bass sur de la segmentationdimage commencent apparatre, notamment Wang et al [WAN 04b] explorent cettesolution en traitant des vidos pour produire un rendu de type dessin anim.

Lorsque lon dessine un objet, il est frquent de dessiner le trait qui spare lobjetde son environnement, cest--dire la silhouette. Cependant, dans un dessin au traitdautres lignes sont ajoutes pour dcrire la forme de lobjet. Plusieurs questions seposent alors : quelles sont les lignes importantes ? Comment les extraire ? Commentles rendre rapidement de manire interactive ? Nous donnons ici des lments de r-ponse ces questions en nous concentrant sur les lignes classiquement utilises : sil-houettes, contours suggestifs, crtes et valles. Ces lignes sont utilises pour le rendunon-photoraliste de surfaces lisses, cest--dire sans angles vifs. Nous ne dressonspas une liste exhaustive de toutes les lignes quil est possible dextraire dune surface.Nous ne considrons pas par exemple les lignes de niveaux qui sont bien adaptesau rendu de terrain. Nous ne dcrirons pas non plus dans le dtail les lignes de cour-bures principales utilises pour reprsenter les zones dombres sous forme de hachures[ZAN 04].

1.4.1. Silhouettes

Dans cette partie nous donnons dabord la dfinition des silhouettes puis nousdcrivons des algorithmes dextraction de ces silhouettes travaillant soit la surface de

6 Titre de louvrage, dfinir par

lobjet, soit dans lespace image, soit dans les deux. Nous ferons ensuite une analysecritique compare de ces algorithmes.

Dfinition

La silhouette est dfinie, pour un point de vue donn, comme lensemble des pointsdune surface qui dlimitent ses parties visibles de ses parties non visibles.

Sur cet exemple, la vache est dessine uniquement par la repr-sentation de la silhouette. Selon la dfinition dIsenberg et al[ISE 03], on peut distinguer la silhouette externe et la silhouetteinterne. La silhouette externe (ou contour selon Isenberg) est laligne qui spare lobjet du fond. La silhouette interne spare dessous-parties de lobjet ou un objet dun autre. Sur lexemple dela vache, les yeux et la dlimitation des sabots font partie de lasilhouette interne.

Formellement, la silhouette est constitue de lensemble des points o le vecteur devue ~v est perpendiculaire la normale la surface ~n. Cest--dire lensemble despoints o le produit scalaire entre ~v et ~n est nul : ~v.~n = 0.

Extraction

Dans le cas dun modle polygonal, la silhouette est compose des artes com-munes une face visible et une face invisible. Il est possible dextraire la silhouettedirectement sur lobjet 3D ou dans lespace image. Il existe aussi des mthodesmixtes.Pour une revue des mthodes de calcul des silhouettes, le lecteur peut se rfrer auxarticles [HER 99, ISE 03].

Une mthode brutale pour lextraction des silhouettes est de parcourir toutes lesartes du maillage et de conserver celles qui sont connexes un polygone visible et un polygone invisible. Afin dextraire plus rapidement les silhouettes, Markosian etal. [MAR 97] ont propos une mthode stochastique (qui ne garantit pas de trouverles silhouettes dans leur intgralit). Lalgorithme exploite la cohrence spatiale ettemporelle des silhouettes. La recherche des segments candidats se fait donc dans levoisinage des segments dj trouvs. Une fois les artes de silhouette identifies lasurface de lobjet, il faut dterminer leur visibilit (voir Section 1.4.4.1).

On peut aussi dtecter les silhouettes dans lespace image en cherchant les discon-tinuits dans la carte des profondeurs [SAI 90].

Raskar et al [RAS 99] proposent une approche mixte qui procde en deux tapes :(i) Le z-buffer est dabord initialis avec la profondeur des faces visibles. (ii) Lesfaces arrire sont ensuite rendues en mode fil de fer. En utilisant lgalit commefonction de comparaison du z-buffer, les artes rendues sont celles qui partagent uneface arrire et une face avant, cest--dire les artes de la silhouette. Raskar a aussi

Rendu Expressif 7

propos un algorithme en une passe exploitant la carte graphique [RAS 01]. Cetteversion hardware ajoute des contours autour de chaque triangle. Les contours qui sontentre deux faces visibles disparaissent pendant le rendu. Il ne reste donc plus que lecontour des silhouettes.

Analyse compare des diffrentes techniques

La silhouette est dpendante du point de vue, i.e. elle doit tre re-calcule chaquefois que la position ou la gomtrie de l