RESEARCH


Key words : Computer graphics, global illumination, rendering of complex scenes, computer vision, GPU , HDR, multiview rendering


My research activities are:

In more details but in french:

Dans cette ce qui suit, je  présente mes activités de recherche récentes que je mène actuellement. Je ne parlerai pas de celles que j’ai effectuées et que je ne poursuis pas telles que : rendu d’objets naturels (herbe, arbres), modélisation de scènes 3D urbaines, rendu sous-surfacique, etc.   Mes travaux de recherche actuels concernent l’informatique graphique, plus précisément : la simulation d'éclairage, le rendu temps réel, le rendu volumique, le rendu multivue, l’échantillonnage et l’imagerie HDR (High Dynamic Range). Ces travaux sont résumés ci-après.

1. Simulation d'éclairage

Notre objectif est la création d’images de synthèse à haut niveau de réalisme. Il s’agit d’explorer et de proposer de nouvelles méthodes et algorithmes de synthèse d’images photoréalistes (dites méthodes d’illumination globale) qui simulent les interactions entre la lumière et la scène : inter-réflexions diffuses, spéculaires, diffusion dans des milieux semi-transparents. Notre but principal est la recherche de plus de réalisme et le calcul en temps réel d’images photoréalistes. Nous proposons donc de nouvelles méthodes stochastiques (avec de nouvelles méthodes d’échantillonnage) et progressives permettant d’augmenter la vitesse de convergence des algorithmes (réduction du temps de calcul) et de limiter la mémoire utilisée. En complément des améliorations des méthodes de calcul, nos travaux portent également sur la parallélisation des algorithmes et l’utilisation des cartes graphiques (GPU) possédant une grande puissance de calcul. Nous nous intéressons aussi aux images HDR (High Dynamic Range) et au rendu basé image.

•    Rendu temps réel haute fidélité et illumination globale
Notre objectif est le rendu temps réel haute fidélité. Autrement dit, nous voulons à la fois effectuer une simulation d'éclairage globale (prenant en  compte l'éclairage indirect) dans une scène et effectuer le rendu tout en respectant la contrainte de  temps réel en exploitant au maximum les performances des nouvelles cartes graphiques.
Notre approche de simulation d'éclairage global utilise la méthode du lancer de rayon s'appuyant sur la méthode de Monte Carlo. Elle consiste en l'extension de la méthode de "cache d'éclairement" (irradiance caching). Notre contribution a été de proposer de nouvelles  fonctions de bases (définies sur l'hémisphère et non pas la sphère) pour représenter les luminances incidentes ainsi que les BRDF (fonctions de réflectance) et la prise en compte d’objets dynamiques. Cette représentation associée à une nouvelle méthode d'interpolation basée sur les gradients sont les deux points importants de notre approche de "cache de luminance". Plusieurs articles ont été publiés sur ce thème (conférences de grande renommée et revues internationales telles que IEEE). Un autre travail a consisté à obtenir un cache de luminance indépendant du point de vue à partir d'une carte de  photons. Ce travail a été présenté à la conférence Pacific Graphics. Nous avons appliqué pour la première fois  la méthode de Monte Carlo Bayesien à l’éclairage global. Ce travail a été publié dans la revue Computer Graphics Forum en 2010.

•    Rendu volumique et milieux participatifs
Les milieux participatifs sont des objets semi-transparents tels que : fumée, brouillard, poussière, images médicales volumiques, etc. L’objectif est de simuler les multiples diffusions de la lumière dans ces milieux puis d’effectuer leur rendu très rapidement. Nous avons proposé trois approches pour accélérer le calcul de ces multiples diffusions et du rendu. Une première approche est basée sur la notion de cache d’éclairement qui consiste à ne simuler les multiples diffusions qu’à certains points du milieu (appelés enregistrements) et de déduire l’éclairement en tout autre point par interpolation. L’originalité de la méthode réside dans la manière de sélectionner l’emplacement de ces enregistrements. Ce travail a été publié dans la revue « The Visual Computer ». Une deuxième approche a consisté à proposer une version parallèle de la méthode dite « Light Propagation Map » sur GPU (carte graphique). Elle a été présentée au symposium EGPVG (Eurographics Symposium on Parallel Visualization and Graphics). La troisième approche est toute récente et a été soumise à la conférence CGI (Computer Graphics International). Elle permet une simulation d’éclairage progressive  dans une scène contenant à la fois des objets surfaciques et volumiques (milieux participatifs). Tous les types d’interaction lumière/objet sont pris en compte : multiples réflexions et réfractions, spécularité, multiples diffusions, etc. La première et la troisième  approches ne permettent pas une simulation et un rendu temps réel. La troisième est rapide et interactive car elle n’effectue que le rendu de milieux participatifs. Si on approche les diffusions d’ordre strictement supérieur à 1 par un terme appelé « Occultation Ambiante » (ambient occlusion) alors on peut rendre un milieu en temps réel. C’est ce que nous avons réalisé et publié au symposium EGSV (Eurographics Symposium on Visualization).

2. Méthodes d’échantillonnage et illumination globale
Les techniques de type Monte Carlo Bayésien (MCB) sont largement utilisées dans le domaine de l’apprentissage. Elles reposent sur la connaissance a priori de la fonction d’intérêt (l’intégrant de l’équation de luminance) pour améliorer les calculs effectués avec la méthode de Monte Carlo. Nous avons utilisé MCB en illumination globale afin d’optimiser l’échantillonnage des directions incidentes en tout point pour lequel nous voulons calculer la luminance (gathering). Un premier article, limité à des scènes 3D contenant que des objets parfaitement diffus, a été publié dans la revue internationale Computer Graphics Forum. Un autre, étendu aux objets brillants (glossy) a été soumis à la revue IEEE TVCG. Nous avons proposé une autre approche d’échantillonnage uniforme de la sphère et d’un lobe de BRDF (fonction de réflectance). Cette approche utilise les suites de Fibonacci. Un article a été soumis à la revue internationale Computer Graphics Forum.

3. Imagerie HDR
Nous sommes impliqués dans un projet FUI appelé Nevex. Dans le cadre de ce projet notre tâche est de concevoir des algorithmes de tone mapping (TM)  pour des séquences vidéo. Une opération de tone mapping consiste à convertir une image HDR (forte gamme de luminance) en une image LDR (Low Dynamic Range, image pouvant être affichée sur un écran classique dont la gamme de luminance est basse).  Alors que les principaux algorithmes de tone mapping ne s’appliquent qu’à une image fixe, nous avons proposé un premier algorithme de tone mapping appliqué aux séquences vidéo. Cet algorithme a été présenté à la conférence SPIE. Un autre algorithme plus efficace a été soumis à une revue internationale. Ce travail est réalisé en collaboration avec la société TECHNICOLOR dans le cadre d’une bourse Cifre.


4. Placement de caméra, acteurs et lumières
Les avancées importantes dans la qualité et les performances des rendus 3D réalistes permettent aujourd'hui d'envisager la création de séquences d'animation 3D en temps-réel ouvrant les portes à la génération en temps-réel de films de qualité cinématographique. Or, l'intégration de ces éléments cinématographiques en 3D (placement de caméra, placement de lumières, placement des acteurs) nécessite la formalisation d'une connaissance existant de façon empirique dans l'industrie et la littérature. L'approche adoptée dans ce travail est d'étudier à partir de données réelles (films), le couplage entre cadrage, éclairage et placement d'acteurs au regard d'éléments de style cinématographique (durées des plans, fréquence des plans, transitions entre plans...). Cette étude fournira les moyens de proposer un modèle calculatoire efficace permettant le placement des acteurs, caméra et lumières pour mettre en scène automatiquement un scénario donné, respectant des éléments de style spécifiés. Ce travail a commencé en octobre 2012 avec la collaboration de l’équipe Mimetic de l’IRISA.

5. Rendu et Modélisation basés image
En collaboration avec Luce Morin, professeur à l’INSA de Rennes, nous nous sommes aussi intéressés à la reconstruction de bâtiments à partir de données de type GPS, SIG et vidéo.  L'objectif est de raffiner des modèles simples et géoréférencés de bâtiments extraits de bases de données SIG. Ce raffinement est effectué grâce à un  recalage automatique entre ces modèles et la vidéo, le GPS fournissant une information grossière de la position de la caméra avec laquelle la vidéo a été prise. Une méthode d'extraction de textures prenant en compte les problèmes d'occultation a été aussi proposée. Ce travail a donné lieu à un article dans la revue Annals of Telecommunications. Il n’est plus poursuivi dans l’équipe.

6. Rendu multivue
Les écrans autostéréoscopiques sont maintenant disponibles et accessibles en terme de prix. Ils sont utilisés en réalité virtuelle et dans les jeux vidéo. Ce type d’écran s’adapte à plusieurs utilisateurs et ne nécessite pas de lunettes stéréoscopiques. Le rendu en temps réel sur ce type d’écran pose de nombreux problèmes : génération en temps réel de plusieurs vues de la même scène 3D, choix d’un motif particulier d’échantillonnage nécessitant des procédures d’antialiasing et par conséquent  réduisant  la gamme de profondeur.  Nous avons proposé des solutions pour le rendu multivue en temps réel reposant sur le rendu basé image et prenant en compte les problèmes d’occultation et d’apparition de nouveaux objets.  Notre méthode utilise une approche fréquentielle et des techniques liées aux Light Fields. Elle n’a pas encore été publiée.