Note: Descriptions are shown in the official language in which they were submitted.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
1
PROCEDE POUR CONMNDER UNE ACTION, NOTAMHENT UNE MODIFICATION DE
NETTETE, A PARTIR D'UNE INIAGE NUMERIQUE EN COULEURS.
Domaine de 1'invention :
L'invention est relative à un procédé pour commander
une action, notamment une modification de netteté, à partir
d'une image numérique en couleurs. Elle concerne plus
particulièrement, mais non exclusivement, une amélioration de la
netteté d'au moins une couleur d'une image numérique.
L'invention concerne également un système mettant en oeuvre un
tel procédé ainsi qu'une image générée par un tel procédé.
L'invention concerne aussi un procédé de réalisation
d'un appareil de capture et/ou de restitution d'images qui
comprend un système optique de capture et/ou de restitution
d'images, un capteur et/ou générateur d'images, et/ou un système
d'asservissement, l'image étant traitée, en vue de son
amélioration, par des moyens numériques de traitement d'images.
L'invention concerne aussi un appareil obtenu par un
tel procédé de réalisation.
Problème traité
La visualisation satisfaisante d'une image requiert
une netteté d'autant plus importante que cette image présente
des détails de dimensions réduites.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
2
De ce fait, il est connu de chercher à améliorer la
netteté d'au moins une couleur dans une image numérique selon
des procédés tels que ceux décrits ci-dessous :
i) Dans le cas spécifique des appareils
photographiques :
- on peut faire appel à un dispositif de mise au point
optique (focus) qui déplace des éléments optiques permettant de
faire varier la plage de distances pour laquelle l'image est
nette. Un tel dispositif, manuel ou motorisé, comprend souvent
un système d'asservissement permettant de choisir le déplacement
en fonction des distances des objets dans la scène.
Les applications d'un tel procédé sont les appareils
photo, les caméras. Il présente l'inconvénient d'avoir une
profondeur de champ limitée, surtout à grande ouverture, et un
coût et un encombrement difficilement adaptés aux dispositifs de
faible encombrement, tels que les téléphones.
- On peut faire appel à une solution du type codage
du front d'onde, qui ajoute un élément optique spécifique dans
le système optique pour permettre la reconstruction par calcul
de la netteté avec une grande profondeur de champ.
Les applications d'un tel procédé sont limitées (la
microscopie) et présente les inconvénients de nécessiter un
élément optique spécifique ainsi qu'une modification du
matériel, dont le système optique.
- On peut mettre en oeuvre une solution qui ajoute un
élément optique spécifique constitué d'une lentille liquide
déformable fixe par rapport à l'optique. Un tel procédé présente
un système d'asservissement permettant de choisir la forme de
ladite lentille en fonction des distances des objets dans la
scène.
Les applications de cette solution (pour les
caméraphones ou appareils photo) présentent l'inconvénient
d'être un procédé industriel spécifique, d'avoir un coût et un
encombrement de l'élément optique, de nécessiter une
modification hardware.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
3
ii) Dans un cadre plus général, les solutions sont
- les algorithmes de déflouage sur la luminance ou une
couleur, en augmentant la netteté par sharpen ou par une
autre méthode de calcul.
Les applications d'un tel procédé (tous les appareils
de prise de vue) présentent les inconvénients d'une augmentation
limitée de la netteté et donc d'une augmentation très faible de
la profondeur de champ.
Par ailleurs, les techniques connues de conception ou
de réalisation de tels appareils de capture et/ou de restitution
d'images, tels que des appareils de photos numériques ou
argentiques, consistent à sélectionner en premier lieu les
propriétés des éléments matériels de l'appareil, notamment le
système optique, le capteur et le système d'asservissement.
Ensuite, le cas échéant, on prévoit des moyens numériques de
traitement d'images pour corriger les défauts d'au moins l'un
des éléments matériels de l'appareil.
En particulier, pour concevoir un système optique
d'appareil, on établit tout d'abord un cahier des charges,
c'est-à-dire qu'on spécifie l'encombrement, les plages de
focales, les plages d'ouverture, le champ couvert, les
performances exprimées, soit en taille de tache image, soit en
valeur de FTM (fonction de transfert de modulation), et le coût.
A partir de ce cahier des charges, on sélectionne un type de
système optique et, à l'aide d'un outil logiciel de calcul
optique, tel que l'outil Zemax , on sélectionne les
paramètres de ce système permettant de respecter au mieux les
spécifications du cahier des charges. Cette mise au point du
système optique s'effectue de façon interactive. De façon
générale, un système optique est conçu pour qu'il présente la
meilleure qualité au centre de l'image et, habituellement, la
qualité aux bords de l'image est de niveau inférieur.
En outre, les techniques habituelles sont telles que
le système optique est conçu de façon à obtenir un niveau
déterminé de distorsion, de vignetage, de flou et de profondeur
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
4
de champ, afin que le système optique puisse être comparé à
d'autres systèmes optiques.
Par ailleurs, pour les appareils photographiques
numériques, on spécifie aussi les caractéristiques du capteur, à
savoir : la qualité des pixels, la superficie des pixels, le
nombre de pixels, la matrice de microlentilles, les filtres
anti-alias, la géométrie des pixels, et la disposition des
pixels.
La technique habituelle consiste à sélectionner le
capteur d'un appareil de capture d'images indépendamment des
autres éléments de l'appareil et, notamment, du système de
traitement d'image.
Les appareils de capture et/ou générateurs d'images
comportent aussi habituellement un ou plusieurs systèmes
d'asservissement tels qu'un système d'exposition et/ou un
système de mise de point (focus automatique ou autofocus )
et/ou un système de contrôle du flash.
Ainsi, pour spécifier un système d'exposition qui
commande l'ouverture et le temps de pose, éventuellement le gain
du capteur, on détermine les modes de mesure, en particulier on
détermine les zones de l'image sur lesquelles l'exposition sera
mesurée ainsi que le poids affecté à chaque zone.
Pour un système de mise au point, on détermine le
nombre et la position des zones de l'image qui seront utilisées
pour effectuer la mise au point. On spécifie aussi, par exemple,
une consigne de déplacement du moteur.
Dans tous les cas, ces spécifications s'effectuent
indépendamment de la présence ou non de moyens numériques de
traitement d'image.
L'invention
Constatations propres à 1'invention
L'invention est issue de la combinaison des
constatations suivantes, qui lui sont propres :
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
i) Les appareils de capture et/ou traitant des images
génèrent sur ces images une netteté variable qui est fonction de
la couleur considérée comme décrit ci-dessous à l'aide des
figures la et lb.
5 Sur la figure la est représentée la lentille
convergente 1 d'un dispositif optique (non représenté) muni d'un
capteur 2 situé sur un point 3.2 de focalisation associé à une
longueur d'onde U. Ainsi, la couleur définie par cette longueur
A2 est nette sur une image formée par cette lentille lorsque
l'image représente un objet à très grande distance.
Toutefois, un tel réglage présente trois problèmes
- Premièrement, le point 3.2 de focalisation de la
lentille est propre à la couleur définie par cette longueur
d'onde A2, de telle sorte qu'un point de focalisation 3.1 propre
à une autre couleur définie par une longueur d'onde A1 se situe
en amont du capteur.
Par conséquent, l'image formée par cette seconde
couleur (A1) au niveau du capteur est moins nette que l'image
formée par la première couleur (A2), ce qui réduit la netteté de
l'image globale formée par le capteur.
- Deuxièmement, le point de focalisation de la
lentille pour une longueur d'onde est variable en fonction de la
distance à laquelle se situe l'objet 4 représenté sur l'image.
Ainsi, la figure lb montre les nouvelles localisations
4.1 et 4.2 des points de focalisation associés, respectivement,
aux longueurs d'ondes A1 et A2 lorsque l'objet représenté est
passé d'une très grande distance (figure la) à une distance plus
proche (figure lb).
Dans ce dernier cas, il apparaît que le capteur se
situe sur le point de focalisation de la couleur (A1) qui,
précédemment, ne formait pas une image nette.
- Troisièmement, le point de focalisation de la
lentille pour une longueur d'onde et une distance objet est
variable en fonction de la position dans l'image de l'objet
représenté.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
6
ii) Comme montré sur la figure 2 qui est un exemple de
la répartition spectrale d'une image selon l'axe 6.1, les images
sont généralement composées de plusieurs couleurs dont les
intensités (axe des ordonnées 6.2) peuvent être proches. Sur cet
exemple sont représentées des composantes 5.1 bleues (longueur
d'onde autour de 450 nm), 5.2 vertes (longueur d'onde autour de
550 nm) et rouge (longueur d'onde autour de 600 nm) proches,
mais il est clair que l'invention s'applique à une image
indépendamment de sa répartition des couleurs et des longueurs
d'ondes considérées (par exemple infrarouge ou ultraviolet).
iii) Les techniques classiques de l'amélioration de la
netteté ne tirent pas partie du fait que l'une des couleurs peut
être plus nette que les autres en fonction de la distance de
l'objet représenté sur l'image.
iv) Par ailleurs, l'invention part de la constatation
que les techniques classiques de conception ou de réalisation
d'appareils ne permettent pas de profiter pleinement des
possibilités offertes par les moyens numériques de traitement
d'images.
L'invention
C'est pourquoi, l'invention concerne, de façon
générale, un procédé d'amélioration de la netteté d'au moins une
couleur d'une image numérique comprenant les étapes de
- choisir parmi les couleurs de l'image au moins une
couleur dénommée couleur nette,
- répercuter la netteté de la couleur nette sur au moins
une autre couleur améliorée, pour que la couleur améliorée
présente une netteté accrue.
Grâce à l'invention on peut ainsi
- augmenter la netteté perçue de l'image,
- augmenter la profondeur de champ d'un appareil de
capture,
- créer un dispositif macro,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
7
- contrôler la profondeur de champ indépendamment de
l'exposition,
- mesurer la distance des objets d'une scène imagée à
partir d'une image,
- améliorer les dispositifs d'asservissement de
l'exposition et/ou de mise au point et/ou de flash,
- réduire les coûts de l'appareil de capture
- réduire, à performances égales, la taille de l'appareil
de capture,
- lire des codes barres et/ou cartes de visites et/ou du
texte et/ou faire des portraits et/ou faire des paysages
à l'aide d'une même optique, ayant un focus fixe, telle
par exemple celle d'un caméraphone,
- concevoir et/ou choisir une optique donnant à l'appareil
des caractéristiques accrues en terme notamment
d'ouverture et de profondeur de champ,
- faire des effets sur l'image fonction de la netteté
relative entre au moins deux couleurs et/ou de la
distance des objets de la scène imagée,
- permettre à l'utilisateur de changer numériquement la
mise au point de l'image de la netteté relative entre au
moins deux couleurs et/ou de la distance des objets de
la scène imagée,
- réduire le temps entre la demande de capture et la
capture effective de l'image, par suppression ou
simplification du système optique de mise au point.
L'invention concerne également un procédé de
réalisation d'un appareil de capture qui comprend un système
optique de capture, et un capteur, et/ou un système
d'asservissement, l'image étant traitée, en vue de son
amélioration, par des moyens numériques de traitement d'images ;
procédé dans lequel on détermine ou sélectionne les
paramètres du système optique et/ou du capteur et/ou du système
d'asservissement, à partir des capacités des moyens numériques
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
8
de traitement d'images, de sorte à minimiser les coûts de
réalisation et/ou à optimiser les performances de l'appareil de
capture.
Dans une réalisation, le procédé comprend en outre
l'étape de décomposer l'image numérique en régions ; ledit choix
de la couleur nette étant effectué pour chaque région.
Dans une réalisation, ledit choix de la couleur nette
consiste à choisir la couleur la plus nette selon une règle
prédéterminée.
Dans une réalisation, ledit choix de la couleur
nette est prédéterminé.
Dans une réalisation, ladite image numérique est issue
d'un appareil de capture et ledit choix de la couleur nette est
fonction de la distance entre l'appareil de capture et au moins
un objet de la scène capturée pour obtenir ladite image
numérique.
Dans une réalisation, ledit appareil de capture
d'image comportant un mode macro, ledit choix de la couleur
nette est fonction de l'activation du mode macro.
Dans une réalisation, ladite image numérique étant
issue d'un appareil de capture, ledit procédé comprend en outre
l'étape de déterminer la distance entre l'appareil de capture et
au moins un objet de la scène capturée à partir de la netteté
d'au moins deux couleurs dans une région image dudit objet.
Dans une réalisation, le procédé comprend en outre
l'étape de réduire la netteté d'au moins une couleur dans au
moins une région image.
Dans une réalisation, le procédé comprend en outre
l'étape de déterminer une consigne d'asservissement dudit
appareil de capture à partir de la netteté d'au moins deux
couleurs ; de sorte que la mise au point se fait en moins
d'étapes et est accélérée.
Dans une réalisation, ladite image numérique étant
issue d'un appareil de capture comprenant une optique, ledit
procédé comprend en outre l'étape de choisir une optique parmi
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
9
un ensemble d'optiques prédéterminées ; ladite optique
présentant des caractéristiques telles que les images d'un objet
à au moins deux distances prédéterminées présentent des couleurs
nettes distinctes ; de sorte que la profondeur de champ est
améliorée et/ou le coût de l'optique est diminué.
Dans une réalisation, ladite image numérique étant
issue d'un appareil de capture comprenant une optique, ledit
procédé comprend en outre l'étape de concevoir une optique en
tenant compte du procédé selon l'invention ; ladite optique
présentant des caractéristiques telles que les images d'un objet
à au moins deux distances prédéterminées présentent des couleurs
nettes distinctes,
- de sorte que la profondeur de champ et/ou
l'ouverture et/ou tout autre caractéristique optique est
améliorée et/ou le coût de l'optique est diminué,
- de sorte que la mise au point mécanique peut se
faire avec moins de positions.
Dans une réalisation, la répercussion de la netteté de
la couleur nette sur au moins une autre couleur améliorée est
réalisée à l'aide d'un calcul du type CA = CN + F(CO - CN) où CA
est représentatif de la couleur améliorée, C0 est représentatif
de la couleur améliorée avant traitement, CN est représentatif
de la couleur nette et F un filtre, notamment un filtre passe
bas.
L'invention concerne également un procédé de
réalisation d'un appareil (20) de capture et/ou de restitution
d'images qui comprend un système optique (22, 22') de capture
et/ou de restitution d'images, un capteur (24) et/ou générateur
(24') d'images, et/ou un système d'asservissement (26), l'image
étant traitée, en vue de son amélioration, par des moyens
numériques (28, 28') de traitement d'images,
- le procédé étant tel qu'on détermine ou sélectionne
les paramètres du système optique et/ou du capteur et/ou du
générateur d'images et/ou du système d'asservissement, à partir
des capacités des moyens numériques de traitement d'images, et
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
notamment de l'amélioration de la netteté d'une couleur en
fonction de la netteté d'une autre couleur selon un procédé
conforme à l'une des revendications précédentes,
- de sorte à minimiser les coûts de réalisation et/ou
5 à optimiser les performances de l'appareil de capture et/ou de
restitution d'images.
L'invention concerne également un appareil de capture
et/ou de restitution d'images utilisant un procédé
d'amélioration de couleur selon une des réalisations précédentes
10 et/ou obtenu par un procédé de réalisation selon la réalisation
précédente.
L'invention concerne également une image numérique
obtenue selon un procédé conforme à l'une des réalisations
précédentes ou à partir d'un appareil conforme à la réalisation
précédente.
Finalement, l'invention concerne aussi un dispositif
de traitement d'image numérique mettant en oeuvre un procédé
selon l'une des réalisations précédentes.
Définitions :
On précise ici la signification des divers termes
utilisés :
- Par image numérique, on entend une image sous forme
numérique. L'image peut être issue d'un appareil de capture
d' image .
L'image numérique peut être représentée par un
ensemble de valeurs numériques, ci-après appelées niveau de
gris, chaque valeur numérique étant associée à une sensibilité
en couleur et une position géométrique relative sur une surface
ou un volume. On appelle couleur au sens de l'invention,
l'ensemble des valeurs numériques associées à la même
sensibilité en couleur.
L'image numérique est de préférence l'image brute du
capteur (format raw en anglais) avant opération de
dématriçage ( demosaicing en anglais). L'image numérique peut
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
11
également avoir subi un traitement, par exemple un dématriçage,
une balance des blancs. De préférence selon l'invention, l'image
numérique n'a pas subi de sous-échantillonnage.
- Lorsque l'image numérique est issue d'un appareil de
capture d'image, l'appareil de capture d'image comprend un
capteur doté d'éléments sensibles. Par élément sensible, on
entend un élément du capteur permettant de convertir un flux
d'énergie en signal électrique. Le flux d'énergie peut prendre
la forme notamment d'un flux lumineux, de rayons X, d'un champ
magnétique, d'un champ électromagnétique ou d'ondes sonores. Les
éléments sensibles peuvent être selon les cas juxtaposés sur un
surface et/ou superposés dans un volume. Les éléments sensibles
peuvent être disposés selon une matrice rectangulaire, une
matrice hexagonale ou autre géométrie.
- L'invention s'applique à des capteurs comportant des
éléments sensibles d'au moins deux types différents, chaque type
ayant une sensibilité en couleur, chaque sensibilité en couleur
correspondant à la partie du flux d'énergie converti en signal
électrique par l'élément sensible du capteur. Dans le cas d'un
capteur d'image visible, les capteurs ont généralement une
sensibilité en 3 couleurs et l'image numérique a 3 couleurs :
rouge 5.1, vert 5.2 et bleu 5.3 représentées sur la figure 2 qui
montre sur l'axe vertical 6.2 la quantité d'énergie convertie et
sur l'axe horizontal 6.1 la longueur d'onde. Certains capteurs
ont une sensibilité en 4 couleurs rouge, vert, émeraude, bleu.
- Par couleur on entend également une combinaison,
notamment linéaire des signaux délivrés par le capteur.
- L'invention s'applique avec les diverses définitions
connues de la netteté connues. Par exemple, la netteté d'une
couleur peut correspondre à la mesure d'une valeur dénommée BXU
qui est une mesure de la surface de tache de flou, telle que
décrite dans l'article publié dans les Proceedings of IEEE,
International Conference of Image Processing, Singapore 2004 ,
et intitulé Uniqueness of Blur Measure de Jérôme BUZZI et
Frédéric GUICHARD.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
12
De façon simplifiée, le flou d'un système optique se
mesure à partir de l'image, appelée réponse impulsionelle ,
d'un point infiniment petit situé dans le plan de netteté. Le
paramètre BXU est la variance de la réponse impulsionelle
(c'est-à-dire sa surface moyenne). Les capacités du traitement
peuvent être limitées à une valeur maximale de BXU.
Diverses méthodes de mesures d'une telle netteté sont
décrites dans des manuels et publications tels que, par exemple,
le Handbook of Image&Video processing édité par Al Bovik et
publié par Academic press, pages 415 à 430.
On entend un paramètre relatif à la qualité d'une
image telle que généralement acceptée. Dans une réalisation, la
netteté d'une couleur est obtenue par calcul d'un gradient. Par
exemple la netteté d'une couleur peut être obtenue par un calcul
de gradient de 9 niveaux de gris pris en des positions
géométriques voisines dans la couleur considérée.
L'invention fait mention de la netteté d'au moins deux
couleurs. Selon une réalisation, la netteté d'au moins deux
couleurs n'est considérée que de façon relative l'une par
rapport à l'autre. Pour cette réalisation, un gradient permet
de calculer simplement une netteté relative entre deux couleurs
de façon indépendante du contenu de l'image.
L'invention fait mention de choisir parmi les couleurs
au moins une couleur dénommée couleur nette . Selon une
réalisation, ce choix peut être effectué en déterminant laquelle
parmi au moins deux couleurs est la plus nette. Pour cette
réalisation, un gradient permet de déterminer simplement la
couleur la plus nette parmi au moins deux couleurs.
Dans une implémentation,
- Un appareil de capture d'images est, par exemple, un
appareil photo jetable, un appareil photo numérique, un appareil
reflex (numérique ou pas), un scanner, un fax, un endoscope, une
caméra, un caméscope, une caméra de surveillance, un jouet, une
caméra ou un appareil photo intégré ou relié à un téléphone, à
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
13
un assistant personnel ou à un ordinateur, une caméra thermique,
un appareil d'échographie , un appareil d'imagerie IRM
(résonance magnétique), un appareil de radiographie à rayons X.
Il convient de noter que l'invention concerne de tels
appareils lorsqu'ils traitent des images comportant au moins
deux couleurs.
- Par système optique de capture d'images, on entend
les moyens optiques permettant de restituer des images sur un
capteur.
- Par capteur d'images, on entend des moyens
mécaniques, chimiques, ou électroniques permettant la capture
et/ou l'enregistrement d'une image.
- Par système d'asservissement on entend des moyens de
type mécanique, chimique, électronique, ou informatique
permettant que des éléments ou paramètres de l'appareil
respectent une consigne. Il s'agit notamment du système de mise
au point automatique (autofocus), du contrôle automatique de la
balance des blancs, du contrôle automatique de l'exposition, du
contrôle d'éléments optiques, afin, par exemple, de conserver
une qualité uniforme d'images, d'un système de stabilisation
d'image, d'un système de contrôle de facteur de zoom optique
et/ou numérique, ou d'un système de contrôle de saturation, ou
d'un système de contrôle de contraste.
- Les moyens numériques de traitement d'images peuvent
prendre diverses formes selon l'application.
Les moyens numériques de traitement d'images peuvent
être intégrés, en tout ou partie, à l'appareil, comme dans les
exemples suivants :
- Un appareil de capture d'images qui produit des
images modifiées, par exemple un appareil photo numérique qui
intègre des moyens de traitement d'images.
- Un appareil de restitution d'images qui affiche ou
imprime des images modifiées, par exemple un projecteur vidéo ou
une imprimante incluant des moyens de traitement d'images.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
14
- Un appareil mixte qui corrige les défauts de ses
éléments, par exemple un scanner/imprimante/télécopieur incluant
des moyens de traitement d'images.
- Un appareil de capture d'image professionnel qui
produit des images modifiées, par exemple un endoscope incluant
des moyens de traitement d'images.
Selon une réalisation
- les moyens numériques de traitement d'images
comportent un moyen pour améliorer la qualité d'image en
agissant sur au moins l'un des paramètres du groupe comprenant :
les distorsions géométriques du système optique, les aberrations
chromatiques du système optique, la compensation de parallaxe,
la profondeur de champ, le vignetage du système optique et/ou du
capteur et/ou du générateur d'images, le manque de netteté du
système optique et/ou du capteur et/ou du générateur d'images,
le bruit, les phénomènes de moiré, et/ou le contraste,
- et/ou les paramètres déterminés ou sélectionnés du
système optique sont choisis dans le groupe comportant : le
nombre d'éléments optiques du système, la nature des matériaux
composant les éléments optiques du système optique, le coût des
matériaux du système optique, le traitement des surfaces
optiques, les tolérances d'assemblage, la valeur de la parallaxe
en fonction de la focale, les caractéristiques d'ouverture, les
mécanismes d'ouverture, la plage de focales possibles, les
caractéristiques de mise au point, les mécanismes de mise au
point, les filtres anti-alias, l'encombrement, la profondeur de
champ, les caractéristiques liant la focale et la mise au point,
les distorsions géométriques, les aberrations chromatiques, le
décentrement, le vignetage, les caractéristiques de netteté,
- et/ou les paramètres déterminés ou sélectionnés du
capteur et/ou générateur d'images sont choisis dans le groupe
comportant : la qualité des pixels, la superficie des pixels, le
nombre de pixels, la matrice de microlentilles, les filtres
anti-alias, la géométrie des pixels, la disposition des pixels,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
- et/ou les paramètres déterminés ou sélectionnés du
système d'asservissement sont choisis dans le groupe
comportant : la mesure de mise au point, la mesure d'exposition,
la mesure de balance des blancs, la consigne de mise au point,
5 la consigne d'ouverture, la consigne de temps de pose, la
consigne de gain du capteur, la consigne du flash.
Pour le système d'asservissement permettant la mise au
point automatique, on rappelle que la mise au point peut être
effectuée de diverses manières notamment par le contrôle de la
10 position d'éléments mobiles du système optique ou par le
contrôle de la géométrie d'éléments optiques déformables.
- Les performances d'un appareil de capture sont
notamment, son coût, son encombrement, la quantité de lumière
minimale qu'il peut recevoir ou émettre, la qualité de l'image,
15 notamment sa netteté, les caractéristiques techniques de
l'optique, du capteur et de l'asservissement ainsi que sa
profondeur de champ.
A cet effet, il convient de noter que la profondeur de
champ peut être définie comme la plage de distances dans
laquelle l'objet génère une image nette, c'est-à-dire dont la
netteté est supérieure à un seuil donné pour une couleur,
généralement le vert, ou encore, ou comme la distance entre le
plan objet le plus proche et le plan objet le plus éloigné pour
lesquels la tache de flou ne dépasse pas des dimensions
prédéterminées.
Etant donné que la couleur verte prédomine pour
définir la netteté d'une image, comme expliqué ultérieurement,
il est commun d'utiliser la couleur verte pour définir la
profondeur de champ.
L'invention concerne aussi un appareil obtenu par le
procédé de réalisation tel que défini ci-dessus.
Selon d'autres caractéristiques de l'invention qui
peuvent s'utiliser indépendamment de, ou en combinaison avec,
celles décrites ci-dessus :
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
16
L'invention concerne un procédé pour commander une
action à partir d'une mesure effectuée sur au moins une image
numérique, ayant au moins deux couleurs, provenant d'un appareil
de capture d'images, dans lequel :
- on mesure la netteté relative entre au moins deux
couleurs sur au moins une région R de l'image, et
- on commande au moins une action en fonction de la
netteté relative mesurée.
Par région en entend une partie ou l'intégralité de
l'image. Une région comporte un ou plusieurs pixels, contigus ou
non.
Ainsi l'action est notamment adaptée à la distance
entre l'objet imagé et l'appareil de capture ou est adaptée à la
profondeur relative entre deux objets imagés.
On peut mesurer la netteté relative de différentes
façons, par exemple (sans que la liste soit limitative) :
- on peut déterminer la couleur la plus nette, et/ou
- on peut choisir parmi les couleurs au moins une couleur
dénommée "couleur nette", et/ou
- on peut comparer la netteté entre les couleurs, et/ou
- on peut calculer un écart de netteté, et/ou
- on peut calculer directement la netteté relative.
Divers exemples de mesures de netteté relative seront
présentés ci-après, illustrés notamment par les figures 3a, 3b,
4, 5, 6, 7, 8, 9 et 10.
La netteté relative et/ou la mesure de netteté relative
dans une région peut s'exprimer par une seule valeur numérique,
par exemple rendant compte de la netteté relative moyenne dans
la région, ou par plusieurs valeurs numériques rendant compte de
la netteté relative en différentes parties de la région.
Selon l'invention, on commande au moins une action fonction
de la netteté relative mesurée. Cette action est notamment (sans
que la liste soit limitative) :
- un traitement direct ou indirect (via notamment la
fourniture de paramètres de traitement ou d'information
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
17
de distance et/ou position et/ou direction) de l'image
numérique et/ou d'une autre image numérique, et/ou
- une mesure de distance et/ou de direction et/ou de
position et/ou de taille et/ou orientation et/ou forme
géométrique d'au moins une partie d'au moins un objet ou
sujet de la scène, et/ou
- une information liée directement ou indirectement à la
géométrie de la scène imagée en trois dimensions, et/ou
- une détection d'objet notamment un visage et/ou le (ou
les) sujet(s) principal(aux) et/ou
- une reconnaissance et/ou authentification d'objet, par
exemple un visage, et/ou
- une mesure de position et/ou mouvement de l'appareil,
et/ou
- une commande d'asservissement de l'appareil ou d'un
autre dispositif tel un robot, et/ou
- un cadrage automatique du sujet principal, et/ou
- une modification de réglage de l'appareil, et/ou
- la production ou le déclenchement d'un signal, et/ou
- un ajout, une suppression ou modification d'objet dans
l'image numérique ou une autre image numérique, et/ou
- toute autre action utilisant directement ou
indirectement la mesure de netteté relative.
Selon une réalisation l'action met en oeuvre
- l'image numérique, et/ou
- une autre image numérique, et/ou
- un choix de l'utilisateur de l'appareil, et/ou
- au moins une caractéristique de l'appareil de capture
lors de la prise de vue et/ou
- une autre donnée.
Dans le cas où l'action est relative à un traitement direct
ou indirect, le traitement peut consister (sans que la liste
soit limitative) en l'une des actions suivantes :
- changer numériquement la mise au point, et/ou
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
18
- faire des effets sur l'image fonction de la netteté
relative entre au moins deux couleurs et/ou de la
distance des objets de la scène imagée, et/ou
- réduire la netteté d'au moins une couleur dans au moins
une région d'une image, et/ou
- augmenter la netteté d'au moins une couleur dans au
moins une région d'une image, et/ou
- effectuer une compression, et/ou
- réaliser tout autre traitement décrit dans la présente
description.
L'utilisation de la netteté relative mesurée pour commander
l'action permet ainsi, notamment, d'adapter l'action à la
distance entre au moins une partie d'un objet imagé et
l'appareil de mesure, et/ou à la géométrie d'au moins une partie
d'un objet et/ou à la position et/ou la taille d'au moins une
partie de l'objet, et/ou à la direction d'au moins une partie de
1 ' obj et .
Les procédés connus ne permettent pas de commander ce type
d'action à partir d'une mesure de netteté relative d'au moins
une région de l'image, mais nécessitent l'emploi d'un dispositif
particulier en plus du capteur d'image pour estimer une
distance. De plus, les procédés connus ne permettent une mesure
de distance qu'en un point ou un nombre limité de points alors
que l'invention permet de mesurer la distance en un grand nombre
de points simultanément.
Selon une réalisation, l'action commandée est comprise dans
le groupe comprenant :
- une détermination de distance entre l'appareil de
capture et au moins un objet imagé par l'image numérique, et/ou
la détermination de la distance relative entre deux objets
imagés,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
19
- une action dépendant de ladite distance et/ou de
ladite distance relative,
- un traitement sur au moins une zone Z' de l'image
numérique et/ou d'une autre image numérique,
- un asservissement de l'appareil de capture et/ou un
asservissement d'un autre appareil,
- la fourniture d'un signal d'indication et/ou
d'alarme et/ou d'alerte à un utilisateur,
- la détection d'une partie de l'image,
- une modification de la netteté d'une couleur,
- une détermination de la position et/ou du mouvement
de l'appareil de capture,
- la détermination de la position dans l'image d'un
sujet,
- une modification d'au moins une caractéristique de
l'image,
- une modification de tout ou partie de l'image,
- la détermination d'une zone d'intérêt dans l'image,
notamment afin de fournir un signal de commande
d'asservissement,
- la modification de de la résolution tout ou partie
de l'image,
- la fourniture d'informations relatives à l'image,
- la fourniture d'informations à un dispositif de
capture de son(s),
- le paramétrage d'une compression,
- une modification de tout ou partie de l'image,
- au moins un réglage de l'appareil de capture.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
Selon une réalisation l'action commandée comprend un
traitement sur au moins une zone Z' de l'image numérique et/ou
d'une autre image numérique.
La zone Z' fait ou non partie de l'image numérique sur
5 laquelle a été effectuée la mesure de netteté relative.
A titre d'exemple de traitement effectué sur une image
numérique distincte de celle sur laquelle on mesure la netteté
relative entre au moins deux couleurs, on cite en premier lieu
la prise d'une séquence vidéo pour laquelle on peut traiter
10 l'image suivante, ou une autre image, ce traitement consistant à
augmenter (également à titre d'exemple) la netteté.
En effet, on peut augmenter la netteté d'une image
suivante étant entendu qu'elle est basée sur la mesure d'une
image précédente qui se distingue peu de cette image suivante.
15 Ainsi il n'est pas nécessaire de conserver en mémoire l'image
numérique en cours.
Dans un autre exemple : la mesure de netteté est, dans
un appareil photo numérique, effectuée sur l'image affichée
avant la prise de vue et on traite l'image prise ultérieurement
20 à pleine résolution (alors que la mesure effectuée sur l'image
affichée avant prise de vue, est en général à plus basse
résolution) à partir de la dernière mesure ou d'une combinaison
des dernières mesures.
Dans une réalisation la zone Z' constitue tout ou
partie de la région (sur laquelle on a effectué la mesure de
netteté relative) de l'image numérique, et/ou l'image numérique
entière, et/ou une zone distincte de la région de l'image
numérique, et/ou une zone d'une autre image numérique, et/ou une
autre image numérique entière.
Quand la zone Z' constitue tout ou partie de la région
de l'image numérique, par exemple quand on veut augmenter la
profondeur de champ, la zone Z' est un pixel et l'on définit une
région de N pixels sur laquelle on mesure la netteté relative
et, en fonction de cette netteté relative, on applique un filtre
qui transporte la netteté de la couleur la plus nette à l'autre
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
21
couleur de sorte que la netteté du pixel soit augmentée. Ainsi
en répétant cette opération pour chaque pixel, on augmente la
profondeur de champ.
La zone Z' sur laquelle est effectuée le traitement
peut constituer une image numérique entière, notamment quand on
augmente la netteté sur l'image entière.
A titre d'exemple de traitement sur une zone distincte
de la région de l'image numérique on citera le cas où l'on
effectue la mesure de netteté relative sur une région et on
applique le traitement sur une partie d'image centrée
correspondant à un zoom numérique.
A titre d'exemple de traitement appliqué à une zone
d'une autre image numérique et/ou à une autre image numérique
entière, on rappelle l'exemple ci-dessus d'une séquence vidéo,
l'autre image numérique étant, par exemple, une image suivant
une image vidéo ; l'autre image est aussi, par exemple, l'image
numérique prise à pleine résolution pour un appareil photo,
alors que l'image sur laquelle est effectuée la mesure est à
basse résolution.
Dans une réalisation, la zone Z' pour laquelle un
traitement est commandé comprend au moins un pixel d'une image
et la région comprend un voisinage prédéterminé du pixel
correspondant dans l'image numérique. L'image traitée peut être
l'image numérique. L'image traitée peut être également une autre
image, par exemple une image issue du même capteur et capturée
après l'image numérique. Dans ce cas, la correspondance entre
les pixels des deux images peut se faire en associant les pixels
des deux images situés au même endroit. Ce cas présente
l'avantage d'éviter le stockage de l'image numérique entre la
mesure et le traitement sans artefact gênant si les images sont
capturées avec un intervalle de temps faible, par exemple 1/15s.
Dans une réalisation on applique ce traitement à
l'ensemble des pixels d'une image. L'image traitée peut être
l'image numérique. L'image traitée peut être également une autre
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
22
image, par exemple une image issue du même capteur et capturée
après l'image numérique.
Dans une réalisation le traitement sur au moins la
zone Z' comprend la modification d'au moins une caractéristique
de l'image faisant partie du groupe comportant : la netteté, le
contraste, la luminosité, les détails, la couleur, le type de
compression, le taux de compression, le contenu de l'image, la
résolution.
Exemple de modification de contraste
On augmente le contraste des objets proches et on
réduit le contraste des objets du fond, par exemple dans le cas
d'une vidéo-conférence. Inversement, on peut réduire le
contraste des objets proches et augmenter le contraste des
objets de fond pour atténuer l'effet d'un brouillard.
Exemple de modification de luminosité :
Le traitement peut consister à éclairer les objets
proches et à sombrir le fond, par exemple pour une vidéo-
conférence. Inversement pour une image prise au flash, le
traitement de la luminosité va consister à éclairer le fond et
assombrir les objets les plus proches pour compenser l'effet du
flash.
Exemple de modification des détails
Pour une vidéo-conférence on peut réduire les détails
des objets du fond, afin de permettre une compression plus
élevée pour ces objets de fond, tout en gardant une qualité
maximum pour le sujet principal.
Exemple de modification de couleurs
On réduit la saturation en couleurs des régions où la
netteté relative est supérieure à un seuil pour éliminer les
aberrations chromatiques longitudinales excessives, quelques
fois appelées "purple fringing".
Exemple de modification du type de compression
Par exemple pour une vidéo-conférence, on fournit à un
codec MPEG4 une segmentation objet proche/objet distant, afin de
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
23
permettre de compresser fortement l'objet distant pour garder
une qualité maximum du sujet principal qui est proche.
Exemple de modification du taux de compression
Comme ci-dessus dans le cas d'une vidéo-conférence, le
taux de compression peut être plus élevé pour le fond que pour
le sujet principal.
Exemple de modification de contenu
Le traitement consiste à remplacer un fond par un
paysage ou un décor.
Dans une réalisation le traitement comprend une
modification de netteté pour chaque pixel de la zone Z' au moyen
d'un filtre mélangeant les valeurs attachées au pixel sur un
voisinage prédéterminé à chaque pixel, les paramètres du filtre
étant fonction de la netteté relative mesurée.
Dans une réalisation la zone Z' est déterminée à
partir de la netteté relative mesurée.
Par exemple, la zone Z' correspond à des parties
d'images où la netteté relative est comprise dans une plage
donnée correspondant à des parties de l'image contenant des
objets se trouvant dans une plage donnée de distances, ce qui
permet, par exemple, de traiter différemment un premier plan et
l'arrière-plan.
Au sens de l'invention arrière-plan et fond
correspondent à la même notion.
Dans une réalisation, la zone Z' constitue un arrière-
plan d'une image, notamment destinée à être transmise à
distance, en particulier par un système de visio ou vidéo-
conférence. L'image traitée peut être l'image numérique. L'image
traitée peut être également une autre image, par exemple une
image issue du même capteur et capturée après l'image numérique.
Selon une réalisation le traitement comprend la
fourniture d'une information fonction de la distance entre
l'objet imagé et l'appareil de capture pour tout ou partie des
pixels de la zone Z' et on commande un stockage et/ou une
transmission et/ou une utilisation de cette information fonction
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
24
de la distance, le stockage étant effectué notamment dans un
fichier informatique, en particulier dans un fichier image.
On rappelle que la zone Z' peut constituer un point
et/ou une région et/ou plusieurs régions et/ou une image
complète et/ou un sujet principal et/ou un arrière-plan.
L'information fonction de la distance peut être une
distance, par exemple avec une indication de précision, ou une
gamme de valeurs de distances telle que, par exemple, une
distance inférieure au centimètre, une distance comprise entre 1
et 10 centimètres puis entre 10 centimètres et 1 mètre, et au-
delà d'un mètre. L'information fonction de la distance peut
aussi être représentée par un critère de type "trop près",
"près", "proche", "loin", ou "macro". L'information fonction de
la distance peut aussi être traduite en information de nature
d'objets ou sujets tels que "portrait" ou "paysage".
On peut ainsi fournir une carte des distances des
diverses parties de l'image. On peut aussi fournir la position
de la zone par rapport à l'appareil de capture.
L'information fonction de la distance peut comprendre
aussi les valeurs des distances des divers éléments de l'image
tels que la distance minimum, la distance maximum, la moyenne et
l'écart-type.
Il est important de noter que l'invention permet de
mesurer plusieurs distances dans une scène à partir d'une seule
image alors que l'art antérieur nécessite des moyens complexes
tels que l'utilisation de plusieurs caméras disposées à
plusieurs endroits pour effectuer de la stéréoscopie, ou une
caméra qui se déplace, ou un télémètre laser ou encore un sonar
d'échographie qui ne permet pas d'obtenir une image visible.
Dans une réalisation, l'action commandée comprend une
commande d'asservissement de l'appareil de capture comprise dans
le groupe constitué par : un asservissement de la mise au point,
un asservissement d'exposition, un asservissement de flash, un
asservissement de cadrage de l'image, un asservissement de
balance des blancs, un asservissement de stabilisation d'image,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
un asservissement d'un autre appareil ou dispositif lié à
l'appareil de capture tel que le guidage d'un robot.
Exemple de commande d'asservissement de mise au point:
Le sujet principal ou les zones d'intérêt peuvent être
5 détectées par les mesures de distances, à partir de la netteté,
le sujet principal ou la zone d'intérêt étant alors la zone la
plus proche.
Un asservissement de mise au point réalisé à partir de
mesures effectuées directement sur une seule image numérique est
10 particulièrement avantageux par rapport aux asservissements
connus de mise au point, ou "autofocus", pour lesquels il est
nécessaire d'effectuer des mesures sur des images successives.
De plus un asservissement connu de mise au point
consiste à appuyer sur un organe de déclenchement jusqu'à la mi-
15 course puis à déplacer le cadrage avant d'appuyer à fond, alors
qu'avec l'invention la mise au point peut s'effectuer de façon
entièrement automatique ; l'invention permet donc un gain de
temps et une meilleure image.
Exemple de commande d'asservissement d'exposition
20 Comme pour l'asservissement de mise au point, le
réglage d'exposition est effectué sur le sujet principal qui est
détecté automatiquement ; ainsi l'exposition peut être correcte
quelle que soit la position du sujet principal dans le cadre de
l'image. Autrement dit, comme pour la mise au point,
25 l'utilisateur n'a pas besoin de viser le sujet puis d'appuyer à
mi-course puis déplacer le cadrage.
Exemple d'asservissement d'un flash
Etant donné que l'invention permet de déterminer le
sujet principal, la commande d'éclairement peut être effectuée
en fonction de ce sujet principal alors qu'avec l'état de la
technique la puissance du flash est réglée en fonction de la
mise au point sans détermination du sujet principal, c'est-à-
dire, notamment, du sujet le plus proche. Comme indiqué ci-
dessus, les sujets moins éclairés peuvent être traités
numériquement par éclaircissement.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
26
Exemple de commande d'un autre dispositif
Quand un robot mobile doit se déplacer, on détermine
les régions les plus proches du robot mobile et on détermine à
partir des objets les plus proches du robot mobile une
trajectoire libre de tout obstacle.
Dans une réalisation, l'action commandée comprend une
fourniture de signal tel qu'un signal d'indication de l'objet
d'intérêt principal de l'image numérique, et/ou d'une zone de
mise au point, et/ou un signal d'alarme indiquant une
modification de la scène surveillée et imagée numériquement,
et/ou de distance d'au moins une partie de la scène imagée à
l'appareil de capture.
Par exemple dans un appareil photo numérique on peut
disposer un cadre, notamment d'une forme prédéterminée, autour
du sujet principal afin d'indiquer au photographe quel est le
sujet principal détecté par l'appareil lors de la prise de vue.
Ce signal d'indication du sujet principal est utilisable
notamment avant la prise de vue proprement dite pour indiquer au
photographe quel sera le sujet ou l'objet le plus net.
Ce signal peut également être une indication que
l'objet ou le sujet le plus proche est à une trop faible
distance de l'appareil de prise de vue pour pouvoir être net.
Dans ce cas, le signal est constitué, par exemple, par le
message en clair "Premier plan trop rapproché", ou par une
exagération du flou du premier plan, ou encore par une
modification visible de la couleur du premier plan.
Le signal indiquant que la scène ou l'objet de premier
plan est à distance trop faible peut tenir compte de l'usage
final de l'image qui sera prise, notamment de la résolution
choisie pour cet usage. Par exemple un sujet qui serait flou sur
un écran de récepteur de télévision ou d'ordinateur peut être
net sur un écran de petite taille du type de celui d'un appareil
de prise de vue. De même un sujet flou pour une impression sur
papier de 24cm x 30cm ne l'est pas forcément pour une impression
de 10cm X 15cm.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
27
Le signal d'indication de flou peut aussi tenir compte
du sujet. Par exemple la détection d'un code barre est plus
tolérante au flou qu'une image naturelle.
Exemple de signal d'alarme fourni par un appareil de
prise de vue :
Dans un système de vidéo-surveillance d'un objet,
l'appareil de prise de vue est réglé pour surveiller deux
régions. La première de ces régions est celle où se trouve
l'objet et la seconde région est l'ensemble du champ de
l'appareil de prise de vue. Si un objet dans le champ de prise
de vue se rapproche de l'objet à surveiller, alors une alarme
est déclenchée.
Dans une réalisation on fait dépendre l'action
commandée d'au moins une caractéristique de l'appareil de
capture lors de la prise de vue, notamment la focale,
l'ouverture, la distance de mise au point, les paramètres
d'exposition, les paramètres de balance des blancs, la
résolution, la compression, ou un réglage effectué par
l'utilisateur.
En effet, l'action commandée est fonction de la
netteté relative mesurée et cette netteté relative entre au
moins deux couleurs dépend du réglage de l'appareil de prise de
vue notamment de la focale, de l'ouverture et de la distance de
mise au point.
Dans une réalisation, l'image numérique constitue une
image brute issue du capteur de l'appareil de capture.
Cette disposition facilite la mesure de netteté
relative car si on utilise une image brute ou "raw", la mesure
n'est pas affectée par les traitements tels que le dématriçage,
le filtrage d'amélioration de netteté, le changement d'espace
couleur ou la courbe des tons.
L'image brute issue du capteur peut cependant avoir
subi un traitement tel qu'un débruitage, un gain numérique, une
compensation de niveau de noir.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
28
La mesure de netteté relative et/ou l'action commandée
peut (peuvent) être effectuée(s) dans l'appareil de capture.
La mesure de netteté relative peut être effectuée hors
de l'appareil de capture, par exemple sur un ordinateur après
transfert de l'image numérique et/ou on commande une action qui
est effectuée en dehors de l'appareil de capture.
On peut en effet effectuer une mesure de netteté
relative en dehors de l'appareil de capture ; de même l'action
peut être effectuée en dehors de l'appareil de capture, comme
déjà mentionné. Par exemple un programme de traitement effectué
sur un ordinateur détermine, à partir des mesures de netteté, la
distance de mise au point et/ou la profondeur de champ afin
d'effectuer des traitements dépendant de cette distance et/ou de
la profondeur de champ.
Dans une réalisation, la commande comprend une
commande de détection et/ou reconnaissance d'une partie de
l'image, telle qu'une détection et/ou reconnaissance de visage.
Par exemple on sait qu'un visage présente une taille
déterminée. Le procédé selon l'invention permet de déterminer la
distance entre des objets ou sujets et à l'appareil de capture ;
par ailleurs, à partir de cette information de distance, de la
focale et de la taille de l'objet dans l'image, on peut en
déduire la présence du visage (qui présente une taille comprise
dans une gamme déterminée). Le critère de taille de l'objet peut
être complété par d'autres critères tels que, par exemple, les
couleurs. La détection d'objet, telle que la détection de
visages, peut être utilisée notamment pour, lors d'une
téléconférence, effectuer de façon automatique une compression
forte du fond. Ce procédé peut aussi être utilisé pour la
détection du défaut, afin de le corriger, des yeux rouges, ou
pour les reconnaissances de visages (applications biométriques).
Dans une réalisation, l'action commandée comprend une
mesure de la position et/ou du mouvement de l'appareil de
capture.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
29
Dans une réalisation, on garde en mémoire un ou
plusieurs objets destinés à rester fixe(s) dans une scène d'une
image capturée et la détection de mouvement ou de position est
effectuée en déterminant la variation de la netteté relative au
cours du temps. Cette disposition peut, par exemple, être
utilisée pour réaliser une interface d'ordinateur de type
"souris" visuelle en trois dimensions.
Dans une réalisation, l'action commandée comprend la
détermination de la position dans l'image du(des) sujet(s)
principal(aux).
Le critère de détermination du sujet principal dans
une image numérique sera la plus faible distance par rapport à
l'appareil de capture. Toutefois on peut combiner ce critère
avec d'autres facteurs. Par exemple, on peut éliminer, par un
traitement automatique, des objets en bord de l'image qui
seraient proches de l'appareil de capture. Comme précédemment
décrit, on peut également tenir compte d'un critère de taille de
l'objet, cette taille étant fonction de la focale et de la
distance entre l'appareil de capture et l'objet.
Dans une réalisation l'action commandée comprend en
outre le cadrage automatique, notamment le centrage, ou le
recadrage de l'image numérique et/ou d'une autre image sur le
sujet principal de l'image numérique. L'image recadrée peut être
l'image numérique. L'image recadrée peut être également une
autre image, par exemple une image issue du même capteur et
capturée après l'image numérique.
Par exemple, on peut prévoir une mode "gros plan" qui
assure automatiquement un cadrage sur un objet de premier plan.
On peut aussi prévoir un mode "buste" qui assure automatiquement
le cadrage d'un visage selon la règle dite des trois tiers, par
exemple positionné à un tiers de la hauteur et de la largeur de
l'image.
Dans une réalisation, l'action commandée comprend
l'application d'un traitement qui est fonction, d'une part, de
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
la netteté relative et, d'autre part, d'un critère sélectionné
par l'utilisateur.
Par exemple, le critère sélectionné est le suivant
privilégier les parties de l'image qui sont les plus proches de
5 l'appareil de capture. Ainsi la commande peut consister à
augmenter la netteté de ces parties de l'image et réduire la
netteté du reste de l'image afin de créer une profondeur de
champ inférieure à celle obtenue en réalité. Dans ces conditions
on peut simuler le comportement d'un objectif à mise au point et
10 ouverture variables dans une image obtenue avec un objectif sans
commande ni de mise au point, ni d'ouverture, comme dans un
"caméraphone".
Dans une réalisation, l'action commandée comprend la
modification du contraste et/ou de la luminosité et/ou de la
15 couleur et/ou de la netteté d'une image en fonction de la
variation de netteté relative dans l'image.
Ainsi on peut simuler un éclairage localisé tel que
celui d'un flash ; on peut aussi réduire l'effet d'un flash, par
exemple pour réduire les effets de contre-jour ou d'à-plats.
20 Une scène est éclairée par une ou plusieurs sources
naturelles ou artificielles ainsi qu'éventuellement par un (ou
plusieurs) flash(s) contrôlé(s) par l'appareil.
Il est connu qu'un appareil de capture d'images
effectue un contrôle de l'exposition (temps de pose, gain du
25 capteur et, le cas échéant, ouverture), un contrôle de balance
des blancs (gain de chaque couleur dans l'ensemble de l'image)
et éventuellement du flash (durée et puissance de l'éclair) en
fonction de mesures dans une image numérique de la scène (par
exemple analyse des zones saturées, analyse d'histogramme,
30 analyse de la couleur moyenne) et/ou de mesures faites avec un
dispositif complémentaire : télémètre infrarouge, pré-éclair du
flash..., asservissement de mise au point permettant de trouver la
mise au point produisant l'image la plus nette en comparant la
netteté de plusieurs images prises avec des mises au point
différentes. Ces contrôles modifient le contraste et/ou la
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
31
luminosité et/ou la couleur de l'image mais n'utilisent pas une
mesure de la netteté relative entre au moins deux couleurs sur
au moins une région R de l'image.
D'autre part des traitements connus tels que la courbe
des tons et le rendu couleur modifient le contraste et/ou la
luminosité et/ou la couleur de l'image mais n'utilisent pas une
mesure de la netteté relative entre au moins deux couleurs sur
au moins une région R de l'image.
Ces méthodes connues sont limitées par l'absence
d'information sur la géométrie de la scène. Par exemple, il est
difficile de distinguer un objet naturellement sombre d'un objet
peu éclairé. Par exemple encore, un flash ne peut pas éclairer
correctement plusieurs sujets, si ceux-ci sont à des distances
différentes.
Dans une réalisation, l'action commandée comprend la
fourniture, à un système d'asservissement d'exposition et/ou de
balance des blancs et/ou de mise au point, de la position d'au
moins une zone d'intérêt à prendre en compte, cette zone
d'intérêt étant déterminée en comparant au moins deux mesures de
nettetés relatives.
Par exemple, la commande d'exposition peut être
effectuée sur la partie la plus proche de l'appareil de capture,
éventuellement en combinant à un autre critère tel que
l'élimination d'objet(s) proche(s), en limite d'image (bord de
champ).
L'asservissement de la balance des blancs pourra
s'effectuer par exemple sur un sujet de dimension importante au
centre de l'image, éventuellement au détriment d'un arrière-plan
éclairé différemment. En variante, le procédé consiste à
déterminer une partie proche dans l'image et une partie éloignée
et la commande de balance des blancs effectue des mesures
séparées sur ces deux régions afin de déterminer la présence ou
non de plusieurs éclairages, et effectuer des compensations
distinctes pour chacune de ces régions.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
32
Si on fournit à l'asservissement de mise au point la
position de la zone d'intérêt, l'action de mise au point sera
plus rapide et le sujet principal (zone d'intérêt) pourra être
suivi, même s'il est en mouvement.
Dans une réalisation, l'action commandée comprend la
fourniture d'un signal, destiné à l'utilisateur, indiquant que
l'image est trop proche pour être nette.
Dans une réalisation, l'action commandée comprend la
modification de résolution d'une image en fonction de la netteté
relative mesurée. L'image peut être l'image numérique. L'image
peut être également une autre image, par exemple une image issue
du même capteur et capturée après l'image numérique.
Par exemple la résolution est réduite lorsque l'image
est prise à une distance de l'appareil de capture qui est trop
faible pour obtenir une image nette à pleine résolution, la
résolution finale étant choisie pour obtenir une image nette.
Dans une réalisation, l'action commandée comprend la
fourniture d'une information, ou signal, utilisée pour une
indexation automatique de l'image numérique.
Par exemple, si l'image comporte des sujets ou objets
à une distance inférieure à une limite et d'une taille
supérieure à un seuil, alors l'indexation pourra consister en la
fourniture d'un signal indiquant qu'il s'agit d'un portrait ou
d'un groupe de personnes. La distinction entre ces deux
situations s'effectue selon que la scène imagée comporte un ou
plusieurs objets ou sujets proches. Si la distance des objets ou
sujets est supérieure à une limite prédéterminée, alors on peut
considérer que l'image représente un paysage.
Selon une réalisation, l'action commandée comprend la
fourniture à un dispositif de capture de son(s), d'une
information de distance et/ou de direction par rapport à
l'appareil de capture, d'un sujet ou objet dans l'image
numérique.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
33
Ainsi, dans un caméscope ou un caméraphone, on peut
déterminer le (ou les) sujet(s) principal(aux), déterminer les
distances et/ou les directions de ces sujets principaux et
focaliser la capture du son sur le sujet principal ou les sujets
principaux et ainsi éliminer le bruit de fond. La commande de
directivité de la capture du son peut être effectuée à l'aide de
deux microphones et d'un déphasage entre les signaux de ces
microphones.
Une application particulière de cette dernière
disposition est, dans une vidéo-conférence, l'utilisation d'un
appareil de capture d'image à grand angle et un suivi
automatique du sujet qui s'exprime oralement.
Dans une réalisation, l'action commandée comprend le
paramétrage d'une compression élevée pour l'arrière-plan et une
compres s ion pour le ( s) suj et ( s) principal ( aux) , ce ( s) suj et ( s)
principal(aux) étant déterminé(s) comme constituant une zone de
l'image satisfaisant à des critères basés sur la netteté
relative mesurée.
Ainsi, par exemple lors d'une visio-conférence, on
peut minimiser le débit tout en gardant une visibilité
satisfaisante du sujet principal. Ce dernier est déterminé comme
constituant la partie de l'image la plus proche de l'appareil de
prise de vue et déterminé différemment comme décrit dans la
présente demande.
Dans une réalisation, l'appareil de capture comporte
un capteur ayant des pixels munis de filtres colorés d'au moins
deux sortes, ces filtres étant choisis de manière que leurs
réponses spectrales présentent peu de recouvrement.
Dans ces conditions, on peut maximiser la différence
de netteté entre deux couleurs et donc optimiser la précision de
la mesure de netteté relative.
Dans une réalisation, l'appareil de capture comporte
un capteur présentant des pixels servant principalement à
produire l'image et d'autres pixels servant principalement à la
mesure de la netteté relative.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
34
Dans une réalisation, les pixels servant
principalement à mesurer la netteté relative ont une réponse
spectrale dans une bande spectrale qui présente peu de
recouvrement avec la bande spectrale, des pixels servant
principalement à produire l'image.
Dans une réalisation, les pixels servant
principalement à produire l'image ont une réponse spectrale
principalement dans le domaine visible à l'oeil humain et les
autres pixels ont une réponse spectrale principalement en dehors
du domaine visible à l'oeil humain.
L'invention concerne aussi un capteur ainsi défini,
indépendamment d'un appareil de capture et du procédé, selon
l'invention, défini ci-dessus.
L'invention concerne aussi un appareil de capture
comportant un tel capteur, cet appareil de capture pouvant aussi
s'utiliser indépendamment du procédé défini ci-dessus.
L'invention concerne également, selon une disposition
qui peut s'utiliser en combinaison avec les (ou indépendamment
des) dispositions définies ci-dessus, un appareil de capture
d'images numériques qui comporte un capteur présentant, d'une
part, des pixels dont la réponse spectrale est principalement
dans le domaine visible à l'oeil humain et, d'autre part, des
pixels supplémentaires ayant une réponse spectrale,
principalement en dehors du spectre visible à l'oeil humain, ce
capteur était tel que la partie d'image issue des pixels
supplémentaires présente une netteté, dans au moins une plage de
distances entre l'appareil de capture et la scène imagée,
supérieure à la netteté de la partie de l'image issue des pixels
de réponse spectrale principalement dans le domaine visible.
Les pixels supplémentaires peuvent êtres sensibles au
rayonnement infrarouge et/ou ultraviolet. Les pixels sensibles
au rayonnement ultraviolet peuvent servir à améliorer la netteté
pour les courtes distances, tandis que les pixels sensibles au
rayonnement infrarouge peuvent servir à améliorer à la netteté
aux grandes distances. Par infrarouge et/ou ultraviolet, on peut
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
entendre toute partie du spectre au delà ou en deça du spectre
visible, notamment le proche infra-rouge tel que 700 à 800 ou
700 à 900nm., ou le proche ultra violet proche de 400nm.
Dans une réalisation, l'appareil de capture est muni
5 d'une optique fixe, c'est-à-dire dépourvu d'éléments mécaniques
pour la mise au point.
Dans ces conditions, on peut effectuer une mise au
point par traitement numérique.
Dans une réalisation, l'appareil de capture est muni
10 d'une optique à focale variable sans élément mobile ou
déformable de mise au point, la netteté relative entre au moins
deux couleurs sur au moins une région R de l'image étant
variable selon la focale et/ou la position de l'objet imagé par
rapport à l'appareil.
15 On obtient ainsi un dispositif muni d'un zoom plus
simple, ce qui permet de réduire la taille et le coût, et
d'augmenter la fiabilité.
L'optique à focale variable comporte par exemple un
seul groupe optique mobile ou déformable.
20 On sait qu'un zoom est réalisé avec au moins deux
groupes mobiles, par exemple un ou deux pour la focale et
l'autre pour la mise au point. En général, la mise au point et
la focale sont indépendantes, c'est-à-dire que lorsque la focale
varie, il n'est pas nécessaire de modifier la mise au point.
25 Ceci élimine le temps nécessaire à la mise au point. Il existe
également des optiques à focale variable, dites varifocales,
moins onéreuses, dans lesquelles la mise au point doit être
modifiée lorsque la focale varie. Enfin, il existe des zooms
afocaux dans lesquels, deux groupes optiques mobiles liés de
30 manière complexe sont utilisés pour faire varier la focale, la
mise au point étant réalisée par un troisième groupe.
Dans une réalisation, l'image numérique est issue d'au
moins deux capteurs.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
36
Par exemple, chaque capteur est dédié à une couleur
déterminée. On peut par exemple faire appel à un capteur du type
tri-CCD avec une optique commune d'imagerie sur ces capteurs.
Dans une réalisation, l'action commandée comprend
l'ajout d'un objet dans une image et/ou le remplacement d'une
partie d'une image en fonction de la netteté relative mesurée
sur l'image numérique.
Par exemple, le procédé permet d'ajouter un personnage
à côté du sujet principal. On peut aussi, à titre d'exemple,
ajouter un objet dans une position donnée dans l'image ; l'objet
aura la taille correcte dans l'image si l'on tient compte de la
distance de la scène imagée à cette position.
On peut également modifier l'arrière-plan ou
éventuellement le masquer.
On peut aussi extraire une partie de l'image, tel que
le sujet principal, et l'insérer dans une autre image, de type
naturel ou de synthèse, par exemple dans le cadre d'un jeu.
Il est également possible d'ajouter une information
publicitaire en un endroit déterminé et une distance fixée de la
scène, par exemple derrière le sujet principal.
Dans une réalisation, le procédé comprend la capture
d'une séquence d'images, l'image numérique faisant partie de la
séquence et l'action commandée étant effectuée sur au moins une
autre image de la séquence.
Ainsi, comme déjà décrit, l'estimation de la netteté
relative peut être effectuée sur des images de prévisualisation
avant prise de vue, a plus faible résolution, alors que la
correction peut être effectuée sur une image définitivement
mémorisée, par exemple au moyen d'un choix de filtres résultant
d'une mesure effectuée sur les images de prévisualisation.
Dans une réalisation l'action commandée comprend la
modification d'un réglage de l'appareil de capture, notamment la
focale, l'ouverture, la distance de mise au point.
Ainsi, l'appareil de prise de vue peut comporter un
programme de réglage automatique tel que l'ouverture est
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
37
augmentée si le sujet principal se trouve devant un fond,
l'arrière-plan pouvant alors être flou. Le programme de réglage
peut aussi adapter automatiquement l'ouverture à la distance des
sujets d'un groupe afin que la profondeur de champ soit
suffisante pour que tous les sujets du groupe soient nets. On
notera que, dans ce dernier cas, on obtient une fonction
réalisée automatiquement alors qu'elle est effectuée de façon
manuelle dans l'état de la technique.
Dans une réalisation l'action commandée comprend la
production d'une image brute modifiée.
L'image numérique est de préférence l'image brute du
capteur (format "raw" en anglais) avant opération de dématriçage
("demosaicing" en anglais) . L'image numérique peut également
avoir subi un traitement, par exemple, une balance des blancs.
De préférence, l'image numérique n'a pas subi de sous-
échantillonnage.
On obtient ainsi un ensemble à système optique,
capteur et moyen de traitement d'image qui produit une image
brute présentant une meilleure qualité ou des caractéristiques
particulières, par exemple une extension de la profondeur de
champ, tout en conservant des caractéristiques similaires à une
image brute directement issue du capteur et en particulier une
comptabilité avec les blocs fonctionnels ou composants connus
effectuant la fonction de conversion image brute vers image
visible ("image pipe" ou "image signal processor" en anglais).
En variante, l'image brute a subi un dématriçage.
Dans une réalisation, l'optique de l'appareil de capture
présente de fortes aberrations chromatiques longitudinales, par
exemple telles que, pour une mise au point, une ouverture et
une focale déterminées, il existe au moins une couleur pour
laquelle la distance objet de meilleure netteté est inférieure à
r2
kJ
O.P
k étant un coefficient inférieur à 0,7, de préférence
inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
38
petit (parmi toutes les couleurs de l'image) des diamètres de la
tache de flou d'un point objet se trouvant à l'infini.
Dans une réalisation la mesure de netteté relative
entre deux couleurs est obtenue par la comparaison entre les
résultats d'une première mesure M appliquée à la première
couleur et le résultat de la seconde mesure appliquée à la
seconde couleur, chaque mesure M fournissant une valeur
fonction, d'une part, de la netteté de la couleur et, d'autre
part, du contenu de l'image numérique, afin que la comparaison
puisse s'affranchir du contenu de l'image numérique.
FYpmple de définition et de réalisation de mesure de
netteté relative :
La comparaison des nettetés est effectuée en utilisant
une mesure M sur des pixels de l'image numérique.
La mesure M en un pixel P donné, pour un canal de
couleur C donnée correspond au gradient de la variation de C
dans un voisinage P. Elle est obtenue par le calcul suivant :
Pour une couleur C donnée, on considère V(P) un
voisinage du pixel P.
On note GM la moyenne de l'amplitude des gradients sur
le voisinage V(P), et SM la moyenne de l'amplitude des
différences entre GM et les gradients sur le voisinage V(P).
Un gradient se calcule par l'amplitude de la
différence de valeurs de deux pixels d'une même couleur. Les
gradients dans le voisinage V(P) correspondent aux gradients
mettant en jeu un nombre prédéterminé de couples de pixels dans
le voisinage V(P).
La mesure M au pixel P ayant une couleur C peut être
définie par le rapport entre SM et GM. On obtient ainsi une
valeur M (P, C).
Cette mesure ne permet pas, en elle-même, de
caractériser précisément et complètement la netteté de la
couleur C. En effet, elle dépend du contenu de l'image (type de
scène imagée : textures, dégradés, etc...) dans le voisinage V(P)
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
39
du pixel P. Une transition franche dans la scène imagée pour une
même netteté de couleur, générera une mesure M plus élevée
qu'une transition douce dans la scène imagée. Sur des images
naturelles, une transition sera présente de la même façon dans
chaque couleur, affectant ainsi la mesure M de la même façon
entre les couleurs. Autrement dit quand une transition franche
apparaît sur une couleur C, le même type de transition apparaît
sur les autres couleurs.
Ainsi, la comparaison des mesures M permet d'établir
la netteté relative entre une couleur Cl et une couleur C2.
La netteté relative, entre deux couleurs Cl et C2,
mesurée en un pixel P peut se définir par exemple comme une
comparaison entre les deux mesures M(P,C1) et M(P,C2). Ainsi
M(P,C1)>M(P,C2) implique que Cl est plus net que C2.
Par exemple aussi, on pourra utiliser une des formules
suivantes :
M(P,C1)-M(P,C2),
M(P,C1)/M(P,C2),
Ou tout autre fonction F(M ( P, C1) , M(P, C2 ) adaptée à la
comparaison entre les deux mesures.
La netteté relative dans une région R de l'image peut
être définie en utilisant la mesure M sur tous les pixels P de
la région R.
La netteté relative dans une région R de l'image peut
être l'ensemble ou un sous-ensemble des nettetés relatives
mesurées pour les pixels P de la région R. Elle peut aussi être
définie comme une valeur unique telle que la somme S des mesures
sur tous les pixels P de la région R pour chacune des couleurs.
Ainsi, pour deux couleurs Cl et C2, on peut par exemple
considérer que S(C1)>S (C2) implique que Cl est plus net que C2
en moyenne sur la région R.
On peut aussi utiliser toute autre fonction
G(S(C1),S(C2)) permettant la comparaison de ces deux mesures.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
Dans une réalisation, lorsque l'action commandée
5 consiste à déterminer la position du sujet principal dans
l'image, l'action commandée comprend en outre le cadrage
automatique, notamment le centrage de l'image sur le sujet
principal.
Le procédé peut être mis en oeuvre dans un appareil ou
10 dispositif de capture d'image ou de traitement d'image. Ces
appareils ou dispositifs font partie du groupe comprenant : un
composant électronique, intégrant ou non un capteur, un sous-
ensemble électronique intégrant une optique, un capteur et
éventuellement un module de traitement d'image ("caméra module")
15 ou toute autre forme comme définie ci-dessus.
D'autres caractéristiques et avantages de l'invention
apparaîtront avec la description de certains de ses modes de
réalisation, celle-ci étant effectuée en se référant aux dessins
ci-annexés sur lesquels :
20 - les figures la et lb, déjà décrites, sont des
schémas représentatifs de l'aberration chromatique longitudinale
d'une lentille convergente,
- la figure 2, déjà décrite, est le diagramme spectral
en couleur d'une image,
25 - les figures 3a et 3b sont des diagrammes
représentant l'amélioration de la netteté d'une couleur au moyen
d'une même couleur nette selon l'invention,
- la figure 4 est un diagramme représentant
l'amélioration de la netteté d'une couleur au moyen de
30 différentes couleurs nettes associées à des régions distinctes
d'une image selon l'invention,
- les figures 5, 6 et 7 sont des diagrammes
représentant l'amélioration de la netteté d'une couleur au moyen
de différentes couleurs nettes associées à l'ensemble d'une
35 image selon l'invention,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
41
- la figure 8 est un diagramme représentant
l'asservissement d'un appareil en fonction d'un écart de netteté
entre la couleur nette et la couleur à améliorer selon
l'invention,
- la figure 9 est un diagramme représentant le choix
d'une couleur nette à partir d'une distance mesurée entre un
objet et un appareil capturant l'image de cet objet,
- la figure 10 est un diagramme représentant la
réduction de la netteté d'au moins une couleur dans au moins
une région de l'image,
- la figure 11 est un schéma d'un appareil obtenu par
le procédé selon l'invention,
- la figure 12 un diagramme montrant des étapes du
procédé selon l'invention,
- la figure 13 montre un mode de réglage conforme à
l'invention,
- la figure 14a et 14b forment un ensemble de
diagrammes montrant des réglages utilisés dans le cadre de
l'invention,
- les figures 15, 15a, et 15b illustrent une propriété
d'un appareil de capture d'images selon l'invention et d'un
appareil conventionnel,
- les figures 16a à 16d sont des diagrammes montrant
les propriétés d'un système optique d'un appareil selon
l'invention et d'un appareil classique,
- les figures 17a et 17b sont des schémas montrant un
exemple de sélection de système optique pour un appareil selon
l'invention,
- la figure 18 est un diagramme illustrant des
caractéristiques d'un appareil de prise de vue selon
l'invention,
- les figures 18.1 et 18.2 représentent des moyens de
mise en aeuvre du procédé selon l'invention,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
42
- les figures 19.1, 19.2 et 19.3 représentent des
étapes du procédé selon l'invention selon plusieurs variantes de
réalisation, et
- les figures 20.1 et 20.2 représentent d'autres
réalisations de l'invention.
Conformément à l'invention, le procédé décrit ci-
dessous améliore la netteté d'au moins une couleur d'une image
numérique en choisissant parmi les couleurs de l'image au moins
une couleur dénommée couleur nette et en répercutant la
netteté de la couleur nette sur au moins une autre couleur
améliorée, comme montré ci-dessous à l'aide des figures 3a et
3b.
Plus précisément, sur la figure 3a est représentée la
netteté (axe 7.2 des ordonnées) de deux couleurs 13.1 et 13.2 en
fonction de la distance des objets qu'elles représentent sur
l'image considérée vis-à-vis de l'appareil ayant capturé l'image
(axe 7.1 des abscisses).
Comme précédemment expliqué, la netteté de ces deux
couleurs varie différemment en fonction de cette distance mais
globalement, dans cet exemple, la première couleur 13.2 présente
une meilleure netteté que celle d'une deuxième couleur 13.1 de
cette même image.
C'est pourquoi, selon le procédé conforme à
l'invention, on répercute la netteté de la première couleur 13.2
pour effectuer l'amélioration 14 de la netteté de la deuxième
couleur 13.1 qui présente, après cette amélioration, une netteté
13.3 accrue.
Dans cet exemple, CA, CO et CN sont respectivement des
valeurs représentatives de la couleur améliorée, de la couleur
d'origine (ou à améliorer) et de la couleur nette. Dans cet
exemple, la couleur nette est la première couleur. La couleur
d'origine et la couleur améliorée correspondent à la deuxième
couleur avant et après traitement.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
43
On effectue la répercussion de la netteté sur la
deuxième couleur en utilisant un filtre F, selon une formule du
type .
CA=CN+F (C0-CN)
Typiquement, le filtre F présentera la particularité
d'enlever les détails de l'image sur laquelle on l'applique.
Pour cela on pourra utiliser un filtre linéaire passe-bas (ou
moyenneur). On peut également utiliser un des nombreux filtres
non linéaires connus présentant la particularité d'enlever des
détails comme par exemple un filtre médian.
A ce stade, il convient de rappeler que la rétine
humaine présente une sensibilité particulièrement élevée, vis-à-
vis des détails d'une image, pour la couleur verte de telle
sorte que le réglage des systèmes optiques vise généralement à
obtenir une netteté élevée pour cette couleur pour une certaine
plage de mise au point (cf, par exemple, les pages 30 à 33 de
l'ouvrage Color appearance models , de Mark D. Fairchild
édité par Addison Wesley).
Ainsi, selon une constatation propre à l'invention, un
dispositif optique délivrant des images dont la netteté n'est
pas satisfaisante pour l'oeil humain peut présenter une netteté
satisfaisante pour une de ses couleurs, telles que le bleu ou le
rouge, pour lesquelles l'aeil présente une sensibilité moindre
lorsqu'il considère des détails.
Typiquement, pour une optique de mise au point à
grandes distances (hyperfocal), en considérant une image
présentant un objet proche et un objet lointain, il apparaît que
la netteté de l'objet lointain est généralement favorisée avec
une couleur verte tandis que la netteté de l'objet proche est
améliorée en considérant la couleur bleue.
Il apparaît alors important de pouvoir améliorer des
régions d'une image selon différentes couleurs nettes en
fonction de la netteté relative entre deux couleurs.
De fait, dans une réalisation de l'invention, on
choisit la couleur nette servant à améliorer la netteté d'une
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
44
couleur en fonction de régions de l'image, un tel procédé étant
décrit ci-dessous à l'aide de la figure 4 qui montre une image
comprenant deux régions 11.1 et 11.2.
Dans ces deux régions sont présentes deux couleurs 8.2
5 et 8.3. Toutefois, la netteté (axe des ordonnées 7.2) de ces
couleurs est telle que, dans la région 11.1, la couleur 8.2 est
la plus nette tandis que, dans la région 11.2, la couleur 8.3
est la plus nette.
Dès lors, l'amélioration d'une couleur dans la région
10 11.2 s'effectue en considérant la couleur 8.3 comme couleur
nette tandis que l'amélioration d'une couleur dans la région
11.1 s'effectue en considérant la couleur 8.2 comme couleur
nette.
A ce niveau, il convient de noter que les régions
d'une image peuvent être prédéterminées ou non. Par exemple,
dans le cas d'une image numérique faite de pixels, une région
peut être une zone spatiale délimitée par un ou plusieurs
pixels.
En outre, il est possible de choisir une couleur nette
pour améliorer une autre couleur en effectuant une simple
comparaison de la netteté d'une couleur par rapport aux autres,
au moins une autre, indépendamment de toute notion de distance
telle que celle représentée par l'axe 7.1.
Dans ce cas, une telle analyse se présente sous la
forme, par exemple, d'un tableau
Zone 11.1 11.2
Netteté 8.2>8.3 8.3>8.2
Dans ce cas, on sélectionne la couleur 8.2 comme
couleur nette dans la région 11.1 tandis que la couleur 8.3 est
la couleur nette dans la zone 11.2.
Indépendamment de l'utilisation de régions dans une
image, il peut être avantageux de considérer différentes
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
couleurs nettes pour améliorer une couleur sur une image, comme
décrit ci-dessous à l'aide des figures 5, 6 et 7.
Plus précisément, le diagramme de la figure 5
représente la netteté (axe des ordonnées 7.2) de deux couleurs
5 8.2 et 8.3 en fonction de la distance (7.1) entre au moins un
objet de la scène capturée pour obtenir ladite image et
l'appareil de capture.
Il apparaît que sur la plage 9.1, la couleur 8.3
présente une netteté supérieure à la netteté de la couleur 8.2
10 tandis que la situation est inverse pour de plus grandes
distances (plage 9.2).
Dans ce cas, un procédé conforme à l'invention peut
considérer la couleur 8.3 comme couleur nette, servant à
corriger la netteté d'une couleur, sur la plage de distances
15 9.1, tandis que la couleur 8.2 est considérée comme la couleur
nette pour améliorer une couleur issue d'un objet de la scène
capturée pour obtenir l'image située à une distance de
l'appareil de capture comprise dans la plage 9.2.
Suite à de telles corrections, la netteté des couleurs
20 sur l'image peut être améliorée vers un profil tel que montré
sur le diagramme 6, à savoir la juxtaposition des couleurs les
plus nettes sur l'image.
Il est clair que, de façon analogue à la description
de la figure 4, il est possible de choisir une couleur nette
25 pour améliorer une autre couleur en effectuant une simple
comparaison de la netteté d'une couleur par rapport aux autres,
au moins une autre, indépendamment de toute notion de distance
telle que celle représentée par l'axe 7.1.
Les courbes de netteté représentées dans les figures
30 déjà décrites 3a, 3b, 4, 5 et 6 et décrites ultérieurement 7 à
10, peuvent varier selon la position géométrique de la région
considérée de l'image et/ou d'autres paramètres de capture
d'image tels que la focale, l'ouverture, mise au point, etc...
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
46
Pour déterminer la couleur la plus nette au sens de
l'invention, il n'est pas besoin de connaître les paramètres
indiqués ci-dessus.
Dans d'autres cas, et notamment pour déterminer la
distance selon l'invention et/ou pour contrôler la profondeur de
champ, il est nécessaire de connaître certains de ces
paramètres ainsi que les courbes de netteté, au moins de
façon(s) partielle(s) ou approximatives pour certaines valeurs
de ces paramètres.
Par ailleurs, le choix de la couleur nette peut aussi
être déterminé par l'activation logicielle d'au moins un mode de
capture d'image tel qu'un mode macro comme décrit
ultérieurement. Dans un tel cadre, on pourra considérer l'image
comme une seule région.
Il convient de préciser que sur ces figures 5 et 6 est
représenté un seuil 8.1 qui indique le niveau requis de netteté,
au delà duquel l'image est considérée comme floue.
Dans un traitement classique, représenté en figure 7,
un tel seuil 8.1 définit la profondeur de champ, c'est-à-dire la
plage 9.2 de distances entre au moins un objet de la scène
capturée pour obtenir ladite image, et l'appareil de capture,
telle que l'image de l'objet soit nette.
Une conséquence de l'invention est donc de permettre
une extension de la profondeur de champ d'un système optique
comme détaillé ci-dessous à l'aide de la figure 9. Sur cette
figure, la profondeur de champ d'un appareil de capture,
initialement limitée par la netteté de la couleur 8.2 et le
seuil de netteté 8.1, est accrue en utilisant une deuxième
couleur 8.3 présentant une netteté satisfaisante (en dessous du
seuil 8.1) sur une nouvelle plage de distances entre au moins un
objet de la scène capturée pour obtenir ladite image et
l'appareil de capture.
Concrètement, une telle application est mise en oeuvre
dans les appareils photographiques à focus fixe, tels que les
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
47
caméraphones. En effet, la conception optique de ces appareils
prévoit une plage de netteté pour de grandes distances jusqu'à
quelques dizaines de centimètres au mieux sur la base d'une
couleur verte, analogue à la couleur 8.2 de la figure 5.
Par ailleurs, la couleur bleue ne focalisant pas de la
même façon, elle peut présenter une netteté à des distances plus
faibles que la couleur verte, de façon analogue à la couleur
8.3.
Dès lors, l'invention permet d'augmenter la netteté d'une
image à faible distance d'un caméraphone en attribuant à la
couleur verte, et aux autres couleurs, la netteté de la couleur
bleue, augmentant de façon corollaire la profondeur de champ de
l'appareil.
Dans un mode de réalisation de l'invention, montré à
l'aide de la figure 8, plus particulièrement adapté à un
appareil de capture muni d'un autofocus, le procédé détermine
une consigne d'asservissement de l'appareil de capture considéré
à partir de la netteté d'au moins deux couleurs de l'image
saisie de sorte que la mise au point se fait en moins d'étapes
et donc plus rapidement.
Par exemple, une distance 17.1 entre au moins un objet de
la scène imagée et le système optique 1 capturant l'image peut
être déterminée à l'aide des différents niveaux de netteté (axe
7.2 des ordonnées) des couleurs 8.2 et 8.3 utilisées dans la
région 11.3 relative à l'image de l'objet.
Connaissant une telle distance entre l'objet 4 et le
système 1, il est alors possible de déterminer une consigne 5
d'asservissement de l'appareil 6 de capture. Cette figure 8 sera
décrite ci-après de façon plus détaillée.
Selon une autre réalisation de l'invention, montrée à
l'aide de la figure 10, on réduit la netteté d'au moins une
couleur dans au moins une région de l'image.
Application Macro
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
48
On va maintenant décrire, en s'appuyant sur les figures
5, 6 et 7, une réalisation du procédé et système selon
l'invention, plus particulièrement adaptée à la réalisation
d'une fonction Macro sans nécessité d'un dispositif mécanique
particulier pour un appareil de capture d'image connu. Une
fonction macro est destinée à permettre la réalisation d'image
d'objets proches de l'appareil de capture dans une plage
prédéterminée de distances, dite plage de distances macro 9.1, à
l'appareil. Habituellement, un appareil de capture permet de
déplacer tout ou partie de l'optique pour réaliser la fonction
macro. Le procédé ou système objet de l'invention permet de
s'affranchir d'un tel déplacement.
Selon l'invention, on prédétermine la couleur la plus
nette pour la plage de distances macro 9.1, par exemple par
mesure de la netteté 8.2 et 8.3 des couleurs des images
numériques obtenues par l'appareil de capture pour chaque
couleur en réalisant des images numériques à partir d'objets
situés à différentes distances de l'appareil de capture. La
couleur la plus nette (figure 5) est celle correspondant à la
mesure 8.3. Cette prédétermination peut être réalisée de façon
définitive, par exemple au moment de la conception de l'appareil
(ou de la série d'appareils).
Par la suite, lors de l'utilisation de l'appareil,
lorsque la fonction Macro est activée, on répercute alors la
netteté de la couleur nette ainsi prédéterminée sur les autres
couleurs, comme décrit précédemment. Lorsque la fonction Macro
est désactivée, on peut calculer la netteté de l'image numérique
par une méthode classique ou en utilisant le procédé selon
l'invention appliqué à la plage de distances 9.2.
On obtient ainsi une fonction macro compatible d'une
optique à mise au point fixe sans aucun mécanisme mobile, donc
sans changer l'encombrement de l'appareil de capture d'image ni
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
49
ajouter de surcoût matériel. Le mode macro peut ainsi être
activé de façon logicielle au niveau de l'appareil ou de tout
autre dispositif traitant l'image. Cette activation logicielle
peut se faire ainsi de façon classique avant la capture de
l'image mais également après cette capture et sur un dispositif
local ou distant de l'appareil de capture. Selon une variante,
l'activation du mode macro peut être faite automatiquement par
exemple en déterminant l'image la plus nette entre l'image
générée en mode normal et l'image générée en mode macro.
La fonction macro réalisée selon l'invention, bénéficie
également à un appareil comportant des paramètres variables au
moment de la capture de l'image numérique et ayant une influence
sur la netteté des couleurs, notamment un appareil de capture
avec zoom, et/ou une optique avec mise au point variable et/ou
une ouverture variable. On utilise alors les courbes de netteté
8.2 et 8.3 correspondant à la valeur des paramètres variables
selon l'image numérique.
L' aj out de fonction macro permet la prise de vue de code
barre, de carte de visite, ou de manuscrit contenant texte et/ou
schéma par un appareil de capture d'image, notamment un
téléphone ou un appareil photo.
Application extension de profondeur de champ
On va maintenant décrire en s'appuyant sur les figures 4,
5, 6 et 7 une réalisation du procédé et système selon
l'invention, plus particulièrement adaptée à la l'extension de
la profondeur de champ sans nécessité d'un dispositif mécanique
particulier pour un appareil de capture d'image connu. La
profondeur de champ correspond à la plage de distances, entre
les objets de la scène et l'appareil de capture d'image,
permettant l'obtention d'une image numérique nette.
Habituellement, un appareil de capture a une profondeur de champ
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
limitée et d'autant plus faible que l'ouverture de l'optique est
grande.
Selon l'invention et comme représenté sur la figure 4, on
5 décompose l'image numérique en régions 11.1 et 11.2 par exemple
en régions carrées correspondant à 9 éléments sensibles voisins
du capteur, ou, de manière plus générale, en régions
correspondant à X par Y éléments sensibles ou en régions de
forme prédéterminée ou calculée selon l'image numérique. On
10 choisit alors pour chaque région la couleur la plus nette, par
exemple comme la couleur correspondant à la valeur la plus
faible parmi les valeurs obtenues par calcul d'un gradient pour
chaque couleur à partir des niveaux de gris correspondant à la
couleur et la région considérées. Sur la figure 4, la couleur
15 correspondant à la courbe 8.3 est plus nette pour la région 11.2
alors que la couleur correspondant à la courbe 8.2 est plus
nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la
couleur nette ainsi choisie sur les autres couleurs.
En s'appuyant sur la figure 5, on peut voir que l'image
numérique d'objets proches -de distance 5 à l'appareil de
20 capture comprises dans la plage de distances 9.1- est nette pour
la couleur correspondant à la courbe 8.3 (par exemple le bleu)
alors qu'elle l'est moins pour la couleur correspondant à la
courbe 8.2 (par exemple le vert). On peut voir également que
l'image numérique d'objets lointains -de distances à l'appareil
25 de capture comprises dans la plage de distances 9.2- est nette
pour la couleur correspondant à la courbe 8.2 alors qu'elle
l'est moins pour la couleur correspondant à la courbe 8.3. L'oeil
étant beaucoup plus sensible à la netteté dans le vert que le
bleu, il va percevoir une netteté correspondant à la courbe 8.5
30 de la figure 7. Si 8.1 correspond au seuil de netteté pour
l'oeil, l'image ne sera nette que pour les objets situés à une
distance de l'appareil de capture dans la plage 9.2. La figure 6
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
51
représente, par la courbe 8.4, la netteté obtenue dans chaque
couleur après utilisation du procédé selon l'invention : le bleu
a permis d'obtenir une netteté meilleure que le seuil 8.1 pour
les objets proches, situés dans la plage de distances 9.1, alors
que le vert a permis d'obtenir une netteté meilleure que le
seuil 8.1 pour les objets distants, situés dans la plage de
distances 9.2. On obtient ainsi une image numérique nette pour
toutes les couleurs dans une grande plage de profondeur de
champ.
Ceci constitue un exemple où le choix de la couleur nette
est effectué selon une règle prédéterminée à savoir le choix de
la couleur la plus nette dans chaque région.
Ainsi la profondeur de champ est augmentée sans augmenter
le coût, la complexité ou l'encombrement de l'optique et/ou sans
avoir besoin de changer l'exposition, donc sans réduire
l'ouverture, ni augmenter le niveau de bruit ou augmenter le
flou de bougé.
L'augmentation de profondeur de champ réalisée selon
l'invention bénéficie notamment aux optiques fixes, notamment
aux téléphones. L'augmentation de profondeur de champ permet à
la fois la prise de vue de code barre, de carte de visite, ou de
manuscrit contenant texte et/ou schéma ainsi que de portraits ou
de paysages par un appareil de capture d'image, notamment un
téléphone ou un appareil photo. Ceci est possible sans utiliser
de dispositif coûteux d'autofocus ou macro. De plus ce
dispositif, comparé à un dispositif macro mécanique manuel est
réalisé de manière entièrement automatique sans aucune
intervention de l'utilisateur.
L'augmentation de profondeur de champ réalisée selon
l'invention, bénéficie également à un appareil comportant des
paramètres variables au moment de la capture de l'image
numérique et ayant une influence sur la netteté des couleurs,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
52
notamment un appareil de capture avec zoom, et/ou une optique
avec mise au point variable et/ou une ouverture variable. On
utilise alors les courbes de netteté 8.2 et 8.3 correspondant à
la valeur des paramètres variables selon l'image numérique.
Le procédé et dispositif selon l'invention permet alors de
choisir ou concevoir, comme décrit ultérieurement à l'aide des
figures 11 à 17b, lors de la conception de l'appareil de
capture, une optique avec un nombre plus limité de positions de
mise au point, ce qui a pour avantage de réduire les contraintes
de conception de l'optique et donc d'en diminuer les coûts. Ceci
a également pour avantage de permettre une mise au point plus
rapide et moins coûteuse en diminuant la précision nécessaire du
mécanisme d'asservissement.
Par exemple, pour obtenir une optique de grande profondeur
de champ on peut choisir ou concevoir une optique ayant la
caractéristique d'avoir l'union des plages de distances nettes
pour chacune des couleurs la plus grande possible.
Par exemple, pour obtenir une optique de grande ouverture
on peut choisir ou concevoir une optique ayant la
caractéristique d'avoir une seule couleur nette dans chacune des
plages de distances et telle que l'union des plages de distances
nettes pour chacune des couleurs corresponde à la profondeur de
champ souhaitée.
Par exemple encore, on peut aussi optimiser à la fois
l'ouverture de l'appareil et la profondeur de champ de l'image.
On obtient aussi un procédé et un dispositif qui
permettent de réduire les aberrations chromatiques
longitudinales d'une image numérique.
On obtient également un procédé et dispositif qui permet
d'augmenter la netteté d'une image sans connaître l'appareil de
capture utilisé pour la produire.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
53
Application à la mesure de la distance des objets d'une
scène à partir d'une seule image
On va maintenant décrire en s'appuyant sur la figure 8
une réalisation du procédé et système selon l'invention, plus
particulièrement adaptée à la mesure de la distance des objets
d'une scène à partir d'une seule image sans nécessité d'un
dispositif matériel de mesure de télémétrie. Le procédé permet
alors d'obtenir une estimation de distance des objets présents
dans chaque région de l'image numérique.
Habituellement, un appareil de capture utilise un
dispositif matériel pour mesurer la distance des objets d'une
scène basée sur un laser, un dispositif infrarouge, un pré-
éclair de flash...
Selon l'invention, et comme représenté sur la figure 8, on
décompose l'image numérique en régions 11.3 par exemple en
régions carrées correspondant à 9 éléments sensibles voisins du
capteur, ou, de manière plus générale, en régions correspondant
à X par Y éléments sensibles ou en régions de forme
prédéterminée ou calculée selon l'image numérique. On mesure
alors pour chaque région 11.3 la netteté d'au moins deux
couleurs, on reporte alors les valeurs mesurées, ou les valeurs
relatives mesurées 16.1 et 16.2, sur les courbes 8.2 et 8.3
correspondantes de netteté de l'appareil de capture. On obtient
alors une distance 17.2 correspondant à une estimation de la
distance 17.1 entre la partie de l'objet 4 représentée sur la
région 11.3 et l'appareil de capture.
La mesure de distance réalisée selon l'invention bénéficie
notamment aux optiques fixes, notamment aux téléphones.
La mesure de distance réalisée selon l'invention, bénéficie
également à un appareil comportant des paramètres variables au
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
54
moment de la capture de l'image numérique et ayant une influence
sur la netteté des couleurs notamment un appareil de capture
avec zoom, et/ou une optique avec mise au point variable et/ou
une ouverture variable. On utilise alors les courbes de netteté
8.2 et 8.3 correspondant à la valeur des paramètres variables
selon l'image numérique.
Le procédé permet alors d'obtenir une estimation de
distance des objets présents dans chaque région de l'image
numérique. Ceci permet :
- de construire un dispositif télémètre temps réel et bas
coût à l'aide d'un capteur et d'une optique standard qui délivre
une image et des informations de distance corrélées à l'image ;
habituellement, plusieurs prises de vues sont nécessaires ou un
dispositif matériel spécifique est nécessaire et l'association
image/information de distance est complexe ;
- par exemple on affiche la distance en temps réel sur
l'image,
- par exemple l'information de distance permet de guider
un robot,
- d'accélérer la mise au point d'appareils de capture à
mise au point ou focale variable : on peut en effet déterminer,
à partir d'une seule image, la consigne d'asservissement à
appliquer pour obtenir la mise au point désirée, par exemple sur
le sujet central ou dans une zone de mise au point sélectionnée
par l'utilisateur,
- de tenir compte de la distance des divers objets d'une
scène pour régler la puissance d'un flash et notamment du sujet
principal ou du sujet dans la zone de mise au point,
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
- de tenir compte de la distance des divers objets d'une
scène pour le dispositif d'auto-exposition de l'appareil de
capture, afin par exemple de privilégier le sujet principal ou
le sujet dans la zone de mise au point sélectionnée par
5 l'utilisateur pour un portrait,
- de définir automatiquement le sujet principal sans
avoir besoin de demander à l'utilisateur de le définir.
10 Application au contrôle de profondeur de champ,
indépendamanent de 1'exposition
On va maintenant décrire en s'appuyant sur les figures 4,
5, 6 et 7 une réalisation du procédé et système selon
15 l'invention, plus particulièrement adaptée au contrôle de la
profondeur de champ, sans nécessité d'un dispositif mécanique
particulier pour un appareil de capture d'image connu. Le
procédé permet alors d'obtenir une image nette pour des objets
situés à une distance de l'appareil de capture correspondant à
20 une plage de netteté et une image floue pour les autres objets.
Habituellement, un appareil de capture a une profondeur de champ
limitée et d'autant plus faible que l'ouverture de l'optique est
grande et donc la profondeur de champ et l'exposition sont liés
de sorte qu'un choix doit être fait en basse lumière entre
25 profondeur de champ, bruit et flou de bougé. Selon la
réalisation, il est possible de contrôler séparément exposition
et profondeur de champ.
Selon l'invention et comme représenté sur la figure 4, on
30 décompose l'image numérique en régions 11.1 et 11.2 par exemple
en régions carrées correspondant à 9 éléments sensibles voisins
du capteur, ou, de manière plus générale en régions
correspondant à X par Y éléments sensibles ou en régions de
forme prédéterminée ou calculée selon l'image numérique. On
35 choisit alors pour chaque région la couleur la plus nette, par
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
56
exemple comme la couleur correspondant à la valeur la plus
faible parmi les valeurs obtenues par calcul d'un gradient pour
chaque couleur à partir des niveaux de gris correspondant à la
couleur et la région considérées. Sur la figure 4, la couleur
correspondant à la courbe 8.2 est plus nette pour la région 11.2
alors que la couleur correspondant à la courbe 8.3 est plus
nette pour la région 11.1.
On répercute alors pour chaque région la netteté de la
couleur nette ainsi choisie sur les autres couleurs comme décrit
précédemment. Comme on l'a vu précédemment, on obtient ainsi une
image numérique nette pour toutes les couleurs dans une grande
plage de profondeur de champ.
On utilise, pour déterminer la distance entre l'appareil de
capture et les objets de la scène capturée dans la région de
l'image numérique :
- soit, comme décrit précédemment, la netteté d'au moins
deux couleurs pour chaque région,
- soit un autre procédé ou dispositif de mesure de
distance plus précis.
On peut alors diminuer la netteté, par exemple par un
filtre gaussien, ou par un filtre simulant un bokeh, dans les
régions et/ou dans des parties du champ contenant des objets
situés à des distances hors de la plage de netteté souhaitée.
Par exemple pour un portrait, on peut obtenir un arrière plan
flou qui met en valeur le visage sans avoir besoin d'une optique
de grande ouverture. Par exemple pour un paysage, on peut
obtenir une grande profondeur de champ sauf éventuellement pour
des objets isolés dans les coins qui peuvent nuire à la
lisibilité de l'image. Par exemple, pour une scène comportant
des objets proches dans le coin suite à un mauvais cadrage, on
peut rendre flous ces objets proches. Par exemple on peut
laisser le choix à l'utilisateur de la profondeur de champ, soit
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
57
dans l'appareil, soit lors d'un post-traitement sur un
ordinateur.
Ainsi la profondeur de champ est contrôlée sans avoir
besoin de changer l'exposition donc sans modifier l'ouverture,
ni augmenter le niveau de bruit ou augmenter le flou de bougé.
Le contrôle de profondeur de champ réalisé selon
l'invention bénéficie notamment aux optiques fixes, notamment
aux téléphones. Le contrôle de profondeur de champ permet à la
fois la prise de vue de code barre, de carte de visite, ou de
manuscrit contenant texte et/ou schéma ainsi que de portraits ou
de paysages par un appareil de capture d'image, notamment un
téléphone ou un appareil photo. Ceci est possible sans utiliser
de dispositif coûteux d'optique de grande ouverture. De plus ce
dispositif peut être réalisé de manière entièrement automatique
sans aucune intervention de l'utilisateur.
Le contrôle de profondeur de champ réalisé selon
l'invention, bénéficie également à un appareil comportant une
optique mobile, notamment un zoom. Un amateur averti peut ainsi
contrôler directement ou indirectement indépendamment la
profondeur de champ et l'exposition.
La figure 11 est un schéma illustrant l'architecture
d'un appareil de capture ou de restitution d'images.
Un tel appareil, par exemple de capture d'images,
comporte, d'une part, un système optique 122, notamment à un ou
plusieurs éléments optiques telles que des lentilles, destiné à
former une image sur un capteur 124.
Bien que les exemples concernent principalement un
capteur 124 du type électronique, ce capteur peut être d'un
autre type, par exemple une pellicule photographique dans le cas
d'un appareil dit argentique .
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
58
Un tel appareil comporte aussi un système
d'asservissement 126 agissant sur le système optique 122 et/ou
sur le capteur 124 pour effectuer une mise au point afin que le
plan image se trouve sur le capteur 124, et/ou pour que la
quantité de lumière reçue sur le capteur soit optimale par
réglage du temps de pose et/ou d'ouverture, et/ou pour que les
couleurs obtenues soient correctes, en effectuant un
asservissement de la balance des blancs.
Enfin, l'appareil comprend des moyens numériques de
traitement d'images 128.
En variante, ces moyens numériques de traitement
d'images sont séparés de l'appareil 120. Il est également
possible de prévoir une partie des moyens de traitement d'images
dans l'appareil 120 et une partie en dehors de l'appareil 120.
Le traitement numérique de l'image est effectué après
l'enregistrement d'images par le capteur 124.
Un appareil de restitution d'images présente une
structure analogue à un appareil de capture d'images. A la place
d'un capteur 124, on prévoit un générateur 124' d'images
recevant des images de moyens 128' numériques de traitement
d'images et fournissant les images à un système optique 122',
tel qu'un système optique de projection.
Dans ce qui suit, pour la clarté de l'exposé, on se
réfèrera uniquement aux appareils de capture d'images.
L'invention consiste, selon un de ses aspects, qui
peut être utilisé indépendamment des aspects précédemment
décrits, à partir des capacités des moyens 128, 128' de
traitement numérique d'images pour déterminer ou sélectionner
les paramètres du système optique 122, 122', et/ou du capteur ou
générateur d'images 124, 124' et/ou du système d'asservissement
126.
On a présenté sur le diagramme de la figure 12 le
niveau des performances que l'on peut atteindre avec chacun des
composants de l'appareil lorsqu'ils sont associés à des moyens
numériques de traitement d'images. Ces niveaux sont représentés
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
59
par le trait interrompu 130 pour le système optique, le trait
interrompu 132 pour le capteur, le trait interrompu 134 pour
l'asservissement, et le trait interrompu 136 pour l'appareil.
Partant de ces niveaux de performances que l'on peut
obtenir avec les moyens numériques de traitement d'images, on
peut choisir des niveaux de performance de chacun des composants
de l'appareil qui soient, avant traitement, sensiblement
inférieurs aux niveaux des performances obtenues après
application des moyens de traitement. On voit ainsi que le
niveau des performances du système optique peut être établi au
niveau 130', les niveaux des performances du capteur et du
système d'asservissement peuvent être établis aux niveaux,
respectivement 132' et 134'.
Dans ces conditions, en l'absence de traitement
numérique, le niveau des performances de l'appareil serait au
niveau le plus bas, par exemple le niveau 136' correspondant au
niveau le plus bas 130' pour le système optique.
Les moyens numériques de traitement d'images sont de
préférence ceux décrits dans les documents suivants :
- Demande de brevet EP 02751241.7 ayant pour titre
Procédé et système pour produire des informations formatées
liées aux défauts des appareils d'une chaîne d'appareils et
informations formatées destinées à des moyens de traitement
d'images .
- Demande de brevet EP 02743349.9 pour : Procédé et
système pour modifier les qualités d'au moins une image
provenant ou destinée à une chaîne d'appareils .
- Demande de brevet EP 02747504.5 pour : Procédé et
système pour réduire la fréquence des mises à jour de moyens de
traitement d'images .
- Demande de brevet EP 02748934.3 pour : Procédé et
système pour corriger les aberrations chromatiques d'une image
couleur réalisée au moyen d'un système optique .
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
- Demande de brevet EP 02743348.1 pour : "Procédé et
système pour produire des informations formatées liées aux
distorsions géométriques .
- Demande de brevet EP 02748933.5 pour : "Procédé et
5 système pour fournir, selon un format standard, des informations
formatées à des moyens de traitement d'images".
- Demande de brevet EP 02747503.7 pour : Procédé et
système pour calculer une image transformée à partir d'une image
numérique et d'informations formatées relatives à une
10 transformation géométrique .
- Demande de brevet EP 02747506.0 pour : Procédé et
système pour produire des informations formatées liées aux
défauts d'au moins un appareil d'une chaîne, notamment au
flou .
15 - Demande de brevet EP 02745485.9 pour : Procédé et
système pour modifier une image numérique en prenant en compte
son bruit .
- Demande de brevet PCT/FR 2004/050455 pour
Procédé et système pour modifier une image numérique de
20 manière différenciée et quasi régulière par pixel .
Ces moyens numériques de traitement d'images
permettent d'améliorer la qualité des images en agissant sur au
moins l'un des paramètres suivants :
- Les distorsions géométriques du système optique. On
25 rappelle qu'un système optique peut distordre les images de
façon telle qu'un rectangle peut être déformé en coussin, avec
une forme convexe de chacun des côtés ou en barillet avec une
forme concave de chacun des côtés.
- Les aberrations chromatiques du système optique : si
30 un point objet est représenté par trois taches colorées ayant
des positions précises les unes par rapport aux autres,
l'aberration chromatique se traduit par une variation de
position de ces taches les unes par rapport aux autres, les
aberrations étant, en général, d'autant plus importantes qu'on
35 s'éloigne du centre de l'image.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
61
- La parallaxe : quand on effectue un réglage par
déformation ou déplacement d'un élément optique du système
optique, l'image obtenue sur le plan image peut se déplacer. Le
réglage est, par exemple, un réglage de la focale, ou un réglage
de mise au point.
Ce défaut est illustré par la figure 13 sur laquelle
on a représenté un système optique 140 à trois lentilles dans
lequel le centre de l'image a la position 142 quand la lentille
144 a la position représentée en trait plein. Lorsque la
lentille 144 se déplace pour prendre la position 144',
représentée en traits interrompus, le centre de l'image prend la
position 142'.
- Profondeur de champ : quand le système optique est
mis au point sur un plan objet déterminé, les images de ce plan
restent nettes ainsi que les images des objets proches de ce
plan. On appelle profondeur de champ la distance entre le
plan objet le plus proche et le plan objet le plus éloigné pour
lesquels les images restent nettes.
- Le vignetage : en général, la luminosité de l'image
est maximale au centre et diminue au fur et à mesure qu'on
s'éloigne du centre. Le vignetage se mesure par l'écart, en pour
cent, entre la luminosité en un point et la luminosité maximale.
- Le manque de netteté du système optique et/ou du
capteur et/ou du générateur d'images se mesure par exemple par
le paramètre BXU tel que défini ci-dessus.
- Le bruit de l'image est en général défini par son
écart type, sa forme, et la dimension de la tache de bruit et sa
coloration.
- Le phénomène de moiré est une déformation de l'image
qui se produit lorsqu'il existe des hautes fréquences spatiales.
Le moiré se corrige par le paramétrage des filtres anti-alias.
- Le contraste est le rapport entre les plus hautes et
les plus basses valeurs de luminosité de l'image pour lesquelles
des détails de l'image sont encore visibles.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
62
Comme représenté sur les figures 14a et 14b, on peut
améliorer le contraste (figure 14a) d'une image, c'est-à-dire
étendre (figure 14b) la plage de luminosités sur laquelle on
peut distinguer les détails. Cette extension s'effectue à l'aide
notamment d'un algorithme de correction de contraste et de
bruit.
On va maintenant décrire en relation avec la figure 15
une réalisation permettant d'uniformiser la netteté dans le
champ de l'image.
On rappelle tout d'abord que la surface image d'un
plan objet ne constitue pas un plan parfait mais présente une
courbure, dite courbure de champ. Cette courbure varie en
fonction de divers paramètres dont la focale et la mise au
point. Ainsi, la position du plan image 150 dépend de la zone
sur laquelle est effectuée la mise au point. Dans l'exemple
représenté sur la figure 15, le plan 150 correspond à une mise
au point au centre 152 de l'image. Pour une mise au point sur
une zone 154 proche du bord de l'image, le plan image 156 se
trouve plus proche du système optique 122 que le plan image 150.
Pour simplifier le système d'asservissement pour la
mise au point, on dispose le plan image en une position 158,
intermédiaire entre les positions 154 (correspondant à une mise
au point sur une zone proche du bord de l'image), et 150
(correspondant à une mise au point sur une zone au centre de
l'image). La conjugaison des moyens numériques de traitement
d'images 128 avec l'asservissement 126 de mise au point, permet
de limiter le déplacement du plan 158 pour la mise au point, ce
qui diminue la consommation en énergie du système
d'asservissement et permet de réduire le volume de ses
composants.
On a représenté sur le diagramme de la figure 15a les
propriétés de flou avec un système classique d'asservissement de
mise au point dans lequel la netteté maximum est obtenue au
centre de l'image. Ainsi, sur ce diagramme de la figure 15a, on
a porté en abscisses le champ de l'image et en ordonnées la
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
63
valeur de flou exprimée en BXU. Avec ce système d'asservissement
classique, le flou est, au centre, de 1,3 et, au bord de
l'image, de 6,6.
La figure 15b est un diagramme analogue à celui de la
figure 15a montrant les propriétés d'un asservissement d'un
appareil réalisé selon l'invention, partant de l'hypothèse que
les moyens numériques de traitement d'images permettent de
corriger le flou jusqu'à une valeur de BXU égale à 14. La courbe
représentée sur ce diagramme de la figure 15b présente ainsi, au
centre de l'image, une valeur BXU = 2,6 et la valeur de BXU
diminue quand on s'éloigne du centre pour remonter ensuite
jusqu'à une valeur de 4 vers le bord de l'image. On rappelle que
cette valeur est la limite pour que le flou soit corrigeable par
les moyens numériques de traitement. Ainsi on peut obtenir une
image nette sur la totalité du champ de l'image alors qu'il n'en
est pas ainsi avec un appareil doté d'un système classique.
Dans une réalisation, les moyens numériques de
traitement d'images comportent des moyens d'amélioration de la
netteté tels qu'ils permettent de se passer d'un asservissement
de mise au point.
A titre d'exemple comparatif, les diagrammes des
figures 16a, 16b, 16c, et 16d montrent les caractéristiques d'un
appareil obtenu selon la technique classique et celles d'un
appareil obtenu avec le procédé selon l'invention.
L'appareil classique est un appareil de photographie
numérique intégré à un téléphone mobile ayant un capteur VGA,
c'est-à-dire une résolution 640 x 480 sans système de mise au
point.
L'appareil classique a une ouverture de 2,8 alors que
l'appareil obtenu avec le procédé selon l'invention a une
ouverture de 1,4.
La figure 16a, qui correspond à l'appareil classique,
est un diagramme sur lequel on a représenté en abscisses le
pourcentage de champ de l'image, l'origine correspondant au
centre de l'image. L'ordonnée représente le vignetage V. La
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
64
figure 16b est un diagramme analogue pour un appareil obtenu
selon l'invention.
Dans le schéma de la figure 16a (appareil classique)
le vignetage atteint la valeur 0,7 au bord de l'image tandis que
dans le diagramme de la figure 16b on voit que le système
optique de l'appareil selon l'invention, présente un vignetage
sensiblement plus important, de l'ordre de 0,3. La limite de
correction de l'algorithme utilisé est de 0,25. En d'autres
termes, grâce à l'algorithme de correction on peut faire appel à
une optique de vignetage sensiblement plus important.
La figure 16c est un diagramme représentant en
ordonnées le flou, exprimé en BXU, en fonction du champ de
l'image (en abscisses) pour un appareil classique. Dans cet
appareil classique, la caractéristique de flou est de 1,5 au
centre et de 4 au bord de l'image.
Le diagramme de la figure 16d représente aussi le flou
pour l'optique de l'appareil obtenu avec le procédé selon
l'invention. En abscisses de ce diagramme de la figure 16d, on a
aussi représenté le champ de l'image et en ordonnées le flou
exprimé en BXU. On voit que sur ce diagramme de la figure 16d,
le flou au centre de l'image est de l'ordre de 2,2. Il est donc
supérieur au flou du diagramme de la figure 16c. Par contre, sur
les bords, on a choisi un flou de l'ordre de 3, compte tenu de
la limite de l'algorithme de correction.
Autrement dit, de façon surprenante, on a choisi une
optique dégradée en ce qui concerne la netteté au centre, alors
qu'on obtient les mêmes résultats qu'avec l'appareil classique,
avec, en plus, une ouverture supérieure. Il est aussi à noter
que sur les bords, l'optique de l'appareil selon l'invention
représente une qualité analogue à celle de l'optique classique,
ce résultat pouvant être obtenu en raison de la dégradation du
vignetage par rapport à l'optique classique.
Sur les diagrammes des figures 17a et 17b, on a
représenté des caractéristiques de systèmes optiques différents
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
entre lesquels le choix doit être effectué afin de réaliser un
appareil de capture en utilisant le procédé selon l'invention.
Dans l'exemple représenté sur la figure 17a, le
système optique fournit une tache image 1100 de faibles
5 dimensions. Ce système présente une fonction de transfert de
modulation (FTM) représentée par un diagramme où les fréquences
spatiales sont en abscisses. La valeur de la fréquence de
coupure est fc. La fonction FTM comporte un palier 1110 au
voisinage des fréquences nulles et une partie décroissant
10 rapidement vers la valeur fc.
L'optique représentée par le schéma de la figure 17b,
présente une tache image 1114 de dimensions sensiblement
supérieures à la tache image 1100 et sa FTM présente la même
fréquence de coupure fc que dans le cas de la figure 17a. Par
15 contre, la variation de cette FTM en fonction de la fréquence
spatiale est différente : cette fréquence diminue de façon
relativement régulière à partir de l'origine vers la fréquence
de coupure.
Pour le choix du système optique, on se base sur le
20 fait que l'algorithme de correction de la fonction de transfert
de modulation, est efficace à partir d'une valeur de 0,3. Dans
ces conditions, on voit qu'avec l'optique de la figure 17b, on
obtient une correction permettant de rehausser la FTM jusqu'à
une valeur f2, par exemple, de l'ordre de 0,8 fc alors qu'avec
25 l'optique de la figure 17a, la correction n'est possible que
jusqu'à une fréquence fl de l'ordre de 0,5 fc.
Autrement dit, avec un algorithme de correction,
l'optique représentée sur la figure 17b fournira plus de détails
que l'optique représentée sur la figure 17a, et cela malgré le
30 fait que la tache image soit de plus grandes dimensions que dans
le cas de la figure 17a. On choisira donc l'optique
correspondant à la figure 17b.
Application à 1'augmentation de profondeur de champ
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
66
On va maintenant décrire une variante de réalisation du
procédé pour lequel le capteur et/ou le système optique sont
plus particulièrement adaptés à l'augmentation de la profondeur
de champ.
Les capteurs classiques CMOS ou CCD sont souvent des
capteurs formés à partir d'une mosaïque de pixels dite de Bayer.
La mosaïque de Bayer consiste en une succession de 2x2 pixels,
formés de 2 pixels vert (c'est-à-dire un photosite sensible à la
lumière dans une gamme spectrale autour de 550nm), d'un pixel
rouge (gamme spectrale autour de 600nm) et d'un pixel bleu
(gamme spectrale autour de 450nm) . Les gammes spectrales sont
représentées sur la figure 2.
Selon les capteurs, les bandes spectrales du vert, du
rouge et du bleu diffèrent et présentent un recouvrement plus ou
moins grand. Un fort recouvrement entre ces trois bandes a pour
conséquence de réduire la sensibilité du capteur aux couleurs
(il devient "daltonien"), mais augmente sa sensibilité générale
à la lumière et inversement.
Un fort recouvrement entre les trois bandes réduit aussi
les différences de nettetés entre les couleurs, réduisant ainsi
notamment la plage de distances pour lesquelles au moins une des
trois couleurs est nette.
Aussi avantageusement, selon l'invention, on pourra
adapter les bandes spectrales, par exemple en réduisant leur
recouvrement, de telle sorte à augmenter la plage de distances
pour lesquelles au moins une des trois couleurs est nette.
Cette adaptation pourra être conjointement menée avec la
conception de l'optique et, en fonction des contraintes portant
sur les traitements numériques de l'image.
Description d'un capteur optimisant le procédé selon
1'invention
Dans une variante de réalisation du procédé, le capteur
et/ou le système optique sont plus particulièrement adaptés à
des applications permettant de fournir des indications précises
de distances des objets imagés.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
67
Dans cette variante de réalisation on fait appel à une
mosaïque de pixels de Bayer.
Il est courant que les capteurs présentent un nombre
important de pixels fournissent des valeurs numériques
aberrantes. Ces pixels sont appelés communément des "pixels
morts" (ou "burned pixels" en anglais) . Aussi les traitements
numériques de génération d'image contiennent une étape de
filtrage de ces valeurs aberrantes afin que, sur l'image
générée, les valeurs aberrantes de ces pixels soient gommées et
donc non visibles.
La précision des mesures de distances selon le procédé,
dépend notamment de la variation de la netteté relative fonction
de la distance. Cette variation dépend de la quantité
d'aberration chromatique qu'il est possible d'obtenir avec le
système de capture (capteur et optique). Or, la gamme de
fréquences spectrales de la lumière visible, et donc la lumière
utile pour une photographie, est relativement restreinte : de
l'ordre de 400nm à 700nm. Aussi, la variation de netteté
relative en fonction de la distance se trouve alors limitée avec
un capteur Bayer classique.
Plusieurs façons de modifier un capteur pour aller au-
delà de cette limitation sont possibles. Une façon simple
consiste à utiliser en plus des trois couleurs classiques .
rouge, vert et bleu, une bande spectrale différente, par exemple
800nm-900nm ou toute autre bande au-delà et/ou en deçà du
spectre du visible. Les pixels sensibles à cette quatrième bande
spectrale ne seront pas forcément utiles à la reconstruction de
l'image visible mais serviront principalement à l'estimation de
la distance des objets par comparaison de la netteté relative
sur cette quatrième bande spectrale avec l'une, ou plusieurs,
des trois couleurs classiques.
On pourra alors avantageusement disposer les pixels de la
façon suivante : en partant d'une disposition d'un Bayer
classique rouge, vert, bleu, on substitue, tous les NxM pixels,
quelques pixels par des pixels sensibles dans cette quatrième
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
68
bande spectrale. En choisissant N et M assez grands (par exemple
64 chacun), et en substituant par exemple 9 pixels on assure
ainsi que seulement environ 1 pixel pour 1000 du Bayer classique
est affecté. Ainsi, lors de la construction de l'image, ces
pixels pourront être considérés comme des "pixels morts" et
leurs valeurs filtrées.
On obtient ainsi, un appareil photographique permettant
de fournir des indications plus précises de distance des objets
imagés tous les NxM pixels de l'image.
Description d'un second capteur optimisant le procédé
selon 1'invention
Dans une autre réalisation, montrée sur la figure 20.2,
on part d'un Bayer classique dans lequel on prévoit trois pixels
R, G, B et un pixel U correspondant à une une partie de bande
spectrale UV ou infrarouge. Par infrarouge et/ou ultraviolet, on
peut entendre toute partie du spectre au delà ou en deça du
spectre visible, notamment le proche infra-rouge tel que 700 à
800 ou 700 à 900nm. , ou le proche ultra violet proche de 400nm.
Ce pixel U est utilisé pour améliorer la netteté des couleurs
visibles comme montré avec le diagramme de la figure 20.1.
Sur ce diagramme, on a porté : en abscisses les distances
"d" des objets imagés à l'appareil de capture, et en ordonnées
le diamètre "D" de la tache de flou. Les courbes, 20.3, 20.4,
20.5, et 20.6 représentent la variation du diamètre "D" en
fonction de la distance "d" pour, respectivement, le rouge "R",
le vert "G", le bleu "B" et l'ultraviolet "U". La droite 20.7
représente le seuil de netteté définissant la profondeur de
champ.
Ainsi la distance "dl" représente la limite de profondeur
de champ pour un appareil de capture comportant des pixels "RGB"
et non les pixels U tout en utilisant le procédé d'amélioration
de netteté selon l'invention. La distance "d2" représente la
limite de profondeur de champ obtenue avec un appareil de
capture comportant le capteur représenté sur la figure 20.2 et
faisant appel au procédé d'amélioration de netteté selon
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
69
l'invention. Les pixels "U" servent uniquement à répercuter la
netteté de la couleur "U" vers les couleurs "RGB" pour les
objets situés entre les distances "dl" et "d2". Ainsi l'image
finale ne comportera que les trois couleurs "RGB" (ou toute
autre répartition de couleurs visibles connues).
En variante, on ajoute des pixels sensibles au proche
infrarouge pour améliorer la netteté aux plus grandes distances.
Augmentation des aberrations chromatiques longitudinales
Selon l'invention, on tire parti de l'existence des
variations de la netteté relative entre deux couleurs en
fonction de la distance des objets. Aussi, on pourra concevoir
des optiques présentant des nettetés relatives entre les trois
plans couleurs très différentes selon la distance. De telles
optiques sont dites présenter de fortes aberrations chromatiques
longitudinales.
De façon pratique, on pourra par exemple concevoir
l'optique de telle sorte que sur une grande plage de distances :
le plus petit des diamètres de spot diagram (diamètre de la
tache de flou) entre les trois couleurs est en dessous d'un
premier seuil prédéterminé et que le plus grand des diamètres de
spot diagram entre les trois couleurs est en dessous d'un
deuxième seuil prédéterminé. Alternativement, on pourra utiliser
la valeur du BxU au lieu du diamètre du spot diagram.
Les deux seuils sont déterminés en fonction, par exemple,
des capacités et contraintes des traitements numériques de
génération de l'image, d'une part (comme par exemple la taille
du filtre "F" décrit ci-dessous), et des caractéristiques du
capteur, d'autre part.
La figure 18 présente un exemple des mesures BxU (axe des
ordonnées) pour les trois plans couleurs RVB en fonction de la
distance (axe des abscisses) pour une optique conçue en ce sens.
Les valeurs montrées sont celles au centre du champ image. En
chaque point du champ image, on pourra mesurer des courbes
différentes mais similaires. S1 et S2 désignent les deux seuils
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
décrits ci-dessus. La plage des distances satisfaisant les deux
critères décrits ci-dessus est alors, pour cette optique,
environ 12cm-infini (dl->infini sur la figure 18) ce qui
signifie que l'on pourra reconstruire une image nette pour des
5 scènes imagées dans cette plage de distances.
Avec une optique classique on aurait abouti à trois
courbes proches de la courbe de la couleur rouge R dans la
figure 18 et donc à un système optique ne permettant des
reconstructions d'images nettes que pour des objets à de plus
10 grandes distances 25cm - infini (d2 --> infini sur la figure
18).
On peut aussi utiliser une optique ayant des aberrations
chromatiques longitudinales telles que, pour une mise au point,
une ouverture et une focale déterminées, il existe au moins
15 une couleur pour laquelle la distance objet de meilleure netteté
est inférieure
a
à k f , k étant un coefficient inférieur à 0,7, de préférence
O.P
20 inférieur à 0,5, f étant la focale, 0 l'ouverture et P le plus
petit (parmi toutes les couleurs de l'image) des diamètres de la
tache de flou d'un point objet se trouvant à l'infini.
Application à l'adaptation autoanatique de résolution
On va maintenant décrire une variante de réalisation de
l'invention permettant d'adapter automatiquement la résolution
de l'image au flou éventuel lié à une prise de vue en dehors de
la profondeur de champ du dispositif de capture.
Lorsque la scène imagée est trop près (en deçà de la
profondeur de champ), l'image est floue, c'est-à-dire que le
spot diagram (la tache de flou) occupe une tache de plus de X
pixels de diamètre, X étant un paramètre prédéterminé
définissant la limite de profondeur de champ. Un sous-
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
71
échantillonnage numérique de l'image (zoom out), réduira la
taille de la tache de flou d'un facteur dépendant du type de
sous-échantillonnage utilisé, mais, typiquement, de l'ordre de
grandeur du facteur de sous-échantillonnage considéré. On pourra
alors générer à partir de l'image numérique une image nette,
mais de plus faible résolution en choisissant le facteur de
sous-échantillonnage de telle sorte que la tache de flou soit
inférieure, une fois l'image sous-échantillonnée, à un seuil
donné.
En variante, afin de minimiser les calculs, on commence
par effectuer le sous-échantillonage décrit ci-dessus avant
d'effectuer l'augmentation de netteté selon l'invention.
Application à la modification de la netteté - Filtrage
Comme pour la mesure de distance (figure 8), on peut
extraire la netteté attendue de chaque couleur de l'image
numérique à partir de la mesure de netteté relative entre deux
plans couleurs.
Selon une variante de réalisation de l'invention, le
traitement comprend une modification de netteté pour chaque
pixel de la zone Z' au moyen d'un filtre mélangeant les valeurs
de pixels sur un voisinage prédéterminé de chaque pixel, les
paramètres du filtre étant fonction de la netteté relative
mesurée.
En effet, un dispositif de capture d'images muni d'une
optique pourra présenter des nettetés différentes selon les
plans couleurs et selon la distance des objets imagés. La
dépendance de la netteté (ou du flou) à la distance des objets
imagés rend impossible l'augmentation de la netteté au moyen
d'un traitement prédéterminé comme un filtrage de netteté
prédéterminé.
Une variante de réalisation de l'invention consiste à
choisir ou à adapter les filtres de netteté aux nettetés
relatives mesurées.
Un cas particulier, déjà décrit, de l'adaptation du
filtrage ou modification de netteté consiste en la répercussion
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
72
de la netteté de la couleur nette sur au moins une autre couleur
améliorée, cette répercussion étant réalisée à l'aide d'une
calcul du type CA = CN + F(CO - CN), où CA est représentatif de
cette couleur améliorée, C0 est représentatif de la couleur
améliorée avant traitement, CN est représentatif de la couleur
nette et F un filtre, notamment un filtre passe bas.
Mais, de façon plus générale, on pourra utiliser un
filtre de netteté faisant intervenir toutes (ou un sous-ensemble
de toutes) les couleurs. Ainsi, dans le cas d'une image
numérique RGB (ou RVB) pour traiter la valeur d'un pixel P, le
filtre M pourra modifier la valeur du pixel P en fonction des
valeurs des pixels sur un voisinage du pixel P sur l'ensemble
des trois couleurs.
Par exemple, en notant RN,GN,BN les données numériques
relatives aux couleurs rouge, verte et bleue de l'image
numérique, et RA, GA, BA les données numériques relatives aux
couleurs de l'image améliorée, on pourra choisir le filtre M
comme un opérateur effectuant les opérations suivantes
GA = GN + c GG * M GG (GN) + c GR * M GR (RN) + c GB *
M GB (BN)
RA = RN + c RG * M RG (GN) + c RR * M RR (RN) + c RB *
M RB (BN)
BA = BN + c BG * M BG (GN) + c BR * M BR (RN) + c BB *
M BB (BN) ,
Où :
Les M{R,G,B}{R,G,B} représentent des filtres, qui
peuvent être choisis comme des filtres linéaires à somme nulle,
comme par exemple des filtres fréquentiels passe-haut. Les
c{R,G,B}{R,G,B} représentent des coefficients pondérant
l'impact de chaque filtre M{R,G,B}{R,G,B}.
Cet exemple de filtrage peut aussi répercuter la netteté
de la couleur la plus nette sur les autres. Par exemple en
supposant que seule la couleur bleue est nette, les filtres
passe-haut M{R,G,B}{R,G,B} donneront des valeurs proches de 0,
lorsqu'ils seront appliqués aux couleurs verte et rouge qui sont
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
73
floues dans l'exemple. Dans ce cas particulier, GA sera donc
égal à GN plus c GB * M GB (BN) , c'est-à-dire GN plus les hautes
fréquences du bleu. La couleur verte hérite ainsi de la netteté
de la couleur nette (le bleu). Il en est de même pour la couleur
rouge.
En pratique la netteté des couleurs n'est pas un facteur
binaire, aussi les filtres M{R,G,B}{R,G,B} et les coefficients
c{R,G,B}{R,G,B} pourront être adaptés aux différentes valeurs
possibles des nettetés des couleurs.
Un exemple de réalisation d'une telle adaptation, dans le
cadre d'images RGB issues d'un appareil de capture donné, est le
suivant :
On considère les valeurs de netteté relative du rouge par
rapport au vert, et du bleu par rapport au vert : V GR, V GB. On
quantifie ces valeurs de telle sorte que les valeurs ainsi
quantifiées constituent une entrée dans un tableau 2D de taille
raisonnable. A chaque entrée (couple de valeurs V BR, V BG
quantifiées), on associe un jeu de filtres M{R,G,B}{R,G,B} et
un jeu de coefficients c{R,G,B}{R,G,B} adaptés. Dans le cas
particulier, où l'on cherche à améliorer la netteté de l'image
numérique, on pourra, pour chaque entrée, prédéterminer les
filtres M{R,G,B}{R,G,B} et un jeu de coefficients
c{R,G,B}{R,G,B} de telle sorte qu'une image numérique, prise
par l'appareil de capture et ayant les nettetés relatives
correspondant à l'entrée soient parfaitement corrigées de la
netteté par l'application du filtre M.
On pourra aussi affiner le filtre M de sorte à prendre en
compte le fait que les trois couleurs ne varient pas à grande
échelle de la même façon, notamment dans des zones colorées (par
opposition aux zones noires, grises ou blanches) de l'image
numérique. Pour cela, on pourra par exemple pondérer, en chaque
pixel P de la zone Z', les actions des filtres M{R,G,B}{R,G,B}
par l'amplitude des variations relatives des couleurs sur un
voisinage du pixel P.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
74
Dans certains cas, le tableau d'association entre
nettetés relatives considérées et jeu de filtres pourra
comporter d'autres entrées comme, par exemple, la position de la
zone Z' dans le champ de l' image ou des paramètres de prises de
vue comme la valeur de la focale, de l'ouverture, de la distance
de mise au point, etc., du système optique au moment de la prise
de vue. En effet, il est habituel que les caractéristiques de
netteté d'une image numérique dépendent aussi de ces facteurs.
Aussi pour la correction de netteté d'une image
numérique, on découpera préalablement le champ image en
plusieurs zones Z' et on appliquera le procédé à chacune des
zones. Le découpage sera de préférence effectué en fonction des
caractéristiques de netteté des couleurs de telle sorte qu'en
chaque zone la netteté des couleurs soit relativement homogène.
Avec cette réalisation on obtient ainsi une adaptation
automatique du filtrage de netteté appliqué à l'image numérique,
à la distance entre scène la imagée et l'appareil de capture. Il
est à noter que, grâce à l'utilisation de la netteté relative
cette adaptation automatique à la distance, peut se faire sans
la connaissance explicite de cette distance.
Au delà de la modification de la netteté de l'image
numérique, cette réalisation du procédé permet aussi
l'adaptation automatique de traitements visant par exemple à la
correction de défauts optiques et/ou des capteurs dont les
effets sur l'image dépendent de la distance entre scène imagée
et appareil de capture. Le flou (ou perte de netteté) en est un
exemple, mais d'autres défauts optiques et/ou du (des)
capteur(s) comme les distorsions géométriques ou le vignetage,
constituent d'autres exemples.
Principe de 1'invention
Description des figures 19.1, 19.2, 19.3
Les figures 19.1, 19.2 et 19.3 représentent des étapes du
procédé selon l'invention selon plusieurs modes de réalisation.
Sur la figure 19.1, on a représenté une image 10
comportant une région R et ayant deux couleurs 195 et 196, une
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
mesure de netteté relative 190 entre les deux couleurs 195 et
196 sur la région R de l'image 10, une action 191 commandée en
fonction de la netteté relative mesurée. En option l'action
commandée dépend également d'un mode 193 correspondant par
5 exemple à un choix de l'utilisateur de l'appareil, et/ou une
caractéristique de l'appareil de capture lors de la prise de
vue.
Sur la figure 19.2, on a représenté une image 10
comportant une région R et ayant deux couleurs 195 et 196, une
10 mesure de netteté relative 190 entre les deux couleurs 195 et
196 sur la région R de l'image 10, une action 191 commandée en
fonction de la netteté relative mesurée comportant un traitement
de l'image 10 et produisant une image traitée 192. En option
l'action commandée dépend également d'un mode 193 correspondant
15 par exemple à un choix de l'utilisateur de l'appareil, et/ou une
caractéristique de l'appareil de capture lors de la prise de
vue.
Sur la figure 19.3, on a représenté une image 10
comportant une région R et ayant deux couleurs 195 et 196, une
20 mesure de netteté relative 190 entre les deux couleurs 195 et
196 sur la région R de l'image 10, une action 191 commandée en
fonction de la netteté relative mesurée comportant un traitement
d'une autre image 194 et produisant une image traitée 198. En
option l'action commandée dépend également d'un mode 193
25 correspondant par exemple à un choix de l'utilisateur de
l'appareil, et/ou une caractéristique de l'appareil de capture
lors de la prise de vue.
Application à la modification du contraste et/ou de la
30 luminosité et/ou de la couleur et/ou de la netteté
On va maintenant décrire une réalisation de l'invention
dans laquelle la commande d'action consiste à modifier le
contraste et/ou la luminosité et/ou la couleur de l'image en
fonction de la netteté relative entre au moins deux couleurs sur
35 au moins une région R de l'image.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
76
L'utilisation de la netteté relative entre au moins deux
couleurs sur au moins une région R de l'image, directement ou
indirectement (par exemple avec une étape d'estimation de la
géométrie, en 3 dimensions, de la scène), permet par exemple de
simuler l'ajout d'un éclairage localisé par exemple un flash
positionné en un endroit quelconque dans la scène, et/ou,
inversement, de réduire l'effet d'un flash ou d'éclairages de
diverses couleurs dans la scène. Ainsi on peut réduire les
effets de contre-jours, et d'à-plats de lumière liés au flash.
Dans une réalisation, on découpe l'image numérique en
régions en fonction de la netteté relative entre au moins deux
couleurs, de sorte que chaque région image une partie de la
scène se trouvant dans une plage de distances donnée et qui est
orientée dans une direction donnée. Une indication de la
direction peut être obtenue à partir de la variation locale de
la netteté relative dans l'image. Une indication de la distance
peut être obtenue à partir de la netteté relative comme décrit
précédemment. On peut également utiliser directement la netteté
relative et sa variation sans passer par une distance et une
orientation.
Pour ajouter ou modifier un éclairage, on peut alors
déterminer, pour chaque région, la quantité et la couleur de
lumière à ajouter ou soustraire en chaque point puisque l'on
connaît la distance à la source simulée par rapport au point
imagé et l'orientation de l'objet imagé par rapport à la source.
Dans une réalisation, on reconstitue la géométrie en
trois dimensions de la scène en mesurant la distance en un grand
nombre de points de l'image. On utilise alors une technique
connue en synthèse d'images pour ajouter un éclairage à la scène
(lancer de rayons ou autre).
Dans une réalisation, on ajoute un éclairage sur le (ou
les) sujet(s) principal(aux) adapté à chaque sujet pour
provoquer un effet de "fill-in" simulant un ou plusieurs
flash(s) positionné(s) en face ou sur le côté de chaque sujet.
On peut réaliser cette opération de manière automatique et de
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
77
façon indépendante pour chaque sujet. Avec la technique connue
l'ajout d'éclairages pour chaque sujet n'est possible qu'avec un
éclairage de studio.
De manière similaire, on peut déterminer la puissance du
flash en fonction du sujet le plus proche pour l'éclairer
correctement, et compléter l'éclairage des autres sujets par
l'ajout d'un éclairage simulé.
On peut également déterminer pour chaque région la
couleur de l'éclairage par un procédé connu d'estimation de
balance des blancs et ensuite rendre uniforme la couleur de
l'éclairage de la scène. Dans l'état de la technique la balance
des blancs est estimée globalement par manque d'information sur
la géométrie en 3 dimensions de la scène.
Description des figures 18.1 et 18.2
Sur la figure 18.1 on a représenté un capteur 2,
produisant une image brute 180 faisant l'objet d'un
prétraitement 181, par exemple une balance des blancs, et/ou une
compensation du niveau de noir, et/ou une réduction de bruit
pour produire une image prétraitée 182. On a également
représenté une mesure de netteté relative 190 commandant une
action 191 correspondant à un traitement mettant en oeuvre
l'image prétraitée 182 et la mesure de netteté relative 190,
pour produire une image traitée 192. On a enfin représenté un
traitement aval de l'image traitée 192, correspondant par
exemple à un dématriçage ou à d'autres traitements nécessaires
pour convertir une image brute en image visible.
Sur la figure 18.2 on a représenté un capteur 2,
produisant une image brute 180. On a également représenté une
mesure de netteté relative 190 commandant une action 191
correspondant à un traitement mettant en oeuvre l'image brute 180
et la mesure de netteté relative 190, pour produire une image
traitée 192. On a enfin représenté un traitement aval de l'image
traitée 192, correspondant, par exemple, à un dématriçage ou
d'autres traitements nécessaires pour convertir une image brute
en image visible.
CA 02600185 2007-09-06
WO 2006/095110 PCT/FR2006/050197
78
Dans une variante, l'action met en oeuvre un traitement
sur une image visible.
Simplification des optiques
L'invention s'applique à un appareil comportant des
paramètres variables au moment de la capture de l'image
numérique et ayant une influence sur la netteté des couleurs
notamment un appareil de capture avec zoom, et/ou une optique
avec mise au point variable et/ou une ouverture variable. On
utilise alors les courbes de netteté 8.2 et 8.3 correspondant à
la valeur des paramètres variables selon l'image numérique.
Comme décrit, l'invention permet de rétablir la mise au
point numériquement sans groupe mobile et de manière
instantanée, ce qui permet donc de réduire la complexité d'un
zoom en supprimant au moins une partie mobile. Par exemple, en
fonction de la distance du sujet et de la focale, la netteté
relative entre deux couleurs peut être variable, alors que ceci
n'est pas acceptable dans les optiques connues.
