Note : Les descriptions sont présentées dans la langue officielle dans laquelle elles ont été soumises.
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
1
SYSTEME DE TOURNAGE DE FILM VIDEO .
La présente invention est relative aux systèmes de
tournage de films vidéo.
On tourne depuis longtemps des films vidéo. Depuis
quelques décennies, il est de plus en plus fait appel à la
réalité augmentée pour représenter, dans le film vidéo
diffusé ou projeté, des objets ou évènements qui seraient
difficiles à filmer dans le monde réel.
Une méthode classique pour construire un film vidéo
présentant une telle séquence à réalité augmentée consiste
à commencer par filmer des acteurs dans un environnement
neutre calibré, par exemple en studio sur fond monochrome.
Quelques semaines ou mois plus tard, en post-production,
des animations tridimensionnelles sont rajoutées, qui
donnent l'illusion d'interagir avec l'acteur filmé.
Il est difficile aux acteurs et aux réalisateurs de
jouer ou filmer une scène réaliste dans un studio sur fond
monochrome. Par conséquent, il a récemment été proposé un
système de prévisualisation par lequel une version
préliminaire de l'animation est générée, et est montrée au
réalisateur et aux acteurs avant de jouer la scène. Ainsi,
les acteurs et réalisateurs peuvent plus facilement
imaginer leur environnement virtuel et/ou le jeu de leur
alter ego virtuel.
Toutefois, ces systèmes sont encore très
insuffisants, et de nombreux ajustements doivent encore
être faits en postproduction, pour adapter les animations
au film enregistré qui est absolument inaltérable à ce
stade.
On connait également des systèmes utilisant des
mires calibrées pour tenter d'avoir une meilleure idée d'où
la caméra est au cours du tournage. Un système
commercialisé sous le nom Lightcraft en est un exemple. Ces
systèmes sont toutefois très laborieux à mettre en uvre,
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
2
car ils nécessitent d'équiper le studio de mires, une
opération complexe, et ils sont également limités à être
utilisés en studio, ou dans des espaces d'étendue spatiale
limitée, celle où les mires sont placées.
La présente invention a notamment pour but de
pallier ces inconvénients.
A cet effet, on prévoit un système de tournage de
film vidéo dans un espace réel défini dans un référentiel
réel, comprenant :
- une caméra de tournage, adaptée pour enregistrer
une image réelle pour une pluralité de trames de temps
distinctes,
- un système de repérage dans l'espace,
comprenant :
15. au
moins un capteur, présentant des données
de localisation par rapport à la caméra de tournage connues
pour chaque trame de temps, et adapté pour transmettre à un
module informatisé de repérage des informations
topographiques naturelles détectées par le capteur,
20. un module informatisé de repérage adapté
pour déterminer, pour chaque trame de temps, des données de
localisation dans le référentiel réel de la caméra de
tournage à partir des données de localisation du capteur,
et d'une comparaison entre les informations topographiques
25 naturelles et un modèle tridimensionnel préétabli de
l'espace réel,
- un écran de contrôle,
- un module informatisé de composition adapté pour
générer sur l'écran de contrôle, pour chaque trame de
30 temps, une image composite de l'image réelle, et d'une
projection d'une image virtuelle, issue d'une base de
données d'animations virtuelles, projection générée selon
les données de localisation dans le référentiel réel de la
caméra de tournage.
35
L'affichage sur l'écran de contrôle est généré
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
3
quasi-instantanément, par exemple dans la seconde, prenant
en compte l'éventuel temps de traitement et de latence dû
aux différents composants du système.
Grâce à ces dispositions, on peut visualiser
directement sur l'écran de contrôle au moment du tournage,
les interactions entre le monde réel et le monde virtuel.
Ceci permet le cas échéant de tourner la même scène jusqu'à
obtenir satisfaction.
En utilisant des informations topographiques
naturelles, on s'affranchit des problèmes liés aux mires
évoqués plus haut. On a donc plus de liberté pour filmer.
Dans des modes de réalisation préférés de
l'invention, on peut éventuellement avoir recours en outre
à l'une et/ou à l'autre des dispositions suivantes :
- le capteur du système de repérage est une caméra
optique présentant au moins l'une des caractéristiques
suivantes :
-un angle solide de prise de vue supérieur à
un angle solide de prise de vue de la caméra de tournage,
-une fréquence d'acquisition supérieure à une
fréquence d'acquisition de la caméra de tournage,
-une acquisition en noir et blanc,
-un encombrement au moins deux fois inférieur
à un encombrement de la caméra de tournage ;
- un axe optique parallèle à un axe optique de
la caméra de tournage,
- un champ optique superposé à un champ
optique de la caméra de tournage ;
- le système de repérage comprend un module
informatisé de génération adapté pour générer ledit modèle
tridimensionnel préétabli de l'espace réel, et ledit
capteur est adapté pour transmettre au module informatisé
de génération des informations topographiques détectées par
le capteur ;
- le capteur est adapté pour transmettre
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
4
simultanément au module informatisé de repérage et au
module informatisé de génération des informations
topographiques naturelles détectées par le capteur, et dans
lequel le module informatisé de génération est adapté pour
enrichir ledit modèle tridimensionnel préétabli de l'espace
réel à partir des informations topographiques naturelles
détectées par le capteur ;
- les informations topographiques comprennent des
informations relatives à des objets géométriques de
l'espace réel choisis parmi des points, des lignes, des
surfaces et des volumes ;
- en configuration de tournage, la caméra de
tournage et le capteur sont attachés fixement l'un à
l'autre ;
- le système comprend en outre un système de
localisation comprenant une mire adaptée pour être détectée
simultanément par la caméra de tournage et le capteur dans
une configuration de localisation, et un module informatisé
de localisation adapté pour déterminer les données de
localisation respectives du capteur et de la caméra de
tournage à partir de la détection simultanée de la mire ;
- le système comprend en outre un système de
calibrage optique comprenant une mire de calibrage optique
adaptée pour être détecté par la caméra de tournage, dans
une configuration de calibration optique, et le module
informatisé de repérage est adapté pour déterminer, pour
chaque trame de temps, les données de localisation dans le
référentiel réel de la caméra de tournage à partir en outre
de données de calibration optique de la caméra de tournage
déterminées par le système de calibrage optique ;
- le système comprend en outre au moins l'une des
entités suivantes :
-un capteur inertiel fixé sur la caméra de
tournage, adapté pour déterminer un mouvement de la caméra
de tournage, le module informatisé de repérage étant adapté
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
pour déterminer les données de localisation dans le
référentiel réel de la caméra de tournage en outre à partir
de données fournies par le capteur inertiel ;
- un
étalon, filmable par la caméra de
5 tournage, le module informatisé de composition étant adapté
pour mettre une image virtuelle à l'échelle de l'espace
réel sur la base d'une image de l'étalon acquise par la
caméra de tournage ;
- un système de détermination d'un paramètre
de grossissement de la caméra de tournage, le module
informatisé de composition étant adapté pour générer
l'image composite en prenant en compte ledit paramètre ;
- le système comprend en outre un module
informatisé d'animation, comprenant une base de données
d'animations virtuelles, chaque animation comprenant, pour
chacune d'un ensemble de trames de temps, une image
tridimensionnelle exprimée dans un référentiel virtuel, le
module informatisé d'animations étant adapté pour
transmettre lesdites images tridimensionnelles au module de
composition ;
- le module informatisé de repérage est adapté
pour transmettre le modèle tridimensionnel préétabli de
l'espace réel au module informatisé d'animation ;
- le module informatisé de composition est adapté
pour générer sur l'écran de contrôle, pour chaque trame de
temps, une ombre de l'image virtuelle, ombre générée selon
les données de localisation dans le référentiel réel de la
caméra de tournage, et des données de localisation
d'éclairage dans le référentiel réel.
- pour une trame de temps ultérieure, le module
informatisé de repérage est adapté pour déterminer, des
données de localisation dans le référentiel réel de la
caméra de tournage à partir également de données de
localisation dans le référentiel réel de la caméra de
tournage pour une trame de temps antérieure ;
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
6
- le module informatisé de repérage comprend un
module de sélection adapté pour sélectionner parmi les
motifs géométriques des motifs géométriques du modèle
tridimensionnel utilisables pour retrouver la position de
la caméra de tournage dans l'espace 3D ;
- le module de sélection compare des motifs
géométriques d'une image ultérieure avec des motifs
géométriques d'une image antérieure, associe des motifs
géométriques présents sur les deux images et immobiles dans
l'espace réel, et ne conserve pas les autres motifs
géométriques pour comparaison avec le
modèle
tridimensionnel ;
- le système de repérage comprend en outre un
deuxième capteur présentant au moins une caractéristique
différent du premier capteur, choisie parmi la position,
l'orientation, l'angle solide de prise de vue, la fréquence
d'acquisition, l'axe optique, le champ optique.
Dans certains modes de réalisation, on peut ainsi
utiliser un capteur dédié au repérage, et optimisé pour
mettre celui-ci en uvre, ce qui permet de consacrer la
caméra de tournage exclusivement à sa fonction première de
tournage.
D'autres caractéristiques et
avantages de
l'invention apparaîtront au cours de la description
suivante d'une de ses formes de réalisation, donnée à titre
d'exemple non limitatif, en regard des dessins joints.
Sur les dessins :
- la figure 1 est une vue schématique d'un espace
réel,
- la figure 2 est une vue schématique d'un système
de tournage selon un mode de réalisation de l'invention,
- la figure 3 est une vue schématique représentant
une utilisation du système de la figure 2 dans une
configuration d'apprentissage,
- la figure 4 est une vue en perspective d'un
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
7
modèle tridimensionnel de l'espace réel,
- la figure 5 est une vue similaire à la figure 2
dans une configuration de localisation,
- la figure 5a est une vue similaire à la figure 5
pour la mise à l'échelle,
- la figure 6a est une vue schématique du système
en configuration de tournage, à un premier instant,
- la figure 6b est un schéma représentatif d'une
acquisition faite par la caméra de tournage à l'instant
représenté sur la figure 6a,
- la figure 6c est une vue schématique d'une image
composite réalisée sur l'écran de contrôle à ce même
instant,
- les figures 7a, 7b et 7c correspondent
respectivement aux figures 6a, 6b et 6c pour un deuxième
instant,
- la figure 8 est une vue schématique d'un écran
d'une machine programmable comprenant un module
informatique d'animation,
- la figure 9 est un organigramme d'un procédé de
réalisation de film vidéo utilisant les objets décrits
précédemment, et
- la figure 10 est une vue schématique d'un
système d'acquisition selon une variante de réalisation.
Sur les différentes figures, les mêmes références
désignent des éléments identiques ou similaires.
La figure 1 représente schématiquement une partie
1 de l'espace réel. La
figure 1 donne un exemple très
spécifique d'un espace réel 1.
Toutefois, la présente
invention pourrait être appliquée dans un très grand nombre
d'espaces réels différents.
Un référentiel réel 2 est attaché à l'espace réel
1, et comprend par exemple une origine 0 et trois axes
orthonormés X, Y et Z.
Ainsi, chaque point de l'espace
réel 1 présente un jeu de coordonnées unique dans le
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
8
référentiel réel 2.
Dans l'exemple donné purement à titre d'exemple,
l'espace réel 1 est un espace extérieur en plein air,
comprenant une route 3 horizontale s'étendant sensiblement
le long de l'axe Y et un immeuble 4 situé dans la
profondeur. L'immeuble 4 peut comprendre diverses fenêtres
5a, 5b, 5c et portes 6a, 6b, 6c et autre. Un
trottoir 7
s'étend par exemple entre la route 3 et l'immeuble 4. On
peut par exemple noter une voiture 8 stationnée.
A titre d'espace réel, en variante, on pourrait
utiliser un espace en intérieur, tel que par exemple, dans
un studio.
L'espace réel 1 comporte un certain nombre
d'informations topographiques naturelles. Ces informations
sont par exemple relatives à des objets géométriques de
l'espace réel, tel que des points, des lignes, des surfaces
et/ou des volumes.
Comme ligne, on pourra par exemple
considérer des arêtes d'une structure, et comme point des
intersections de deux de ces arêtes. A titre de surface,
on pourra par exemple considérer des surfaces pleines,
telles qu'un capot de voiture, ou autre. A
titre de
volume, on pourra par exemple se référer à des objets, tels
qu'une voiture, ou un autre objet présent dans l'espace
réel. Ainsi, les informations topographiques naturelles se
distinguent de marqueurs de calibrage rapportés par le(s)
fait(s) qu' :
elles sont disposées de manière aléatoire, non
ordonnées,
elles sont disposées dans un espace de
dimensions infinies, le monde entier, et pas
limitées à une zone munie de marqueurs,
elles sont fortement hétérogènes, pas seulement
différentes les unes des autres par un code de
type code-barres,
elles sont disponibles dans un espace 3D
volumique, pas seulement sur un ou plusieurs
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
9
plans,
elles ne nécessitent pas d'installation
compliquée calibrée préalable.
En se référant maintenant à la figure 2, on décrit
un système de tournage de film vidéo, selon un mode de
réalisation, en configuration de tournage. En
ce qui
concerne le film vidéo, il s'agit d'une suite d'images
diffusées à une fréquence rapide (plusieurs images par
seconde, par exemple 24 (cinéma), 25 (PAL) ou 30 (NTSC)
images par seconde) à un spectateur. Cette suite d'images
est par exemple projetée ou diffusée dans le cadre d'un
film cinématographique, d'un téléfilm, d'un message
informatif, d'un jeu vidéo, ou autre. En
particulier,
cette diffusion ou projection peut être différée dans le
temps par rapport au tournage.
Cette séquence d'images relate un évènement se
déroulant dans l'espace réel 1.
A ce titre, on utilise une caméra de tournage 9 de
tout type approprié pour filmer classiquement une telle
scène. On
utilise en particulier une caméra numérique
pouvant acquérir plusieurs images par seconde, par exemple
24 images par seconde.
La caméra 9 comporte une optique 10 pouvant
acquérir des images dans un champ optique 11, et reliée à
un système informatique 12. Cette liaison est par exemple
faite par un câble 13 adapté, ou sans câble, par exemple
par transmission radio ou autre.
La caméra de tournage 9 est de n'importe quel type
connu adapté, mais l'invention est particulièrement adaptée
s'il est possible de faire varier le champ optique 11 au
cours du tournage. En particulier, le champ optique 11 peut
être fait varier en déplaçant la caméra de tournage 9 dans
l'espace réel 1.
Ceci est en particulier le cas si la
caméra de tournage 9 est mobile, de manière guidée, dans
l'espace réel 1, en étant par exemple montée sur un rail ou
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
une grue présentant un bras articulé (non représenté)
définissant un lieu des possibles pour la caméra de
tournage 9.
A titre d'alternative, qui est l'alternative
5 représentée, on utilise une caméra de tournage 9
suffisamment compacte pour être déplaçable dans l'espace
réel 1 en étant simplement portée par un opérateur (non
représenté).
Selon un exemple de réalisation, la caméra de
10 tournage 9 comporte un moniteur 14 monté sur le boîtier de
la caméra et présentant un écran de contrôle 15 visible par
l'opérateur filmant, et sur lequel le champ optique 11
acquis par la caméra est affiché.
Le système de tournage comporte également un
système de repérage dans l'espace comprenant d'une part un
capteur 16 et d'autre part un module informatisé de
repérage 17 du système informatique 12, et relié au capteur
16 par un câble 18 ou sans câble, comme indiqué
précédemment.
Le capteur 16 présente la particularité de
présenter une localisation connue à tout moment par rapport
à la caméra de tournage 9. Par localisation, on entend ici
que la position et l'orientation du capteur 16 par rapport
à la caméra de tournage 9 sont connues à tout instant. Il
s'agit en particulier des positions et orientations
relatives des systèmes d'acquisition du capteur et de la
caméra 9 (matrice CCD pour celle-ci). Ceci peut par exemple
être réalisé de manière simple en fixant le capteur 16
rigidement à la caméra de tournage 9, par exemple par
l'intermédiaire d'une bride 19 ou tout autre système
mécanique adapté.
Le capteur 16 est caractérisé en particulier par un
champ d'acquisition 20. On
peut par exemple placer le
capteur 16 de sorte qu'aucune partie de la caméra de
tournage 9 n'obture une partie du champ d'acquisition 20,
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
11
et qu'aucune partie du capteur 16 n'obture une partie du
champ optique 11, comme représenté sur la figure 2.
Le capteur 16 est adapté pour acquérir des
informations relatives à l'espace réel 1, de manière à
pouvoir déterminer la position du capteur 16 dans l'espace
réel, à l'aide du module informatisé de repérage 17. En
particulier, on peut prévoir, en configuration de tournage,
d'acquérir des données de localisation dans l'espace réel 1
avec le capteur 16, et que le module informatisé de
repérage 17 puisse déterminer, pour une acquisition faite
par le capteur 16, à l'aide d'un modèle tridimensionnel
préétabli 21 de l'espace réel, la position du capteur 16
dans l'espace réel.
Ainsi, le module de repérage 17
déterminera la localisation la plus probable du capteur 16
dans l'espace réel, qui permette de faire correspondre les
données acquises par le capteur 16 et le modèle
tridimensionnel préétabli 21 de l'espace réel.
Connaissant la position du capteur 16 dans l'espace
réel, et connaissant la position relative de la caméra de
tournage 9 et du capteur 16, le module de repérage 17 peut
ainsi déterminer les données de localisation de la caméra
de tournage dans le référentiel réel.
On notera que, même si le procédé décrit ci-dessus
fait intervenir deux étapes successives de détermination de
la position du capteur 16, puis de détermination de la
caméra de repérage 9, on pourrait en variante déterminer
directement la position de la caméra de tournage 9 sans une
détermination explicite de la localisation du capteur 16.
On prévoit d'utiliser un capteur 16 spécifiquement
dédié à la tâche de repérage, et présentant des
caractéristiques d'acquisition distinctes de la caméra de
tournage 9.
Ainsi, la caméra de tournage 9 peut être
dédiée à sa tâche propre, qui est de filmer, et le capteur
16 à sa tâche propre, qui est de localiser.
A titre d'exemple, le capteur 16 est un capteur
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
12
optique. S'il est prévu de fixer le capteur 16 à la caméra
de tournage 9, on peut prévoir en particulier pour le
capteur 16 une caméra optique de faible encombrement, en
particulier d'un encombrement au moins deux fois inférieur
à l'encombrement de la caméra de tournage 9.
Ainsi, la
gêne pour l'opérateur sera minimale.
A titre de capteur 16, on pourra en particulier
choisir une caméra optique spécifiquement dédiée à
l'obtention de la position de la caméra de tournage 9 dans
l'espace réel. On
peut ainsi par exemple prévoir une
caméra optique présentant une fréquence d'acquisition au
moins un multiple entier de celle de la caméra de tournage
9, par exemple de l'ordre de 100 images par seconde,
permettant ainsi de lisser par calcul la position de la
caméra de tournage 9 dans l'espace réel pour chaque trame
de temps.
On peut en particulier également choisir une caméra
optique présentant un champ optique (angle solide de prise
de vue) 20 supérieur à celui de la caméra de tournage 11,
afin de maximiser l'information acquise de l'espace réel 1
pouvant servir au calcul du positionnement de la caméra de
tournage. Ainsi, on peut par exemple utiliser une lentille
grand angle ( fish eye ou il de poisson , en
anglais) présentant un angle d'acquisition supérieur à 160
degrés.
On pourra également utiliser une caméra noire et
blanc, si nécessaire, au titre de capteur de repérage.
Ainsi le procédé ici décrit peut fonctionner même sans
acquérir d'information de couleur.
Le modèle tridimensionnel préétabli de l'espace
réel comprend par exemple des informations topographiques
naturelles de l'espace réel 1.
Celui-ci est par exemple
disponible par tout moyen approprié.
Toutefois, comme
représenté sur les figures 3 et 4, on peut par exemple
utiliser certains éléments du système qui vient d'être
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
13
décrit pour générer le modèle tridimensionnel préétabli de
l'espace réel.
En particulier, comme représenté sur la figure 3,
au cours d'une étape préliminaire, en configuration
d'apprentissage, on établit le modèle tridimensionnel 21.
Cette étape est par exemple réalisée peu de temps avant le
tournage, afin que l'espace réel, au moment du tournage,
corresponde au modèle pré-établi.
Pendant l'étape d'apprentissage, on déplace un
capteur d'apprentissage 22 dans l'espace réel 1. Pour un
ensemble de trame de temps, le capteur d'apprentissage 22
transmet au système informatique 12, par tout moyen
approprié, des informations acquises par le capteur
d'apprentissage 22. Ainsi, le système informatique 12
comprend un module informatisé de génération 23 qui,
recevant des informations à partir du capteur
d'apprentissage 22 selon différents angles de vues, est
capable de déterminer le modèle tridimensionnel 21 (à un
facteur d'échelle près).
Ainsi, en acquérant, avec le
capteur d'apprentissage 22, les mêmes informations
topographiques naturelles de l'espace réel 1 selon
différents angles de vues, le module de génération 23 est
capable de déterminer la position en trois dimensions d'un
ensemble d'objets géométriques de l'espace réel. Comme
représenté sur la figure 4, le modèle tridimensionnel 21,
représenté affiché projeté selon une autre perspective sur
un écran d'ordinateur, est constitué d'un ensemble de
motifs géométriques (ici des points).
Ces points peuvent
être représentés selon n'importe quelle orientation, comme
sur la figure 4, une vue en perspective de l'espace réel.
Outre les points 24, le modèle tridimensionnel 21 pourrait
également être constitué d'un ensemble d'autres objets
géométriques, telles que des lignes, droites ou courbes,
des surfaces, planes ou non, des volumes, ... qui sont
déterminés soit par le module de génération 23 lui-même,
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
14
soit par assistance d'un opérateur du module de génération,
l'opérateur indiquant au module de génération qu'un
ensemble d'objets géométriques appartiennent à la même
ligne/surface/volume.
Comme expliqué ci-dessus, le modèle tridimensionnel
21 ainsi généré sera ensuite importé dans le module
informatisé de repérage, afin de repérer à tout moment, en
configuration de tournage, la position effective dans
l'espace réel de la caméra de tournage.
Dans l'exemple décrit, on peut utiliser à titre de
capteur d'apprentissage 22, le même capteur 16 que celui
qui est utilisé en configuration de tournage.
Ainsi, le
même algorithme est utilisé pour déterminer la position
tridimensionnelle d'un objet géométrique dans l'espace réel
en configuration d'apprentissage, et pour déterminer la
position dans l'espace réel de la caméra de repérage 16 à
partir des positions dans l'espace réel des objets
géométriques déterminés avec cette même caméra. De plus,
en utilisant le même capteur pour les deux étapes, on peut,
en configuration de tournage, continuer d'enrichir le
modèle tridimensionnel, si celui-ci était amené à changer
en cours de tournage (ce qui peut être le cas en cas de
tournage extérieur, ou du fait de la présence d'acteur dans
le champ du capteur 16 en configuration de tournage).
Ainsi, dans ce cas, le mode d'apprentissage continue
pendant le tournage.
Comme expliqué ci-dessus, le modèle tridimensionnel
préétabli 21 peut, le cas échéant, être réalisé à un
facteur d'échelle près. Dans ce cas, on peut par exemple
utiliser un étalon 25, de longueur donnée, qui va être
acquis avec le capteur d'apprentissage 22, permettant ainsi
de mettre à l'échelle le modèle tridimensionnel 21, comme
représenté Fig. 5a.
De plus, on peut mettre en uvre une configuration
de localisation, afin de déterminer avant tournage les
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
données de localisation respectives de la caméra de
tournage 9 et du capteur de repérage 16. En particulier,
un exemple est donné dans le cas où le capteur 16 est fixé
rigidement à la caméra de tournage 9. Au
cours de la
5 configuration de localisation, on filme une mire 27
simultanément avec la caméra de tournage 9 et le capteur
16. Les informations recueillies par les deux outils sont
transmises à un module informatisé de localisation 26
adapté pour déterminer leur position relative à partir des
10 images acquises de la même mire 27 par les deux outils.
En revenant maintenant sur la figure 2, le système
informatisé 12 comprend également un module informatisé
d'animation 28. Ce module d'animation 28 peut par exemple
comprendre une base de données d'animation 29 comprenant
15 une ou plusieurs animations virtuelles.
Chaque animation
comprend par exemple, pour chacune d'un ensemble de trames
de temps correspondant à tout ou partie de la durée du film
vidéo à tourner, des caractéristiques
d'objets
tridimensionnels (point, ligne, surface, volume, texture,...)
exprimé dans un référentiel virtuel U, V, W 30.
Chaque
animation représente par exemple un évènement de réalité
virtuelle augmentée. Par exemple, on peut prévoir dans la
base de données d'animation, des animations représentant un
personnage virtuel tridimensionnel, mobile ou non, un effet
spécial (pluie, explosion, ...), ou autre. A
titre
d'exemple, on a représenté sur la figure 2, pour une trame
de temps donné, un objet virtuel 31, caractérisé par des
données exprimées dans l'espace virtuel, repéré par le
référentiel virtuel U, V, W.
Dans l'exemple illustratif
très simple, on a utilisé une colonne verticale à base
carrée, fixe dans le temps mais, en pratique, s'il s'agira
par exemple d'un lion, marchant, ou autre, ....
Comme représenté sur la figure 2, le système
informatique 12 comporte un module de composition 32. Le
module de composition 32 importe une animation du module
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
16
d'animation 28 le long d'un lien 33. Si
nécessaire, si
l'animation n'est pas déjà exprimée dans le référentiel
réel 2, le module de composition 32 relie mathématiquement
les référentiels virtuels U, V, W et le référentiel réel X,
Y, Z par une matrice de passage adaptée (un exemple est
décrit plus loin).
Puis, le module informatisé de composition 32
génère, pour la trame de temps en question, une image
composite de l'image réelle acquise par la caméra de
tournage 9, et une projection d'une image virtuelle,
correspondant à l'objet virtuel 31 pour cette même trame de
temps, la projection étant générée selon les données de
localisation dans le référentiel réel de la caméra de
tournage 9. Ainsi, l'image composite comprend la
superposition de l'image réelle, et de l'image virtuelle,
comme si cette image virtuelle était l'image d'un objet
présent dans l'espace réel, acquise, pour cette trame de
temps, par la caméra de tournage 9. L'image composite est
alors affichée sur l'écran de contrôle 15.
Ainsi,
l'opérateur, filmant, peut, pour chaque trame de temps,
visualiser, sur son écran de contrôle, la position et
l'orientation de l'objet virtuel dans l'espace réel, selon
son propre angle de vue, comme si cet objet virtuel était
présent devant lui. Il
peut ainsi adapter le cas échéant
la position de la caméra de tournage par rapport aux
objets.
En variante, le système informatique 12 comporte
également un écran de contrôle 15' d'un moniteur 14'
permettant, pour le réalisateur, ou pour toute personne
intéressée, en temps réel, de visualiser l'image composite
depuis l'angle de vue de la caméra de tournage.
Un exemple est en particulier donné aux figures 6a
à 7c. Les
figures 6a à 6c correspondent à un premier
instant, où un opérateur non représenté, filme une partie
34 de l'espace réel correspondant à la partie inférieure
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
17
arrière de la voiture 8. L'image 35 acquise par la caméra
de tournage 9 pour cet instant peut être vue sur la figure
6b. La
position de la caméra de tournage 9 pour cette
trame de temps est déterminée par le système de repérage.
Comme représenté sur la figure 6c, l'image composite 36
générée sur l'écran de contrôle 15, 15' comprend la
superposition de l'image réelle, et de l'objet virtuel 31
vu selon l'angle d'acquisition de la caméra de tournage 9.
Pour ce faire, comme expliqué ci-dessus, connaissant les
positions, dans l'espace réel, de la caméra de tournage 9,
et de l'objet virtuel 31, à cet instant donné, on peut
calculer une projection dans l'image 35 de cet objet.
Les figures 7a à 7c représentent une trame de temps
ultérieure (directement ultérieure), et sont expliquées par
référence aux figures 6a à 6c. Ainsi, les évènements
représentés figures 7a à 7c ont lieu environ à 1/24 seconde
après ceux des figures précédentes. Pendant cet espace de
temps, l'angle de vue d'une caméra de tournage 9 a changé,
de sorte que la caméra de tournage 9 pointe désormais plus
vers le haut de la voiture 8. La
partie 34' imagée est
également représentée sur la figure 7a.
L'image réelle
acquise par la caméra de tournage 9 est représentée par la
référence 35' sur la figure 7b. La
figure 7c représente
l'image composite 36' correspondant à la superposition de
l'image réelle 35' et de l'objet virtuel 31, exprimé en
fonction de la localisation de la caméra de tournage 9 pour
cette trame de temps. A noter que, dans cet exemple,
l'objet virtuel 31 peut être identique, sur les deux trames
de temps. Sa représentation projetée pour les deux trames
de temps diffère du fait de la différence d'angle de vue.
Toutefois, s'agissant d'une animation, l'objet virtuel 31
peut également être légèrement différent pour les deux
trames de temps.
Les étapes ci-dessus peuvent être répétées en temps
réel pour chaque trame de temps du tournage et, le cas
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
18
échéant pour plusieurs caméras de tournage.
En se référant à nouveau à la figure 6a, pour la
trame de temps considérée, l'image de repérage 37 acquise
par le capteur 16 peut correspondre à un volume plus grand
de l'espace réel, et le module informatisé de repérage est
adapté pour extraire de cette image de repérage 37 des
informations topographiques naturelles, et pour déterminer
la position dans le référentiel réel 2 de la caméra de
tournage 9, comme explicité ci-dessus, à partir de ces
informations topographiques naturelles détectées, et du
modèle tridimensionnel 21. En particulier, on peut ne pas
utiliser de marqueurs optiques fixés dans l'espace réel 1,
pour une grande simplicité d'utilisation. On utilise alors
uniquement les informations topographiques naturelles, ce
qui évite d'encombrer l'espace de tournage de marqueurs
artificiels. Toutefois, le système ici décrit est
également compatible avec les marqueurs artificiels.
Si le champ optique du capteur 16 venait à être
obturé (en effet, l'opérateur bouge au cours de
l'acquisition) par un élément réel de l'espace réel, le
module informatisé de repérage peut présenter plusieurs
options afin de déterminer à tout moment la position dans
l'espace réel de la caméra de tournage 9. Par exemple, au
cas où le module informatisé de repérage n'arrive pas à
repérer suffisamment d'informations topographiques pour
déterminer à coup sûr la position dans l'espace réel de la
caméra de tournage 9, il peut par défaut considérer que la
caméra de tournage 9 est immobile pendant cet instant. En
réalité, lorsque les deux appareils 9 et 16 sont très
proches l'un de l'autre, comme dans le mode de réalisation
présenté, si le capteur 16 n'est pas capable de déterminer
l'information topographique, c'est que le champ optique de
la caméra de tournage 9 est probablement obturé par un
objet réel très proche. A la trame de temps suivante où le
capteur 16 pourra déterminer suffisamment d'informations
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
19
topographiques lui permettant de déterminer la position
dans l'espace tridimensionnel de la caméra de tournage 9,
une image composite pourra à nouveau être générée pour
cette position.
A ce titre, on notera que le module informatisé de
repérage comprend un module de sélection adapté pour
sélectionner les motifs géométriques du modèle
tridimensionnel susceptibles d'être utilisés pour retrouver
la position de la caméra de tournage dans l'espace 3D.
D'une part, on sélectionne les motifs géométriques
susceptibles d'être dans le champ du capteur 16, par
exemple à l'aide d'une connaissance approximative de la
position du capteur provenant d'une trame de temps
antérieure.
D'autre part, si dans une région de l'image
acquise par le capteur 16, l'ensemble de motifs
géométriques identifiés est trop différent du modèle
tridimensionnel, ces motifs ne sont pas pris en compte pour
la détermination de la position de la caméra de tournage.
Ainsi, en comparant deux images proches dans le
temps acquises avec le capteur 16, on associe deux à deux
les motifs géométriques présents sur les deux images et
immobiles dans l'espace réel.
Les autres motifs
géométriques sont considérés comme mobiles dans l'espace
réel et ne sont pas conservés pour la comparaison avec le
modèle tridimensionnel.
Comme représenté sur la figure 2, on peut
également, dans ces cas, enrichir le module informatisé de
repérage, en adjoignant un capteur inertiel 38 adapté pour
fournir au module informatisé de repérage les informations
supplémentaires sur la position de la caméra de tournage 9.
Par exemple, le capteur inertiel 38 est fixé à la caméra de
tournage 9, où au capteur 16 si celui-ci est fixé à la
caméra de tournage 9. Une matrice de passage entre la
caméra de tournage et le capteur est associée à chaque
grossissement. En configuration de tournage, on utilise
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
l'information provenant de l'encodeur pour sélectionner la
matrice de passage appropriée.
Selon un exemple de réalisation, comme représenté
également sur les figures 6a à 6c, le module de composition
5 32 peut également être adapté pour générer une ombre
projetée de l'objet virtuel 31 dans l'espace réel 1. Comme
cela est visible par exemple sur la figure 6a, on dispose
d'un éclairage 39 artificiel (comme représenté) ou naturel,
dont la position dans le référentiel réel 2 est connue.
10 Ainsi, comme visible sur la figure 6b, l'image réelle 35
comprend, outre une image de l'objet 8, une image 40 de son
ombre réelle. Comme cela est représenté sur la figure 6c,
le modèle tridimensionnel personnalisé peut comprendre des
informations de surface sur laquelle l'ombre 41 de l'objet
15 virtuel 31 va être projetée, visualisé sous l'angle de
prise de vue de la caméra de tournage 9. Les ombres des
objets virtuels sont calculées en prenant en compte la
position dans l'espace réel de l'objet virtuel 31, et la
position dans l'espace réel d'une surface sur laquelle est
20 projetée l'ombre de l'objet virtuel 31, la position de la
caméra de tournage, et la position des éclairages. Les
ombres réelles et virtuelles sont également visibles sur la
figure 7c.
Le système qui vient d'être décrit présente un
intérêt particulier lorsque l'animation est déplacée par
rapport au champ optique de la caméra de tournage 9. Dans
un exemple de réalisation, en configuration de tournage, on
tournera un plan fixe d'un espace réel immobile, sur lequel
on viendra générer une animation dont la forme change au
cours du temps. Ainsi, on pourra vérifier que l'animation
est cadrée comme on le souhaite pendant le tournage. Un
autre exemple consiste à déplacer la caméra de tournage 9
dans l'espace réel 1, en incorporant une animation mobile
ou, le cas échéant, immobile, pour vérifier que celle-ci
est cadrée comme on le souhaite pendant l'acquisition.
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
21
En revenant sur la figure 2, on peut également
prévoir que le système comporte un moyen de prendre en
compte un changement de focale de l'optique 10 de la caméra
de tournage 9.
Ainsi, dans l'exemple présenté ci-dessus, on peut
considérer que l'ensemble des opérations ont été mises en
uvre pour une focale fixe.
Bien entendu, si on change la focale au cours du
tournage, les images réelles 35 et 35' des figures 6b et 7b
seront représentées avec un niveau de grossissement
différent. On peut ainsi prévoir, comme représenté sur la
figure 2, que le zoom 42 porté par la caméra 9 comporte un
encodeur 43 permettant de détecter le degré de rotation
d'une bague de grossissement 42, et que le module
informatisé de repérage 17 prenne en compte le niveau de
grossissement déterminé par des données transmises par
l'encodeur 43.
Ceci peut être fait, par exemple en
répétant l'étape de localisation de la figure 5 pour une
pluralité de grossissements différents de l'optique 10 de
la caméra de tournage 9.
Dans les modes de réalisation qui ont été décrits
ci-dessus, l'objet virtuel 31 est exprimé directement dans
le référentiel réel 2 afin d'être directement visualisable
sous l'angle de vue de la caméra de tournage 9. Selon un
exemple de réalisation, on peut prévoir de coupler le
module de génération de modèle tridimensionnel avec le
module d'animation 28. Ainsi, le lien 33, qui est décrit
en relation avec la figure 2 pour exporter des animations
du module d'animation 28 vers le module de composition 32
peut également être utilisé dans l'autre sens, pour
transmettre au module d'animation 28 le modèle
tridimensionnel 21 établi pour l'espace réel. Ainsi, comme
représenté sur la figure 8, on peut représenter sur l'écran
44 du module informatisé d'animation 28 la superposition de
l'objet virtuel 31 obtenu à partir de la base de données
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
22
d'animation et du modèle tridimensionnel 21.
Cette
superposition permet d'une part de définir la matrice de
passage entre les référentiels virtuel U, V, W et réel X,
Y, Z dans lesquels sont exprimés, respectivement, l'objet
virtuel 31 et le modèle tridimensionnel 21. Cela
peut
également permettre de définir ou redéfinir l'animation au
cours du tournage.
Ainsi, le module d'animation 28 peut
comprendre une application comprenant un ensemble d'outils
représentés à l'écran 44 par des icones 45, et permettant
de pré-définir l'animation.
Ainsi, il suffit de disposer
des points tridimensionnels qui sont générés pendant
l'étape d'apprentissage pour générer
l'animation
directement en prévision de son tournage dans l'espace
réel. A titre d'exemple, on a représenté sur la figure 8
des flèches épaisses représentant des ordres de mouvement
ou de redimensionnement de l'objet virtuel 31 dans l'espace
virtuel U, V, W. On
peut également définir une
transformation de l'objet virtuel au cours du temps entre
un objet de départ, représenté par la référence 31, et un
objet d'arrivée, représenté par la référence 46. La
déformation entre ces deux représentations de l'objet
virtuel au cours du temps peut être paramétrée. Le
système qui vient d'être décrit est, bien évidemment,
simplifié à l'extrême pour faciliter sa compréhension.
Ainsi, le système qui vient d'être décrit permet,
le cas échéant, de retoucher l'animation directement au
moment du tournage, dans l'espace réel, après acquisition
par le système en configuration d'apprentissage, ce qui
permet encore une interaction accrue entre le monde réel et
le monde virtuel.
Comme représenté très schématiquement sur la figure
9, le système de tournage peut, dans un mode de
réalisation, être utilisé comme suit.
Au cours d'une première étape 101, on met en uvre
le système dans une configuration de calibration optique de
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
23
la caméra de tournage 9, afin de déterminer les éventuelles
aberrations optiques de la caméra de tournage. Cette étape
préalable est par exemple réalisée à l'aide d'une mire, et
des informations recueillies peuvent être utilisées par la
suite par le système informatique 12, pour corriger
informatiquement l'acquisition de la caméra de tournage 9.
Ensuite, lors d'une étape 102, on utilise le
système dans une configuration d'apprentissage, dans
laquelle un capteur d'apprentissage est déplacé dans
l'espace réel, afin de générer un modèle tridimensionnel de
l'espace réel. On procède également à une mise à l'échelle
de ce modèle tridimensionnel.
Ensuite, lors d'une étape 103, dans une
configuration de localisation, on détermine les positions
relatives de la caméra de tournage 9 et d'un capteur de
repérage 16.
Puis, au cours d'une étape 104, on fournit une
animation à partir d'une base de données d'animations
virtuelles, l'animation étant destinée à coopérer avec
l'espace réel à filmer.
Au cours d'une étape 105, on utilise le système de
configuration de tournage, et on génère, sur un écran de
contrôle disponible sur le lieu du tournage, une image
composite de l'image réelle obtenue par la caméra optique
9, et une projection générée, pour la même trame de temps,
sur l'image réelle, selon les données de localisation dans
le référentiel réel de la caméra de tournage 9.
Au cours d'une étape de détermination 106, si le
réalisateur considère que la prise de vue est
satisfaisante, (flèche 0), en prenant en compte les images
composites générées, il met fin au tournage du film vidéo
(étape 107).
Si l'étape de détermination 106 montre que le
tournage n'est pas satisfaisant (flèche N), on peut
profiter du fait de disposer sur place de tous les acteurs
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
24
et opérateurs pour filmer à nouveau la scène (retour à
l'étape 105). Le cas échéant, on pourra au cours de cette
étape avoir modifié l'animation, telle que décrit ci-dessus
en relation avec la figure 8.
Les systèmes informatisés qui sont décrits ci-
dessus peuvent être réalisés par une ou une pluralité de
machines programmables, communiquant entre elles, par le
biais de réseaux, permettant le cas échéant d'importer à
distance les animations à partir d'une base de données
d'animations 29 distante. Les objets informatiques de type
clavier, écran, souris, processeur, câbles etc peuvent être
de type classiquement connu. On
pourra en particulier
prévoir que l'animation issue de la base de données
d'animation correspond à une animation simplifiée de
l'animation destinée à être présente dans le film vidéo
final. Alors, quelques semaines plus tard, dans une étape
de post-production, on pourra prévoir de réaliser
l'animation finale à partir de l'animation initiale
utilisée au cours du tournage, et du film acquis.
L'animation simplifiée comprend un volume de données plus
faible (par exemple au moins deux fois plus faible) que
l'animation finale.
De la même manière qu'on a décrit, en relation avec
les figures 6a-6c, la génération d'une ombre projetée de
l'image de l'objet virtuel dans l'espace réel, on pourra
utiliser le modèle tridimensionnel, notamment volumique,
pour gérer les occultations entre les objets de l'espace
réel, et les objets virtuels.
Ainsi, si on détecte que
selon l'angle de vue de la caméra de tournage, une partie
de l'objet virtuel 31 se situe derrière un objet opaque
l'espace réel, tel que défini dans le modèle
tridimensionnel, un module informatisé de soustraction
pourra être utilisé pour, pour cette trame de temps,
soustraire de l'image composite la partie cachée de l'objet
virtuel 31. Ceci est possible à l'aide de la position dans
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
l'espace réel de la caméra de tournage, de l'objet virtuel,
et d'un objet opaque tel que défini par le modèle
tridimensionnel. Ainsi, l'opérateur ou le réalisateur,
voyant sur son écran de contrôle 15, 15', que l'objet
5 virtuel 31 n'est peut être pas visible de la façon dont il
le souhaite, pourra immédiatement adapter la position de la
caméra de tournage.
Dans l'exemple présenté, on a décrit sur la figure
2 que le capteur 16 et la caméra de tournage 9 présentaient
10 des champs optiques se superposant et/ou des axes
d'acquisition relativement proches d'être parallèles.
Toutefois, ceci n'est pas du tout une obligation et, en
variante, le capteur 16 (dit aussi caméra témoin) pourrait
par exemple filmer le plafond ou le sol de l'espace réel,
15 par exemple, alors que l'axe optique de la caméra de
tournage 9 serait environ horizontal.
Selon un mode de réalisation tel que représenté sur
la figure 10, le système de repérage comprend un deuxième
capteur 16' présentant au moins une caractéristique
20 différent du premier capteur 16, choisie par exemple parmi
la position, l'orientation, l'angle solide de prise de vue,
la fréquence d'acquisition, l'axe optique, le champ
optique. Par exemple, un deuxième capteur 16' peut être
orienté vers le plafond, et un troisième capteur 16" peut
25 être orienté latéralement. Chaque capteur 16, 16' et 16"
transmet au module informatisé de repérage les informations
topographiques naturelles qu'il détecte. Le module
informatisé de repérage 17 détermine les données de
localisation dans le référentiel réel de la caméra de
tournage 9 à partir des données de localisation des
capteurs 16, 16', 16" (pris ensemble ou séparément), et
d'une comparaison entre les informations topographiques
naturelles et le modèle tridimensionnel 21 préétabli de
l'espace réel.
Différentes étapes et procédés décrits ci-dessus
CA 02856464 2014-05-21
WO 2013/088076 PCT/FR2012/052916
26
apparaissent innovants, outre leur utilisation dans le
procédé général décrit, et la déposante se réserve le droit
de protéger ceux-ci de toute manière adaptée.
