Note: Descriptions are shown in the official language in which they were submitted.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
1
DISPOSITIF ET PROCEDE DE PARTAGE D'IMMERSION
DANS UN ENVIRONNEMENT VIRTUEL
Domaine de l'invention
La présente invention appartient au domaine de la réalité virtuelle et de la
présentation des environnements virtuels et du partage d'environnements
virtuels.
Plus particulièrement, l'invention concerne un dispositif et un procédé de
partage de l'immersion dans un environnement virtuel avec des utilisateurs
disposant de moyens d'immersion autres que les moyens ayant généré
l'environnement virtuel.
Etat de l'art
Dans le domaine de la réalité virtuelle un ou plusieurs utilisateurs d'un
système d'immersion dans un environnement virtuel sont immergés dans
l'environnement virtuel au moyen d'un environnement matériel produisant des
stimuli pour donner aux utilisateurs des sensations proches, sinon identiques,
sinon supposées, de celles qui seraient ressenties dans un environnement réel
que l'environnement virtuel est sensé reproduire.
On comprend ici que la représentation n'est pas nécessairement réaliste
mais peut aussi être déformée, atténuée ou exagérée dans certains effets, pour
produire des sensations particulières telles qu'une perception accrue de
phénomènes dans le monde virtuel. Par exemple par un effet d'échelle, un
utilisateur peut se trouver immergé dans un univers microscopique qui lui est
normalement inaccessible. Un utilisateur peut être immergé pour observer un
environnement non visible en conditions ordinaires comme par exemple un
écoulement aérodynamique, ou encore pour observer une représentation d'un
environnement non physique comme par exemple une base de données
visualisée en 3D.
Dans certains cas, un même environnement virtuel est partagé entre
plusieurs utilisateurs.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
2
Par la suite, il sera considéré une représentation visuelle de
l'environnement virtuel, à deux ou à trois dimensions, et il sera exposé plus
particulièrement les problèmes et solutions liés à cette représentation
visuelle
dans le contexte de l'invention.
Une solution connue pour permettre à au moins deux utilisateurs d'être
immergés dans un environnement virtuel consiste à dupliquer les données
utilisées pour construire la représentation visuelle de l'environnement
virtuel sur
deux systèmes immersifs, chaque système étant affecté à un utilisateur, pour
obtenir sur chacun des deux systèmes un rendu temps réel correspondant au
point de vue de chaque utilisateur associé à un système. Dans ce cas les
informations relatives à la position et ou aux interactions réalisées par
chacun
des utilisateurs sont synchronisées pour permettre à chacun des environnements
virtuels reproduits sur chacun des systèmes d'être dans un état identique.
Cette solution a l'avantage de permettre à chacun des utilisateurs
partageant l'immersion d'avoir son propre point de vue sur l'environnement
virtuel
partagé.
Ainsi, un utilisateur en immersion au moyen d'un premier système immersif
peut regarder le côté gauche d'un objet et un second utilisateur en immersion
dans le même environnement virtuel au moyen d'un second système immersif
peut regarder simultanément le côté droit du même objet.
Dans une telle solution, chacun des systèmes immersifs doit disposer des
données utilisées pour construire l'environnement virtuel, et sa
représentation
visuelle, et de l'ensemble des applications, en particulier des logiciels,
permettant
d'exploiter ces données, conditions qui imposent de passer par une étape de
duplication des données et de disposer des licences, pouvant s'avérer
coûteuses, sur les logiciels mis en oeuvre sur chacun des systèmes.
En outre, lorsque les deux systèmes immersifs sont distants, la transmission
de données pose un problème de confidentialité, notamment dans les
environnements industriels où les données emportent un important volume
d'informations pouvant être sensibles sur la définition de l'environnement
virtuel,
par exemple une maquette numérique d'une machine prototype.
Un autre inconvénient de cette solution est de nécessiter sur chaque
système immersif des systèmes de traitement numériques avec des
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
3
performances suffisantes pour générer en temps réel les images de
l'environnement virtuel affichées sur les moyens d'affichage du système
immersif,
performances encore plus importantes lorsque le système immersif doit
exploiter
un environnement en trois dimensions et ou produire une représentation en
trois
dimensions.
Un autre inconvénient de cette solution est que le confort de partage de
l'expérience du monde virtuel dépend très fortement de la qualité des moyens
de
communication réseau mis en place. Le partage reposant sur la synchronisation
des données entre plusieurs systèmes immersifs, les temps de latence
introduits
par les moyens de communication réseau affectent la vitesse à laquelle les
données provenant d'un système immersif distant sont remises à jour dans un
système immersif donné, provoquant un écart potentiellement important entre
l'état effectif de l'environnement virtuel à un instant donné du système
immersif
distant et celui retranscrit à l'intérieur du système immersif considéré au
même
instant.
Suivant un autre procédé connu, qui évite la transmission de certaines
données sensibles, des images produites par un système immersif pour un
utilisateur sont filmées par une caméra portée par l'utilisateur, orientée
pour
montrer les images dans le champ visuel de l'utilisateur, et sont transmises
pour
être observées sur un écran par des personnes plus ou moins éloignées. Ce
procédé n'offre cependant pas la qualité attendue par une personne distante
devant observer un environnement virtuel du fait de l'exploitation de l'image
filmée sur un écran unique et du fait que l'image filmée comporte en général
des
défauts et artefacts en raison de la mise en oeuvre par le système immersif de
systèmes d'affichage des images comportant plusieurs écrans assemblés pour
former l'environnement immersif. En outre les personnes qui observent l'image
à
distance sont passives et n'ont pas d'interaction avec lesdites images. De
plus,
une telle solution n'est pas envisageable lorsque le système immersif met en
oeuvre un casque de réalité virtuelle, les images étant dans ce cas affichées
très
près des yeux de l'utilisateur.
Dans le cas d'un système immersif composé de plusieurs écrans et/ou
images combinées pour obtenir un grand champ de vision, l'homme du métier
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
4
sait que les images sont composées pour être vues d'un emplacement donné du
système d'affichage et qu'observées depuis un autre emplacement les images
sont vues déformées et avec des défauts de raccordement lorsque qu'il est mis
en oeuvre plusieurs écrans.
Ainsi, même lorsque le système d'affichage du système immersif distant est
identique à celui du système immersif générant les images de l'environnement
virtuel, pour que les images affichées soient correctement vues par
l'observateur
distant il est nécessaire que la position de son point d'observation dans le
système d'affichage distant soit la même que celle du point d'observation de
l'utilisateur dans le système d'affichage du système immersif. Cette dernière
contrainte s'avère en pratique impossible à respecte, chaque utilisateur
devant
être libre de réaliser des mouvements de tête, même de faibles amplitudes.
Il résulte du non-respect de cette contrainte de positions des points
d'observation que les différentes images affichées dans le système d'affichage
distant présentent des incohérences avec des déformations et des
discontinuités
généralement inacceptables pour la compréhension de l'information affichée, et
incompatible pour réaliser une immersion.
Présentation de l'invention
L'invention apporte une solution aux différents problèmes de l'art antérieur
dans le domaine de l'immersion d'un observateur dans un environnement virtuel
généré pour un autre système.
Un avantage est d'éviter de multiplier les coûts des licences de logiciels.
Un autre avantage est d'éviter la duplication des données et les contraintes
de transmission des données.
Un autre avantage est de ne pas être limités dans le choix des architectures
matérielles de chacun des systèmes immersifs mis en oeuvre.
Un autre avantage est de préserver la confidentialité des données de
l'environnement virtuel.
Un autre avantage est de conserver la qualité de la représentation visuelle
de l'environnement virtuel et de l'immersion dans un système distant.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
Pour cela, l'invention concerne un dispositif de partage d'immersion dans un
environnement virtuel, comportant :
- un système source, délivrant des données d'exploitation d'une
représentation visuelle de l'environnement virtuel, lesdites données
5 d'exploitation comportant des données d'affichage relatives à des images
de ladite représentation visuelle et comportant des données des conditions
d'observation dans lesquelles la représentation visuelle de l'environnement
virtuel a été générée ;
- au moins un système immersif cible, comportant un système de traitement
numérique délivrant des images à au moins un système d'affichage dudit
système immersif cible.
En outre, le dispositif comporte :
- des moyens de transmission (30) des données d'exploitation délivrées par
le système source (10) à l'au moins un système immersif cible (20) ;
- des moyens de transformation des données d'affichage, représentatives
d'images de la représentation visuelle de l'environnement virtuel délivrées
par le système source (10) associée à des données des conditions
d'observation, pour construire des images affichées dans le système
d'affichage (22) du système immersif cible (20), tels que l'ensemble des
images affichées par ledit système d'affichage dudit système immersif cible,
est le résultat de traitements en vue de favoriser l'immersion sur ledit
système immersif cible (20) dans les données d'affichage lors d'un passage
des conditions d'observation transmises par le système source (10) à des
conditions d'observation effectives dans le système d'affichage (22) dudit
système immersif cible.
En pratique, comme il sera compris dans la suite de la description, favoriser
l'immersion comprend compenser les déformations visuelles éventuelles
résultant de l'exploitation de données d'affichage sur des systèmes
d'affichage
différents et ou selon des conditions d'observation différentes. Favoriser
l'immersion peut comprendre également modifier la position dans
l'environnement virtuel du système cible de la portion de contenu de
l'environnement virtuel visible au travers du système d'affichage du système
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
6
source pour le présenter de façon stabilisée, atténuant l'impact des
mouvements
de tête fréquents de l'utilisateur du système source.
Le partage peut être effectué en temps réel, la transmission des données
étant alors réalisée en continu, ou en temps différé.
En outre, en réalisant par le système immersif cible la transformation des
données d'affichage pour la partie fonction des conditions d'observation
effectives, incluant les données de position d'observation et ou de direction
d'observation, dans le système d'affichage du système immersif cible, il est
minimisé l'impact du temps de latence entre l'affichage dans le système cible
des
images transformées et la prise en compte pour la transformation des données
d'affichage du point d'observation effectif dans le système d'affichage du
système
cible.
Dans une forme de réalisation, le système source est un système immersif
comportant un système d'affichage source affichant des images des données
d'affichage d'une représentation visuelle d'un environnement virtuel généré
par
ledit système source.
Il est alors obtenu un système dans lequel les données d'exploitation du
système source sont générées avec l'interaction d'un utilisateur du système
immersif source, l'immersion pouvant être partagé en temps réel ou en temps
différé avec un observateur du système cible.
Dans une forme de réalisation, la transformation des données d'affichage
comporte une reconstitution d'une représentation virtuelle 3D d'un système
d'affichage source de l'environnement physique du système d'affichage source,
une position d'un point d'observation de l'observateur dans le système
d'affichage du système cible étant forcée, pour la transformation des données
d'affichage, à une même position dans ladite représentation virtuelle 3D du
système d'affichage source que la position d'observation de l'utilisateur dans
le
système d'affichage source.
Dans une forme de réalisation, le système immersif source comporte un
système de mesure en temps réel de la direction d'observation, et ou de la
position d'observation, dans le système d'affichage du système immersif
source,
d'un utilisateur qui serait immergé dans l'environnement virtuel dudit système
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
7
immersif source, et l'au moins un système immersif cible comporte un système
de mesure de la direction d'observation, respectivement et ou de la position
d'observation, dans le système d'affichage dudit système immersif cible, d'un
observateur qui serait immergé dans l'environnement virtuel représenté sur
ledit
système immersif cible.
Il est ainsi connu une position et ou une direction effective depuis laquelle
les données d'affichage des images affichées dans le système d'affichage du
système immersif source ont été générées pour être vues par l'utilisateur et
une
position et ou une direction effective depuis laquelle les données d'affichage
des
images affichées dans le système d'affichage du système immersif cible doivent
être générées pour être vues par l'observateur et être représentatives de
l'environnement virtuel vu par l'utilisateur du système immersif source.
Un logiciel de traitement partiel des données d'affichage peut être exécuté
sur les moyens de traitement numérique du système immersif source, ou sur un
calculateur annexe connecté à un réseau par lequel des données sont
transmises entre le système source et au moins un système immersif cible,
ledit
logiciel transformant les données d'affichage générées par le système immersif
source, représentatives des images de la représentation visuelle de
l'environnement virtuel du système source, en données d'affichage
correspondant à des images adimensionnelles indépendantes d'une structure
d'un système de visualisation devant afficher les images, lesdites données
d'affichage correspondant à des images adimensionnelles étant transmises à
l'au
moins un système immersif cible.
Dans cette configuration, les calculs de transformation des données
d'affichage qui ne dépendent pas du système immersif cible sont
avantageusement réalisés sur le système source ou un calculateur annexe
indépendant. Une telle solution permet dans un dispositif comportant plusieurs
systèmes immersifs cibles de transmettre aux différents systèmes immersifs
cibles des données d'affichage dans une forme neutre, adimensionnelle, dont
seul le traitement ultérieur, spécifique au système immersif cible, est
réalisé par
chacun des systèmes immersifs cibles.
Dans une forme de réalisation, les images adimensionnelles correspondent
à des images projetées sur une paroi intérieure d'une sphère, au centre de
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
8
laquelle sphère est placé le point d'observation du système source, pour
former
les images adimensionnelles dans un angle solide correspondant aux images
affichées sur le système de visualisation du système immersif cible et pouvant
atteindre quatre Pi stéradians.
Il est ainsi possible de donner à un observateur d'un système cible de
choisir une direction d'observation dans n'importe quelle direction de
l'espace
sans être limité par un champ visuel du système source.
Pour assister l'observateur d'un système immersif cible dans le choix d'une
direction d'observation dans un environnement virtuel dont il ne maîtrise pas
toutes les conditions de la représentation, des représentations symboliques
sont
avantageusement superposées à la représentation visuelle de l'environnement
virtuel représenté sur le système immersif cible pour apporter à l'observateur
une
aide à l'orientation et au choix d'une direction d'observation.
Ces représentations symboliques comportent par exemple la matérialisation
graphique d'une sphère ou encore d'une grille associée à la représentation de
surfaces horizontales, par exemple un sol, et ou verticales, par exemple un
mur.
De tels représentations symboliques, qui peuvent n'être matérialisées que
temporairement, par exemple par une commande de l'observateur, ou dans
certaines conditions, par exemple une évolution rapide des conditions
d'observation du système source, apporte une assistance à l'observateur pour
faciliter son choix de direction d'observation et pour identifier ou retrouver
sa
position dans la scène virtuelle.
Le logiciel de traitement des données d'affichage pour construire des
images affichées sur le ou les écrans du système d'affichage de l'au moins un
système immersif cible peut également être exécuté sur les moyens de calculs
dudit système immersif cible.
Il est dans ce cas transmis par le système source les mêmes données à
tous les systèmes immersifs cibles et les traitements numériques de la
transformation des données d'affichage sont réalisés par chaque système
immersif cible en fonction de la configuration qui lui est propre et de
variables
locales telles que les position et directions d'observation de l'observateur
dans le
système d'affichage du système immersif cible.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
9
Dans une forme de réalisation, le dispositif comporte une pluralité de
systèmes immersifs cibles connectés simultanément au système immersif
source. Il est ainsi possible avec les bénéfices de l'invention de permettre à
de
nombreux observateurs, pouvant être distants et dispersés, de suivre
l'immersion
vécue par un utilisateur du système source.
Il est compris qu'un système immersif cible peut être situé à une distance
quelconque du système source, les problèmes de synchronisation de la
représentation visuelle affichée dans le système immersif cible avec les
conditions d'observation de l'observateur trouvant précisément une solution
dans
l'invention.
Dans une forme de réalisation, le système source comporte un équipement
de capture un signal, numérique ou analogique, porteur des données
d'affichage,
généré par le système source et qui transmet sous forme de données
numériques lesdites données d'affichage correspondant au signal capturé,
directement ou indirectement, à au moins un système immersif cible.
Il est ainsi évité toute intervention ou modification, matérielle ou
logicielle,
autre que le raccordement dudit équipement de capture, du système immersif
source, de telles interventions ou modifications, lorsqu'elles sont possibles,
étant
le plus souvent contraignantes.
Dans une forme de réalisation, le système immersif source comporte un
logiciel, exécuté sur un système de traitement numérique, de capture de
contenus des données d'affichage du système source, après que les données
d'affichage ont été calculées, et qui transmet sous forme de données
numériques
lesdits contenus des données d'affichage capturés, directement ou
indirectement,
à l'au moins un système immersif cible.
Dans ces formes de réalisation de tels contenus correspondent
avantageusement à un ensemble de données suffisant pour reconstituer les
images générées par le système source. Lesdites données sont par exemple les
données numériques envoyées à un système d'affichage du système source, le
cas échéant avant une conversion analogique, ou des données soumises à des
algorithmes de compression spatiale et ou temporelle pour en diminuer la
taille,
ou des ensembles d'attributs de chaque image : contours, textures, couleurs...
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
Les contenus sont par exemple des images, ou des flux vidéo, dans encore
une autre forme des images stéréo, dans un autre exemple de forme un flux
vidéo stéréo.
Avantageusement, lorsqu'il est recherché une synchronisation du système
5 source et du ou des systèmes immersifs cibles, une forme des contenus est
déterminée en fonction des moyens de calcul du système source et ou du ou des
systèmes immersifs cibles, et des moyens de transmission de données, pour
limiter autant que possible les retards entre les traitements des données
d'exploitation par le système source et par le ou les systèmes immersifs
cibles
10 en prenant en considération les performances des équipements mis en oeuvre
par toute la chaîne de transmission des données et de leurs traitements par
les
systèmes.
Dans une forme de réalisation, le dispositif comporte un système
d'enregistrement des données, configuré pour enregistrer les données
d'exploitation générées par le système source et pour transmettre les dites
données d'exploitation à au moins un système immersif cible en temps différé.
Il est ainsi possible de rejouer à tout moment sur un système immersif cible
quelconque, et sans limite de nombre de fois, une immersion enregistrée sur un
système source.
Dans une forme de réalisation, le système source comporte un logiciel de
traitement d'image et un système d'affichage source, et un système immersif
cible comporte un logiciel de calcul d'images de synthèse et de construction
d'une représentation visuelle d'un environnement virtuel sous la forme
d'images
affichées sur un ou des écrans du système d'affichage dudit système immersif
cible et comporte également un équipement et ou un logiciel de capture des
données d'affichage correspondant aux images affichées sur le système
d'affichage dudit système immersif cible, de sorte que chacun desdits systèmes
immersifs cible et source peut être alternativement un système source et un
système cible. Le dispositif s'avère dans cette forme de réalisation
particulièrement adapté à un travail collaboratif entre un utilisateur et un
observateur susceptibles d'inverser leurs rôles.
Dans cette configuration les deux systèmes immersifs cible et source
pouvant inverser leurs conditions peuvent être différents tant dans leurs
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
11
configurations matérielles que logicielles, le dispositif suivant l'invention
permettant de s'affranchir sur ces points des contraintes de compatibilité
habituellement rencontrées dans les systèmes connus. Cette configuration est
également compatible avec la connexion simultanée d'autres systèmes immersifs
cibles.
Dans une forme de réalisation, le système d'affichage et le système de
traitement du système immersif cible et ou du système source sont associés à
des moyens d'interaction configurés pour modifier, via le système d'affichage
et
ou le système de traitement du système immersif considéré, le contenu et ou le
comportement des images affichées par le système d'affichage du système
source ou du système immersif cible considéré.
Ainsi, chacun des utilisateurs du système source et observateurs du
système immersif cible dispose de moyens d'intervention pour agir sur le
comportement des affichages sans en détruire la cohérence.
Dans une forme de réalisation, les moyens d'interactions comportent une
commande de gel pour sélectivement activer, et désactiver, le gel de toute ou
partie des données d'affichage et ou des données des conditions d'observation
utilisées pour calculer les images devant être affichées par le système
d'affichage
du système source et ou du système immersif cible.
Il est ainsi possible pour l'observateur du système cible, qui ne dispose pas
des moyens d'agir sur le fonctionnement du système source, de figer, au moins
momentanément, certaines données de la représentation de l'environnement
virtuel du système source afin par exemple d'en parfaire une analyse.
Dans une forme de réalisation, les moyens d'interactions du système
immersif cible comportent une commande de gel d'un sous-ensemble des
conditions d'observation dans le système d'affichage du système source et ou
du
système immersif cible.
Dans une forme de réalisation, les moyens d'interaction de l'au moins un
système immersif cible sont en outre configurés pour pointer et ou annoter les
images affichées par le système d'affichage dudit système immersif cible.
Les annotations sont par exemple matérialisées sous la forme
d'incrustations dans les images.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
12
Dans une forme de réalisation, des données caractérisant les pointages ou
annotations formées sur des images d'un système immersif cible sont transmises
via les moyens de transmission à au moins un autre système immersif connecté.
Il est ainsi possible à cet autre système, le système source ou un autre
système
cible, recevant ces données de traiter ces données pour les afficher.
Les moyens d'interaction comportent par exemple une ou des surfaces
sensibles au toucher ou à la présence d'une main ou d'un doigt, et ou un ou
des
pointeurs.
Le système d'affichage éventuel du système source, et le système
d'affichage de l'au moins un système immersif cible, appartiennent chacun à
l'une
des catégories parmi mettant en oeuvre des écrans plats et ou des écrans
courbes :
- les systèmes d'affichage multi-f aces ;
- les casques de visualisation, à réalité virtuelle, ou à réalité
augmentée, ou
mixtes ;
- les systèmes d'affichage multi-écrans ;
- les écrans ;
- les écrans portés par un utilisateur ou un observateur.
Il est de la sorte possible d'adapter la configuration du dispositif à de
nombreux types de besoins, en particulier en fonction de critère de coûts, de
rapidité de déploiement et de réalisme des représentations graphiques.
Ces catégories, indépendamment des dimensions et de la forme des
écrans, qui peuvent être plats ou courbes, peuvent cohabiter dans le
dispositif de
l'invention, seuls les calculs de transformation des données d'affichage étant
modifiés pour s'adapter aux caractéristiques spécifiques des écrans et des
systèmes d'affichage.
Dans une forme de réalisation, au moins un système immersif cible est situé
dans un emplacement distant du système source, la séparation physique des
deux systèmes étant telle que l'utilisateur du système source et l'observateur
du
système immersif cible ne sont pas en mesure de communiquer sans faire usage
de moyens techniques de communication. Il est dans cette configuration
repoussé les limites spatiales qui permettent un partage d'une immersion.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
13
Dans une forme de réalisation, au moins un système immersif cible est situé
à une proximité du système source, la séparation physique étant telle qu'un
utilisateur du système source et un observateur du système immersif cible
peuvent communiquer directement sans barrière physique, c'est-à-dire sans
nécessité de mettre en oeuvre des moyens techniques. Il est dans cette
configuration obtenu de partager une immersion, par exemple dans le cadre d'un
travail collaboratif, sans souffrir des artefacts inévitables lorsqu'un
observateur se
tient à proximité de l'utilisateur dans l'espoir d'en ressentir les effets.
Une telle configuration n'est pas simplement hypothétique dans la mesure
où elle permet, y compris dans un même lieu, de simuler l'immersion, avec des
moyens matériels simples, pour un ou plusieurs observateurs, dans
l'environnement virtuel de l'utilisateur du système source, d'une part sans
perturber ledit utilisateur et d'autre part dans des conditions optimales
puisqu'il
est impossible pour un observateur de se placer dans le système d'affichage du
système source avec les mêmes conditions d'observation que celles de
l'utilisateur.
L'invention concerne également un procédé de partage d'immersion dans
un environnement virtuel d'un observateur dans un système immersif cible,
comportant les étapes de :
- génération, indépendamment du système immersif cible, de données
d'exploitation d'une représentation visuelle de l'environnement virtuel,
lesdites données d'exploitation comportant des données d'affichage
relatives à des images de ladite représentation visuelle et comportant des
données de conditions d'observation associées auxdites données
d'affichage ;
- affichage sur un système d'affichage du système immersif cible d'images
représentant l'environnement virtuel.
Suivant l'invention, le procédé comporte , pour chaque image ou ensemble
d'images devant être affiché, entre l'étape de génération et l'étape
d'affichage,
une étape de transformation, réalisée au moins pour partie sur le système
immersif cible, des données d'affichage de l'environnement virtuel générées à
l'étape de génération, l'étape de transformation comportant de déterminer des
conditions d'observation effective par l'opérateur dans le système d'affichage
du
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
14
système immersif cible et de transformer les données d'affichage associées aux
conditions d'observation de l'étape de génération des données d'affichage, en
données d'affichage correspondant aux conditions d'observation effective par
l'observateur.
Il est ainsi réalisé la transformation des données d'affichage générées par le
système source, données d'affichage générée pour des conditions d'observation
indépendamment indépendantes du système immersif cible, en données
d'affichage correspondant à des images adaptées au système d'affichage du
système immersif cible et aux conditions d'observation d'un observateur dudit
système immersif cible pour présenter audit observateur l'environnement
virtuel.
Dans un mode de mise en oeuvre, chaque point image d'une image
transformée, à l'étape de transformation pour être affichée par le système
d'affichage du système immersif cible, est déterminé en fonction d'au moins un
point d'observation effectif dans le système d'affichage du système immersif
cible
pour conserver, à un facteur de proportionnalité près constant pour toute
l'image
à un instant donné, une même direction relative d'observation par rapport à un
autre point image quelconque de ladite image transformée, observée depuis le
point d'observation effectif, que la direction relative entre lesdits points
image
dans les données d'affichage de la représentation visuelle de l'environnement
virtuel générées à l'étape de génération délivrées par le système source et
comportant les données image et les données de conditions d'observation
associées auxdites données images.
Dans un mode de mise en oeuvre, l'étape de génération des données
d'affichage de la représentation de l'environnement virtuel est réalisée sur
un
système source, lequel système source est : un système de génération d'images
pour un affichage virtuel ; ou un système de diffusion d'un flux d'images,
réelles
et ou virtuelles, générées en temps réel ou enregistrées ; ou un système
immersif
dans lequel est immergé un utilisateur.
Dans un mode de mise en oeuvre, la reconstitution d'une représentation
virtuelle 3D du système d'affichage source de l'environnement physique du
système d'affichage source est réalisée par le système immersif source ou le
calculateur annexe connecté au réseau. Dans une forme de mise en oeuvre, la
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
transformation des données d'affichage comporte une reconstitution d'une
représentation virtuelle 3D du système d'affichage source, une position
d'observation de l'observateur étant forcée, pour la transformation des
données
d'affichage, à une même position dans ladite représentation virtuelle 3D du
5 système d'affichage source que la position d'observation de l'utilisateur
dans le
système d'affichage source.
Suivant cette forme, il est créé un système d'affichage source virtuel dont la
position par rapport à l'observateur est calquée sur la position de
l'utilisateur dans
le système d'affichage source réel.
10 Il est reconstruit virtuellement sur le système immersif cible le
système
d'affichage du système immersif source, reconstruction virtuelle qui est
affichée
sur le système d'affichage du système immersif cible de manière à ce que les
conditions d'observation de l'observateur de ladite reconstruction virtuelle
du
système source dans le système immersif cible correspondent au moins en partie
15 aux conditions d'observation de l'utilisateur du système immersif source
dans le
système immersif source.
Cette transformation permet de s'affranchir d'une duplication des données
de l'environnement virtuel et peut être appliquée pour toute forme de système
immersif cible et pour tout logiciel exécuté sur le système immersif source.
Dans un mode de mise en oeuvre, l'étape de transformation des données
d'affichage est réalisée totalement sur le système immersif cible après une
étape
de transmission des conditions d'observation et des données d'affichage de
l'environnement virtuel, générées par le système de traitement numérique du
système immersif source.
Dans un autre mode de mise en oeuvre, l'étape de transformation des
données d'affichage est réalisée pour partie sur le système immersif source,
ou
sur un calculateur annexe connecté à un réseau des moyens de transmission de
données, avant une étape de transmission des conditions d'observation et des
données d'affichage transformées partiellement de l'environnement virtuel au
système immersif cible, et le système immersif cible transforme les données
d'affichage partiellement transformées en fonction de données d'exploitation
du
système immersif cible pour former les images affichées sur le système
d'affichage cible.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
16
Avantageusement dans ce cas, les données d'affichage transformées
partiellement par le système immersif source, ou le calculateur annexe, sont
indépendantes des caractéristiques et des données d'exploitation d'un système
cible, permettant ainsi de factoriser l'étape de traitement voire la réduire à
un
simple traitement pour affichage sur certains systèmes cibles.
Dans un mode de mise en oeuvre l'étape de transformation comporte une
étape de gel de données d'affichage de la représentation de l'environnement
virtuel ou de gel des conditions d'observations, générées à l'étape de
génération.
Dans un mode mise en oeuvre particulier, les données des conditions
d'observation dans le système d'affichage du système immersif cible continuent
d'être prises en compte lors de l'étape de gel de données d'affichage ou de
gel
des conditions d'observation.
Il est ainsi obtenu la possibilité de maintenir pour l'utilisateur du système
source une perception de l'environnement virtuel généré par le système
immersif
source, tout en conservant dans le système immersif cible une vision correcte
et
stable dudit environnement virtuel placé dans cette condition de gel malgré
des
variations des conditions d'observation dans ledit système immersif source.
Les
données d'affichage dans le système immersif cible sont ainsi interprétées
comme si l'environnement virtuel était totalement statique et que
l'utilisateur du
système source ne se déplaçait plus, résultant ainsi en une sorte de capture
3D
de l'état du système immersif source.
L'observateur dispose de la possibilité de geler, au moins en partie, la
représentation de l'environnement sur le système cible, et d'obtenir
momentanément une image stable sur laquelle il peut par exemple apporter des
annotations
Dans un mode de mise en oeuvre, le procédé comporte une étape
d'initialisation dans laquelle le système immersif cible initialise un
registre
comprenant des données sur des conditions dans lesquelles les données
d'affichage sont générée à l'étape de génération.
Dans un autre mode de mise en oeuvre, l'étape de transformation des
données d'affichage est réalisée pour partie sur le système immersif source,
ou
sur un calculateur annexe connecté à un réseau des moyens de transmission de
données, avant une étape de transmission des données d'affichage partiellement
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
17
transformées de l'environnement virtuel au système immersif cible, lequel
système immersif cible transforme les données d'affichage partiellement
transformées en fonction de données d'exploitation dudit système immersif
cible.
Présentation des figures
La description de l'invention est faite en référence aux figures qui
représentent de manière schématique et de manière non limitative :
Figure 1 : un exemple simplifié d'un dispositif de partage d'immersion dans
un environnement visuel avec un système immersif source
comportant un système d'affichage de type multi-écrans et un
système immersif cible de type mono écran plat ;
Figure 2 : un exemple illustré de principes de transformation d'une image,
générée dans un système immersif source avec un système
d'affichage et observé dans un système immersif cible avec un
système d'affichage différent, pour conserver les conditions
visuelles d'immersion ;
Figure 3 : une illustration d'un dispositif comportant plusieurs système
immersifs cibles avec des systèmes d'affichage de
technologies différentes reproduisant l'environnement virtuel
d'un même système immersif source ;
Figure 4 : un synoptique simplifié du procédé suivant l'invention.
Définitions
Dans la description, il devra être donné aux termes et expressions
suivantes les sens précisés ci-après :
Système immersif : Système destiné à restituer en temps réel des impressions
sensorielles à un utilisateur par des moyens de stimulation adaptés
aux sensations devant être restituées. Un système immersif visuel
comprend généralement un ensemble de moyens matériels et logiciels
pour au moins : générer des images d'une représentation visuelle d'un
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
18
environnement virtuel ; afficher des images à l'attention d'au moins un
utilisateur ; les images affichées étant calculées pour représenter
l'environnement virtuel tel qu'il doit être perçu par l'utilisateur suivant
ses conditions d'observation de l'environnement virtuel.
Système d'affichage : ensemble de moyens matériels et au besoin logiciels
comportant des moyens d'affichage d'images, par exemple un ou
plusieurs écrans d'affichage agencés entre eux dans l'espace pour
présenter des images à un utilisateur ou à un observateur, le cas
échéant mettant en oeuvre des systèmes optiques conventionnels tels
que des miroirs, des lames semi-transparentes, des optiques de
collimation, des filtres... Le système d'affichage est associé le cas
échéant à des moyens pour déterminer en temps réel, dans un
référentiel lié aux écrans, la position et ou la direction d'observation,
d'un utilisateur ou d'un observateur regardant les images affichées par
lesdits écrans.
Casque : cas particulier de système d'affichage dans lequel les écrans sont
fixés
sur un support porté sur la tête par l'opérateur. Dans ce cas particulier
la position d'observation est fixe dans le référentiel lié aux écrans et la
direction d'observation est fonction des mouvements des yeux. Ce
type d'équipement peut être associé à des moyens de suivi temps réel
de l'orientation, voire de la position, de la tête dans l'environnement
physique, qui ne modifieront bien entendu pas la position de la tête de
l'opérateur par rapport au système d'affichage mais pourront être
exploitées par le logiciel de calcul de la représentation de
l'environnement virtuel pour modifier la position et la direction
d'observation dans un référentiel de l'environnement virtuel.
Image : toute forme de représentation visuelle affichée sur un écran. Une
image peut être fixe, animée résultant d'une succession d'images dans
le temps, résulter d'un flux vidéo... Une image peut être transmise en
vue de son affichage sur un écran par un signal analogique ou par un
ensemble de données numériques représentant tout ou partie (par
exemple dans le cas de signaux compressés) d'une image, ou les
deux suivant un emplacement considéré dans la chaîne de
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
19
transmission de l'image entre la génération de l'image et son
affichage.
Environnement virtuel : un environnement définissant un ensemble de données
numériques définissant les caractéristiques de cet environnement et
nécessaires à la construction d'une représentation visuelle de cet
environnement tel qu'il doit être perçu. L'environnement virtuel peut
être le résultat d'une construction 2D ou 3D issue d'un modèle
numérique. L'environnement virtuel peut également être le résultat de
la virtualisation d'un environnement réel, par exemple par des images
numérisées ou des flux vidéo. L'environnement virtuel peut également
être une combinaison d'un modèle numérique et d'un environnement
réel suivant un principe de réalité augmentée.
Immersion : situation dans laquelle des représentations d'un environnement
virtuel sont présentées à une ou plusieurs personnes de façon à
donner à ces personnes l'impression d'être physiquement entourées
des informations contenues dans l'environnement virtuel. Pour
augmenter les impressions sensorielles, le système d'affichage peut
comporter un système de reconstructions des effets du relief, par
exemple des lunettes à occultation synchronisées avec les images
affichées pour présenter à l'utilisateur du système immersif des images
correspondant à chacun de ses yeux pour produire un effet
stéréoscopique.
Description détaillée d'un exemple de réalisation
En particulier, il sera dans la présente invention considéré le cas d'un
environnement virtuel dont la représentation visuelle est restituée par le
système
immersif au moyen d'un système d'affichage.
L'environnement virtuel restitué peut être à deux dimensions, 2D, ou à trois
dimensions, 3D.
Les informations numériques utilisées par le système immersif peuvent
correspondre, et correspondent souvent, à des données d'un environnement
immersif en trois dimensions 3D, auquel cas une application logicielle du
système
immersif est une application de création d'images de synthèse qui élabore à
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
chaque instant une ou plusieurs nouvelles images de synthèse par un traitement
numérique des informations 3D en fonction d'une position d'un point
d'observation, par exemple correspondant à un centre optique d'un objectif
d'une
caméra virtuelle.
5 Les informations numériques peuvent également être des données d'un
environnement à deux dimensions, 2D, comme des films, éventuellement
panoramiques préenregistrés, qui peuvent être traités numériquement par une
application logicielle pour afficher des images vues depuis un point
d'observation
contrôlé par l'utilisateur ou contrôlé par une logique plus ou moins
interactive.
L'homme du métier dans le domaine de la réalité virtuelle connaît les
principes et le fonctionnement des systèmes immersifs qui sont répandus
aujourd'hui dans de nombreuses applications industrielles, par exemple en
conception assistée par ordinateurs, dans des simulateurs et systèmes
d'entraînement, dans des applications ludiques généralement regroupées sous
l'expression jeu vidéo .
La description de ces systèmes immersifs connus ne sera donc pas
développée en détail dans la présente demande, tout au plus il sera fait appel
à
des éléments, parties ou sous-ensembles et à des principes lorsqu'ils seront
jugés utiles à la clarté de l'exposé ou lorsque qu'il pourra être considéré
que le
système immersif de l'invention risque d'échapper au sens le plus
conventionnel
de ce terme. En particulier, dans l'invention un seul écran, d'ordinateur ou
d'un
moniteur vidéo ou un téléphone ordinateur, peut former la partie affichage
d'un
système d'affichage d'un système immersif.
En outre dans l'exemple de réalisation décrit, ne seront considérés que les
aspects visuels de l'immersion, les autres aspects, sonores par exemple,
n'étant
pas abordés, tout au plus évoqués.
Pour les échanges de données entre les systèmes, il sera considéré dans la
description les expressions :
- données d'exploitation
- données des conditions d'observation
- données d'affichage
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
21
Les données d'exploitation comporte l'ensemble des informations d'une
représentation de l'environnement virtuel vue dans un système de visualisation
par un observateur, situation qui peut être réelle ou virtuelle.
Les données d'exploitation comprennent les données des conditions
d'observation et les données d'affichage.
Les données d'affichage comportent notamment des informations relatives
aux images générées par un système source 10.
Par exemple les données d'affichage comportent des attributs de chacun
des points images des images générées par le système source 12, ces attributs
comportant notamment, outre des caractéristiques de luminance et de couleur,
la
position du point image dans une image, par exemple une image devant être
affichée dans ledit système d'affichage.
Les données d'affichage sont par exemple des informations contenues dans
des trames vidéo.
Les données des conditions d'observation comportent notamment des
données relatives à la position depuis laquelle et à la direction dans
laquelle un
utilisateur ou un observateur regarde dans un système d'affichage des images,
ou avec lesquelles des images ont été générées par exemple par un dispositif
de
prise de vue d'un environnement réel puis virtualisé.
La figure 1 illustre, au titre d'un exemple de réalisation, un dispositif 100
comportant deux systèmes immersifs, un système immersif source 10 et un
système immersif cible 20, connectés par des moyens de transmission de
données.
Le système immersif source 10 de la figure 1 est un système connu qui
comporte, dans l'exemple illustré, un système de traitement numérique 11,
comportant une base de données 11a, permanente ou temporaire, permettant de
stocker des informations numériques définissant un environnement virtuel, et
un
système d'affichage 12 d'images générées par le système de traitement
numérique.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
22
Le système de traitement numérique 11 est en pratique un calculateur, de
puissance adaptée aux calculs d'images en temps réel, sur lequel sont exécutés
des logiciels de calculs d'images de synthèse.
De manière connue, la base de données 11a, en pratique une mémoire ou
un système de stockage de fichiers, contient un ensemble des données
définissant l'environnement virtuel et nécessaires au calcul d'une
représentation
visuelle dudit environnement virtuel.
La base de données comporte également des données relatives au
système immersif source lui-même, en particulier des paramètres relatifs au
système d'affichage 12, dont des dimensions, positions et formes d'écrans
(12a,
12b, 12c, 12d), sur lesquels sont affichées les images devant former une
représentation de l'environnement virtuel dans lequel est immergé un
utilisateur 90.
Il doit être noté qu'outre les données relatives à l'environnement virtuel et
les paramètres relatifs au système d'affichage 12, les moyens de calculs 11
reçoivent également des valeurs de variables, généralement fonction d'un
utilisateur 90 en condition d'immersion et ou d'un opérateur du système
immersif,
qui sont nécessaires aux logiciels pour les calculs d'images de synthèses.
Les variables comportent ici une position d'observation et une direction
d'observation de l'utilisateur 90 dans un référentiel du système d'affichage
12,
position et direction d'observation dont dépendent les images représentant
l'environnement virtuel devant être affichées sur ces écrans pour présenter,
vue
par l'utilisateur, une représentation correcte dudit environnement virtuel
depuis
une position dans ledit environnement virtuel où est censé se trouver
l'utilisateur.
Les position et direction d'observation devant être connues pour le calcul de
chaque nouvelle image affichée, lesdites position et direction d'observation
sont,
de manière connue par l'homme du métier, mesurées ou estimées en temps réel
ou présupposées.
De telles variables sont par exemple des ordres envoyés au système de
traitement numérique 11, par exemple par l'utilisateur 90 par l'intermédiaire
d'organes de commande, pour agir directement ou indirectement sur
l'environnement virtuel.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
23
On comprend ici que les variables sont traitées de manière cyclique par
l'application logicielle réalisant la synthèse de l'environnement virtuel pour
présenter en temps réel, c'est-à-dire avec une latence et une période de
rafraîchissement adaptée à l'immersion souhaitée, un point de vue dans
l'environnement virtuel correspondant à un point d'observation de
l'utilisateur 90
dans le système d'affichage du système immersif physique.
Les moyens d'affichage 12 du système immersif source 10 de la figure 1
comportent une pluralité d'écrans 12a, 12b, 12c, 12d formant un système multi-
faces à quatre écrans, dans l'exemple illustré, fréquemment appelé CAVE dans
le
domaine de la réalité virtuelle, déterminant un volume dans lequel
l'utilisateur 90
peut se tenir et bouger.
Il doit être noté que les dimensions de cet exemple ne sont pas imposées et
que toute forme de système d'affichage, multi-faces ou non, peut être mise en
oeuvre, en particulier en fonction d'avantages qu'elle procure suivant les
objectifs
d'immersion.
Par exemple un agencement de deux écrans verticaux en L favorise
l'immersion verticale. Par exemple un agencement à trois, quatre ou cinq
écrans
avec des angles plus ouverts que 90 favorise l'imrrersion de plusieurs
utilisateurs simultanément. Certains écrans peuvent également être courbes,
cylindriques ou sphériques, et éviter ou limiter le nombre de juxtapositions
d'écrans formant des angles. Les écrans peuvent également être portés par
l'utilisateur aux moyens d'équipements tels que des casques de visualisation,
qui
peuvent être plus ou moins transparents en fonction du résultat recherché pour
la
perception de l'environnement physique environnant.
Le système immersif source 10 appartient, dans le contexte de l'invention, à
un dispositif 100 comportant également au moins un système immersif cible 20.
Le système immersif cible 20 comporte au moins un système de traitement
numérique 21 et un système d'affichage 22. Le système immersif cible peut être
similaire, voir identique, dans sa structure et ses moyens au, ou différent
du,
système immersif source 10.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
24
En particulier, le système d'affichage 22 du système immersif cible 20 peut
être identique au système d'affichage 12 du système immersif source 10 ou au
contraire en être différent, par exemple par un nombre d'écrans mis en oeuvre,
et
ou par une forme des écrans, et ou par la taille des écrans, et ou par un
agencement du ou des écrans, et ou par le fait que le ou les écrans soient
portés
ou non par l'utilisateur, et ou par la capacité ou non de restituer des images
pour
une observation en stéréoscopie.
Dans l'exemple du dispositif 100 schématisé sur la figure 1, le système
d'affichage 22 du système immersif cible ne comporte qu'un seul écran 22a
alors
que le système d'affichage 12 du système immersif source en comporte quatre.
L'écran 22a, unique écran du système d'affichage 22 dans l'exemple de
réalisation illustré sur la figure 1, est par exemple un écran de projection,
ou un
écran vidéo conventionnel, télévision ou écran d'ordinateur, voire un écran de
téléphone ordinateur.
Le système de traitement numérique 21 du dispositif immersif cible 20
comporte principalement une mémoire, ou base de données locale, dans laquelle
sont stockées des caractéristiques du système immersif source et du système
immersif cible utilisées pour la transformation de données d'affichage
correspondant aux images, et un calculateur numérique sur lequel est exécuté
un
logiciel de traitement des données d'affichage dont les principes sont exposés
ultérieurement dans la description.
Par simplification, dans la suite de la description, les termes source et
cible seront utilisés pour désigner les éléments respectivement du système
immersif source 10 et du système immersif cible 20. Suivant le contexte, le
système immersif source 10 pourra être désigné système source et le
système immersif cible 20 désigné système cible .
Le dispositif 100 comporte également des moyens de transmission de
données 30 entre le système source 10 et le système cible 20.
De tels moyens de transmission de données 30 consistent en tous moyens
connus dans le domaine de la transmission de données entre des ordinateurs, et
qui seront dans le cas de l'invention choisis en fonction du débit de données
qui
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
devra être assuré, de la distance entre les systèmes immersifs du dispositif,
du
nombre de système connectés et des ressources disponibles en moyens de
communication. Dans une forme de réalisation, la transmission de données est
réalisée par un réseau 31 de communication tel que le réseau Internet et la
mise
5 en oeuvre des interfaces et protocoles de communications adaptées à ce
réseau.
La transmission des données peut également mettre en oeuvre des liaisons
optiques, des liaisons radio, et des liaisons filaires de différents types.
La suite de la description est faite en référence au fonctionnement du
10 dispositif 100 lorsque le système source 10 génère les données d'affichage
d'un
environnement virtuel dont les images sont affichées sur le système
d'affichage
source 12, environnement virtuel dans lequel l'utilisateur 90 est immergé, et
que
ledit système source transmet au système cible 20 des données relatives aux
données d'affichage générées par le système de traitement numérique source 11.
15 Il doit être noté que la description détaillée ne considère qu'un
seul système
cible pour des raisons de simplification, mais que le dispositif 100 peut
comporter
un nombre quelconque de systèmes cibles, tous les systèmes cibles étant
indépendants entre eux, pouvant être différents dans leurs structures, et
fonctionnent de manière similaire avec les données reçues du système source.
Lors du fonctionnement du dispositif 100, le logiciel de calcul d'images
exécuté sur le système de traitement numérique source 11 génère une
représentation de l'environnement virtuel dans lequel l'utilisateur 90 du
système
source est immergé et produit des données d'affichage de ladite représentation
de l'environnement virtuel pour chacun des différents écrans 12a, 12b, 12c,
12d
du système d'affichage source 12.
Ces données d'affichage sont générées en fonction des paramètres
susceptibles de modifier la perception visuelle de l'environnement virtuel par
l'utilisateur 90, en particulier d'une position dans l'espace d'un point
depuis lequel
l'utilisateur 90 voit chacun des écrans 12a, 12b, 12c, 12d du système
d'affichage
source 12 et une direction d'observation dans laquelle regarde l'utilisateur,
la
direction d'observation correspondant à un axe optique des moyens
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
26
d'observation, en pratique des yeux. Cette position et cette direction qui lui
sont
associées sont désignées globalement par la suite point d'observation .
Le point d'observation peut être unique et par exemple correspondre sur
l'utilisateur 90 à une position intermédiaire entre ses deux yeux.
Le point d'observation peut également être double, lorsqu'il est recherché
une perception du relief par une vision binoculaire, et alors la position de
chacun
des deux yeux de l'utilisateur 90 détermine un point d'observation.
Il est à noter ici que, pour réaliser les calculs correspondant à la
génération
des données d'affichage correspondant aux images affichées sur chacun des
écrans, le système de traitement numérique associé au système d'affichage
dispose nécessairement des données relatives aux caractéristiques et à
l'agencement des différents écrans du système d'affichage.
Les images calculées sont affichées sur les écrans correspondants.
Les données d'exploitation générées par le système source sont
transmises, via les moyens de transmission de données 30, au système cible.
Il doit être compris ici que lesdites données d'exploitation peuvent être
transmises sous toutes formes de données suivant un protocole compris par le
système cible et qui permet la reconstruction des données d'affichage ainsi
que
des conditions d'observation associées.
Les données d'exploitation générées par le système source ne peuvent
cependant pas produire directement des images affichées correctement sur le
système d'affichage cible 22 en particulier en raison des différences de
structure
des systèmes d'affichage cible et source, et ou des conditions d'observation,
attribuées respectivement à l'utilisateur 90 et à l'observateur 91, dans
chacun des
systèmes source et cible qui ne sont pas corrélés.
En effet, même dans l'hypothèse où les systèmes d'affichage source et cible
sont identiques, il est en pratique impossible que le point d'observation, et
donc
les conditions d'observation, de l'observateur 91 dans un référentiel du
système
d'affichage cible 22 soit maintenu à tout instant identique au point
d'observation
de l'utilisateur 90 dans un référentiel du système d'affichage source 12, et
en
supposant que des données d'affichage générées par le système source soient
affichées directement sous la forme d'images sur des écrans du système
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
27
d'affichage cible, elles donneraient à un observateur 91 du système cible une
vision de l'environnement virtuel déformée, voire inutilisable.
A titre d'illustration d'une situation simple où les systèmes d'affichage
source
et cible sont identiques, une image d'une ligne droite de l'environnement
virtuel,
qui serait génère dans le système source 10 pour être affichée sur deux écrans
dont les surfaces d'affichage ne seraient pas coplanaires, apparaîtrait comme
une ligne brisée pour un observateur du système cible 20 dont le point
d'observation serait différent de celui ayant servi à générer les données
d'affichage dans le système source.
Afin de présenter à l'observateur 91 du système immersif cible une
représentation cohérente de l'environnement virtuel dans lequel est immergé
l'utilisateur du système source, chaque image au travers des données
d'exploitation reçues du système source par le système cible est transformée
par
un logiciel de traitement des données d'affichage en fonction des conditions
d'observation dans le système source du système cible. Le logiciel de
traitement
d'image est de préférence opéré, au moins pour partie, par le système de
traitement numérique cible 21.
Comme il sera compris de la suite de la description, une partie du traitement
d'image peut également être opérée par le système source, ou par tout système
disposant des capacités de communiquer avec les systèmes source et cible pour
recevoir et transmettre les données nécessaires.
La transformation des données d'affichage consiste principalement à
reconstituer virtuellement l'environnement physique du système d'affichage
source 12 et à forcer le point d'observation de l'observateur 91 à la même
position dans l'environnement source virtuel que le point d'observation de
l'utilisateur 90 dans le système d'affichage source 12.
Suivant ce principe, comme illustré sur la figure 2, il est créé dans le
système cible 20 une représentation virtuelle 3D du système d'affichage
source 12', en fonction des paramètres du système d'affichage source 12, sur
des écrans virtuels 12'a, 12'd, 12'c de laquelle représentation virtuelle du
système
d'affichage source sont affichées les images des données d'affichage reçues
correspondant à chacun des écrans 12a, 12d, 13c réels du système source, voir
figure 2. Il est ainsi formé dans le système cible un environnement virtuel 3D
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
28
représentant à tout moment, au délai de latence près, le système d'affichage
source 12 avec sa représentation visuelle de l'environnement virtuel du
système
source.
Le système cible 10 traite alors numériquement la représentation
virtuelle 3D du système d'affichage source 12' pour en construire une
représentation visuelle sur le système d'affichage cible 22 en fonction des
conditions d'observation de l'observateur 91 du système cible, dans laquelle
représentation visuelle sur le système d'affichage cible, les position et
orientation
effectives, mesurées ou présupposées, d'observation dans le système
d'affichage
cible sont également les position et orientation d'observation dans la
représentation virtuelle 3D du système d'affichage source et qui correspondent
aux positions et orientations effectives, mesurées ou présupposées,
d'observation de l'utilisateur dans le système de visualisation source réel,
comme
illustré sur la figure 2 où un centre 40 des projections correspond à la fois
au
point d'observation virtuel dans la représentation virtuelle 3D du système
source
et au point d'observation effectif dans le système cible 22.
Le traitement numérique correspond dans ce cas en des projections 3D des
images de la représentation virtuelle 3D du système d'affichage source 12' sur
le
ou les écrans du système d'affichage cible 22, lesdites projections ayant
comme
centre 40 de projection les position et orientation d'observation dans la
représentation virtuelle 3D de l'observateur 91.
Le système cible 20 présente ainsi à l'observateur 91 un système source
virtuel en ce qu'il reconstruit à tout moment le comportement, pour les images
affichées de l'environnement virtuel, du système source 10 et qu'il assure
que,
quelle que soit la position et l'orientation de l'observateur 91, ledit
observateur a
une position et une orientation dans la représentation virtuelle 3D du système
d'affichage source 12', identique à celle de l'utilisateur 90 dans le système
source 10, bien que les systèmes source et cible puisse avoir des
configurations
différentes et que l'utilisateur 90 et l'observateur 91 aient des conditions
d'observation qui évoluent, en pratique, indépendamment dans leurs systèmes
immersifs respectifs.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
29
Par exemple pour le calcul d'une représentation cohérente de
l'environnement virtuel sur le système immersif cible, les points
d'observation de
l'utilisateur 90 du système source et de l'observateur 91 du système cible
sont
superposés dans la représentation virtuelle 3D du système d'affichage source
12'
et pris comme le centre 40 et un axe de référence 41 d'un système de
coordonnées sphériques utilisé pour réaliser les projections. Chaque point
image 121 du système d'affichage source réel 12 ou virtuel 12! dans une
direction 42 donnée depuis le point d'observation 40 correspond à un point
image 221 du système d'affichage cible 22 dans la même direction et le point
image 221 dans le système cible reprend alors les caractéristiques (couleur,
luminosité...) du point image 121 du système source. Cette condition n'est
bien
sûr valide que lorsque les deux points images visuellement superposés dans les
deux systèmes immersifs existent.
Si, lors de ces projections, un point image du système source n'a pas
d'équivalent en projection dans le système cible, il ne pourra pas être
affiché
dans ledit système cible. A contrario, si un point image du système cible n'a
pas
d'équivalent en projection dans le système source, le point image dans ledit
système cible correspondra à une zone vide dans l'affichage du système
cible.
Lorsque les données d'affichage générées par le système source 10 ont été
traitées suivant les principes exposés supra, les images sont affichées par le
système cible 20 sur le ou les écrans du système d'affichage dudit système
cible.
Il doit être remarqué que la position et l'orientation de l'observateur 91 du
système cible par rapport au système d'affichage cible 22 sont des paramètres
pris en compte pour réaliser la transformation des données d'affichage. Cette
prise en compte est nécessaire pour que la représentation de l'environnement
virtuel soit cohérente avec le point de vue qui l'a générée sur le système
source
et qu'il soit reproduit sur le système cible l'effet immersif recherché.
Toutefois, pour la reconstruction cohérente des données d'affichage sur le
système cible, la condition de superposition des positions d'observation est
nécessaire alors que la condition de superposition des directions
d'observations
est optionnelle, et cette dernière condition ne se justifie que lorsqu'il est
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
recherché que la représentation visuelle vue par l'observateur 91 dans le
système cible 20 soit celle de l'utilisateur 90 dans le système source, y
compris
en direction.
Lorsque seules les positions d'observation sont maintenues identiques,
5 l'observateur 91 dans le système cible dispose, dans les limites de
l'angle solide
de l'espace dans lequel une image est affichée, de la possibilité de regarder
la
représentation de l'environnement virtuel dans une direction différente de
celle
dans laquelle l'utilisateur 90 regarde cet environnement virtuel dans le
système
source, mais qui correspond alors à la représentation visuelle qu'en aurait
ledit
10 utilisateur dans le système source s'il regardait dans la même direction
que
l'observateur dans le système cible.
Il doit donc être compris que, en fonction de l'effet recherché, il pourra
n'être
exploité dans les données que celles relatives à la position du point
d'observation
seule ou bien celles relatives la position du point d'observation combinée
avec la
15 direction d'observation.
La position du point d'observation et l'orientation d'observation de
l'observateur 91 sont déterminées, par exemple mesurées en temps réel et
transmises au système de traitement numérique cible 21, pour être prises en
compte dans les calculs de transformation des données d'affichage. Le cas
20 échéant la position et ou la direction d'observation sont simplement
estimées ou
présupposées. Par exemple, lorsque plusieurs observateurs regardent le ou les
écrans dans le système d'affichage du système cible des valeurs moyennes des
conditions d'observation des différents observateurs peuvent être calculées ou
supposées, étant compris qu'il s'agit d'un compromis produisant nécessairement
25 des distorsions des images affichées par le système cible qui pourront être
perçues par certains observateurs.
Ainsi il est réalisé un système cible 20 qui permet à un observateur 91 d'être
immergé dans un environnement virtuel créé par un système source 10, qui peut
30 être distant.
Ce résultat est obtenu sans transmission des données de la base de
données 11a mise en oeuvre par le système source, y compris avec un système
cible 20 dont la configuration, en particulier du système d'affichage, est
différente
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
31
de celle du système source 10. Il permet, entre autres, de mettre en oeuvre
dans
le système cible 20 un système de traitement numérique 21 de performances
inférieures à celui nécessaire au système source 10 pour générer
l'environnement virtuel. Il n'exige pas la mise en oeuvre de coûteux logiciels
de
calculs d'images de synthèses. Il n'exige pas la compatibilité des systèmes
d'affichages des systèmes cible et source, ni que l'observateur 91 soit tenu
de
maintenir des conditions d'observation imposées dans le système de
visualisation cible 22 pour visualiser les images comme l'utilisateur 90 les
perçoit
dans le système d'affichage source 12.
Le mode de réalisation du dispositif 100 décrit n'est cité qu'à titre
d'exemple.
Les architectures matérielles du système source et du ou des systèmes
immersifs cibles peuvent être différentes de celles schématisées dans la
description pour réaliser les mêmes fonctions.
La transformation des données d'affichage transmises peut être réalisée par
tout algorithme de transformation pouvant réaliser les projections
nécessaires, la
méthode décrite précédemment n'étant qu'une illustration théorique simplifiée
de
la transformation par projections sphériques.
La transformation des données d'affichage est avantageusement réalisée
par le système cible qui connaît la définition de son système d'affichage 22
et qui
prend localement en temps réel, avec une latence minimale, les autres
paramètres qui lui sont propres comme les conditions d'observation de
l'observateur. Dans ce cas, le système cible doit également disposer de la
définition des conditions dans lesquelles le système source génère les données
d'affichage, paramètres du système d'affichage en particulier, par exemple
transmise en début de connexion avec un ensemble de données invariables des
données d'exploitation au dispositif des systèmes source et cibles, ainsi que
les
position et orientation d'observation de l'utilisateur 90 dans le système
d'affichage
source 12.
Toutefois la transformation des données d'affichage peut être réalisée en
partie par le système source, ou par un autre système, pour autant que soient
transmises par le système cible les données d'exploitation nécessaires aux
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
32
traitements des données d'affichage pour produire les images devant être
affichées sur le système d'affichage dudit système cible.
Dans ce cas, comme déjà signalé, les transformations appliquées aux
données d'affichage nécessitant l'utilisation de variables propres au système
cible 20, notamment les position et direction d'observation de l'utilisateur
91 dudit
système cible, sont réalisées sur le système de traitement numérique 21 dudit
système cible, ce qui permet de réaliser la synchronisation des images
affichées
par le système d'affichage cible 22 avec lesdites variables propres au système
cible.
Dans une forme de réalisation, le système source 10, ou un autre
calculateur annexe, réalise une première transformation des données
d'exploitation en données d'exploitation adimensionnelles, indépendantes de la
structure d'un système de visualisation devant afficher les images, par
exemple
en attribuant les caractéristiques de chaque point image associées à une
direction dudit point image déterminée en coordonnées sphériques dans un
système d'axes attaché au point d'observation dans le système d'affichage 12
dudit système source. Le système cible 20 utilise alors les données
d'exploitation
adimensionnelles reçues pour produire des données d'affichage adaptées à son
système d'affichage 22 en attribuant à chaque point d'un écran dans une
direction donnée des conditions d'observation dans le système d'affichage
cible 22 les caractéristiques attribuées au point image correspondant à la
même
direction dans les données d'affichage adimensionnelles.
Dans l'exemple de réalisation qui vient d'être décrit de manière détaillée, le
système immersif cible permet à l'observateur (91) de visualiser correctement
une représentation d'un environnement virtuel sensiblement simultanément à la
génération de ladite représentation par un autre système immersif.
Dans d'autres formes de réalisation, un système source délivrant la
représentation de l'environnement virtuel n'est pas nécessairement associé à
des
moyens d'affichage. Un tel système source est par exemple un enregistrement
des données d'affichage réalisé sur un système de génération d'images de
synthèse, qui peut être un système immersif ou non. Un tel système source est
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
33
par exemple un système délivrant des images d'un monde réel, enregistré ou en
temps réel, virtualisé par le dit système pour transférer des données
d'affichage.
Un tel système source peut également être un système combinant les capacités
de produire des images de synthèses combinées avec des images d'un monde
réel suivant une logique de réalité augmentée.
Lorsque qu'il est, dans un système immersif, réalisé une visualisation
stéréoscopique de l'environnement virtuel, chaque oeil voit une image
différente
correspondant à des conditions d'observation différentes qui peut conduire à
réaliser les transformations des données d'affichage pour chacune des
conditions
d'observation, au moins lorsque les deux systèmes source et cible sont
configurés pour afficher les images de l'environnement virtuel avec un effet
de
relief.
Dans ces formes de réalisation, les données d'affichage comportent des
images virtuelles ou virtualisées, représentations de l'environnement virtuel
vu
dans une fenêtre d'observation du système source, équivalente au système
d'affichage du système immersif source du mode de réalisation décrit supra.
Les données d'affichage reçues du système source par le système immersif
cible sont interprétées pour reconstruire, dans le système d'affichage du
système
immersif cible, une représentation de l'environnement vue dans la fenêtre
d'observation source.
Ainsi il est présenté à l'observateur dans le système immersif cible une
représentation stable de la représentation de l'environnement vu par le
système
source en assurant la cohérence des images affichées dans le système
d'affichage dudit système immersif cible avec celles de la fenêtre
d'observation
source par laquelle cet environnement est ou a été généré et ou vu.
Le système de traitement numérique cible 21 possède des capacités de
synthèse de données d'affichage adaptées à son propre système d'affichage, qui
peuvent avantageusement être exploitées pour faciliter la compréhension et ou
renforcer l'immersion de l'observateur du système cible. Ainsi, le système
immersif cible comporte le cas échéant toute ou partie des caractéristiques
suivantes, pouvant être combinées entre elles dans le système immersif cible
pour autant qu'elles soient compatibles entre elles :
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
34
- des zones du système d'affichage du système immersif cible, ne recouvrant
pas les images transmises par le système source dans les données d'affichage,
affichent un fond d'affichage généré par les moyens de calculs dudit système
immersif cible, en particulier pour améliorer la visibilité ou la lisibilité
de la
représentation affichée.
- le fond d'affichage comporte un ou plusieurs motifs parmi : une couleur,
un
gris ou un noir uniforme ; des zones de couleurs, gris ou noir, différentes
dont des
directions de séparations et ou transitions correspondent à des directions
privilégiées de l'environnement ; une ou des textures.
- une texture est superposée à l'image de la fenêtre d'observation. Une telle
texture augmente au besoin la qualité de la perception de la représentation de
l'environnement par l'utilisateur du système immersif cible en produisant une
représentation correspondant à une perception coutumière de l'environnement.
- les moyens de calculs du système immersif cible sont configurés pour
incruster un ou des d'éléments d'interface dans l'affichage du système
d'affichage cible, représentés comme des objets à une, deux ou trois
dimensions.
De la sorte l'utilisateur du système immersif cible dispose d'un ensemble de
fonctions qui lui sont accessibles au travers desdits éléments d'interface
comme
par exemple des fonctions de gel d'image, des fonctions d'enregistrement, des
fonctions d'annotation.
- une position et ou des dimensions des images des données d'affichage
source représentées dans le système d'affichage du système immersif cible sont
fonction d'une position depuis laquelle, et ou d'une direction vers laquelle,
dans le
système d'affichage dudit système immersif cible, l'observateur immergé dans
ledit système immersif cible regarde ledit système d'affichage du système
immersif cible. De la sorte les mouvements dudit observateur sont pris en
compte
pour corriger les images affichées et en maintenir la vision avec une
perspective
exacte.
- au moins une partie des images des données d'affichage source est
maintenue affichée dans le système d'affichage cible lorsque lesdites images
sont théoriquement hors d'une zone d'affichage du système d'affichage cible,
ladite au moins une partie de l'image de la fenêtre d'observation étant
représentée maintenue contre un bord de ladite zone d'affichage du système
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
d'affichage cible dans une direction dans le référentiel dudit système
d'affichage
cible vers laquelle un observateur du système immersif cible devrait déplacer
une
direction vers laquelle il regarde ou devrait déplacer l'orientation dans
l'environnement virtuel du système de visualisation cible pour se rapprocher
de la
5 direction d'observation correspondant aux données d'affichage reçues du
système source. L'utilisateur du système immersif cible ne perd ainsi pas
totalement la vision de l'environnement bien que sa représentation soit
théoriquement en dehors de son champ de visibilité, lui permettant de trouver
intuitivement la direction vers laquelle doit se diriger le regard pour
retrouver à sa
10 position actuelle la représentation de l'environnement virtuel.
- lorsque les images des données d'affichage transmises par le système
source sont hors de la zone d'affichage du système d'affichage du système
immersif cible, une représentation symbolique est incrustée à proximité d'un
bord
ou attachée à un bord de ladite zone d'affichage dans une direction, dans le
15 référentiel du système d'affichage cible vers laquelle l'observateur du
système
immersif cible devrait déplacer une direction vers laquelle il regarde ou
devrait
déplacer l'orientation dans l'environnement virtuel du système d'affichage
cible
pour se rapprocher de la direction d'observation associée aux données
d'affichage transmises par le système source. Ainsi l'utilisateur identifie
20 naturellement la direction dans laquelle se trouve l'image même lorsqu'il
n'en a
plus aucune visibilité dans son système d'affichage cible.
- le système immersif cible comporte des capacités d'interaction par un
utilisateur dudit système immersif cible, par des commandes réelles ou
virtuelles
accessibles audit utilisateur, avec les images affichées par le système
d'affichage
25 cible.
- les capacités d'interaction comportent de superposer des annotations,
textes
et ou dessins, aux images affichées.
- le système immersif comporte un enregistreur des images affichées par le
système de visualisation cible lors d'une séance d'immersion.
L'invention concerne également un procédé 200, figure 4, pour partager un
environnement immersif entre un système source 10 et au moins un système
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
36
immersif cible 20, d'un dispositif 100, en limitant les données échangées tant
en
raison de leur aspect confidentiel et en limitant les exigences matérielles et
logicielles du système cible.
Suivant le procédé, il est échangé entre le système source et un ou
plusieurs systèmes cibles un ensemble d'informations ou données permettant à
chaque système cible recevant du système source des données d'exploitation de
reconstituer et mettre à jour en temps réel une représentation visuelle d'un
environnement virtuel répliquant, au moins en partie, la représentation
visuelle de
l'environnement virtuel générée par le système source.
Comme décrit précédemment, dans le dispositif 100, chacun du système
source et du ou des systèmes immersifs cibles qui interviendra dans le partage
d'immersion intègre des moyens de connexion à des moyens de transmission 30
assurant la mise en relation desdits système source et systèmes immersifs
cibles.
Suivant le procédé, dans une étape préalable 210, à chacun des système
source et systèmes immersifs cible est associé un ensemble de données de
configuration.
Les données de configuration intègrent toutes les informations nécessaires
à la description physique ou virtuelle du système source ou du système
immersif
cible, et notamment à sa reconstruction à l'échelle 1.
Les données de configuration d'un système immersif comportent par
exemple :
- un identifiant du système immersif ;
- un nombre d'écrans ;
- des tailles et formes de chaque écran ;
- un agencement des écrans dans un référentiel d'un système d'affichage ;
- une capacité d'affichage d'images stéréoscopiques et des conditions
associées ;
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
37
- des transformations colorimétriques et ou géométriques propres au
système et devant être appliquées à chaque pixel d'une image devant être
affichée sur un écran ;
- des capacités à restituer une ou plusieurs positions et directions
d'observation.
Ces données sont adaptées autant que de besoin à la forme spécifique du
système considéré et à ses conditions de mise en oeuvre.
Les données de configuration, dont la liste ci-dessus n'est ni exhaustive ni
exigée mais qui doit comprendre au minimum toutes les informations nécessaires
aux échanges de données et au traitement des données réalisées lors de la mise
en oeuvre du procédé, sont établies pour chaque système, immersif ou non, du
dispositif, de façon manuelle, automatique ou semi-automatique en fonction des
capacités du système considéré.
Dans certaines formes de réalisation de systèmes immersifs, certaines de
ces données peuvent varier au cours du temps, par exemple dans le cas d'un
système immersif mobile dont l'orientation et ou la position des écrans
varient au
cours du temps lors d'une immersion.
Dans une telle situation, les données de configuration sont transmises au(x)
système(s) cible(s) de manière similaire aux données d'exploitation comme
exposé pour les étapes suivantes.
Les données de configuration peuvent être incorporées dans les données
d'exploitation.
Dans une première étape 220 d'initialisation, le dispositif 100, regroupant
les systèmes source 10 et cibles 20 au moyen desquels une immersion doit être
assurée par les système immersifs cibles, voire partagée avec le système
source,
est initialisé.
Dans cette étape d'initialisation, chacun des systèmes immersifs cibles 20
du dispositif initialise un registre du système source connecté, ledit
registre
comprenant avantageusement l'ensemble des données de configurations de
chacun desdits systèmes connectés, et avantageusement l'ensemble des
données de configurations au moins du système source 10 pour les systèmes
cibles 20.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
38
Dans la pratique les données de configuration, ainsi que des valeurs
d'initialisation de variables, initialisées par un système immersif ou non
donné
pourront être limitées aux seules données strictement nécessaires aux
transmissions de données et aux calculs qui devront être réalisés par ledit
système.
A tout instant, l'ensemble des données de configuration du système source
doit pouvoir être accessible par un système immersif cible pour que ledit
système
source puisse transmettre les données d'affichage audit système cible,
l'accessibilité à ces données pouvant être réalisée dans une forme de
réalisation
d'un dispositif 100 par exemple via un enregistrement dans une base de données
locale au système de traitement numérique dudit système immersif cible.
Dans une autre forme de réalisation d'un dispositif 100, un serveur de
données 32a, connecté au réseau 31 des moyens de transmission des
données 30, et accessible par chacun des système source 10 et systèmes
immersifs cibles 20, comporte une base de données dans laquelle sont stockées
des données de configuration de chacun des systèmes immersifs ou non dudit
dispositif, au moins pour celles qui sont nécessaires lors de l'étape
d'initialisation,
et chacun des systèmes immersifs pendant cette étape d'initialisation reçoit
du
serveur les données de configuration, au moins pour celles qui lui sont
nécessaires compte tenu des transformations qu'il devra réaliser sur les
données
d'affichage.
Avantageusement, quel que soit le mode de mise en oeuvre de cette
première étape, la base de données pourra être mise à jour pendant la mise en
oeuvre du procédé en fonction de la connexion, déconnexion ou changement de
rôle d'au moins un système immersif du réseau.
Dans une étape 230 de génération d'environnement, étape
indépendante réalisée de manière récurrente lorsque le système source 10 est
en fonctionnement, des données d'exploitation source de représentations
visuelles d'un environnement virtuel sont générée sur ledit système source.
Les données d'exploitation sources comportent :
- les données des conditions d'observation
- les données d'affichage
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
39
Les données des conditions d'observation comportent la position depuis
laquelle et la direction dans laquelle, chacune des position et direction
pouvant
être mesurées ou présupposées, l'utilisateur regarde dans le système
d'affichage
source 12 à un moment donné, ou dans laquelle des images ont été générées
par exemple par un dispositif de prise de vue d'un environnement réel ainsi
virtualisées. Ces données sont prises en compte dans le calcul de la
représentation de l'environnement virtuel à l'attention d'un utilisateur du
système
source immergé dans ledit environnement et interviennent dans la construction
des images affichées. A défaut de valeur mesurées, les positions et ou la
direction sont présupposées, par exemple par identification d'une position et
ou
orientation idéale pour utiliser le système d'affichage, ou moyenne si
plusieurs
utilisateurs peuvent être accueillis, ou imposée si le système immersif incite
le ou
les utilisateurs à se rapprocher d'une position et ou orientation spécifique.
Dans un mode de mise en oeuvre, les données d'affichage, calculées pour
chaque cycle d'affichage en fonction d'une fréquence de rafraîchissement des
dites données d'affichage, sont capturées, une fois calculées, par une
application
logicielle opérée dans le système de traitement numérique 11 du système
source.
Dans un autre mode de mise en oeuvre, les données d'affichage sont
capturées lors de leurs transmissions aux moyens d'affichage source 12, par
exemple par un branchement sur la liaison vidéo 13 d'un équipement vidéo 14
entre le système de traitement numérique source 11 et les moyens d'affichage
source 12.
Dans un mode de mise en oeuvre, si le système immersif source affiche des
images stéréoscopiques, les données d'affichage capturées sont capturées pour
une seule des conditions d'observation, par exemple les données d'affichage
correspondant à un seul oeil, ou en stéréo, en fonction des capacités du
système
cible à restituer ou non des images en mode stéréoscopique ou en fonction
d'options choisies par un opérateur du système cible. Il est ainsi possible de
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
réduire le flux de données et les besoins en bande passante des moyens de
transmission des données 30.
Dans un mode de mise en oeuvre, si le système immersif source estime et
utilise des positions et orientations de plusieurs utilisateurs simultanément,
les
5 données d'affichage sont capturées pour chacune des conditions d'observation
et
associées aux conditions d'observation correspondantes dans les données
d'exploitation.
L'équipement vidéo 14 réalise ainsi la capture des données d'affichage lors
de leur transmission au système d'affichage source 12, par exemple par une
10 lecture des signaux correspondant aux images sur la liaison vidéo 13,
convertit
lesdites images dans un format adapté à leurs transmissions et les transmets
via
les moyens de transmission de données 30 du dispositif.
A l'issue de cette étape 230, les données d'exploitation source sont
15 envoyées, directement ou indirectement, par le système source vers les
utilisateurs des informations contenues dans lesdites données d'exploitation
source. Les utilisateurs sont par exemple chacun des systèmes immersifs cibles
qui sont connectés audit système source ou un calculateur annexe 32b raccordé
au réseau 31 qui reçoit les données pour les retransmettre aux systèmes cible,
20 éventuellement après avoir réalisé un traitement des données
d'exploitation.
Dans une deuxième étape 240 de transformation, les données
d'exploitation source sont transformées en fonction des données de
configuration
d'un système immersif cible, et en fonction de variables générées 242 par
ledit
25 système immersif cible, notamment les données d'observation correspondant
aux
conditions d'observation effectives dans le système d'affichage 22 dudit
système
immersif cible.
Au cours de cette deuxième étape, sont réalisées les opérations de :
- Reconstruction 3D à l'échelle 1, par rapport au système de visualisation
30 cible, de la configuration géométrique du système d'affichage source pour
obtenir
un système d'affichage source virtuel sans image, i.e. indépendamment d'images
qui sont affichées sur le ou les écrans dudit système d'affichage source ;
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
41
- Affichage sur chacun des écrans du système d'affichage source virtuel des
données d'affichage associées, pour obtenir une représentation virtuelle
complète de l'état des affichages du système source décrit par les données
d'affichage reçues.
- Repositionnement du système d'affichage source virtuel par rapport à
l'observateur utilisateur du système cible pour que les données des conditions
d'observation source virtuelles, correspondant dans le système d'affichage
source virtuel aux données des conditions d'observation réelles dans le
système
d'affichage source réel, correspondent aux données des conditions
d'observation
cible effectives, au moins pour la position d'observation.
¨Synthèse des images constituant l'ensemble des données d'affichage du
système cible par les moyens de traitement numérique du système cible en
fonction des données des conditions d'observation cible, en utilisant les
données
de l'environnement reconstitué sur le système cible à partir des données
d'exploitation du système source.
Avantageusement, dans un mode de réalisation, la reconstruction 3D
virtuelle du système d'affichage source, sans image affichée sur des moyens
d'affichage du système source virtuel, peut être mise en cache par le système
de
traitement numérique du système immersif cible, et ainsi être réutilisée pour
les
itérations suivantes.
Suivant le principe de transformation des données d'affichage du procédé,
les données des conditions d'observation de l'environnement virtuel du système
source sont les mêmes que les données des conditions d'observation de
l'observateur 91 dans l'environnement virtuel affiché dans le système
d'affichage
source virtuel sur le système cible, la représentation visuelle dudit
environnement
virtuel étant reconstituée dans cet objectif. Cette condition est forcée pour
que les
images générées par le système source 10, puissent être vues sans déformation
par l'observateur 91 dans le système d'affichage cible 22.
Les données d'affichage initialement calculées par le système source n'ont
donc pas besoin d'être recalculées pour de nouvelles conditions d'observation
dans le système cible, les conditions d'observation, en position et en
direction,
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
42
étant virtuellement superposées dans l'environnement virtuel du système source
et dans l'environnement virtuel du système cible.
L'ensemble des données et programmes nécessaires aux calculs des
données d'affichage par les moyens de traitement numérique du système source
n'a ainsi pas besoin d'être répliqué sur le système cible, au contraire de
l'art
antérieur.
Dans des cas particuliers comme par exemple lorsqu'il est pris en compte
une vision stéréoscopique, donc mettant en oeuvre deux points d'observations
distincts, l'ensemble des données des conditions d'observation peuvent être
dupliquées pour correspondre à chacun des points d'observation, ou être
transmises seulement pour un point d'observation, les conditions d'observation
pour le second point étant limitées à des données de position relatives du
second
point par rapport au premier, par exemple distance et direction du second
point
par rapport au premier point, limitant le volume des données de conditions
d'observations à transmettre.
Les données d'observation peuvent également correspondre à point fictif
d'observation, par exemple un oeil cyclope, et les conditions d'observation
pour
chacun des points étant limitées à des données de positions relatives de
chacun
des points réels d'observation par rapport au point fictif.
Dans un mode de mise en oeuvre, tout ou partie des données d'exploitation
transmises par le système source sont gelées soit par le système source avant
leur transmission, soit par le système immersif cible à leur réception.
Il peut s'agir de données d'affichage, ou de données des conditions
d'observations, ou d'un sous-ensemble des données des conditions
d'observation.
Dans ce cas, les données gelées soit ne sont plus émises par le système
source, ou sont émises avec des valeurs constantes, soit ne sont
temporairement
plus prises en compte par le système cible et les dernières données
d'exploitations reçues et traitées par le système cible sont figées.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
43
Le gel est commandé par une instruction d'un des systèmes source ou cible
par exemple sur un ordre de l'utilisateur 90, ou de l'observateur 91, ou d'un
opérateur du système source ou du système cible. L'ordre peut également
affecter le système source qui est alors gelé et dans ce cas le système cible
subit
le gel des données concernées, ou n'affecter que le système cible qui dans ce
cas n'implique pas nécessairement le gel du système source mais seulement un
arrêt de la prise en compte des évolutions des données concernées émises par
le système source.
Lors de l'activation de cette étape 241 de gel des données, la possibilité de
mettre à jour les images sur le système immersif cible par le traitement des
données d'exploitations figées dans ledit mode gel d'exploitation est
maintenu,
ledit système immersif cible pouvant dans ce cas recalculer en temps réel les
données d'affichage pour les images devant être affichées par le système
d'affichage cible 22 en fonction de modification des conditions d'observation
dans
ledit système d'affichage cible pour conserver une représentation correcte de
l'environnement virtuel figé.
Dans ce mode de fonctionnement, il est possible pour un observateur 91 de
se déplacer dans le système de visualisation cible sans que la représentation
de
l'environnement virtuel ne soit instable. Il est alors plus aisé à
l'observateur 91 de
mettre en oeuvre des méthodes de pointage ou d'annotations, bien connues de
l'homme du métier, répercutées sur le système source, par exemple dans le
contexte d'un travail collaboratif sur l'environnement virtuel, même si de
telles
méthodes peuvent être appliquées lorsque la fonction de gel n'est pas activée.
Il est aussi possible de maintenir pour l'utilisateur 90 du système source une
perception exacte de l'environnement virtuel généré par le système immersif
source, en maintenant dans le système immersif cible, une vision par
l'observateur 91 correcte et stable dudit environnement virtuel placé dans
cette
condition de gel malgré des variations des conditions d'observation dans ledit
système source.
Les données d'affichage dans le système immersif cible sont alors
interprétées, lorsque les données correspondantes sont gelées, comme si
l'environnement virtuel était totalement statique et que l'utilisateur du
système
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
44
source ne se déplaçait plus, résultant ainsi en une sorte de capture 3D de
l'état
dudit système source.
Par des commandes spécifiques, l'étape de gel peut également concerner
l'ensemble des données relatives aux conditions d'observation, ou seulement un
sous-ensemble de ces données. Par exemple, lors d'une étape de gel, un
opérateur, un utilisateur ou un observateur, peut choisir de geler ou non les
variables de position des données d'observation et de geler ou non les
variables
d'orientation des données d'observation.
Avantageusement, les données affichées par le système d'affichage source
virtuel ne varient plus, et les points image dudit système d'affichage source
virtuel
sur lesquels sont réalisés les pointages et ou annotations sont constants.
Dans un mode de mise en oeuvre, une étape 243 d'enregistrement des
données d'exploitation source est activée.
Avantageusement, dans un mode de réalisation, lesdites données
d'exploitation source préenregistrées sont utilisées par le système de
traitement
en tant que données d'exploitation source, permettant ainsi sur le système
cible,
qui pourrait être ledit système source, de rejouer une immersion
préenregistrée.
Dans une troisième étape 250 d'affichage, l'ensemble des données
d'affichage résultant de la transformation est transmis au système d'affichage
cible 22 dont les données d'exploitation ont été prise en compte lors de la
transformation des images générées par le système source.
Afin de former et d'afficher en temps réel une représentation visuelle d'un
environnement immersif pour un observateur, disposant d'un système immersif
cible, copie de la représentation visuelle de l'environnement immersif généré
par
le système source, le procédé est rebouclé après la troisième étape 250 sur la
deuxième étape 240.
Le cycle avec lequel le procédé est rebouclé pour afficher une nouvelle
représentation de l'environnement virtuel sur le système d'affichage du
système
cible, cycle dont le temps peut être contraint par les performances de calculs
des
systèmes de traitement numérique de chacun des systèmes source et cibles,
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
ainsi que par les performances des moyens de transmission des données par
lesquels les données sont échangées entre lesdits systèmes source et cibles,
est
repris à chaque fois que le système immersif cible a fait une acquisition de
données d'exploitation correspondant à une représentation de l'environnement
5 virtuel sur le système source.
Pour autant qu'il n'aura pas été mis en pause par l'activation de l'étape 241
de gel de données, le calcul est répété avantageusement aussi rapidement que
les systèmes de traitement numérique des systèmes source et cible le
permettent, au moins pour offrir à un observateur 91 une immersion perçue
10 cohérente avec sa génération par le système source, par exemple quasi
simultanée avec celle de l'utilisateur 90 du système source lorsque le dit
système
source est un système immersif.
Variantes de réalisation
15 Comme précisé, la notion de conditions d'observation regroupe les
notions
de position d'observation et ou de direction d'observation. Ces paramètres de
position et de direction peuvent être déduits de mesures ou d'analyses. Par
exemple la direction d'observation peut se déduire d'une mesure de position
des
deux yeux d'un utilisateur ou d'un observateur.
20 Des conditions d'observations présupposées ou prédéterminées peuvent
également être utilisées pour l'un ou l'autre du système source et d'un
système
immersif cible, ou pour les deux, la mise en oeuvre du procédé permettant
d'adapter les affichages par la prise en compte des différences entre les deux
systèmes.
L'invention telle que décrite dans le cas d'un système source 10 comportant
un système d'affichage 12 multi-écrans de type CAVE et d'un seul système
immersif cible 20 comportant un système d'affichage 22 avec un seul écran, est
susceptible de variantes sans se démarquer des principes de l'inventions
détaillés dans l'exemple décrit.
Le dispositif peut comporter un système source et un nombre quelconque
de systèmes immersifs cibles, comme schématisé sur la figure 3 d'un
dispositif 100 comportant trois systèmes immersifs cibles 20 de différents
types,
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
46
qui peuvent reproduire simultanément un environnement même virtuel généré
par le système source dans les systèmes cibles.
L'invention permet de réaliser un partage d'immersion dans de nombreuses
configurations de systèmes immersifs, en particulier de systèmes d'affichages
desdits systèmes immersifs, la figure 3 illustrant des configurations
possibles de
manière non limitative.
Dans une forme de réalisation le système source et un système immersif
cible comportent tous deux un système d'affichage multi-faces. Avantageusement
les systèmes immersifs disposent dans ce cas de systèmes de mesure de la
position du point d'observation et de la direction d'observation de
l'utilisateur ou
de l'observateur.
Dans d'autre formes de réalisation, le système source comporte un système
d'affichage multi-faces et un système cible comporte un système de
visualisation
de type casque.
Les systèmes de visualisation de type casque mettent en oeuvre des écrans
qui sont physiquement très proches des yeux de l'utilisateur du casque mais
qui
sont pourvus, pour rester utilisables, de systèmes optiques qui assurent une
collimation qui place une image virtuelle, ici considérée au sens de l'optique
géométrique, de la surface de l'écran à une distance suffisante de l'oeil.
C'est
cette image virtuelle qui est alors considérée comme l'image affichée dans le
système de visualisation.
Dans un premier mode de fonctionnement de cette forme de réalisation,
l'observateur utilisant le casque est placé dans l'environnement virtuel
contenant
le système source reconstitué à exactement la même position et à la même
orientation que celles de l'utilisateur du système source dans le système
source.
Dans un mode alternatif, seule l'orientation source autour de l'axe défini par
le
centre des deux yeux n'est pas prise en compte pour donner un peu plus de
liberté à l'observateur. Avantageusement, dans ce mode, l'observateur dans le
système cible voit exactement ce que voit l'utilisateur du système source.
Dans un deuxième mode de fonctionnement de cette forme de réalisation,
l'observateur utilisant le casque est placé dans l'environnement virtuel
contenant
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
47
le système source reconstitué à exactement la même position que celle de
l'utilisateur du système source dans le système source. Avantageusement, dans
ce mode, l'observateur dans le système immersif cible peut regarder dans
d'autres directions que l'utilisateur du système source.
Dans d'autres formes de réalisation, le système source comporte un
système d'affichage de type casque.
Les informations de configuration incluent alors une description de la
transformation géométrique inverse de la transformation géométrique associée
aux pixels des images destinées à chacun des deux yeux ainsi que le champ de
vision associé au casque.
Le système immersif cible reçoit les données d'affichage directement
capturées par le système de capture et leur applique la transformation
géométrique décrite dans les informations de configuration pour retrouver des
images aplanies destinées à l'oeil gauche et à l'oeil droit sans les
déformations
optiques souvent nécessaires pour l'affichage dans ce type de système immersif
de type casque.
Dans une forme de réalisation associée, le système immersif source est de
type casque et le système immersif cible est également de type casque. La
transformation réalisée par le système cible consiste alors à placer autour de
l'observateur dans le système cible, dans un environnement virtuel, une
fenêtre
mouvante dans laquelle sont affichés les contenus en provenance du système
source, la taille de la fenêtre étant fonction des caractéristiques du système
source pour au moins correspondre au champ de vision rendu par ledit système
source.
Dans un premier mode de fonctionnement, la fenêtre est affichée tout le
temps dans le champ de vision de l'observateur, imposant ainsi que sa position
et
son orientation dans l'environnement virtuel correspondent exactement à la
position et orientation de l'utilisateur du système source dans le système
source.
Dans encore un autre mode de fonctionnement, seule la position de
l'observateur dans le système cible est contrainte dans l'environnement
virtuel.
L'observateur peut orienter son regard dans n'importe laquelle des directions,
même s'il ne perçoit le contenu visualisé par l'utilisateur du système source
que
quand les directions de regard de l'un et l'autre sont suffisamment proches.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
48
Le système source ne comporte pas nécessairement de système
d'affichage source, pour autant les données d'exploitation comportent
l'ensemble
des données des conditions d'observation associées aux données d'affichages
desdites données d'exploitation.
Pour assister l'observateur d'un système immersif cible dans le choix d'une
direction d'observation dans un environnement virtuel, et dans la perception
visuelle qu'il a de l'environnement virtuel, dont il ne maîtrise pas toutes
les
conditions de la représentation, des représentations symboliques sont
avantageusement superposées à la représentation visuelle de l'environnement
virtuel représenté sur le système immersif cible pour apporter à l'observateur
une
aide à l'orientation et au choix d'une direction d'observation.
Ces représentations symboliques comportent par exemple la matérialisation
graphique d'une sphère ou encore d'une grille associée à la représentation de
surfaces horizontales, par exemple un sol, et ou verticales, par exemple un
mur.
De tels représentations symboliques, qui peuvent n'être matérialisées que
temporairement, par exemple par une commande de l'observateur, ou dans
certaines conditions, par exemple une évolution rapide des conditions
d'observation du système source, apporte une assistance à l'observateur pour
faciliter son choix de direction d'observation et pour retrouver sa position
dans la
scène virtuelle.
De tels éléments graphiques intégrés dans le champ de vision de
l'observateur lui montreront dans quelle direction regarder pour retrouver
l'image
regardée par l'utilisateur du système source, i.e. comment regarder dans la
même direction.
Dans une variation de ces modes de réalisation, les données d'affichage
des anciennes images affichées dans l'environnement virtuel dudit observateur
peuvent mettre du temps à disparaître, permettant alors de superposer dans son
champ de vision les contenus actuellement visualisés selon la direction de
regard
actuelle dudit utilisateur et les contenus antérieurement visualisés selon des
directions de regard passées dudit utilisateur. Si ledit observateur ne
regarde pas
exactement dans la même direction que ledit utilisateur, il pourra ainsi
percevoir
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
49
une portion plus importante de l'environnement virtuel visualisé par ledit
utilisateur.
Dans une autre forme de réalisation associée, le système source est de
type casque et le système cible est un écran plat traditionnel, éventuellement
stéréoscopique. Avantageusement, dans cette forme de réalisation notamment,
transformer les données d'affichage venant dudit casque en fonction des
données de position et ou orientation venant dudit casque permet de
positionner
dans l'environnement virtuel du système cible la portion de contenu de
l'environnement virtuel visible au travers du système d'affichage du système
source de façon stabilisée, atténuant l'impact des mouvements de tête
fréquents
de l'utilisateur du système source.
Avantageusement, un traitement permettant une telle stabilisation peut être
mis en oeuvre quels que soient les systèmes sources et cibles utilisés, et a
principalement du sens si le système source a des moyens de mesure de
l'orientation du point d'observation.
Dans un mode de fonctionnement de cette forme de réalisation, la fenêtre
de l'environnement virtuel du système immersif cible dans laquelle est
affichée
l'image correspondant à la portion d'environnement virtuel source visible est
positionnée sur une forme géométrique assimilable à une sphère fixe et
invisible
centrée sur la tête de l'observateur, sa position à la surface de la sphère
étant
fonction de la direction de regard de l'utilisateur du système source, ladite
fonction pouvant être linéaire ou non. Pour pallier au manque de système de
positionnement sur un écran classique, la sphère peut tourner sur elle-même
pour accompagner le regard de l'utilisateur du système immersif source quand
cet utilisateur regarde dans une direction initialement située hors du champ
du
système d'affichage cible.
Avantageusement, un tel fonctionnement donne le sentiment aux
observateurs du système cible que l'environnement virtuel source est dévoilé
au
fur et à mesure que l'utilisateur du système source regarde dans des
directions
différentes, à la manière d'une lampe torche qui n'éclairerait à tout instant
que la
partie de l'environnement vers laquelle elle est pointée.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
Par extension aux formes de réalisation ci-dessus, le système immersif
source peut aussi être un casque de visualisation de réalité augmentée, auquel
cas l'environnement pris en compte par les moyens de capture dudit système
source est une combinaison des affichages virtuels et des images de la scène
5 réelle, toutes deux surimposées.
Dans une forme de réalisation, les moyens d'affichage du système immersif
10 source sont virtuels, l'enjeu étant principalement de faire calculer les
contenus à
afficher sur un système immersif cible par les moyens de traitement numérique
du système immersif source sans se soucier d'afficher les informations sur le
système d'affichage du système immersif source. Avantageusement, le système
immersif source peut utiliser comme position et orientation du calcul des
données
15 d'affichage la position et orientation de l'observateur dans le système
immersif
cible, qui parvient audit système source via les moyens de connexion réseau.
Dans un mode de fonctionnement de cette forme de réalisation, le système
source calcule une image adimensionnelle consistant en une projection à 3600
de
l'environnement virtuel, résultant en une image ou un ensemble d'images qui
20 peut être transformée par le système immersif cible en prenant en compte
l'écart
entre les conditions d'observation utilisée par le système source et les
conditions
d'observation effective de l'observateur dans le système immersif cible au
moment de l'affichage de l'image.
Dans un autre mode de fonctionnement de cette forme de réalisation, le
25 système source calcule un ensemble de données d'affichage correspondant à
la
configuration géométrique du système d'affichage du système immersif cible.
Les
transformations réalisées par le système immersif cible prennent en compte
l'écart entre la position utilisée par le système source et la position
effective de
l'observateur dans le système immersif cible au moment de l'affichage de
30 l'image.
Bien que l'invention ait été exposée de manière détaillée dans le cas de la
mise en oeuvre de systèmes d'affichage utilisant des écrans rectangulaires, ou
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
51
carrés, et plats, un système immersif comportant d'autres formes d'écrans peut
être mis en oeuvre dans le dispositif et dans le procédé tant comme système
source que comme système cible.
Par exemple il peut dans un système d'affichage être mis en oeuvre un ou
des écrans courbes. Dans ce cas, suivant l'invention, sont assurées les
transformations nécessaires en prenant en compte les caractéristiques de
courbure de la surface sur laquelle est, dans le cas du système source, ou
doit
être, dans le cas du système cible, affichée une image. L'invention peut, en
particulier dans cette situation, adapter une image à une courbure différente
entre
un écran du système source et un écran du système cible, puisque le système de
traitement associé au système cible dispose de toutes les informations
géométriques associées au système source pour construire virtuellement
exactement le même écran avec les mêmes courbures.
Dans une forme de réalisation, indépendamment du type de système mis
en oeuvre comme système source, le système d'affichage d'un système immersif
cible comporte un écran plat conventionnel unique, ayant le cas échéant des
capacités d'affichage en stéréoscopie.
Une telle forme de réalisation permet à plusieurs spectateurs de vivre en
immersion sur le système cible une expérience de l'utilisateur en immersion
sur
le système source. Dans un mode de fonctionnement de cette forme de
réalisation, position et orientation d'observation par l'utilisateur du
système cible
sont présupposés pour qu'ils correspondent à des position et orientation par
défaut dans le système cible.
Dans une forme de réalisation alternative sur un modèle proche de la forme
de réalisation précédente, le système d'affichage du système cible est un
dispositif mobile ou transportable type tablette, smartphone ou ordinateur
portable.
Dans un mode de fonctionnement complémentaire applicable aux formes de
réalisation précédente, le système d'affichage et ou le système de traitement
du
système immersif cible et ou du système source sont associés à des
équipements, généralement combinant des matériels et des logiciels, mis en
oeuvre pour interagir avec les représentations visuelles sur le système
d'affichage, qui seront regroupés sous l'expression moyens d'interaction .
Ces
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
52
moyens d'interaction peuvent être de toutes formes pour autant qu'ils
permettent
d'influencer, via le système d'affichage et ou le système de traitement, le
contenu
et ou le comportement des images. Ces moyens d'interaction, comprennent par
exemple, de façon non exhaustive, des terminaux avec des capacités tactiles
directes ou indirectes, un clavier, un pointeur tel qu'une souris ou une boule
de
poursuite, des stylos numériques, un dispositif de pointage 3D, un dispositif
de
pointage gyroscopique, des systèmes de suivi du regard... La fonction de gel
des
données d'affichage sur le système cible peut alors être activée grâce à ces
moyens d'interaction et le ou les observateurs sur le système cible peuvent
utiliser les moyens d'interaction dudit système cible pour pointer et ou
annoter,
avec un texte et ou avec des dessins et ou avec des symboles, à la surface de
l'image gelée, puis enregistrer ces images annotées par une interface adaptée.
De telles possibilités d"interactions, pointages et d'annotations, sont
avantageusement implémentées sur chacun des systèmes source et cible de
sorte que l'utilisateur sur le système source et l'observateur sur le système
immersif cible puissent en utiliser les capacités.
Dans un mode de mise en oeuvre, les pointages et annotations réalisés sur
un système, cible ou source, sont également transmis par les moyens de
communication sous la forme de données numériques à l'autre ou à plusieurs
autres systèmes immersifs cibles interconnectés de sorte que les pointages et
les
annotations, réalisées par un observateur ou par l'utilisateur, peuvent être
incrustées dans les représentations visuelles affichées sur chacun des autres
systèmes immersifs concernés.
Pour simplifier les systèmes et éviter la mise en oeuvre d'un dispositif de
mesure de la position de la tête et des yeux d'un utilisateur ou d'un
observateur,
ces paramètres peuvent être estimés en fonctions de mesures ou d'observations
plus ou moins précises, mais suffisantes pour obtenir une reconstruction de
l'image de l'environnement immersif acceptable par l'observateur.
Par exemple le système cible peut être un téléphone ordinateur dont l'écran
forme le système d'affichage et dont une caméra sur la face avant dudit
téléphone ordinateur assure, par une application logicielle dédiée, le suivi
de la
position de la tête ou des yeux de l'observateur.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
53
Dans tous les cas, comme il est compris de la description détaillée d'un
mode de réalisation, les paramètres des conditions d'observation source et
cibles
sont nécessaires à la formulation des transformations des images du système
source en images cohérentes sur le système cible. Suivant que l'un ou l'autre
des
systèmes source ou cible, ou les deux, sont équipés ou non d'un système pour
établir les valeurs variables des paramètres relatifs aux conditions
d'observation,
les valeurs du paramètre sont prises en compte ou à défaut sont prises à des
valeurs présupposées fonction des moyens d'affichage et des conditions
d'observation.
Par exemple, le système d'affichage du système immersif cible peut être un
écran associé à des capacités tactiles comme moyens d'interaction.
L'observateur peut alors utiliser ces moyens d'interaction pour modifier les
paramètres de position et ou de direction d'observation et ainsi déterminer
dynamiquement une position et ou une direction d'observation selon laquelle
observer la représentation virtuelle de l'environnement immersif source. Les
capacités tactiles peuvent être remplacées par un dispositif de type souris.
Le
contrôle d'affichage 2D ou 3D par ces moyens d'interaction étant bien connus
de
l'homme du métier. Les moyens d'interaction du système immersif cible
permettent ainsi à l'observateur de contrôler un sous ensemble des conditions
d'observation pour le système immersif cible
Avantageusement, selon l'invention, tous les types de systèmes immersifs
décrits peuvent être combinés dans un dispositif plus ou moins complexe ne se
restreignant pas à un unique couple système source / système cible.
L'invention peut également s'appliquer à différents types d'environnements
virtuels. L'environnement virtuel peut être un environnement en trois
dimensions.
L'environnement virtuel peut également être un environnement en deux
dimensions représenté par des images fixes ou animées stéréoscopiques ou
non.
Dans le cas d'images stéréoscopiques, la connaissance de propriétés de
l'appareil de prise de vue peut permettre de restituer les proportions
correctes
pour l'observateur sur le système cible.
CA 03022298 2018-10-26
WO 2017/187095 PCT/FR2017/051004
54
Ainsi suivant le dispositif et le procédé de l'invention, il est obtenu de
reproduire un environnement généré sur un système source dans un ou plusieurs
systèmes immersifs cibles sans transmettre nécessairement d'autres
informations que celles correspondant aux données de configuration et
d'exploitation générées par le système source.
Malgré les différences entre le système immersif cible et le système source,
l'environnement perçu par un utilisateur du système source est reproduit de
manière cohérente vis à vis d'un observateur du système cible qui bénéficie
ainsi
de l'expérience d'immersion dans l'environnement virtuel du système source.
Ce résultat est obtenu avec un niveau d'exigence minimal en termes de
transmission de données et en termes de coût d'adaptation des systèmes
existants.
