Language selection

Search

Patent 2942652 Summary

Third-party information liability

Some of the information on this Web page has been provided by external sources. The Government of Canada is not responsible for the accuracy, reliability or currency of the information supplied by external sources. Users wishing to rely upon this information should consult directly with the source of the information. Content provided by external sources is not subject to official languages, privacy and accessibility requirements.

Claims and Abstract availability

Any discrepancies in the text and image of the Claims and Abstract are due to differing posting times. Text of the Claims and Abstract are posted:

  • At the time the application is open to public inspection;
  • At the time of issue of the patent (grant).
(12) Patent: (11) CA 2942652
(54) English Title: SYSTEME DE SIMULATION TRIDIMENSIONNELLE VIRTUELLE PROPRE A ENGENDRER UN ENVIRONNEMENT VIRTUEL REUNISSANT UNE PLURALITE D'UTILISATEURS ET PROCEDE ASSOCIE
(54) French Title: THREE DIMENSIONAL SIMULATION SYSTEM CAPABLE OF CREATING A VIRTUAL ENVIRONMENT UNITING A PLURALITY OF USERS, AND ASSOCIATED PROCESS
Status: Granted and Issued
Bibliographic Data
(51) International Patent Classification (IPC):
  • G16Z 99/00 (2019.01)
  • G06F 3/01 (2006.01)
  • G06T 19/00 (2011.01)
(72) Inventors :
  • FAIN, IGOR (France)
  • KURDIJIAN, PATRICE (France)
(73) Owners :
  • DASSAULT AVIATION
(71) Applicants :
  • DASSAULT AVIATION (France)
(74) Agent: ROBIC AGENCE PI S.E.C./ROBIC IP AGENCY LP
(74) Associate agent:
(45) Issued: 2024-02-13
(22) Filed Date: 2016-09-20
(41) Open to Public Inspection: 2017-03-24
Examination requested: 2021-08-20
Availability of licence: N/A
Dedicated to the Public: N/A
(25) Language of filing: French

Patent Cooperation Treaty (PCT): No

(30) Application Priority Data:
Application No. Country/Territory Date
15 01 977 (France) 2015-09-24

Abstracts

English Abstract

A virtual three-dimensional simulation system suitable to generate a virtual environment gathering a plurality of users and a related process are described. The system comprises a first sensor for detecting a direction of vision of a first user, a computing unit capable of generating a virtual three-dimensional simulation of the virtual environment, based on data received from the or each first sensor, for at least one second user; an immersive restitution set for the virtual three-dimensional simulation generated by the computing unit. The system comprises, for the first user, a second sensor for detecting the position of a part of a real member of the first user. The computing unit is able to create, in the virtual three-dimensional simulation, an avatar of the first user, comprising a virtual head and a virtual member, reconstructed and oriented relative to one another based on the data of the first sensor and the second sensor.


French Abstract


Un système de simulation tridimensionnelle virtuelle propre à engendrer un
environnement virtuel réunissant une pluralité d'utilisateurs et un procédé
associé sont
décrits. Le système comprend un premier capteur de détection d'une direction
de vision
d'un premier utilisateur, une unité de calcul propre à engendrer une
simulation
tridimensionnelle virtuelle de l'environnement virtuel, basé sur les données
reçues du ou
de chaque premier capteur, pour au moins un deuxième utilisateur, un ensemble
de
restitution immersive de la simulation tridimensionnelle virtuelle engendrée
par l'unité de
calcul. Le système comprend, pour le premier utilisateur, un deuxième capteur
de
détection de la position d'une partie d'un membre réel du premier utilisateur.
L'unité de
calcul est propre à créer, dans la simulation tridimensionnelle virtuelle, un
avatar du
premier utilisateur, comprenant une tête virtuelle et un membre virtuel,
reconstitués et
orientés l'un par rapport à l'autre sur la base des données du premier et du
deuxième
capteur.

Claims

Note: Claims are shown in the official language in which they were submitted.


21
REVENDICATIONS
1. - Un système de simulation tridimensionnelle virtuelle propre à engendrer
un
environnement virtuel réunissant une pluralité d'utilisateurs, comprenant,
- pour au moins un premier utilisateur, un premier capteur de détection d'une
direction de vision du premier utilisateur;
- une unité de calcul propre à engendrer une simulation tridimensionnelle
virtuelle
de l'environnement virtuel, sur la base des données reçues du ou de chaque
premier
capteur de détection;
- pour au moins un deuxième utilisateur, un ensemble de restitution immersive
de
la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul,
propre à plonger le
ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle;
caractérisé en ce que le système comprend, pour le ou chaque premier
utilisateur,
un deuxième capteur de détection de la position d'une partie d'un membre réel
du premier
.. utilisateur,
l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle
virtuelle,
un avatar du ou de chaque premier utilisateur, comprenant au moins une tête
virtuelle et
au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base
des données du premier capteur et du deuxième capteur.
2. - Le système selon la revendication 1, dans lequel le membre et le membre
virtuel sont des bras respectivement de l'utilisateur et de l'avatar.
3. - Le système selon la revendication 2, dans lequel la partie du membre de
l'utilisateur détectée par le deuxième capteur comprend la main du premier
utilisateur.
4. - Le système selon l'une quelconque des revendications 1 à 3, dans lequel
l'unité de calcul est propre à déterminer la position d'une première région du
membre
virtuel, sur la base des données reçues du premier capteur de détection, et
est propre à
déterminer la position d'une deuxième région du membre virtuel à partir des
données
reçues du deuxième capteur de détection.
5. - Le système selon la revendication 2 ou 3, dans lequel l'unité de calcul
est
propre à déterminer la position d'une première région du membre virtuel, sur
la base des
données reçues du premier capteur de détection, est propre à déterminer la
position
d'une deuxième région du membre virtuel à partir des données reçues du
deuxième
capteur de détection, et est propre à engendrer une représentation d'une
épaule virtuelle
du premier utilisateur, mobile conjointement en rotation autour d'un axe
vertical avec la
tête virtuelle du premier utilisateur, la première région du membre virtuel
s'étendant à
partir de l'extrémité de l'épaule virtuelle.
Date Reçue/Date Received 2022-11-30

22
6. - Le système selon la revendication 4 ou 5, dans lequel l'unité de calcul
est
propre à déterminer la position de la première région du membre virtuel après
avoir
déterminé la position de la deuxième région du membre virtuel.
7. - Le système selon l'une quelconque des revendications 1 à 6, comprenant,
pour une pluralité de premiers utilisateurs, un premier capteur de détection
d'une direction
de vision de l'utilisateur, et un deuxième capteur de détection de la position
d'une partie
d'un membre de l'utilisateur,
l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle
virtuelle
un avatar de chaque premier utilisateur, comprenant au moins une tête
virtuelle et au
moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre
sur la base des
données du premier capteur et du deuxième capteur du premier utilisateur,
le ou chaque ensemble de restitution étant propre à faire apparaître
sélectivement
l'avatar d'un ou plusieurs premiers utilisateurs dans la simulation
tridimensionnelle
virtuelle.
8. - Le système selon la revendication 7, dans lequel l'unité de calcul est
propre à
placer les avatars de la pluralité de premiers utilisateurs à une même
localisation donnée
dans la simulation tridimensionnelle virtuelle, le ou chaque ensemble de
restitution étant
propre à faire apparaître sélectivement l'avatar d'un seul premier utilisateur
à la
localisation donnée.
9. - Le système selon la revendication 7 ou 8, dans lequel l'unité de calcul
est
propre à transposer les données du deuxième capteur, produites dans un repère
propre
au deuxième capteur, pour les placer dans un repère associé au premier
capteur, puis à
transposer à nouveau les données obtenues, ainsi que les données provenant du
premier
capteur, produites dans le repère du premier capteur, dans un repère de
l'environnement
virtuel, commun à tous les utilisateurs.
10. - Le système selon l'une quelconque des revendications 1 à 9, comprenant,
pour le ou chaque premier utilisateur, un ensemble de restitution immersive de
la
simulation tridimensionnelle virtuelle engendrée par l'unité propre à plonger
le ou chaque
premier utilisateur dans la simulation tridimensionnelle virtuelle.
11. - Le système selon la revendication 10, dans lequel l'ensemble de
restitution
est propre à être porté par la tête du premier utilisateur, le premier capteur
et/ou le
deuxième capteur étant montés sur l'ensemble de restitution.
12. - Le système selon la revendication 10 ou 11, dans lequel, dans une
position
donnée prédéfinie de la partie d'un membre de l'utilisateur détectée par le
deuxième
capteur, l'unité de calcul est propre à afficher au moins une fenêtre
d'information et/ou de
Date Reçue/Date Received 2022-11-30

23
sélection dans la simulation tridimensionnelle virtuelle visible par le ou
chaque premier
utilisateur et/ou par le ou chaque deuxième utilisateur.
13. - Le système selon l'une quelconque des revendications 1 à 12, dans lequel
l'unité de calcul est propre à déterminer si la position de la partie du
membre réel du
premier utilisateur détectée par le deuxième capteur est physiologiquement
possible et à
masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si la
position de la
partie du membre réel du premier utilisateur détectée par le deuxième capteur
n'est pas
physiologiquement possible.
14. - Le système selon l'une quelconque des revendications 1 à 13 comprenant,
pour le ou chaque premier utilisateur, un capteur de position, propre à
fournir à l'unité de
calcul des données géographiques de positionnement du premier utilisateur.
15. - Un procédé d'élaboration d'une simulation tridimensionnelle virtuelle
réunissant plusieurs utilisateurs, comportant les étapes suivantes :
- fourniture d'un système selon l'une quelconque des revendications 1 à 14
;
- activation du premier capteur et du deuxième capteur et transmission des
données reçues du premier capteur et du deuxième capteur vers l'unité de
calcul,
- génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou
de
chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins
un
membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la
base des données
.. du premier capteur et du deuxième capteur.
16. - Le procédé selon la revendication 15, dans lequel la génération de la
simulation tridimensionnelle virtuelle comprend le chargement d'une maquette
représentative d'une plateforme, et la représentation tridimensionnelle
virtuelle de
l'environnement virtuel d'une région de la plateforme, le ou chaque premier
utilisateur
évoluant dans l'environnement d'aéronef pour effectuer au moins une simulation
d'opération de maintenance et/ou d'utilisation de la plateforme.
Date Reçue/Date Received 2022-11-30

Description

Note: Descriptions are shown in the official language in which they were submitted.


1
Système de simulation tridimensionnelle virtuelle propre à engendrer un
environnement virtuel réunissant une pluralité d'utilisateurs et procédé
associé
La présente invention concerne un système de simulation tridimensionnelle
virtuelle propre à engendrer un environnement virtuel réunissant une pluralité
d'utilisateurs, comprenant :
- pour au moins un premier utilisateur, un premier capteur de détection
d'une
direction de vision du premier utilisateur,
- une unité de calcul propre à engendrer une simulation tridimensionnelle
virtuelle
de l'environnement virtuel, sur la base des données reçues du ou de chaque
premier
capteur de détection ;
- pour au moins un deuxième utilisateur, un ensemble de restitution
immersive de
la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul,
propre à plonger le
ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle.
Un tel système est destiné notamment à être utilisé pour organiser des
formations
techniques regroupant plusieurs utilisateurs dans un même environnement
virtuel.
En particulier, le système selon l'invention est adapté pour regrouper les
utilisateurs dans un environnement virtuel reproduisant une partie d'un
aéronef,
notamment pour apprendre et répéter des procédures de maintenance et/ou
d'utilisation
de l'aéronef.
Ces procédures nécessitent généralement d'effectuer des opérations successives
sur des équipements variés suivant un ordre déterminé avec des gestes définis.
Généralement, les formations de ce type sont conduites dans une salle de
classe,
à l'aide de supports bidimensionnels projetés sur des écrans, tels que des
présentations
comprenant des images.
De telles présentations sont peu représentatives de l'environnement réel au
sein
d'un aéronef. Elles permettent d'acquérir une connaissance théorique de la
procédure à
effectuer, mais peu d'expérience pratique.
D'autres formations sont conduites directement sur un aéronef ou sur une
maquette de l'aéronef, ce qui permet d'appréhender plus concrètement la
procédure à
effectuer. Lors de ces formations, le nombre de participants pouvant
simultanément
visualiser la procédure à effectuer doit souvent être limité, notamment si
l'environnement
est confiné, comme par exemple dans la soute technique d'un aéronef.
Par ailleurs, ces formations nécessitent d'immobiliser un aéronef ou de
reproduire
une maquette représentative de l'aéronef, ce qui est onéreux et peu pratique.
En outre, tous les participants doivent être présents simultanément à la
formation,
ce qui peut être coûteux si les participants proviennent de sites divers.
Date Reçue/Date Received 2022-11-30

2
Il est par ailleurs connu de plonger un utilisateur unique dans un
environnement
tridimensionnel virtuel, par exemple en le munissant d'un casque propre à
restituer une
maquette tridimensionnelle virtuelle. L'utilisateur perçoit l'environnement
virtuel, mais pas
nécessairement d'autres utilisateurs, ce qui rend la formation très peu
interactive.
Un but de l'invention est de fournir un système de simulation
tridimensionnelle qui
permette d'une manière peu coûteuse et pratique d'offrir un support très
interactif pour
interagir entre utilisateurs dans un environnement d'une plate-forme complexe,
notamment pour former des utilisateurs à la maintenance et/ou à l'utilisation
de la plate-
forme complexe.
A cet effet, l'invention a pour objet un système du type précité, caractérisé
en ce
que le système comprend, pour le ou chaque premier utilisateur, un deuxième
capteur de
détection de la position d'une partie d'un membre réel du premier utilisateur,
l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle
virtuelle,
un avatar du ou de chaque premier utilisateur, comprenant au moins une tête
virtuelle et
au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base
des données du premier capteur et du deuxième capteur.
Le système selon l'invention peut comprendre l'une ou plusieurs des
caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison
techniquement possible :
- le membre et le membre virtuel sont des bras respectivement de l'utilisateur
et de
l'avatar ;
- la partie du membre de l'utilisateur détectée par le deuxième capteur
comprend
la main du premier utilisateur ;
- l'unité de calcul est propre à déterminer la position d'une première région
du
membre virtuel, sur la base des données reçues du premier capteur de
détection, et est
propre à déterminer la position d'une deuxième région du membre virtuel à
partir des
données reçues du deuxième capteur de détection ;
- l'unité de calcul est propre à déterminer la position de la première région
du
membre virtuel après avoir déterminé la position de la deuxième région du
membre
virtuel ;
- l'unité de calcul est propre à engendrer une représentation d'une épaule
virtuelle
du premier utilisateur, mobile conjointement en rotation autour d'un axe
vertical avec la
tête virtuelle du premier utilisateur, la première région du membre virtuel
s'étendant à
partir de l'extrémité de l'épaule virtuelle ;
Date Reçue/Date Received 2022-11-30

3
- il comprend, pour une pluralité de premiers utilisateurs, un premier capteur
de
détection d'une direction de vision de l'utilisateur, et un deuxième capteur
de détection de
la position d'une partie d'un membre de l'utilisateur,
l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle
virtuelle
un avatar de chaque premier utilisateur, comprenant au moins une tête
virtuelle et au
moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre
sur la base des
données du premier capteur et du deuxième capteur du premier utilisateur,
le ou chaque ensemble de restitution étant propre à faire apparaître
sélectivement
l'avatar d'un ou plusieurs premiers utilisateurs dans la simulation
tridimensionnelle
virtuelle ;
- l'unité de calcul est propre à placer les avatars d'une pluralité de
premiers
utilisateurs à une même localisation donnée dans la simulation
tridimensionnelle virtuelle,
le ou chaque ensemble de restitution étant propre à faire apparaître
sélectivement l'avatar
d'un seul premier utilisateur à la localisation donnée ;
- il comprend, pour le ou chaque premier utilisateur, un ensemble de
restitution
immersive de la simulation tridimensionnelle virtuelle engendrée par l'unité
propre à
plonger le ou chaque premier utilisateur dans la simulation tridimensionnelle
virtuelle ;
- l'ensemble de restitution est propre à être porté par la tête du premier
utilisateur,
le premier capteur et/ou le deuxième capteur étant montés sur l'ensemble de
restitution ;
- dans une position donnée prédéfinie de la partie d'un membre de
l'utilisateur
détectée par le deuxième capteur, l'unité de calcul est propre à afficher au
moins une
fenêtre d'information et/ou de sélection dans la simulation tridimensionnelle
virtuelle
visible par le ou chaque premier utilisateur et/ou par le ou chaque deuxième
utilisateur ;
- l'unité de calcul est propre à déterminer si la position de la partie du
membre réel
du premier utilisateur détectée par le deuxième capteur est physiologiquement
possible et
à masquer l'affichage du membre virtuel de l'avatar du premier utilisateur si
la position de
la partie du membre réel du premier utilisateur détectée par le deuxième
capteur n'est pas
physiologiquement possible ;
- il comprend, pour le ou chaque premier utilisateur, un capteur de
position, propre
à fournir à l'unité de calcul des données géographiques de positionnement du
premier
utilisateur.
L'invention a également pour objet un procédé d'élaboration d'une simulation
tridimensionnelle virtuelle réunissant plusieurs utilisateurs, comportant les
étapes
suivantes :
- fourniture d'un système tel que décrit plus haut;
Date Reçue/Date Received 2022-11-30

4
- activation du premier capteur et du deuxième capteur et transmission des
données reçues du premier capteur et du deuxième capteur vers l'unité de
calcul,
- génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou
de
chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins
un
membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la
base des données
du premier capteur et du deuxième capteur.
Le système selon l'invention peut comprendre l'une ou plusieurs des
caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison
techniquement possible :
- la génération de la simulation tridimensionnelle virtuelle comprend le
chargement
d'une maquette représentative d'une plateforme, et la représentation
tridimensionnelle
virtuelle de l'environnement virtuel d'une région de la plateforme, le ou
chaque premier
utilisateur évoluant dans l'environnement d'aéronef pour effectuer au moins
une
simulation d'opération de maintenance et/ou d'utilisation de la plateforme.
Les aspects suivants sont également décrits :
1. - Un système de simulation tridimensionnelle virtuelle propre à engendrer
un
environnement virtuel réunissant une pluralité d'utilisateurs, comprenant,
- pour au moins un premier utilisateur, un premier capteur de détection
d'une
direction de vision du premier utilisateur;
- une unité de calcul propre à engendrer une simulation tridimensionnelle
virtuelle
de l'environnement virtuel, sur la base des données reçues du ou de chaque
premier
capteur de détection;
- pour au moins un deuxième utilisateur, un ensemble de restitution
immersive de
la simulation tridimensionnelle virtuelle engendrée par l'unité de calcul,
propre à plonger le
ou chaque deuxième utilisateur dans la simulation tridimensionnelle virtuelle;
caractérisé en ce que le système comprend, pour le ou chaque premier
utilisateur,
un deuxième capteur de détection de la position d'une partie d'un membre réel
du premier
utilisateur,
l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle
virtuelle,
un avatar du ou de chaque premier utilisateur, comprenant au moins une tête
virtuelle et
au moins un membre virtuel, reconstitués et orientés l'un par rapport à
l'autre sur la base
des données du premier capteur et du deuxième capteur.
2. - Le système selon l'aspect 1, dans lequel le membre et le membre virtuel
sont
des bras respectivement de l'utilisateur et de l'avatar.
3. - Le système selon l'aspect 2, dans lequel la partie du membre de
l'utilisateur
détectée par le deuxième capteur comprend la main du premier utilisateur.
Date Reçue/Date Received 2022-11-30

5
4. - Le système selon l'un quelconque des aspects 1 à 3, dans lequel l'unité
de
calcul est propre à déterminer la position d'une première région du membre
virtuel, sur la
base des données reçues du premier capteur de détection, et est propre à
déterminer la
position d'une deuxième région du membre virtuel à partir des données reçues
du
deuxième capteur de détection.
5. - Le système selon l'aspect 2 ou 3, dans lequel l'unité de calcul est
propre à
déterminer la position d'une première région du membre virtuel, sur la base
des données
reçues du premier capteur de détection, est propre à déterminer la position
d'une
deuxième région du membre virtuel à partir des données reçues du deuxième
capteur de
détection, et est propre à engendrer une représentation d'une épaule virtuelle
du premier
utilisateur, mobile conjointement en rotation autour d'un axe vertical avec la
tête virtuelle
du premier utilisateur, la première région du membre virtuel s'étendant à
partir de
l'extrémité de l'épaule virtuelle.
6. - Le système selon l'aspect 4 ou 5, dans lequel l'unité de calcul est
propre à
déterminer la position de la première région du membre virtuel après avoir
déterminé la
position de la deuxième région du membre virtuel.
7. - Le système selon l'un quelconque des aspects 1 à 6, comprenant, pour une
pluralité de premiers utilisateurs, un premier capteur de détection d'une
direction de vision
de l'utilisateur, et un deuxième capteur de détection de la position d'une
partie d'un
membre de l'utilisateur,
l'unité de calcul étant propre à créer, dans la simulation tridimensionnelle
virtuelle
un avatar de chaque premier utilisateur, comprenant au moins une tète
virtuelle et au
moins un membre virtuel, reconstitués et orientés l'un par rapport à l'autre
sur la base des
données du premier capteur et du deuxième capteur du premier utilisateur,
le ou chaque ensemble de restitution étant propre à faire apparaître
sélectivement
l'avatar d'un ou plusieurs premiers utilisateurs dans la simulation
tridimensionnelle
virtuelle.
8. - Le système selon l'aspect 7, dans lequel l'unité de calcul est propre à
placer
les avatars de la pluralité de premiers utilisateurs à une même localisation
donnée dans la
simulation tridimensionnelle virtuelle, le ou chaque ensemble de restitution
étant propre à
faire apparaître sélectivement l'avatar d'un seul premier utilisateur à la
localisation
donnée.
9. - Le système selon l'aspect 7 ou 8, dans lequel l'unité de calcul est
propre à
transposer les données du deuxième capteur, produites dans un repère propre au
deuxième capteur, pour les placer dans un repère associé au premier capteur,
puis à
transposer à nouveau les données obtenues, ainsi que les données provenant du
premier
Date Reçue/Date Received 2022-11-30

6
capteur, produites dans le repère du premier capteur, dans un repère de
l'environnement
virtuel, commun à tous les utilisateurs.
10. - Le système selon l'un quelconque des aspects 1 à 9, comprenant, pour le
ou
chaque premier utilisateur, un ensemble de restitution immersive de la
simulation
tridimensionnelle virtuelle engendrée par l'unité propre à plonger le ou
chaque premier
utilisateur dans la simulation tridimensionnelle virtuelle.
11. - Le système selon l'aspect 10, dans lequel l'ensemble de restitution est
propre
à être porté par la tête du premier utilisateur, le premier capteur et/ou le
deuxième capteur
étant montés sur l'ensemble de restitution.
12. - Le système selon l'aspect 10 ou 11, dans lequel, dans une position
donnée
prédéfinie de la partie d'un membre de l'utilisateur détectée par le deuxième
capteur,
l'unité de calcul est propre à afficher au moins une fenêtre d'information
et/ou de sélection
dans la simulation tridimensionnelle virtuelle visible par le ou chaque
premier utilisateur
et/ou par le ou chaque deuxième utilisateur.
13. - Le système selon l'un quelconque des aspects 1 à 12, dans lequel l'unité
de
calcul est propre à déterminer si la position de la partie du membre réel du
premier
utilisateur détectée par le deuxième capteur est physiologiquement possible et
à masquer
l'affichage du membre virtuel de l'avatar du premier utilisateur si la
position de la partie du
membre réel du premier utilisateur détectée par le deuxième capteur n'est pas
physiologiquement possible.
14. - Le système selon l'un quelconque des aspects 1 à 13 comprenant, pour le
ou
chaque premier utilisateur, un capteur de position, propre à fournir à l'unité
de calcul des
données géographiques de positionnement du premier utilisateur.
15. - Un procédé d'élaboration d'une simulation tridimensionnelle virtuelle
réunissant plusieurs utilisateurs, comportant les étapes suivantes :
- fourniture d'un système selon l'un quelconque des aspects 1 à 14;
- activation du premier capteur et du deuxième capteur et transmission des
données reçues du premier capteur et du deuxième capteur vers l'unité de
calcul,
- génération d'une simulation tridimensionnelle virtuelle d'un avatar du ou
de
chaque premier utilisateur, comprenant au moins une tête virtuelle et au moins
un
membre virtuel, reconstitués et orientés l'un par rapport à l'autre sur la
base des données
du premier capteur et du deuxième capteur.
16. - Le procédé selon l'aspect 15, dans lequel la génération de la simulation
tridimensionnelle virtuelle comprend le chargement d'une maquette
représentative d'une
plateforme, et la représentation tridimensionnelle virtuelle de
l'environnement virtuel d'une
région de la plateforme, le ou chaque premier utilisateur évoluant dans
l'environnement
Date Reçue/Date Received 2022-11-30

7
d'aéronef pour effectuer au moins une simulation d'opération de maintenance
et/ou
d'utilisation de la plateforme.
L'invention sera mieux comprise à la lecture de la description qui va suivre,
donnée uniquement à titre d'exemple, et faite en se référant aux dessins
annexés, sur
lesquels :
- la figure 1 est une vue schématique d'un premier système de simulation
tridimensionnelle virtuelle selon l'invention ;
- la figure 2 est une vue de l'environnement virtuel crée par le système de
simulation selon l'invention, comprenant une pluralité d'avatars
représentatifs de plusieurs
utilisateurs ;
- les figures 3 et 4 sont des vues agrandies illustrant la définition d'un
avatar ;
- la figure 5 est une vue illustrant une étape d'activation d'un menu de
sélection au
sein de la simulation tridimensionnelle virtuelle ;
- la figure 6 est une vue d'un indicateur de sélection d'une zone ou d'un
objet dans
la simulation tridimensionnelle virtuelle ;
- la figure 7 est une vue détaillée d'un menu de sélection ;
- la figure 8 est une vue illustrant la sélection d'une région d'un aéronef
dans la
simulation tridimensionnelle virtuelle.
Un premier système 10 de simulation tridimensionnelle virtuelle selon
l'invention,
propre à engendrer un environnement virtuel 12, visible sur la figure 2,
réunissant une
pluralité d'utilisateurs 14, 16 est illustré par la figure 1.
Le système 10 est destiné à être mis en uvre notamment pour simuler une
opération de maintenance et/ou d'utilisation d'une plate-forme, notamment d'un
aéronef,
par exemple dans le cadre d'une formation.
Dans cet exemple, au moins un premier utilisateur 14 est propre à recevoir et
à
reproduire des informations relatives à l'opération de maintenance et/ou
d'utilisation,
notamment les étapes d'une procédure de maintenance et/ou d'utilisation. Au
moins un
deuxième utilisateur 16 est un formateur diffusant les informations auprès de
chaque
premier utilisateur 14 et vérifiant la bonne reproduction des informations.
Les opérations de maintenance et/ou d'utilisation comportent par exemple des
étapes de montage / démontage d'équipements de la plateforme, ou encore des
étapes
de test et/ou d'activation d'équipements de la plateforme.
Dans cet exemple, le système 10 comporte, pour chaque utilisateur 14, 16, un
capteur 17 de position de l'utilisateur, un premier capteur 18 de détection de
la direction
de vision de l'utilisateur 14, 16, et un deuxième capteur 20 de détection de
la position
d'une partie d'un membre de l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30

8
Le système 10 comporte en outre au moins une unité de calcul et de
synchronisation 22, propre à recevoir et à synchroniser les données provenant
de chaque
capteur 17, 18, 20 et à créer une simulation tridimensionnelle virtuelle
réunissant les
utilisateurs 14, 16 dans l'environnement virtuel 12, sur la base des données
des capteurs
17, 18, 20 et sur la base d'une maquette tridimensionnelle représentative de
l'environnement virtuel 12. La maquette tridimensionnelle est par exemple une
maquette
d'au moins une zone de la plateforme.
Le système 10 comporte en outre, pour chaque utilisateur 14, 16, un ensemble
de
restitution 24 de la simulation tridimensionnelle virtuelle engendrée par
l'unité de calcul 22
à partir du point de vue de l'utilisateur 14, 16, pour immerger chaque
utilisateur 14, 16
dans l'environnement virtuel 12.
L'ensemble de restitution 24 est par exemple un casque de réalité virtuelle.
Il est
porté par la tête de l'utilisateur 14, 16 avec une orientation fixe par
rapport à la tête de
l'utilisateur. Il comporte généralement un système d'affichage
tridimensionnel, disposé en
regard des yeux de l'utilisateur, notamment un écran et/ou des lunettes.
L'ensemble de restitution 24 est par exemple un casque de type Oculus Rift
DK2.
Le capteur de position 17 comporte avantageusement au moins un élément fixé
sur l'ensemble de restitution 24.
Le capteur de position 17 est par exemple un capteur comprenant au moins une
source lumineuse, notamment une diode électroluminescente, fixée sur
l'ensemble de
restitution et un détecteur optique, par exemple infrarouge, disposé en regard
de
l'utilisateur pour détecter la source lumineuse.
En variante, le capteur de position 17 est un gyroscope à accéléromètre, fixé
sur
l'ensemble de restitution 24, dont les données sont intégrées pour donner à
chaque
instant la position de l'utilisateur.
Le capteur de position 17 est propre à fournir des données géographiques de
positionnement de l'utilisateur, notamment pour déterminer les mouvements
globaux de la
tête de l'utilisateur 14, 16 par rapport à un repère centralisé commun à tous
les
utilisateurs 14, 16.
Le premier capteur de détection 18 est propre à détecter la direction de
vision de
l'utilisateur 14, 16.
Le premier capteur 18 comporte avantageusement au moins un élément fixé sur
l'ensemble de restitution 24 pour être mobile conjointement avec la tête de
l'utilisateur 14,
16. Il est apte à suivre la direction de vision de l'utilisateur suivant au
moins un axe
vertical et au moins un axe horizontal, de préférence suivant au moins trois
axes.
Date Reçue/Date Received 2022-11-30

9
Il est par exemple formé par un gyroscope à accéléromètre qui peut être
identique,
le cas échéant, au gyroscope du capteur de position 17.
En variante, le premier capteur 18 comporte une source lumineuse portée par
l'ensemble de restitution 24 et au moins une caméra, de préférence plusieurs
caméras de
détection de la source lumineuse, la ou chaque caméra étant fixée en regard de
l'utilisateur, et pouvant être commune avec le capteur de position 17, le cas
échéant.
Le premier capteur 18 est propre à produire des données dans un repère propre
à
chaque utilisateur 14, 16 qui sont ensuite transposées selon l'invention dans
le repère
centralisé, en utilisant des données du capteur de position 17.
Le deuxième capteur 20 est un capteur de détection d'au moins une partie d'un
membre réel de l'utilisateur 14, 16. En particulier, le membre de
l'utilisateur est un bras, et
le deuxième capteur 20 est propre à détecter la position et l'orientation de
la main et d'au
moins un tronçon de l'avant-bras de l'utilisateur 14, 16.
De préférence, le deuxième capteur 20 est propre à détecter la position et
l'orientation des deux mains et des avants bras associés de l'utilisateur 14,
16.
Le deuxième capteur 20 est par exemple un capteur de mouvements, fonctionnant
avantageusement par détection infrarouge. Le capteur est par exemple de type
Leap
Motion .
En variante, le deuxième capteur 20 est une caméra opérant dans le domaine
visible, associée à un logiciel de reconnaissance de forme.
Avantageusement, le deuxième capteur 20 est également fixé sur l'ensemble de
restitution 24, pour être mobile conjointement avec la tête de l'utilisateur,
en minimisant la
gêne pour l'utilisateur.
Le champ de détection du capteur 20 s'étend en regard de l'utilisateur 14, 16,
pour
maximiser les chances de détection de la partie du membre de l'utilisateur 14,
16 à
chaque instant.
Le deuxième capteur 20 est propre à produire des données dans un repère propre
au capteur 20, qui sont ensuite transposées selon l'invention dans le repère
du premier
capteur 18, puis dans le repère centralisé sur la base de la position et de
l'orientation
connues du deuxième capteur 20 sur l'ensemble de restitution 24, et des
données du
capteur de position 17 et du premier capteur 18.
Les données engendrées par le premier capteur 18 et par le deuxième capteur 20
sont propres à être transmises en temps réel à l'unité de calcul 22, à une
fréquence par
exemple comprise entre 60 Hz et 120 Hz.
De préférence, l'ensemble de restitution 24 est muni d'un système 26 de
transmission de données permettant une communication bidirectionnelle entre
l'unité de
Date Reçue/Date Received 2022-11-30

10
calcul 22 et l'ensemble de restitution 24 via un moyen de transmission,
incluant par
exemple un câble USB, pour transmettre les données des capteurs 17, 18, 20, et
pour
recevoir de l'unité de calcul 22, les données nécessaires à l'immersion de
l'utilisateur 14,
16 dans la simulation tridimensionnelle virtuelle engendrée par l'unité de
calcul 22.
L'unité de calcul 22 comporte au moins un processeur 30, et au moins une
mémoire 32 contenant des applications logicielles propres à être exécutées par
le
processeur 30.
La mémoire 32 contient notamment une application 34 de chargement d'une
maquette tridimensionnelle représentative de l'environnement virtuel 12 dans
lequel les
utilisateurs 14, 16 sont destinés à être réunis, une application 35 de
génération de
l'environnement virtuel 12 sur la base de la maquette tridimensionnelle
chargée et, selon
l'invention, une application 36 de création et de positionnement, pour chaque
utilisateur,
14, 16 d'un avatar animé 38 dans l'environnement virtuel 12.
La mémoire 32 contient en outre une application 40 de contrôle et de
restitution
sélective de l'environnement virtuel 12 et du ou des avatars 38 de chaque
utilisateur 14,
16.
L'application de chargement 34 est propre à récupérer sous forme informatique
un
fichier de maquette tridimensionnelle représentatif de l'environnement virtuel
12 dans
lequel vont être plongés les utilisateurs 14, 16.
La maquette tridimensionnelle est par exemple une maquette représentative
d'une
plate-forme, notamment un aéronef dans son ensemble, ou d'une partie de la
plate-forme.
La maquette tridimensionnelle comporte par exemple des données de
positionnement
relatif et de forme d'une ossature supportant des composants et de chacun des
composants montés sur l'ossature. Elle comporte notamment des données
d'attribution
de chaque composant à un système fonctionnel (par exemple un numéro de série
pour
chaque composant).
La maquette est généralement organisée au sein d'un fichier informatique, sous
la
forme d'une arborescence de modèles issue d'un logiciel de conception assistée
par
ordinateur, cette arborescence étant par exemple organisée par type de
systèmes
(structure, fixation, équipement).
L'application 35 de génération est propre à utiliser les données de la
maquette
tridimensionnelle pour engendrer une représentation tridimensionnelle
virtuelle de
l'environnement virtuel 12.
L'application 36 de création et de positionnement d'avatars animés 38 est
propre à
analyser la position de chaque utilisateur 14, 16 dans l'environnement virtuel
12 sur la
Date Reçue/Date Received 2022-11-30

11
base des données de positionnement du capteur de position 17, et de données de
direction de vision, reçues du premier capteur 18.
Selon l'invention, l'application 36 de création et de positionnement est
propre à
créer, pour chaque utilisateur 14, 16 un avatar animé 38 représentatif de
l'attitude et du
positionnement d'au moins un membre de l'utilisateur, notamment d'au moins un
bras de
l'utilisateur et à placer chaque avatar 38 dans l'environnement virtuel 12.
Dans l'exemple illustré par la figure 3 et par la figure 4, l'avatar 38
comprend une
tête virtuelle 50, mobile en fonction des déplacements de la tête de
l'utilisateur 14, 16,
mesurés par le premier capteur 18, un tronc virtuel 54 relié à la tête
virtuelle 50 par un cou
virtuel 56 et des épaules virtuelles 58, le tronc virtuel 54 et les épaules
virtuelles 58 étant
mobiles conjointement en rotation avec la tête virtuelle 50.
L'avatar 38 comprend en outre deux membres virtuels 59, chaque membre virtuel
59 étant mobile en fonction du déplacement et de l'orientation de la partie de
membre
correspondante de l'utilisateur détectée par le deuxième capteur 20. Chaque
membre
virtuel comprend ici une main virtuelle 62, une première région 64 et une
deuxième région
66 reliées entre elles par un coude virtuel 68.
Pour créer et positionner l'avatar 38, l'application 36 comprend un module de
positionnement de la tête virtuelle 50 de l'avatar 38, sur la base des données
reçues du
capteur de position 17 et du premier capteur 18, un module de positionnement
du tronc
virtuel 54 et des épaules virtuelles 58 de l'avatar 38, en fonction des
données de
positionnement de la tête virtuelle 50, et un module de positionnement des
membres
virtuels 59 de l'utilisateur 14, 16 dans l'environnement virtuel 12, sur la
base notamment
des données du deuxième capteur 20.
Pour chaque utilisateur 14, 16, le module de positionnement de la tête
virtuelle 50
est propre à utiliser les données du capteur de position 17, pour situer la
tête virtuelle 50
de l'avatar 38 dans l'environnement virtuel 12.
Les données du capteur de position 17 sont recalées dans un référentiel commun
à l'ensemble des utilisateurs 14, 16 dans l'environnement virtuel 12.
Dans un premier mode de fonctionnement, les avatars 38 d'utilisateurs 14, 16
sont
positionnés à des localisations distinctes les unes des autres, au sein de
l'environnement
virtuel 12, comme illustré sur la figure 2.
Dans un autre mode de fonctionnement, les avatars 38 d'utilisateurs 14, 16
sont
positionnés avec un recouvrement les uns par rapport aux autres, notamment si
l'environnement virtuel 12 est confiné. Dans ce cas, comme on le verra plus
bas, chaque
utilisateur 14, 16 n'est pas apte à voir tous les avatars 38 présents dans
l'environnement
virtuel 12 confiné.
Date Reçue/Date Received 2022-11-30

12
Le module de positionnement de la tête virtuelle 50 est propre à traiter des
données provenant du premier capteur 18, pour engendrer en temps réel, des
données
d'orientation de la tête virtuelle 50 de l'avatar 38 correspondant à la
direction de vision
mesurée à partir du premier capteur 18.
La tête virtuelle de l'avatar 38 présente ici une forme sensiblement
sphérique. Elle
comporte un marqueur représentatif de la direction de vision, notamment un
pavé 52
illustrant la position des yeux de l'utilisateur, et de l'ensemble de
restitution 24 placé sur
les yeux.
L'orientation de la direction de vision de l'avatar 38 est possible autour
d'au moins
un axe vertical A-A' et d'un axe horizontal B-B', et avantageusement suivant
un deuxième
axe horizontal C-C'.
L'avatar 38 n'est ainsi pas limité en rotation et peut déplacer sa direction
de vision
de plus de 90 de chaque côté de sa direction de vision de base.
Le module de détermination du positionnement du tronc virtuel 54 et des
épaules
58 est propre à caler en temps réel la position du tronc virtuel 54,
représentée également
par une sphère sur l'avatar 38 à une distance prédéterminée de la tête 50.
Cette distance
prédéterminée correspond à la hauteur du cou virtuel 56 de l'avatar 38
représenté par un
cylindre orienté verticalement.
Le cou virtuel 56 est placé verticalement au niveau du point de pivot vertical
de la
tête virtuelle 50 autour de l'axe vertical A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58
est
en outre propre à fixer l'orientation angulaire des épaules virtuelles 58, en
les maintenant
dans un plan vertical, avec un angle fixe par rapport à l'horizontale, de part
et d'autre de
l'axe vertical A-A' du cou 56.
Il est propre à faire pivoter le plan contenant les épaules virtuelles 58
conjointement avec la tête virtuelle 50 autour de l'axe vertical A-A', pour
suivre en
permanence la rotation de la tête virtuelle 50 autour de l'axe vertical A-A'.
Ainsi, les épaules virtuelles 58 de l'avatar 38 restent fixes en distance et
en
orientation dans leur plan par rapport au tronc virtuel 54, mais pivotent
conjointement
avec la tête virtuelle 50 autour de l'axe A-A'.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58
est
en outre propre à définir en temps réel la position des extrémités 60 des
épaules virtuelles
58, représentées ici par des sphères, qui servent de base pour la construction
des
membres virtuels 59 de l'avatar 38, comme on le verra plus bas.
Date Reçue/Date Received 2022-11-30

13
La position des extrémités 60 est définie par une distance dl prédéterminée
entre
les extrémités 60 et le tronc 54, par exemple de l'ordre de 20 cm (distance
moyenne tête-
épaule).
Le module de positionnement des membres virtuels 59 est propre à recevoir les
données provenant du deuxième capteur 20 pour déterminer la position et
l'orientation
d'une partie de chaque membre de l'utilisateur 14, 16 dans le monde réel.
Dans cet exemple, la partie du membre de l'utilisateur 14, 16 détectée par le
deuxième capteur 20 comprend la main de l'utilisateur, et au moins le début de
l'avant-
bras.
Le module de positionnement des membres virtuels 59 est apte à traiter les
données du deuxième capteur 20 pour recaler les données de position issues du
deuxième capteur 20 depuis le référentiel du deuxième capteur 20 vers le
référentiel
commun, en se fondant notamment sur la position fixe du deuxième capteur 20
sur
l'ensemble de restitution 24 et sur les données du capteur de position 17 et
du premier
capteur 18.
Le module de positionnement des membres virtuels 59 est propre à engendrer et
à
positionner une représentation virtuelle orientée de la partie du membre de
l'utilisateur 14,
16 détectée par le deuxième capteur 20, ici d'une main virtuelle 62 sur
l'avatar 38.
Le module de positionnement des membres virtuels 59 est également propre à
déterminer l'orientation et la position de la deuxième région 66 de chaque
membre virtuel
sur la base des données reçues du deuxième capteur 20. Dans cet exemple, la
deuxième
région 66 du membre virtuel est l'avant-bras.
A cet effet, le module de positionnement des membres virtuels 59 est propre à
déterminer l'orientation du début de l'avant-bras de l'utilisateur 14, 16 dans
le monde réel,
sur la base des données du capteur 20, et à utiliser cette orientation pour
orienter la
deuxième région 66 de chaque membre virtuel 59 à partir de la position de la
main
virtuelle 62, de l'orientation du début de l'avant-bras et d'une distance d2
prédéfinie
définissant la longueur de la deuxième région 66 entre la main virtuelle 62 et
un coude
virtuel 68, par exemple de l'ordre de 30 cm (longueur moyenne de l'avant-
bras).
Puis, une fois la position du coude virtuelle 68 connue, le module de
positionnement des membres virtuels 59 est propre à déterminer la position et
l'orientation
de la première région 64 de chaque membre virtuel entre l'extrémité 60 de
l'épaule
virtuelle 58, obtenue notamment à partir des données du premier capteur 18,
tel que
décrit plus haut et le coude virtuel 68.
Le module de positionnement est en outre apte à déterminer si la position de
la
main virtuelle 62, telle qu'obtenue à partir du capteur 20, est
physiologiquement possible.
Date Reçue/Date Received 2022-11-30

14
Cette détermination est par exemple effectuée en déterminant la distance d3
séparant
l'extrémité 60 de l'épaule virtuelle 58 du coude virtuel 68 et en la comparant
à une valeur
physiologique maximale possible, par exemple égale à 45 cm.
Ainsi, pour chaque utilisateur 14, 16, les caractéristiques et le
positionnement d'un
avatar 38 correspondant à l'utilisateur 14, 16 est créé et est défini par
l'application de
création et de positionnement 36.
L'avatar 38 suit les orientations générales de la tête, et des mains de
l'utilisateur
14, 16. L'avatar 38 présente en outre des membres virtuels 59 animés, dont les
orientations sont proches, sans être identiques à celles des membres réels de
l'utilisateur
14, 16 dans le monde réel, ce qui simplifie le fonctionnement du système 10,
tout en
offrant une perception représentative des mouvements réels des membres.
Les informations de définition et de position de chaque avatar 38 sont
définies
et/ou transposées dans le référentiel commun et sont partagées au sein de
l'unité de
calcul 22.
Chaque avatar 38 peut ainsi être positionné et orienté en temps réel dans
l'environnement virtuel 12.
L'application 40 de contrôle et de restitution de l'environnement virtuel 12
et des
avatars 38 est propre à traiter les données engendrées par l'application de
création et de
positionnement 36 pour restituer une représentation tridimensionnelle
virtuelle
représentative de l'environnement virtuel 12 et d'au moins un avatar 38
présent dans cet
environnement virtuel 12 dans chaque ensemble de restitution 24.
Sur cette base, l'application 40 est propre à engendrer une représentation
tridimensionnelle virtuelle propre à chaque utilisateur 14, 16, qui dépend de
la position de
l'utilisateur 14, 16 dans l'environnement virtuel 12, et de la direction de
vision de
l'utilisateur 14, 16.
La représentation tridimensionnelle virtuelle propre à chaque utilisateur 14,
16 est
propre à être transmise en temps réel à l'ensemble de restitution 24 de
l'utilisateur 14, 16
concerné.
A cet effet, l'application 40 comporte pour chaque utilisateur 14, 16, un
module de
contrôle de l'affichage de l'environnement virtuel 12 et de l'affichage
sélectif d'un ou
plusieurs avatars 38 d'autres utilisateurs 14, 16 dans cet environnement
virtuel 12, et un
module de masquage partiel de l'avatar 38 de l'utilisateur 14, 16 et/ou des
autres
utilisateurs 14, 16.
Avantageusement, l'application 40 comporte en outre un module d'affichage
et/ou
de sélection d'objets virtuels dans l'environnement à partir de l'avatar 38 de
l'utilisateur
14, 16.
Date Reçue/Date Received 2022-11-30

15
L'application 40 de contrôle et de restitution est par exemple pilotée et
paramétrée
uniquement par le deuxième utilisateur 16.
Le module de contrôle de l'affichage est propre à traiter les données obtenues
de
manière centralisée dans l'unité de calcul 22 en temps réel pour afficher,
dans l'ensemble
de restitution 24 associé à un utilisateur donné 14, 16, une représentation
tridimensionnelle virtuelle de l'environnement virtuel 12, pris à la position
de l'utilisateur
14, 16, suivant la direction de vision de l'utilisateur, tel que déterminé par
les capteurs de
position 17 et par le premier capteur 18.
Le module de contrôle de l'affichage est en outre propre à afficher dans la
représentation tridimensionnelle virtuelle les avatars 38 d'un ou plusieurs
utilisateurs 14,
16, en fonction des préférences fournies par le deuxième utilisateur 16.
Dans un mode de fonctionnement, le module de contrôle de l'affichage est
propre
à afficher pour chaque utilisateur 14, tous les avatars 38 d'autres
utilisateurs 14, 16
présents dans l'environnement virtuel 12.
Dans un autre mode de fonctionnement, le module de contrôle de l'affichage est
propre à maintenir masqué l'avatar 38 d'au moins un utilisateur 14, 16.
Ainsi, le deuxième utilisateur 16 est apte à paramétrer le module de contrôle
de
l'affichage pour recevoir dans son ensemble de restitution 24 uniquement
l'avatar 38 d'un
utilisateur 14 choisi, sans voir les avatars des autres utilisateurs 14.
Ceci permet par exemple d'isoler un ou plusieurs utilisateurs 14, et d'exclure
les
autres utilisateurs 14 qui reçoivent avantageusement un message leur indiquant
qu'ils
sont temporairement exclus de la simulation.
De même, le deuxième utilisateur 16 est apte à commander le module de contrôle
de l'affichage pour empêcher à chaque premier utilisateur 14 de voir les
avatars 38 des
autres utilisateurs 14 dans leurs ensembles de restitutions respectifs, tout
en conservant
la possibilité d'observer tous les utilisateurs 14 dans son propre ensemble de
restitution
24.
Ceci permet de grouper un grand nombre d'utilisateurs à une même localisation
confinée dans l'environnement virtuel 12, en évitant que les utilisateurs ne
soient gênés
par les avatars 38 d'autres utilisateurs 14, 16. Ceci est particulièrement
avantageux par
rapport à un environnement réel qui ne pourrait recevoir tous les utilisateurs
14, 16 dans
une localisation confinée.
Le module de masquage partiel est propre à masquer la partie supérieure du
propre avatar 38 de l'utilisateur 14, 16 dans la représentation
tridimensionnelle virtuelle
engendrée par l'ensemble de restitution 24 de cet utilisateur 14, 16. Ainsi,
la tête virtuelle
50, les épaules virtuelles 58 et le cou virtuel 56 du propre avatar 38 de
l'utilisateur 14, 16
Date Reçue/Date Received 2022-11-30

16
sont masqués dans son ensemble de restitution 24 pour ne pas créer de
sensations
désagréables du fait du positionnement différent entre les épaules virtuelles
58 et les
épaules réelles.
Le module de masquage partiel est en outre apte à masquer les membres virtuels
59 d'au moins un utilisateur 14, 16, en l'absence de données détectées par les
deuxièmes
capteurs 20 de cet utilisateur 14, 16, et/ou si ces données produisent des
positions de
main virtuelle 62 qui ne sont pas physiologiquement possibles, comme décrit
plus haut.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
permettre
l'affichage d'un menu de commande, dans une position prédéfinie d'au moins une
partie
du membre de l'utilisateur 14, 16 par rapport à la tête de l'utilisateur 14,
16.
La position prédéfinie est par exemple une orientation particulière de la
paume de
la main de l'utilisateur 14, 16 par rapport à sa tête, notamment lorsque la
paume de la
main fait face à la tête.
A cet effet, le module d'affichage et/ou de sélection d'objets virtuels est
propre à
déterminer l'angle entre un vecteur perpendiculaire à la paume de la main,
obtenu à partir
du deuxième capteur 20 et un deuxième vecteur s'étendant entre la main et la
tête.
Si cet angle est inférieur à une valeur donnée, par exemple à 80 , ce qui se
produit
lorsque la paume de la main se rapproche de la tête pour faire face à la tête
(voir figure
5), le module d'affichage et/ou de sélection d'objets virtuels est propre à
afficher un menu
de sélection 90 dans l'environnement virtuel 12, en regard de la tête de
l'utilisateur 14, 16.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
refermer le
menu de sélection 90 si l'angle précité augmente au-delà de la valeur
prédéfinie, pendant
un temps prédétini, par exemple supérieur à une seconde.
Le module d'affichage et/ou de sélection d'objets virtuels est propre à
permettre le
choix d'une fonction 92 dans le menu de sélection 90, par déplacement d'un
doigt de la
main virtuelle 62 de l'avatar 38 sur une zone de choix du menu de sélection 90
affiché.
Dans une variante, le module d'affichage et/ou de sélection d'objets virtuels
est
propre à permettre la sélection d'une fonction 92 dans le menu affiché, en
effectuant un
lancer de rayon. Le lancer de rayon consiste à maintenir la direction de
vision dans
l'ensemble de restitution 24 pour viser la fonction 92 à sélectionner pendant
un temps
prédéfini.
Si la direction de vision, telle que détectée par le premier capteur 18 vise
la zone
correspondant à la fonction 92 pendant une durée supérieure à un temps
prédéterminé, le
module d'affichage et/ou de sélection d'objets virtuels est propre à
sélectionner cette
fonction. Avantageusement, il est propre à faire apparaître un compteur 94,
visible sur la
figure 6, représentatif du temps de visée nécessaire pour activer la
sélection.
Date Reçue/Date Received 2022-11-30

17
Le module d'affichage et/ou de sélection d'objets virtuels est également
propre à
faire apparaître des informations correspondant à un élément présent dans
l'environnement virtuel 12, par exemple une pièce de l'aéronef, lorsque cette
pièce est
sélectionnée soit par visée, comme décrit précédemment, soit par contact
virtuel entre la
main virtuelle 62 de l'avatar 38 de l'utilisateur et la pièce.
Dans l'exemple représenté sur la figure 7, le module d'affichage et/ou de
sélection
d'objets virtuels est propre à faire apparaître un menu contextuel 96
désignant la pièce et
un certain nombre de choix possibles Cl à C4 pour l'utilisateur comme masquer
la pièce
(Cl), isoler la pièce (C2), agrandir la pièce (C3), ou annuler la sélection
(C4).
Dans la variante représentée sur la figure 8, l'utilisateur 16 est propre à
faire
apparaître un modèle 98 à échelle réduite de la plate-forme pour sélectionner
une zone
99 de cette plate-forme destinée à être utilisée comme environnement virtuel
12. La
sélection est effectuée comme précédemment, par contact virtuel entre la main
virtuelle
62 de l'avatar 38 de l'utilisateur et le modèle 98 et/ou par visée.
Une fois la sélection effectuée, l'environnement virtuel 12 est modifié pour
faire
apparaître la zone sélectionnée 99.
Un procédé d'élaboration et de mise en oeuvre d'une simulation
tridimensionnelle
virtuelle partagée entre plusieurs utilisateurs 14, 16 va maintenant être
décrit.
Initialement, le système de simulation virtuelle 10 est activé. Chaque
utilisateur 14,
16 s'équipe d'un ensemble de restitution 24 muni d'un capteur de position 17,
d'un
premier capteur 18 de détection d'une direction de vision de l'utilisateur 14,
16 et d'un
deuxième capteur 20 de détection de la position d'une partie d'un membre de
l'utilisateur
14, 16.
L'unité de calcul 22 récupère les données concernant l'environnement virtuel
12
dans lequel sont destinés à être plongés virtuellement les utilisateurs 14, 16
au moyen de
l'application 34. Ces données proviennent par exemple d'une maquette numérique
de la
plate-forme ou de la région de la plate-forme dans lequel vont être immergés
les
utilisateurs 14, 16. L'application 35 génère une représentation
tridimensionnelle virtuelle
de l'environnement virtuel 12.
L'unité de calcul 22 recueille alors en temps réel les données provenant de
chaque
capteur 17, 18, 20 pour créer et positionner un avatar 38 correspondant à
chaque
utilisateur 14, 16 dans l'environnement virtuel 12.
A cet effet, pour chaque utilisateur 14, 16, l'application 36 transpose les
données
du deuxième capteur 20 pour les placer dans le repère associé au premier
capteur 18,
puis transpose à nouveau les données obtenues, ainsi que les données provenant
du
Date Reçue/Date Received 2022-11-30

18
premier capteur 18 dans un repère de l'environnement virtuel 12, commun à tous
les
utilisateurs.
Le module de positionnement de la tête virtuelle 60 utilise les données du
capteur
de position 17 et les données du premier capteur 18 pour orienter la tête
virtuelle 50 de
l'avatar 38 et le marqueur 52 représentatif de la direction de vision.
Le module de positionnement du tronc virtuel 54 et des épaules virtuelles 58
détermine ensuite la position et l'orientation du tronc virtuel 54, et fixe
l'orientation des
épaules virtuelles 58, dans un plan vertical dont l'orientation pivote
conjointement avec la
direction de vision autour d'un axe vertical A-A' passant par la tête
virtuelle 60. Il
détermine ensuite la position de chaque extrémité 60 d'une épaule virtuelle
comme défini
plus haut.
Simultanément, le module de positionnement des membres virtuels 59 détermine
la position et l'orientation des mains et de l'avant-bras de l'utilisateur 14,
16, à partir du
deuxième capteur 20.
Le module de positionnement des membres virtuels 59 détermine alors la
position
et l'orientation de la main virtuelle 62 et de la deuxième région 66 du membre
virtuel,
jusqu'au coude 68 situé à une distance prédéfinie de la main virtuelle 62. Il
détermine
alors la position de la première région 64 du membre virtuel 59 en reliant
linéairement
l'extrémité 60 de l'épaule virtuelle 58 au coude 68.
A chaque instant, la position et l'orientation de chaque partie de l'avatar 38
correspondant à chaque utilisateur 14, 16 est donc obtenue par l'unité
centrale 22 dans
un référentiel commun à chacun des utilisateurs 14, 16.
Puis, en fonction des préférences sélectionnées par le deuxième utilisateur
16, le
module de contrôle de l'affichage de l'application de restitution 40 fournit à
l'ensemble de
restitution 24 d'au moins un utilisateur 14, 16, une représentation
tridimensionnelle de
l'environnement virtuel 12, et du ou des avatars 38 d'un ou plusieurs autres
utilisateurs
14, 16.
Le module de masquage masque la partie supérieure du propre avatar 38 de
l'utilisateur 14, 16, comme décrit précédemment, notamment la tête virtuelle
50, et les
épaules virtuels 58 pour éviter d'interférer avec la vision de l'utilisateur
14, 16.
En outre, le module de masquage détecte les positions physiologiquement
impossibles de la main virtuelle 62 de chaque utilisateur 14, 16, en se
fondant sur la
longueur calculée de la première région 64 du membre virtuel 59, comme décrit
précédemment.
Lorsque des positions physiologiquement impossibles sont détectées,
l'affichage
du membre virtuel 59 correspondant est masqué.
Date Reçue/Date Received 2022-11-30

19
Grâce au système 10 selon l'invention, les utilisateurs 14, 16 peuvent évoluer
dans
le même environnement virtuel 12 en étant représentés sous forme d'un avatar
38 animé.
Chaque utilisateur 14, 16 est apte à observer les avatars des autres
utilisateurs
14, 16, qui sont correctement localisés dans l'environnement virtuel 12.
La fourniture d'avatar 38 animés, sur la base de données d'orientation de la
tête
de l'utilisateur et de position réelles d'une partie des membres de
l'utilisateur permet
également de suivre les gestes de chacun des utilisateurs 14, 16 dans
l'environnement
virtuel 12 à travers leurs avatars 38 respectifs.
Ceci permet donc d'organiser une réunion entre plusieurs utilisateurs 14, 16,
dans
un environnement virtuel 12, sans nécessairement que les utilisateurs 14, 16
soient
localisés au même endroit.
En outre, les avatars animés 38 permettent à au moins un utilisateur 16 de
suivre
la position et les gestes d'un autre utilisateur 14 ou d'une pluralité
d'utilisateurs 14
simultanément.
Ainsi, les utilisateurs 14 peuvent simuler simultanément ou individuellement
des
opérations de maintenance et/ou d'utilisation d'une plateforme et au moins un
utilisateur
16 est apte à suivre les opérations effectuées.
La sélection, pour chaque utilisateur 14, 16, du ou des avatars 38 que
l'utilisateur
14, 16 peut voir augmente les fonctionnalités du système 10. Il est ainsi
possible pour un
utilisateur 16 de suivre et d'évaluer les mouvements d'autres utilisateurs 14
simultanément, en permettant aux utilisateurs 14 de désigner des équipements
ou des
circuits sur la plateforme, sans que chaque utilisateur 14 puisse voir les
mouvements des
autres utilisateurs 14.
Le système 10 est en outre avantageusement équipé de moyens permettant de
faire apparaitre des fenêtres d'information et/ou de sélection dans
l'environnement
tridimensionnel virtuel 12, et de sélectionner des fonctions au sein de ces
fenêtres
directement dans l'environnement virtuel 12.
En outre, le système 10 et le procédé associé permettent de placer une
pluralité
d'utilisateurs 14 dans une même région confinée, alors que dans la réalité,
une telle
région serait trop étroite pour accueillir tous les utilisateurs 14, 16.
La perception des autres utilisateurs 14, 16 via les avatars 38 animés est
particulièrement riche, puisque chaque utilisateur 14, 16 peut observer
sélectivement la
direction générale de la tête de chaque autre utilisateur 14, 16, ainsi que la
position des
mains et une représentation globalement proche de la position des membres de
l'utilisateur 14, 16.
Date Reçue/Date Received 2022-11-30

20
Dans une variante, le système 10 comporte un système d'enregistrement des
mouvements du ou des avatars 38 dans l'environnement virtuel 12 au cours du
temps, et
un système de rejeu en immersif ou sur un écran des données enregistrées.
Dans une autre variante, le deuxième utilisateur 16 n'est pas représenté par
un
avatar 38 dans l'environnement virtuel 12. Il ne porte alors pas
nécessairement de
premier capteur 18, ni de deuxième capteur 20.
Dans une variante, l'application de contrôle et de restitution 40 est propre à
faire
varier le niveau de transparence de chaque avatar 38 situé à distance d'un
utilisateur 14,
16 donné, en fonction de la distance séparant cet avatar 38 de l'avatar 38 de
l'utilisateur
donné dans l'environnement virtuel 12. Par exemple, si l'avatar 18 d'un autre
utilisateur
14, 16 se rapproche de l'avatar 18 de l'utilisateur donné, le niveau de
transparence
augmente, jusqu'à rendre l'avatar 18 de l'autre utilisateur 14, 16 totalement
transparent
lorsque la distance entre les avatars est inférieure à une distance définie,
par exemple
comprise entre 10 cm et 15 cm.
Au contraire, le niveau de transparence diminue lorsque les avatars 18
s'éloignent.
Selon l'invention, la transposition, pour chaque utilisateur, des données du
deuxième capteur 20 pour les placer dans le repère associé au premier capteur
18, puis
la transposition des données obtenues, ainsi que des données provenant du
premier
capteur 18 dans un repère de l'environnement virtuel 12, commun à tous les
utilisateurs,
simplifie le traitement informatique des données en créant, pour chaque
utilisateur, un
ensemble cohérent de données plus simple à traiter par l'unité de calcul 22.
Ainsi,
l'application de création et de positionnement 36 fonctionne de manière plus
cohérente.
Date Reçue/Date Received 2022-11-30

Representative Drawing
A single figure which represents the drawing illustrating the invention.
Administrative Status

2024-08-01:As part of the Next Generation Patents (NGP) transition, the Canadian Patents Database (CPD) now contains a more detailed Event History, which replicates the Event Log of our new back-office solution.

Please note that "Inactive:" events refers to events no longer in use in our new back-office solution.

For a clearer understanding of the status of the application/patent presented on this page, the site Disclaimer , as well as the definitions for Patent , Event History , Maintenance Fee  and Payment History  should be consulted.

Event History

Description Date
Grant by Issuance 2024-02-13
Inactive: Grant downloaded 2024-02-13
Inactive: Grant downloaded 2024-02-13
Inactive: Grant downloaded 2024-02-13
Inactive: Grant downloaded 2024-02-13
Inactive: Grant downloaded 2024-02-13
Letter Sent 2024-02-13
Inactive: Cover page published 2024-02-12
Inactive: Adhoc Request Documented 2024-01-06
Pre-grant 2023-12-21
Inactive: Final fee received 2023-12-21
Letter Sent 2023-09-13
Notice of Allowance is Issued 2023-09-13
Inactive: QS passed 2023-08-30
Inactive: Approved for allowance (AFA) 2023-08-30
Inactive: Office letter 2023-06-23
Inactive: Delete abandonment 2023-06-15
Inactive: Adhoc Request Documented 2023-06-15
Deemed Abandoned - Failure to Respond to an Examiner's Requisition 2023-02-21
Amendment Received - Voluntary Amendment 2022-11-30
Amendment Received - Response to Examiner's Requisition 2022-11-30
Examiner's Report 2022-10-21
Inactive: Report - No QC 2022-10-04
Letter Sent 2021-09-16
Inactive: IPC assigned 2021-09-15
Inactive: First IPC assigned 2021-09-15
Inactive: IPC assigned 2021-09-15
Request for Examination Received 2021-08-20
Request for Examination Requirements Determined Compliant 2021-08-20
All Requirements for Examination Determined Compliant 2021-08-20
Common Representative Appointed 2020-11-07
Common Representative Appointed 2019-10-30
Common Representative Appointed 2019-10-30
Change of Address or Method of Correspondence Request Received 2018-12-04
Inactive: IPC expired 2018-01-01
Inactive: IPC removed 2017-12-31
Application Published (Open to Public Inspection) 2017-03-24
Inactive: Cover page published 2017-03-23
Filing Requirements Determined Compliant 2016-09-30
Inactive: Filing certificate - No RFE (bilingual) 2016-09-30
Inactive: IPC assigned 2016-09-26
Letter Sent 2016-09-26
Inactive: First IPC assigned 2016-09-26
Inactive: IPC assigned 2016-09-26
Application Received - Regular National 2016-09-23

Abandonment History

Abandonment Date Reason Reinstatement Date
2023-02-21

Maintenance Fee

The last payment was received on 2023-08-24

Note : If the full payment has not been received on or before the date indicated, a further fee may be required which may be one of the following

  • the reinstatement fee;
  • the late payment fee; or
  • additional fee to reverse deemed expiry.

Please refer to the CIPO Patent Fees web page to see all current fee amounts.

Fee History

Fee Type Anniversary Year Due Date Paid Date
Application fee - standard 2016-09-20
Registration of a document 2016-09-20
MF (application, 2nd anniv.) - standard 02 2018-09-20 2018-08-15
MF (application, 3rd anniv.) - standard 03 2019-09-20 2019-08-19
MF (application, 4th anniv.) - standard 04 2020-09-21 2020-08-24
Request for examination - standard 2021-09-20 2021-08-20
2021-08-20 2021-08-20
MF (application, 5th anniv.) - standard 05 2021-09-20 2021-08-30
MF (application, 6th anniv.) - standard 06 2022-09-20 2022-08-19
MF (application, 7th anniv.) - standard 07 2023-09-20 2023-08-24
Final fee - standard 2024-01-13 2023-12-21
Owners on Record

Note: Records showing the ownership history in alphabetical order.

Current Owners on Record
DASSAULT AVIATION
Past Owners on Record
IGOR FAIN
PATRICE KURDIJIAN
Past Owners that do not appear in the "Owners on Record" listing will appear in other documentation within the application.
Documents

To view selected files, please enter reCAPTCHA code :



To view images, click a link in the Document Description column. To download the documents, select one or more checkboxes in the first column and then click the "Download Selected in PDF format (Zip Archive)" or the "Download Selected as Single PDF" button.

List of published and non-published patent-specific documents on the CPD .

If you have any difficulty accessing content, you can call the Client Service Centre at 1-866-997-1936 or send them an e-mail at CIPO Client Service Centre.


Document
Description 
Date
(yyyy-mm-dd) 
Number of pages   Size of Image (KB) 
Representative drawing 2024-01-11 1 9
Cover Page 2024-01-11 1 47
Abstract 2022-11-30 1 32
Description 2022-11-30 20 1,519
Claims 2022-11-30 3 212
Representative drawing 2017-01-18 1 7
Description 2016-09-20 18 903
Abstract 2016-09-20 1 20
Drawings 2016-09-20 5 61
Claims 2016-09-20 3 155
Cover Page 2017-03-16 2 46
Electronic Grant Certificate 2024-02-13 1 2,527
Filing Certificate 2016-09-30 1 202
Courtesy - Certificate of registration (related document(s)) 2016-09-26 1 102
Reminder of maintenance fee due 2018-05-23 1 110
Courtesy - Acknowledgement of Request for Examination 2021-09-16 1 433
Commissioner's Notice - Application Found Allowable 2023-09-13 1 578
Amendment / response to report 2022-11-30 34 1,615
Courtesy - Office Letter 2023-06-23 1 203
Final fee 2023-12-21 4 120
New application 2016-09-20 6 152
Request for examination 2021-08-20 4 117
Examiner requisition 2022-10-21 4 169