Language selection

Search

Patent 3231259 Summary

Third-party information liability

Some of the information on this Web page has been provided by external sources. The Government of Canada is not responsible for the accuracy, reliability or currency of the information supplied by external sources. Users wishing to rely upon this information should consult directly with the source of the information. Content provided by external sources is not subject to official languages, privacy and accessibility requirements.

Claims and Abstract availability

Any discrepancies in the text and image of the Claims and Abstract are due to differing posting times. Text of the Claims and Abstract are posted:

  • At the time the application is open to public inspection;
  • At the time of issue of the patent (grant).
(12) Patent Application: (11) CA 3231259
(54) English Title: SYSTEM FOR FOLLOWING ACTORS ON AT LEAST ONE PERFORMANCE STAGE
(54) French Title: SYSTEME DE SUIVI D'ACTEURS SUR AU MOINS UNE SCENE DE SPECTACLE
Status: Compliant
Bibliographic Data
(51) International Patent Classification (IPC):
  • G01S 3/786 (2006.01)
  • H05B 47/125 (2020.01)
  • G03B 21/20 (2006.01)
(72) Inventors :
  • REBIFFE, MAURICE (France)
  • HUBERT, CHRISTIAN JEAN JACQUES (France)
(73) Owners :
  • XYZED (France)
(71) Applicants :
  • XYZED (France)
(74) Agent: ROBIC AGENCE PI S.E.C./ROBIC IP AGENCY LP
(74) Associate agent:
(45) Issued:
(86) PCT Filing Date: 2022-08-30
(87) Open to Public Inspection: 2023-03-16
Availability of licence: N/A
(25) Language of filing: French

Patent Cooperation Treaty (PCT): Yes
(86) PCT Filing Number: PCT/FR2022/051627
(87) International Publication Number: WO2023/037061
(85) National Entry: 2024-03-07

(30) Application Priority Data:
Application No. Country/Territory Date
FR2109435 France 2021-09-09

Abstracts

English Abstract

The invention relates to a system for following actors on a performance stage, comprising: ? - a plurality of projectors (22A-22F), ? - at least one motorised yoke (24, 26) having direct axial drive for the support and omnidirectional movement of an assembly comprising: ? - an image acquisition assembly formed of colour and neuromorphic cameras having a common lens, ? - a dichroic mirror, ? - an image processing module (28, 32) for receiving, from the neuromorphic camera, event-related images of the actors in order to determine the coordinates of said actors and for receiving, from the colour camera, visible images of these actors making it possible, if necessary, to identify them, and ? - a viewing screen (28A) for displaying a visible image of each of the actors obtained by the colour camera and for enabling the assignment, by an operator at a control terminal (30) or a media server (32), of the determined projectors to actors identified on the stage, in order to ensure that the projectors automatically follow the respective movements of these identified actors.


French Abstract

Système de suivi d'acteurs sur une scène de spectacle, comportant : ? - une pluralité de projecteurs (22A-22F), ? - au moins une lyre motorisée (24, 26) à entraînement axial direct pour le support et le déplacement omnidirectionnel d'un ensemble comprenant : ?. un ensemble d'acquisition d'images formé de caméras couleur et neuro-morphique ayant un objectif commun, ?. un miroir dichroïque, ? - un module de traitement d'images (28, 32) pour recevoir de la caméra neuro-morphique des images événementielles des acteurs afin d'en déterminer les coordonnées et pour recevoir de la caméra couleur des images visibles de ces acteurs permettant si nécessaire de les identifier, et ? - un écran de visualisation (28A) pour afficher une image visible de chacun des acteurs obtenue par la caméra couleur et pour permettre l'affectation par un opérateur à un terminal de commande (30) ou un média-serveur (32) des projecteurs déterminés à des acteurs identifiés sur la scène, afin d'assurer un suivi automatique par les projecteurs des déplacements respectifs de ces acteurs identifiés.

Claims

Note: Claims are shown in the official language in which they were submitted.


11
Revendications
[Revendication 1] Système de suivi d'acteurs sur une scène de spectacle,
comportant :
- une pluralité de projecteurs lumière ou vidéo (22A-22F) pour suivre le
déplacement des
acteurs sur la scène,
- au moins une lyre motorisée (24, 26) ayant au moins deux axes de rotation
à
entrainement axial direct pour le support et le déplacement omnidirectionnel
d'un ensemble
comprenant :
. un ensemble d'acquisition d'images formé d'une caméra couleur (34) et d'une
caméra neuro-morphique (36), et ayant un objectif commun (40), pour recevoir
des images
des acteurs évoluant sur la scène,
. un miroir dichroïque (38) séparant et dirigeant l'image recueillie au
travers de
l'objectif commun, d'une part vers la caméra couleur et d'autre part vers la
caméra neuro-
morphique, et
- un module de traitement d'images (28, 32) pour recevoir de la caméra
neuro-morphique
des images évènementielles des acteurs évoluant sur la scène afin d'en
déterminer les
coordonnées et pour recevoir de la caméra couleur des images visibles de ces
acteurs
permettant si nécessaire de les identifier, et
- un écran de visualisation (28A) pour afficher une image visible de chacun
des acteurs
évoluant sur la scène obtenue par la caméra couleur et pour permettre
l'affectation par un
opérateur à un terminal de commande (30) ou un média-serveur (32) des
projecteurs
lumière ou vidéo déterminés à des acteurs identifiés sur la scène, afin
d'assurer un suivi
automatique par les projecteurs lumière ou vidéo des déplacements respectifs
de ces
acteurs identifiés.
[Revendication 2] Système de suivi selon la revendication 1, dans lequel la
lyre
motorisée comporte outre un module de diodes infrarouges (42) pour illuminer
le volume de
la scène.
[Revendication 3] Système de suivi selon la revendication 1 ou la
revendication 2,
comportant en outre des identifiants infrarouge destinés à être portés par
chacun des
acteurs.
[Revendication 4] Système de suivi selon la revendication 3, dans lequel
les identifiants
infrarouge sont des émetteurs IR séquencés à des fréquences différentes
comprises entre 2
et 20KHz.

12
[Revendication 5] Système de suivi selon l'une quelconque des
revendications 1 à 4,
comportant plusieurs lyres motorisées et dans lequel pour faciliter le suivi
entre plusieurs
zones, une première lyre motorisée est une lyre maitre et les autres lyres
motorisées sont
des lyres esclaves.
[Revendication 6] Système de suivi selon l'une quelconque des
revendications 1 à 5,
comportant en outre un projecteur de matrice pour réaliser une calibration des
caméras
couleur et neuro-morphique de façon à définir un volume de suivi.
[Revendication 7] Système selon l'une quelconque des revendications 1 à 6,
dans lequel
la lyre motorisée comporte en outre un module d'alimentation et de commande
(316) ainsi
qu'un module de communication de données filaire, radio ou lumière (318).
[Revendication 8] Procédé de suivi d'acteurs sur une scène de spectacle
comportant :
- orienter vers la scène au moins une lyre motorisée (24, 26) supportant un
ensemble
d'acquisition d'images formé d'une caméra couleur (34) et d'une caméra neuro-
morphique (36), et ayant un objectif commun (40),
- obtenir une image évènementielle de chacun des acteurs présents sur la
scène par la
caméra neuro-morphique et obtenir une image visible de chacun des acteurs
évoluant sur la scène par la caméra couleur,
- identifier les acteurs et déterminer les coordonnées de chacun d'entre
eux à partir de
leur image évènementielle et de leur image visible,
- afficher sur un écran de visualisation (28A) une image visible de chacun
des acteurs
évoluant sur la scène pour permettre l'affectation par un opérateur à un
terminal de
commande (30) ou un média-serveur (32) de projecteurs lumière ou vidéo
déterminés (22A - 22F) à des acteurs identifiés sur la scène, afin d'assurer
un suivi
automatique par les projecteurs lumière ou vidéo des déplacements respectifs
de ces
acteurs identifiés.
[Revendication 9] Procédé de suivi selon la revendication 8, comportant en
outre
illuminer le volume de la scène au moyen d'un module de diodes infrarouges
(42) intégré à
la lyre motorisée pour créer des contrastes de lumière sur chacun des acteurs
et faciliter leur
identification par la caméra neuro-morphique.
[Revendication 10] Procédé de suivi selon la revendication 8, comportant en
outre
l'horodatage des coordonnées et leur transmission à une machinerie de décor ou
une
console son.
[Revendication 11] Procédé de suivi selon la revendication 8, comportant en
outre une
première étape préalable de calibration des caméras couleur et neuro-morphique
au moyen
d'un projecteur de matrice définissant un volume de suivi.

13
[Revendication 12] Procédé de suivi selon l'une quelconque des
revendications 8 à 11,
dans lequel l'identification des acteurs est assurée par une reconnaissance
faciale à partir
des images issues de la caméra couleur.
[Revendication 13] Procédé de suivi selon l'une quelconque des
revendications 8 à 11,
dans lequel l'identification des acteurs est assurée par un identifiant
infrarouge porté par
chacun des acteurs et analysé par la caméra neuro-morphique.
[Revendication 14] Procédé de suivi selon la revendication 13, dans
lequel chacun des
identifiants infrarouges est un émetteur IR séquencé à une fréquence
différente comprise
entre 2 et 20kHz.
[Revendication 15] Procédé de suivi selon l'une quelconque des
revendications 8 à 14,
dans lequel l'affectation des projecteurs lumière ou vidéo aux différents
acteurs est
effectuée par l'opérateur au moyen d'un simple joystick ou d'un trackball du
terminal de
commande ou du média-serveur.
CA 03231259 2024- 3- 7

Description

Note: Descriptions are shown in the official language in which they were submitted.


WO 2023/037061 1
PCT/FR2022/051627
Description
Titre de l'invention : SYSTEME DE SUIVI D'ACTEURS SUR AU MOINS UNE SCENE DE
SPECTACLE
Domaine Technique
La présente invention se rapporte au domaine du suivi d'objets ou d'être
vivants et elle
concerne plus particulièrement un système de suivi d'acteurs sur une ou
plusieurs scènes de
spectacle à partir de l'image visuelle et sonore de ces acteurs.
Technique antérieure
Le suivi d'objets ou d'êtres vivants, humains ou animaux, en déplacement sur
une scène de
spectacle est un problème difficile à résoudre. Les systèmes basés sur la
seule
reconnaissance d'images pour assurer un tel suivi de ces différents acteurs ne
sont guère
performants car particulièrement sensibles aux conditions d'éclairage de la
scène. C'est
notamment le cas du cirque lorsque les acteurs à suivre sont très nombreux et
évoluent
simultanément sur plusieurs pistes, au sol comme dans les airs, et où les
méthodes de vision
et reconnaissance classiques ne parviennent pas à appréhender valablement
toutes leurs
évolutions.
Exposé de l'invention
La présente invention propose de s'affranchir de ces conditions d'éclairage et
de pallier les
inconvénients précités avec un dispositif simple permettant un suivi d'acteurs
évoluant sur
plusieurs scènes pouvant former un grand volume de suivi (tracking) sans
contraintes
excessives.
Ces buts sont atteints avec un système de suivi d'acteurs sur une scène de
spectacle,
comportant :
- une pluralité de projecteurs lumière ou vidéo pour suivre le déplacement
des acteurs sur la
scène,
- au moins une lyre motorisée ayant au moins deux axes de rotation à
entrainement axial
direct pour le support et le déplacement omnidirectionnel d'un ensemble
comprenant :
CA 03231259 2024- 3-7

WO 2023/037061 2
PCT/FR2022/051627
. un ensemble d'acquisition d'images formé d'une caméra couleur et d'une
caméra neuro-
morphique, et ayant un objectif commun, pour recevoir des images des acteurs
évoluant sur
la scène, et
. un miroir dichroïque séparant et dirigeant l'image recueillie au travers de
l'objectif
commun, d'une part vers la caméra couleur et d'autre part vers la caméra neuro-
morphique,
- un module de traitement d'images pour recevoir de la caméra neuro-morphique
des
images évènementielles des acteurs évoluant sur la scène afin d'en déterminer
les
coordonnées et pour recevoir de la caméra couleur des images visibles de ces
acteurs
permettant si nécessaire de les identifier, et
- un écran de visualisation pour afficher une image visible de chacun des
acteurs évoluant
sur la scène obtenue par la caméra couleur et pour permettre l'affectation par
un opérateur
à un terminal de commande ou un média-serveur des projecteurs lumière ou vidéo

déterminés à des acteurs identifiés sur la scène, afin d'assurer un suivi
automatique par les
projecteurs lumière ou vidéo des déplacements respectifs de ces acteurs
identifiés.
Ainsi, la réception d'images évènementielles par la caméra neuro-morphique
associée à la
réception d'images visibles par la caméra couleur, ces deux caméras étant
montées sur une
lyre omnidirectionnelle motorisée permet la localisation, l'identification et
le suivi des acteurs
par les projecteurs lumière ou vidéo avec une grande facilité.
De préférence, la lyre motorisée comporte outre un module de diodes
infrarouges pour
illuminer le volume de la scène.
Avantageusement, le système de suivi comporte en outre des identifiants
infrarouge
destinés à être portés par chacun des acteurs.
De préférence, il comporte en outre un projecteur de matrice pour réaliser une
calibration
des caméras couleur et neuro-morphique de façon à définir un volume de suivi.
Avantageusement, la lyre motorisée comporte en outre un module d'alimentation
et de
commande ainsi qu'un module de communication de données filaire, radio ou
lumière.
L'invention se rapporte aussi à un procédé de suivi d'acteurs sur une scène de
spectacle
comportant :
- orienter vers la scène au moins une lyre motorisée supportant un ensemble
d'acquisition
d'images formé d'une caméra couleur et d'une caméra neuro-morphique, et ayant
un
objectif commun,
CA 03231259 2024- 3-7

WO 2023/037061 3
PCT/FR2022/051627
- obtenir une image évènementielle de chacun des acteurs présents sur la
scène par la
caméra neuro-morphique et obtenir une image visible de chacun des acteurs
évoluant sur la
scène par la caméra couleur,
- identifier les acteurs et déterminer les coordonnées de chacun d'entre
eux à partir de leur
image évènementielle et de leur image visible,
- afficher sur un écran de visualisation une image visible de chacun des
acteurs évoluant sur
la scène pour permettre l'affectation par un opérateur à un terminal de
commande ou un
média-serveur de projecteurs lumière ou vidéo déterminés à des acteurs
identifiés sur la
scène, afin d'assurer un suivi automatique par les projecteurs lumière ou
vidéo des
déplacements respectifs de ces acteurs identifiés.
De préférence, le procédé comporte en outre illuminer le volume de la scène au
moyen d'un
module de diodes infrarouges intégré à la lyre motorisée pour créer des
contrastes de
lumière sur chacun des acteurs et faciliter leur identification par la caméra
neuro-morphique
ou encore l'horodatage des coordonnées et leur transmission à une machinerie
de décor ou
une console son.
Avantageusement, il est prévu une première étape préalable de calibration des
caméras
couleur et neuro-morphique au moyen d'un projecteur de matrice définissant un
volume de
suivi.
De préférence, l'identification des acteurs peut être assurée par une
reconnaissance faciale à
partir des images issues de la caméra couleur ou par un identifiant infrarouge
porté par
chacun des acteurs et analysé par la caméra neuro-morphique.
Brève description des dessins
Les caractéristiques et avantages de la présente invention ressortiront mieux
de la
description suivante, faite à titre indicatif et non limitatif, en regard des
dessins annexés sur
lesquels :
[Fig. 1] la figure 1 est une vue schématique d'une scène de spectacle
comportant un
système de suivi d'acteurs selon l'invention,
[Fig. 2] la figure 2 est une vue d'une lyre motorisée du système de suivi
d'acteurs de la
figure 1,
[Fig. 3A-3B] la figure 3A-3B illustre un exemple de deux caméras co-axées et
un exemple
d'un module de diodes infrarouges supportés par la lyre motorisée de la figure
2, et
CA 03231259 2024- 3-7

WO 2023/037061 4
PCT/FR2022/051627
[Fig. 4] la figure 4 montre les différentes étapes du procédé de suivi
d'acteurs selon
l'invention.
Description des modes de réalisation
Pour permettre le suivi d'acteurs se déplaçant sur une ou plusieurs scènes de
spectacle,
l'invention se propose de monter une caméra couleur et une caméra neuro-
morphique dans
un support motorisé à deux ou de préférence trois axes de rotation (Tilt, Pan,
Roll),
perpendiculaires deux à deux, de type lyre et de les associer à plusieurs
projecteurs de
spectacle externe pour détecter et suivre en temps réel avec ces projecteurs
le déplacement
lip .. des différents acteurs apparaissant sur la scène. L'identification des
acteurs est assurée de
préférence par une reconnaissance d'identité issue des images des caméras mais
le recours
à des identifiants infrarouges de type tag portés par chacun des acteurs est
aussi envisagé.
La figure 1 illustre un exemple de chapiteau de cirque 10 comportant deux
pistes de
spectacle 10A, 10B susceptible de recevoir des acteurs, par exemple deux
clowns 12, 14 et
un animal avec un ballon 16 sur la première piste et un trapéziste 18 sur la
seconde piste.
Conformément à l'invention, un système 20 de suivi de ces différents acteurs
est disposé
sous le chapiteau 10. Il est formé de plusieurs projecteurs lumière ou vidéo
22A-22F, d'au
moins une lyre motorisée 24, 26 en liaison filaire, radio ou lumière avec un
module externe
de traitement d'images 28 intégrant un écran de visualisation 28A et un
terminal de
commande 30, typiquement une console lumière chargée de la commande du
déplacement
des projecteurs lumière et pouvant être munie de son propre écran de
visualisation. Lorsque
les projecteurs sont des projecteurs vidéo, la commande de leur déplacement
est assurée
non pas par la console lumière mais par un média-serveur 32 (classiquement
associé à au
moins un écran de visualisation) qui peut être un serveur multimédia vidéo ou
un lecteur
multimédia muni d'un contrôleur vidéo en liaison bidirectionnelle avec les
projecteurs vidéo
et qui peut alors éventuellement intégrer le module de traitement d'images 28.
On rappellera qu'avec un projecteur lumière, l'ombre de la personne ou l'objet
est projetée
et l'impact du faisceau de lumière apparait à l'arrière de cette personne ou
cet objet alors
qu'avec un projecteur vidéo seule la surface impactée (par exemple tout ou
partie de la
silhouette d'un acteur) est éclairée, aucune ombre n'étant projetée. Par
liaison radio, on
entend une liaison sans fil de type WiFi ou analogue et par liaison lumière,
une liaison sans
fil de type LiFi. Le choix de l'une ou l'autre de ces technologies de
communication dépend
essentiellement de la configuration (mécanique comme électrique) du chapiteau.
CA 03231259 2024- 3-7

WO 2023/037061 5
PCT/FR2022/051627
Le module de traitement d'images 28 et son écran 28A peut être tout type
d'ordinateur ou
de calculateur à microprocesseur pourvu des logiciels de traitement d'images
appropriés y
compris une reconnaissance faciale (en cas de détection d'identification) et
connus de
l'homme de l'art.
Les projecteurs lumière ou vidéo 22A-22F mis en uvre dans l'invention sont
des
composants connus en soi qu'il n'est donc pas nécessaire de décrire en détail.
On notera
seulement qu'un projecteur lumière comporte une source de lumière blanche à
lampes ou
LEDs qui traverse une roue de gobos pour délivrer une pluralité de faisceaux
de lumière
d'effets différents au travers d'un objectif de sortie équipé d'un zoom et
d'un focus, et qu'un
lo projecteur vidéo comporte au moins une source lumière laser et un moteur
de projection et
il peut toutefois comporter aussi une fibre optique pour assurer le transport
de la lumière
blanche de la source lumière laser au moteur de projection. La source lumière
laser est par
exemple une source lumière laser RGB telle que connue de la demande
W02016/113490 ou
de la demande W02016/156759, l'une et l'autre déposées au nom de la
demanderesse et
permettant de concentrer différents faisceaux de lumière issus de diodes
lasers en un point
focal déterminé en sortie de cette source lumière laser. Le moteur de
projection est organisé
classiquement autour d'un modulateur de lumière, d'un prisme et d'un bloc
optique
comportant notamment des lentilles de projection assurant zoom et focus et
formant
l'objectif du projecteur. Le modulateur de lumière est classiquement une
matrice DMD
(digital micromirror device) mais d'autres configurations peuvent aussi être
utilisées comme
une matrice LCD, Lcos ou D-ILA et des matrices tri-LCD ou tri-DMD. En
pratique, tout type
de vidéo projecteur peut être mis en oeuvre dans l'invention.
Comme le montre la figure 2, la lyre motorisée 24,26 avantageusement portable
(son poids
est inférieur à 30Kg) et destinée à recevoir dans un cadre support 302 un
ensemble
d'acquisition d'images et éventuellement un module de diodes infrarouges,
comporte deux
bras 304, 306 en forme de L ayant chacun une première et une seconde
extrémités, la
première extrémité 304A du premier bras 304 étant reliée à une base 300 au
niveau d'un
premier axe vertical de rotation (axe horizontal Pan 308) et la seconde
extrémité 304B
du premier bras 304 étant reliée à la première extrémité 306A du second bras
306 au niveau
d'un deuxième axe horizontal de rotation (axe vertical Tilt 310)
perpendiculaire au
premier axe vertical de rotation 308, la seconde extrémité 306B du second bras
306 étant
reliée au cadre support 302 au niveau d'un troisième axe vertical de rotation
312
perpendiculaire au deuxième axe horizontal de rotation (axe Roll 310) et
coaxial (dans
sa position de repos) au premier axe vertical de rotation 308. Chaque axe de
rotation 308,
CA 03231259 2024- 3-7

WO 2023/037061 6
PCT/FR2022/051627
310, 312 est motorisé par un ensemble moteur-réducteur (par exemple 314) en
prise directe
avec cet axe de rotation (entrainement axial direct), c'est à dire sans poulie
ou courroie
générateur de vibrations (d'à-coups lors des accélérations ou décélérations)
et d'hystérésis
(ou backlash) importants. Les moteurs sont typiquement des moteurs de type pas
à pas ou
par exemple à courant continu sans balais avantageusement pourvus d'un frein
électromagnétique et les réducteurs sont des ensembles de moto-réduction à
très haute
précision de type réducteur elliptique de la société Harmonic Drive par
exemple dont la
précision est avantageusement comprise entre 15 et 30 Arc seconde (soit entre
0.004 et
0.0083 ). La plage de déplacement des axes de rotation est typiquement de 380
sur l'axe
Pan , de 270 sur l'axe Tilt et de 1800 sur l'axe roll qui permet un
passage d'un
mode paysage à un mode portrait et inversement.
Bien entendu, si cette configuration en L de la lyre motorisée est
privilégiée, une
configuration plus classique et symétrique en U est aussi envisageable. Dans
ce cas, une
seule des deux extrémités du bras en U est de préférence motorisée, l'autre
pouvant alors
être montée en roue libre sur un simple axe de rotation non motorisé.
La figure 3A-3B montre plus précisément l'ensemble d'acquisition d'images
formé des deux
caméras dites co-axées supportées par la lyre motorisée et comportant une
caméra couleur
34 et une caméra neuro-morphique 36 recevant toutes deux des images au travers
d'un
miroir dichroïque 38 disposé à 45 derrière un objectif commun 40 assurant
zoom et focus
ainsi qu'un filtrage passe-bande dont la bande passante est variable pour
permettre une
optimisation du contraste. Le miroir dichroïque reçoit l'image de l'objet qui
d'une part le
traversant va se diriger vers cette caméra couleur 34 et d'autre part renvoyé
perpendiculairement à cet axe optique va se diriger vers la caméra neuro-
morphique 36.
Pour laisser passer l'image visible vers la caméra couleur, le miroir
dichroïque comporte une
bande de longueur d'ondes de transmission comprise entre 400 et 700 nm et pour
réfléchir
l'image infrarouge vers la caméra neuro-morphique une bande de longueur
d'ondes de
réjection comprise entre 700 et 900 nm. La commande de ces zoom et focus de
l'objectif
commun peut être gérée par un module d'alimentation et de commande 316
nécessaire à
l'alimentation en tension et la commande du déplacement de la lyre motorisée
sur ses
différents axes selon des protocoles de transfert de données connus comme
RS485,
DMX512, Art-Net ou PSN (Position Stage Net). Sur la figure a également été
représenté
dans la base de la lyre motorisée un module de communication de données
filaire, radio ou
lumière 318 assurant une liaison filaire ou une liaison sans fil radio ou
lumière avec le
CA 03231259 2024- 3-7

WO 2023/037061 7
PCT/FR2022/051627
module externe de traitement d'images 28 et le terminal de commande 30 ou le
média-
serveur 32.
La lyre motorisée qu'elle soit à simple (en L) ou double (en U) bras réalise
un parfait
équilibre des masses avec un centre de gravité qui permet de supporter des
poids élevés
(de 20 à plus de 100Kg) sans bras de levier importants et donc permet ainsi
d'assurer un
parfait asservissement mécanique sans vibrations et avec une précision de
placement, une
qualité de mouvement et une répétabilité exceptionnelles. Cette structure
équilibrée permet
à la lyre motorisée d'être utilisée en toute position, suspendue ou maintenue
déportée
latéralement, ou encore posée sur sa base au sol. On se référera
avantageusement à la
demande FR20 01934 déposée au nom de la demanderesse.
La caméra couleur 34 mis en oeuvre dans l'invention est connue en soi et il
n'est donc pas
nécessaire de la décrire en détail. Notons seulement qu'elle comporte au moins
un capteur
(une caméra couleur à trois capteurs RVB est aussi possible) qui peut être à
technologie
CMOS ou EMCCD (voir par exemple les caméras couleurs de la série 1K-M de la
société
Toshiba). L'analyse des images visibles issues de cette caméra permet, par
exemple au
moyen d'un logiciel de reconnaissance d'identité (ou facial) connu en soi, une
identification
de chacun des acteurs.
La caméra neuro-morphique 36 est aussi connue en soi et est par exemple
décrite dans la
demande W02020/120782 au nom de la société PropheseeC). Elle présente la
particularité
de permettre l'identification et le suivi d'objet sur la base d'une matrice de
capteurs
d'évènements (event-based sensor) qui délivre de façon asynchrone et au-delà
d'un seuil
prédéterminé des évènements en fonction des variations dans les paramètres
(intensité,
luminance, réflectance) de la lumière reçue sur cette matrice de capteurs. En
ne traitant sur
chaque image qu'une faible quantité d'information, elle bénéficie d'une
latence de traitement
négligeable par rapport à une caméra conventionnelle et peut traiter 20000
images par
seconde quand une caméra conventionnelle en traite seulement 200. Elle permet
donc une
détection en toutes circonstances grâce à sa réponse temporelle de l'ordre de
50
microsecondes et sa dynamique exceptionnelle de détection de lumière de 120dB

comparer au 40dB d'une caméra conventionnelle). Lorsque l'identification des
acteurs n'est
pas réalisée par la caméra couleur, la caméra neuro-morphique peut s'en
charger par une
analyse de l'image évènementielle ou plus simplement en recueillant les
informations issues
des tags IR portés par chacun d'entre eux (et illustré à la figure 1 par le
point noir sur
chaque personne, animal ou objet). Ces tags IR sont typiquement des émetteurs
IR (800 à
CA 03231259 2024- 3-7

WO 2023/037061 8
PCT/FR2022/051627
974nm de longueur d'ondes) séquencés à des fréquences différentes comprises
entre 2 et
20KHz pour différencier chacun des tags.
Afin de créer en toutes circonstances un évènement détectable pour la caméra
neuro-
morphique, notamment un objet stationnaire ou quasi stationnaire a priori
indétectable (car
non générateur d'évènements en dessous du seuil prédéterminé), la caméra neuro-

morphique est avantageusement munie de moyens spécifiques d'action sur
l'objectif
commun 40 comme ceux connus de la demande W02021/089216.
De façon alternative et comme le montre la figure 3A-3B, une illumination
infrarouge de la
scène peut être créée par un module de diodes infrarouges 42 comportant un
ensemble 420
de diodes lasers ou de diodes électroluminescentes (LED) dont les faisceaux
parallèles de
lumière infrarouge sont renvoyés sur une lentille de focalisation 422 avant de
traverser un
objectif de sortie à zoom 424. Ce module intégré à la lyre motorisée 24, 26
éclaire tout le
volume de la scène, de façon à créer des contrastes de lumière sur chacun des
acteurs
impactés par cette illumination afin de mieux les démarquer de leur
environnement et
faciliter le traitement des images et notamment une éventuelle identification
des acteurs par
la caméra neuro-morphique. Cette illumination permet de détecter les objets
mobiles non
munis de tags IR, comme des éléments de décor ou des intervenants externes.
Le fonctionnement opérationnel de l'invention illustré par les différentes
étapes du procédé
de la figure 4 sera maintenant décrit en se référant à l'exemple de la figure
1 qui montre
deux pistes d'un chapiteau de cirque sous lequel est monté un système de suivi
selon
l'invention comportant deux lyres motorisées 24, 26 et un ensemble de 6
projecteurs.
Préalablement à ce fonctionnement opérationnel, il est bien entendu procédé à
une étape de
calibration de l'ensemble d'acquisition d'images. Celle-ci s'effectue
classiquement au moyen
d'un projecteur de matrice connu en soi projetant un choix de grilles, traits
ou points ou tout
autre graphisme (via une roue de plusieurs gobos) afin de déterminer le volume
(programmable par exemple en mode portrait ou paysage et dans un ratio 16/9,
16/10, 4/3
ou autre selon la configuration du chapiteau) dans lequel les acteurs
évolueront
(typiquement ce projecteur de matrice peut être l'un des projecteurs lumière
ou vidéo). Par
volume, on entend les dimensions de la scène en X (largeur de la scène), Y
(hauteur de la
scène) et Z (profondeur de la scène) qui peuvent être calculées
automatiquement en plaçant
un tag IR à chaque angle du périmètre, c'est à dire à la fois en fond (arrière-
scène) et en
bord (avant-scène) de scène et à différentes hauteurs. La caméra neuro-
morphique saisi ces
points de référence et le module de traitement d'images calcule
automatiquement le
volume.
CA 03231259 2024- 3-7

WO 2023/037061 9
PCT/FR2022/051627
Dans une première étape 400, il est procédé à l'orientation de la lyre
motorisée vers la piste
où vont apparaitre les acteurs à suivre. Cette orientation de la lyre
motorisée (correspondant
à des angles de Pan , Tilt et Roll ) qui est commandée directement
depuis
terminal de commande 30, implique bien évidemment celle de l'objectif commun
40 des
caméras et éventuellement celle du module de diodes infrarouges (s'il est
présent), que la
lyre supporte vers la piste choisie par l'opérateur. Cette commande répond au
choix d'une
orientation (cette orientation peut avantageusement être mémorisée) effectué
par
l'opérateur au moyen d'un simple joystick ou d'un trackball associé à l'écran
de visualisation
du terminal de commande (ou éventuellement à l'écran de visualisation
avantageusement
tactile 28A). Lorsque les deux pistes vont être animées et que le système de
suivi comporte
deux lyres motorisées comme illustré, il est approprié d'orienter la première
lyre motorisée
24 vers la première piste 10A et la seconde lyre motorisée 26 vers la seconde
piste 10B
mais, lorsqu'un grand nombre d'acteurs se présentent sur une même piste, il
peut au
contraire être approprié de diriger les deux lyres motorisées vers cette seule
première piste.
Par contre, si le système de suivi ne comporte qu'une seule lyre motorisée,
celle-ci peut être
alternativement orientée vers la première puis vers la seconde piste selon les
besoins du
spectacle (c'est par exemple le cas où un premier artiste joue sur la première
scène pendant
qu'un second se prépare sur la seconde).
On notera que lorsque plusieurs lyres motorisées fonctionnent conjointement
par exemple
pour former un plus grand volume de suivi, il est avantageux de désigner l'une
comme
maitre et les autres comme esclaves pour faciliter le passage d'acteurs d'une
zone de suivi à
une autre sans interruption de leur suivi entre ces deux zones.
Dans une deuxième étape 402, la caméra neuro-morphique 36 par une analyse
d'images
basée sur des évènements asynchrones va obtenir une image évènementielle de
chacun des
acteurs présents dans son champ de vision déterminé par l'orientation de la
lyre, et la
caméra couleur 34 (dont l'orientation est aussi celle de la lyre) va obtenir
une image visible
de la scène avec chacun des acteurs pour un affichage sur l'écran de
visualisation 28A. Dans
une étape suivante 404, via le module de traitement d'images 28 (ou le média-
serveur 32
s'il incorpore ce module) et en recourant à un logiciel de reconnaissance
d'images connu en
soi, des coordonnées précises de chacun de ces acteurs sont déterminées et
chacun des
acteurs identifié en recourant au logiciel de reconnaissance facial ou à
défaut au moyen du
tag infrarouge que peuvent porter ces acteurs.
Dans une nouvelle étape 406, ces coordonnées sont horodatées avec les images
visibles
obtenues par la caméra couleur 34 et communiquées au terminal de commande 30
ou au
CA 03231259 2024- 3-7

WO 2023/037061 10
PCT/FR2022/051627
média-serveur 32 lorsque celui-ci est présent. Cette obtention d'une image
visible de l'objet
permet en outre à l'opérateur de confirmer la présence des acteurs et de les
situer
précisément sur la ou les pistes de spectacles après avoir été détectés et
identifiés
(éventuellement via leurs tags) par la caméra neuro-morphique 36.
L'association de l'image
visible et de l'image évènementielle permet également au module de traitement
d'images de
réaliser un parfait silhouettage (détourage de l'image) des acteurs qui permet
aux
projecteurs dans l'étape finale 408 de les suivre automatiquement sur une
piste ou lors d'un
passage d'une piste à une autre.
Ce suivi de l'étape finale est commandé par l'opérateur posté devant le
terminal de
commande 30 ou devant le média-serveur 32 qui va dédier (affecter
individuellement,
préférentiellement à l'écran de visualisation associé au terminal ou au média
serveur, mais
un recours à l'écran tactile 28A est aussi possible) un ou plusieurs
projecteurs pour suivre
les acteurs préalablement identifiés lors de leur déplacement sur la piste.
Lorsque les
projecteurs sont de simples projecteurs lumière, les informations de
positionnement
permettant ce suivi sont envoyées à ces projecteurs lumière depuis le terminal
de
commande 30 et lorsque ces projecteurs sont des projecteurs vidéo ces
informations de
positionnement et le silhouettage des acteurs lors de leur déplacement sont
envoyées à ces
projecteurs vidéo depuis le média-serveur 32. On notera que ces informations
peuvent
également être communiquées à une machinerie manipulant des éléments de décor
ou
encore à une console son assurant la spatialisation du son.
CA 03231259 2024- 3-7

Representative Drawing
A single figure which represents the drawing illustrating the invention.
Administrative Status

For a clearer understanding of the status of the application/patent presented on this page, the site Disclaimer , as well as the definitions for Patent , Administrative Status , Maintenance Fee  and Payment History  should be consulted.

Administrative Status

Title Date
Forecasted Issue Date Unavailable
(86) PCT Filing Date 2022-08-30
(87) PCT Publication Date 2023-03-16
(85) National Entry 2024-03-07

Abandonment History

There is no abandonment history.

Maintenance Fee

Last Payment of $125.00 was received on 2024-05-27


 Upcoming maintenance fee amounts

Description Date Amount
Next Payment if standard fee 2025-09-02 $125.00
Next Payment if small entity fee 2025-09-02 $50.00

Note : If the full payment has not been received on or before the date indicated, a further fee may be required which may be one of the following

  • the reinstatement fee;
  • the late payment fee; or
  • additional fee to reverse deemed expiry.

Patent fees are adjusted on the 1st of January every year. The amounts above are the current amounts if received by December 31 of the current year.
Please refer to the CIPO Patent Fees web page to see all current fee amounts.

Payment History

Fee Type Anniversary Year Due Date Amount Paid Paid Date
Application Fee $555.00 2024-03-07
Maintenance Fee - Application - New Act 2 2024-08-30 $125.00 2024-05-27
Owners on Record

Note: Records showing the ownership history in alphabetical order.

Current Owners on Record
XYZED
Past Owners on Record
None
Past Owners that do not appear in the "Owners on Record" listing will appear in other documentation within the application.
Documents

To view selected files, please enter reCAPTCHA code :



To view images, click a link in the Document Description column. To download the documents, select one or more checkboxes in the first column and then click the "Download Selected in PDF format (Zip Archive)" or the "Download Selected as Single PDF" button.

List of published and non-published patent-specific documents on the CPD .

If you have any difficulty accessing content, you can call the Client Service Centre at 1-866-997-1936 or send them an e-mail at CIPO Client Service Centre.


Document
Description 
Date
(yyyy-mm-dd) 
Number of pages   Size of Image (KB) 
Patent Cooperation Treaty (PCT) 2024-03-07 2 93
Claims 2024-03-07 3 114
Description 2024-03-07 10 504
Drawings 2024-03-07 3 58
Patent Cooperation Treaty (PCT) 2024-03-07 1 65
International Search Report 2024-03-07 3 103
Correspondence 2024-03-07 2 47
National Entry Request 2024-03-07 8 249
Abstract 2024-03-07 1 24
Representative Drawing 2024-03-25 1 10
Cover Page 2024-03-25 1 50
Abstract 2024-03-08 1 24
Claims 2024-03-08 3 114
Drawings 2024-03-08 3 58
Description 2024-03-08 10 504
Representative Drawing 2024-03-08 1 29