Note: Descriptions are shown in the official language in which they were submitted.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
1
DISPOSITIF DE GESTION DES DEPLACEMENTS D'UN ROBOT ET
ROBOT DE SOIN ASSOCIE
DOMAINE TECHNIQUE
L'invention concerne le domaine de la gestion des déplacements d'un robot
opérant
sur des surfaces de géométries très diverses.
L'invention peut être appliquée dans de nombreux domaines techniques dans
lesquelles la surface de travail du robot n'est pas connue a priori. Par
exemple, l'invention
peut être mise en oeuvre pour un robot de peinture de porcelaines artisanales
dans lequel
le robot doit s'adapter aux différentes formes de la porcelaine réalisées par
un artisan.
L'invention trouve une application particulièrement avantageuse pour déplacer
un
bras motorisé d'un robot de soin, tel qu'un robot de massage.
ART ANTERIEUR
Contrairement aux robots industriels programmés pour suivre une trajectoire
prédéterminée, un robot opérant sur une surface inconnue doit comporter des
moyens de
gestion des déplacements aptes à analyser la surface à traiter pour déterminer
une
trajectoire.
Les robots de reconnaissance intègrent généralement au moins une caméra et des
moyens de traitement d'image pour analyser, au cours du temps, la surface
d'exploration
et déterminer la trajectoire à suivre pour le robot.
Cette méthode d'analyse d'une surface inconnue nécessite une grande puissance
de
calcul pour guider précisément les déplacements du robot au cours du temps. Il
s'ensuit
que les robots d'exploration se déplacent lentement de sorte à permettre au
dispositif de
gestion des déplacements d'optimiser les déplacements du robot en fonction des
informations acquises par la caméra et traitées par les moyens de traitement
d'image.
En outre, pour un robot de massage ou pour un robot de peinture de porcelaines
artisanales, les déplacements du robot doivent être extrêmement précis pour
masser les
zones recherchées sur le corps d'un individu ou pour appliquer les couches de
peinture
aux endroits recherchés.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
2
Pour ce faire, il est connu de scanner une surface en trois dimensions afin de
permettre à un opérateur de programmer les déplacements d'un robot en
utilisant une
modélisation numérique en trois dimensions de la surface à traiter par le
robot.
Par exemple, la demande de brevet internationale N WO 2015/187092 décrit un
robot de massage intégrant un scanner en trois dimensions pour scanner le
corps d'un
patient et permettre à un praticien de déterminer la trajectoire de massage du
robot en
utilisant une projection d'un modèle en trois dimensions du corps d'un patient
sur une
tablette tactile.
Cependant, ce robot de massage n'est pas autonome car un praticien doit être
présent pour mettre à profit son savoir-faire et programmer une trajectoire du
robot de
massage sur un modèle numérique.
Le problème technique consiste donc à automatiser la gestion des déplacements
d'un robot opérant sur une surface inconnue avec une grande précision de
mouvement.
EXPOSE DE L'INVENTION
La présente invention vise à répondre à ce problème technique au moyen de
plusieurs séquences de déplacements connues pour un modèle générique associées
à des
moyens d'adaptation d'une surface à traiter avec le modèle générique de sorte
à adapter
les séquences de déplacements connues pour un modèle générique et les
appliquer à la
surface à traiter.
Ce faisant, bien que la géométrie de la surface à traiter ne soit pas connue
lors de la
programmation des séquences de déplacements sur le modèle générique, le robot
est
capable d'adapter automatiquement les séquences de déplacements en adaptant la
forme
du modèle générique sur la forme de la surface à traiter.
A cet effet, selon un premier aspect, l'invention concerne un dispositif de
gestion
des déplacements d'un robot configuré pour traiter une surface, ledit
dispositif
comportant :
- des moyens d'acquisition d'une représentation en trois dimensions de
ladite
surface à traiter ; et
- des moyens de détermination d'une séquence de déplacements en fonction de
ladite représentation en trois dimensions de ladite surface à traiter.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
3
L'invention se caractérise en ce que lesdits moyens de détermination intègrent
au
moins un modèle générique en trois dimensions pour lequel plusieurs séquences
de
déplacements sont connues ; ledit dispositif comportant des moyens
d'adaptation dudit
modèle générique avec ladite représentation en trois dimensions de ladite
surface à traiter
aptes à déformer ledit modèle générique pour correspondre à ladite
représentation en trois
dimensions de ladite surface à traiter, les déformations dudit modèle
générique étant
appliquées aux séquences de déplacements connues de sorte à obtenir au moins
des
nouvelles séquences de déplacement adaptées aux dimensions de ladite surface à
traiter ;
ledit robot étant configuré par traiter ladite surface en fonction d'une des
nouvelles
séquences de déplacement.
L'invention permet ainsi d'utiliser plusieurs séquences de déplacements
connues
sur un modèle générique pour les appliquer sur une surface à traiter dont la
géométrie
n'est pas connue lors de l'apprentissage des séquences de déplacements. Dans
l'exemple
du robot de peinture de porcelaines artisanales, un peintre peut définir des
motifs
standards à peindre sur des tasses en enregistrant ces motifs par rapport à un
modèle
générique d'une tasse standard. Un robot peut alors scanner la surface d'une
tasse
nouvellement créée et appliquer l'un des motifs standards en déformant le
modèle
générique en fonction de la surface de la tasse nouvellement créée.
Dans l'exemple d'un robot de massage, un modèle générique d'un corps humain
est
réalisé à partir de mesures sur des personnes réelles. Ce modèle générique est
ensuite
représenté en trois dimensions de manière à ce qu'un praticien puisse définir
une
trajectoire de massage en passant par différents points sensibles du modèle
générique de
sorte à obtenir un effet massant efficace.
Ces points sensibles du modèle générique peuvent correspondre à des zones, par
exemple une zone s'étendant dans un rayon de 50 mm autour d'un point sensible
dans une
direction normale à la surface au niveau de ce point.
Lorsque le robot est utilisé pour masser un nouveau patient, le corps du
patient est
scanné et la forme du modèle générique est adaptée sur la forme du patient de
sorte que la
déformation du modèle générique permette d'obtenir une déformation de la
trajectoire de
massage afin d'adapter les déplacements du robot avec la forme du corps du
patient tout
en respectant la précision de massage enregistrée par le praticien. Il
s'ensuit que
l'invention permet de reproduire une qualité de massage de très haut niveau
avec une
sensation de massage très proche, voire identique, à celle d'un praticien.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
4
Selon l'invention, plusieurs trajectoires de massage peuvent être numérisées
pour
effectuer plusieurs types de massage distincts. Plusieurs modèles génériques
peuvent
également être réalisés pour améliorer l'adaptation du modèle générique avec
le corps du
patient, par exemple en utilisant trois types de modèles génériques pour
chaque genre :
une personne de grande, de petite et de taille moyenne et pour différentes
classes d'âges :
enfants, adolescents et adultes.
Selon un mode de réalisation, au moins une séquence de déplacements connue
intègre des positions pour lesquelles des actions sont préprogrammées pour
ledit robot.
Ce mode de réalisation permet de commander le fonctionnement d'actionneurs
lors
des déplacements du robot. Dans l'exemple du robot de peinture de porcelaines
artisanales, le robot peut effectuer des traitements de surface spécifiques à
certains
endroits. Dans l'exemple du robot de massage, certaines positions du robot
peuvent
commander le déclenchement de moyens de chauffage pour améliorer le confort
et/ou
l'effet du massage. De plus, la séquence de déplacements connue peut comporter
plusieurs trajectoires réalisées avec un mouvement de palper-rouler alors que
d'autres
déplacements sont effectués avec un autre type de mouvement.
Selon un mode de réalisation, ledit modèle générique et ladite représentation
en
trois dimensions de ladite surface à traiter étant formalisés sous la forme de
nuages de
points, lesdits moyens d'adaptation comportent :
- des moyens de calcul d'une direction normale à chaque point de ladite
représentation en trois dimensions de ladite surface à traiter ; et
- des moyens de recherche, pour chaque point du nuage de points de ladite
représentation en trois dimensions, du point du modèle générique dans un
voisinage
proche pour lequel la différence entre la direction normale du point du modèle
générique
et la direction normale du point d'intérêt est la plus faible ;
- des moyens de détermination d'une distance entre ledit point détecté du
modèle
générique et ledit point d'intérêt ; et
- des moyens de recherche d'une transformation globale du modèle en
fonction des
distances déterminées pour l'ensemble des points du nuage de points de ladite
représentation en trois dimensions.
Les directions normales permettent d'obtenir une information relative à
l'orientation des faces du modèle générique et de la représentation en trois
dimensions de
la surface à traiter. Contrairement à une simple comparaison de coordonnées
point à
point, une comparaison des faces permet d'obtenir une reconnaissance plus
efficace.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
En outre, l'adaptation du modèle générique est réalisée pas à pas en modifiant
petit
à petit le modèle générique en fonction de la moyenne des distances. Il
s'ensuit que ce
mode de réalisation permet d'adapter efficacement le modèle générique en
comparant les
directions normales de chaque point du modèle générique et les directions
normales de la
5 représentation en trois dimensions de la surface à traiter.
Selon un mode de réalisation, lesdits moyens de recherche sont configurés pour
rechercher les points du modèle générique dans une sphère prédéfinie autour du
point
d'intérêt. Ce mode de réalisation vise à limiter la zone de recherche des
points du modèle
générique de sorte à limiter le temps de calcul. En outre, la limitation de la
zone de
recherche permet également de limiter l'amplitude de la modification du modèle
générique entre deux comparaisons de sorte à augmenter la précision de la
modification
du modèle générique.
Selon un mode de réalisation, les directions normales sont déterminées par
construction d'une face au moyen des coordonnées des trois ou quatre points
les plus
proches du point d'intérêt.
Ce mode de réalisation permet de construire efficacement les faces du modèle
générique et de la représentation en trois dimensions de la surface à traiter.
Selon un mode de réalisation, lesdits moyens d'adaptation comportent :
- des moyens de détection de points caractéristiques sur ladite représentation
en
trois dimensions ; et
- des moyens de déformation du modèle générique en rotation et/ou en
translation
de sorte que ladite position desdits points caractéristiques corresponde à une
position de
points caractéristiques du modèle générique.
Ce mode de réalisation permet de réaliser une première adaptation grossière du
modèle générique afin d'améliorer la rapidité de l'adaptation précise réalisée
par
l'intermédiaire des normales. Dans l'exemple du robot de peinture de
porcelaines
artisanales, les points caractéristiques peuvent correspondre aux extrémités
supérieures et
inférieures de la porcelaine. Dans l'exemple du robot de massage, les points
caractéristiques peuvent correspondre à l'extrémité supérieure du crâne, à la
position des
aisselles et à la position de l'entrejambe.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
6
Selon un mode de réalisation, lesdits moyens d'acquisition comportent des
moyens
de pré-traitement de ladite représentation en trois dimensions au moyen de la
capture de
plusieurs représentations en trois dimensions et de la réalisation d'une
moyenne des
coordonnées des points entre les différentes représentations en trois
dimensions. Ce mode
de réalisation permet d'améliorer la précision de la représentation en trois
dimensions et
donc de l'adaptation du modèle générique.
Selon un mode de réalisation, lesdits moyens de pré-traitement réalisent un
filtrage
de ladite moyenne des coordonnées des points entre les différentes
représentations en
trois dimensions.
Ce mode de réalisation permet également d'améliorer la précision de la
représentation en trois dimensions et, donc, de l'adaptation du modèle
générique.
Selon un second aspect, l'invention concerne un robot de soin comportant :
- un bras articulé ;
- un effecteur disposé à une extrémité du bras articulé ;
- un dispositif de capture d'images en trois dimensions ; et
- un dispositif de gestion des déplacements selon le premier aspect de
l'invention.
Ce second aspect de l'invention concerne un robot de soin pour lequel la
précision
des déplacements du robot est un critère essentiel pour éviter de blesser le
patient.
Selon un mode de réalisation, lesdits moyens d'acquisition sont disposés sur
ledit
bras articulé ou sur ledit effecteur. Ce mode de réalisation permet de
déplacer les moyens
d'acquisition pour acquérir précisément la représentation en trois dimensions.
DESCRIPTION SOMMAIRE DES FIGURES
La manière de réaliser l'invention ainsi que les avantages qui en découlent,
ressortiront bien du mode de réalisation qui suit, donné à titre indicatif
mais non limitatif,
à l'appui de la figure 1 qui constitue un ordinogramme des étapes de
fonctionnement d'un
dispositif de gestion des déplacements d'un robot de massage selon un mode de
réalisation de l'invention.
L'invention est décrite en référence à un robot de massage de sorte à montrer
la
capacité d'adaptation du robot car il est évident que les surfaces des corps
humains
présentent de grandes disparités.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
7
Cependant, l'invention n'est pas limitée à cette application spécifique et
elle peut
être utilisée pour plusieurs robots travaillant sur une surface dont la
géométrie n'est pas
prédéterminée et pour lesquels des déplacements précis du robot doivent être
réalisés.
DESCRIPTION DETAILLEE DE L'INVENTION
Tel qu'illustré sur la figure 1, l'analyse de la surface à traiter est
réalisée par des
moyens d'acquisition 14 aptes à fournir une représentation en trois dimensions
Re de la
surface à traiter.
La représentation en trois dimensions Re prend la forme d'un nuage de points
dans
lequel chaque point présente trois coordonnés d'un système orthonormée : x, y
et z.
Ces moyens d'acquisition 14 peuvent correspondre à un ensemble de capteurs
photographiques, un ensemble de capteurs infrarouges, un capteur
tomographique, un
capteur stéréoscopique ou tout autre capteur connu permettant d'acquérir une
représentation en trois dimensions d'une surface.
Par exemple, la caméra KinectO de la société Microsoft peut être utilisée
pour
obtenir cette représentation en trois dimensions Re.
Pour obtenir cette représentation en trois dimensions Re sans capter
l'environnement, il est possible de capter un premier nuage de points
correspondant à
l'environnement et un second nuage de points correspondant à la surface à
traiter dans
son environnement. Seuls les points différents entre les deux nuages de points
sont
conservés de sorte à extraire de l'environnement les points correspondant à la
surface à
traiter. Cette méthode permet de s'abstraire d'un environnement standardisé
pour
l'enregistrement et de s'adapter à n'importe quel environnement.
Tel qu'illustré sur la figure 1, ces capteurs 14 sont souvent mis en oeuvre
avec des
moyens de pré-traitement 15 afin de fournir une représentation en trois
dimensions Re
avec une qualité ou une précision améliorée. Par exemple, les moyens de pré-
traitement
15 peuvent correspondre à un algorithme d'égalisation d'histogrammes, de
filtrage, de
moyennage de la représentation sur plusieurs représentations successives...
Par exemple, il est possible d'utiliser l'approche décrite dans la publication
scientifique KinectFusion: Real-time 3D Reconstruction and Interaction Using
a
Moving Depth Camera* publiée le 16 octobre 2011 dans UIST'll.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
8
Le dispositif met ensuite en oeuvre des traitements informatiques afin
d'adapter un
modèle générique ml, m2, m3 avec la représentation en trois dimensions Re de
sorte à
reporter sur la représentation en trois dimensions Re des séquences de
déplacements Tx
préprogrammées sur chaque modèle générique ml, m2, m3. Par exemple, les
séquences
de déplacements Tx peuvent être projetées sur le second nuage de points
correspondant à
la surface à traiter. En outre, ces séquences de déplacements Tx peuvent
comporter des
positions pour lesquelles des actions sont préprogrammées pour ledit robot.
Les modèles génériques ml, m2, m3 sont également formalisés sous la forme d'un
nuage de points dans lequel chaque point présente trois coordonnées d'un
système
orthonormé : x, y et z. De préférence, le modèle générique est composé par un
modèle
moyen ModMoy de N vertex de trois coordonnées et d'une matrice de déformation
ModSigma de M composantes morphologiques par 3N coordonnées, c'est-à-dire
trois
coordonnées pour N vertex.
Un grand nombre de personnes différentes sont nécessaires pour enrichir chaque
modèle générique ml, m2, m3, par exemple milles personnes.
Une analyse en composantes principales est appliquée pour réduire la dimension
des données. En appliquant une analyse en composantes principales sur ces
données, il est
possible de déterminer la variance dans les données et d'associer la variance
commune
sur une composante. Ainsi, au lieu de conserver une composante par personne,
chaque
modèle générique ml, m2, m3 stocke une vingtaine de composantes qui vont
expliquer la
majorité de la variance pour les mille personnes.
Cette méthode est décrite plus longuement dans la publication scientifique
Building Statistical Shape Spaces for 3D Human Modeling, Pishchulin & all
publiée
le 19 mars 2015 dans la revue Published in Pattern Recognition 2017 .
De préférence, les modèles génériques ml, m2, m3 sont stockés dans une mémoire
accessible par les moyens de traitement d'image du dispositif aptes à réaliser
l'adaptation
d'un modèle générique ml, m2, m3 avec la représentation en trois dimensions
Re.
Pour ce faire, lorsque la représentation en trois dimensions Re est obtenue,
le
dispositif met en oeuvre une détection des points caractéristiques Pref de
cette
représentation en trois dimensions Re par des moyens de traitement numérique
16. Sur
l'exemple de la figure 1, les points caractéristiques Pref correspondent à
l'extrémité
supérieure du crâne, à la position des aisselles et à la position de
l'entrejambe. Ces
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
9
moyens de traitement numérique 16 peuvent mettre en oeuvre toutes les méthodes
connues pour détecter des éléments sur une image, telles que la méthode de
Viola et Jones
par exemple.
De préférence, pour détecter les points caractéristiques Pref, le nuage de
points est
transformé en une image de profondeur c'est-à-dire une image en niveaux de
gris, par
exemple codée sur 12 bits permettant de coder des profondeurs allant de 0 à
4095 mm.
Cette image de profondeur est ensuite seuillée et binarisée pour ne faire
ressortir avec une
valeur 1 les pixels correspondants à l'objet/corps d'intérêt et avec une
valeur 0 les pixels
correspondants à l'environnement. Ensuite, une détection de contour est
appliquée sur
cette image binarisée en utilisant, par exemple, la méthode décrite dans
Suzuki, S. and
Abe, K., Topological Structural Analysis of Digitized Binary Images by Border
Following, CVGIP 30 1, pp 32-46 (1985). Les points saillants du contour et ses
défauts
de convexité (déterminés en utilisant, par exemple, la méthode Sklansky, J.,
Finding the
Convex Hull of a Simple Polygon. PRL 1 $number, pp 79-83 (1982)) sont utilisés
comme
points caractéristiques Pref.
Des moyens de sélection 17 du modèle générique ml, m2, m3 sont ensuite mis en
oeuvre pour sélectionner le modèle générique ml, m2, m3 le plus proche de la
représentation en trois dimensions Re.
Par exemple, cette sélection peut être réalisée en calculant la distance entre
le point
caractéristique Pref du sommet du crâne et le point caractéristique de
l'entrejambe de
sorte à estimer grossièrement la taille en hauteur de la représentation en
trois dimensions
Re et en sélectionnant le modèle générique ml, m2, m3 pour lequel la taille en
hauteur
est la plus proche. De même ou en complément, la sélection du modèle générique
ml,
m2, m3 peut être réalisée en utilisant la largeur de la représentation en
trois dimensions
Re en calculant la distance entre les points caractéristique Pref des
aisselles.
En outre, le modèle générique ml, m2, m3 peut être articulé grâce à des os
virtuels
représentant les os les plus importants du squelette humain. Par exemple,
quinze os
virtuels peuvent être modélisés sur le modèle générique ml, m2, m3 pour
définir la
position et la forme de la colonne vertébrale, des fémurs, des tibias, des
cubitus, des
humérus et du crâne. L'orientation de ces os virtuels permet de définir la
pose du modèle
générique, c'est-à-dire si le modèle générique ml, m2, m3 à un bras en l'air,
les jambes
écartées...
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
'o
Cette pose du modèle générique ml, m2, m3 peut également être déterminée par
les
moyens de sélection 17 en comparant la distance (calculée, par exemple, en
utilisant la
méthode Hu. Visual Pattern Recognition by Moment Invariants, IRE Transactions
on
Information Theory, 8:2, pp. 179-187, 1962.)) entre le contour de l'image de
profondeur
de l'objet/corps d'intérêt avec une base de données de contours d'images de
profondeur
du modèle générique dans plusieurs milliers de postures. L'image de profondeur
du
modèle générique ml, m2, m3 articulé la plus proche de l'image de profondeur
de
l'objet/corps d'intérêt est sélectionnée et les valeurs de rotations des os
virtuels
sauvegardées.
Une première adaptation est ensuite réalisée par des moyens d'adaptation 18 en
déformant le modèle générique sélectionné pour s'approcher de la
représentation en trois
dimensions Re. Par exemple, cette première adaptation peut simplement déformer
en
largeur et en hauteur le modèle générique sélectionné pour que l'écartement
des points
caractéristiques Pref du modèle générique sélectionné corresponde à
l'écartement des
points caractéristiques Pref de la représentation en trois dimensions Re.
Cette première adaptation peut également définir la pose des os virtuels du
modèle
générique ml, m2, m3.
Lorsque le modèle générique est adapté, c'est-à-dire que la position des
vertex est
modifiée, la position des points de la séquence de déplacements Tx
préprogrammée sur le
modèle générique est adaptée de la même manière.
Suite à cette première adaptation assez grossière, il est possible d'utiliser
une
seconde adaptation plus précise en utilisant les directions normales formées
par chaque
surface définie entre les points de la représentation en trois dimensions Re.
Pour ce faire, le dispositif intègre des moyens de calcul des normales 19 de
chaque
surface de la représentation en trois dimensions Re et du modèle générique
sélectionné.
Par exemple, les directions normales peuvent être déterminées par construction
de chaque
face de la représentation en trois dimensions Re au moyen des coordonnées des
trois ou
quatre points les plus proches du point d'intérêt. En variante, les directions
normales du
modèle générique peuvent être calculées lors de l'étape de définition du
modèle
générique. En variante, les deux adaptations peuvent être réalisées
simultanément dans
une seule et même étape.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
11
Le dispositif utilise ensuite des moyens de recherche 20 aptes à détecter,
pour
chaque point du nuage de points de la représentation en trois dimensions Re,
le point du
modèle générique sélectionné dans un voisinage proche pour lequel la
différence entre la
direction normale du point du modèle générique et la direction normale du
point d'intérêt
est la plus faible. Lorsque les os virtuels sont une composante du modèle
générique
sélectionné, les moyens de recherche 20 adaptent la position et la taille des
os virtuels en
faisant varier les caractéristiques de chaque os virtuel pour adapter les os
virtuels avec la
position des éléments du corps présent sur la représentation en trois
dimensions Re.
Par exemple, les moyens de recherche 20 peuvent être configurés pour
rechercher
les points du modèle générique dans une sphère prédéfinie autour du point
d'intérêt. De
préférence, le rayon de cette sphère est déterminé en fonction du nombre de
vertex du
modèle générique et de la taille de l'objet/corps d'intérêt de telle façon
qu'une dizaine des
points soit inclus dans cette sphère.
A l'aide de l'ensemble de ces directions normales, le dispositif peut ensuite
calculer
la différence du modèle générique sélectionné avec la représentation en trois
dimensions Re en utilisant des moyens de détermination 21 aptes à calculer la
distance
entre les points d'intérêts et les points détectés par les moyens de recherche
sur le modèle
générique sélectionné. L'ensemble de ces distances forme des vecteurs de
transformations
qu'il faudrait appliquer au point d'intérêt pour qu'il corresponde au point
détecté.
Des moyens de recherche 22 visent à déterminer une moyenne de ces vecteurs de
transformation de sorte à obtenir une transformation globale du modèle
générique
sélectionné.
En d'autres termes, en considérant un nouveau vecteur de transformation
CompVec
de M composantes, il est possible de connaitre la configuration en trois
dimensions des
vertex Pts3D en appliquant la formule suivante:
Pts3D = ModlVloy + CompVec * ModSigma
Pour une configuration Pts3D inconnue, pour un nouveau patient par exemple, le
but est de chercher les valeurs des composantes morphologiques DiffMod qui
correspondent à cette personne connaissant le modèle moyen ModMoyen et la
matrice de
déformation ModSigma.
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
12
Pour ce faire, les moyens de recherche 22 calculent la différence entre la
configuration en trois dimensions des vertex Pts3D et le modèle moyen ModMoyen
ainsi
que la matrice pseudo inverse ModSigmaInv de ModSigma. Par exemple, la matrice
pseudo inverse ModSigmaInv peut être calculée en décomposant en valeurs
singulières
la matrice ModSigma en utilisant les relations suivantes :
ModSigma = U E V*;
ModSigmaInv = V Et U*;
avec Et correspondant à la matrice transposée de E ;
V* étant la matrice transconjuguée de V; et
U* étant la matrice transconjuguée de U.
A l'aide de ces données, les moyens de recherche 22 calculent les composantes
morphologiques DiffMod avec la formule suivante :
DiffMod * ModSigmaInv = CompVec * ModSigma * ModSigmaInv
Soit, CompVec = DiffMod * ModSigmaInv qui permet également d'obtenir les
composantes morphologiques DiffMod pour un patient spécifique.
Le vecteur de transformation CompVec est ensuite appliqué au modèle générique
sélectionné, la pose est de nouveau estimée comme précédemment et le modèle
générique
ajusté si nécessaire et une nouvelle recherche est effectuée jusqu'à ce que le
modèle
générique soit assez proche de la représentation en trois dimensions Re. La
boucle
s'arrête lorsque la distance euclidienne moyenne entre tous les vertex du
modèle
générique et leurs correspondants sur le nuage de points est inférieure à un
seuil défini en
fonction du nombre de vertex du modèle générique et de la taille de
l'objet/corps
d'intérêt, 2 mm par exemple, ou lorsqu'un nombre d'itérations maximum, 100
itérations
par exemple, est atteint alors que la distance moyenne inférieure au seuil
n'est pas
atteinte.
De la même manière que précédement, lorsque le modèle générique est adapté,
c'est-à-dire que la position des vertex est modifiée, la position des points
de la séquence
de déplacements Tx préprogrammée sur le modèle générique est adaptée de la
même
manière.
Une phase de calibration entre le capteur 14 et le robot doit souvent être
effectuée.
En effet, les séquences de déplacements Tx sont définies sur le modèle
générique ml,
m2, m3 dans le repère orthonormé du capteur 14 et le robot reçoit des
commandes dans
son repère orthonormé qui diffère de celui du capteur 14. Pour calibrer le
capteur de
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
13
vision 14 et le robot, il est possible d'enregistrer les coordonnées d'au
moins trois points
communs dans les deux repères. En pratique, un nombre de points N supérieur à
trois est
préférentiellement utilisés. Le robot est déplacé sur la zone de travail et
s'arrête N fois. A
chaque arrêt, la position du robot est enregistrée en calculant les
déplacements effectués
par la consigne de déplacement du robot et une détection permet de connaitre
la position
en trois dimensions de cet arrêt au moyen du capteur de vision 14.
A la fin de ces N arrêt, les coordonnées des N points sont connues dans les
deux
repères. Le barycentre de la distribution des N points dans les deux repères
est déterminé
en utilisant les relations suivantes :
BarycentreA = 1/N somme(PA(i)) pour i=1 à N avec PA(i) un point dans le repère
du capteur 14 ; et
BarycentreB = 1/N somme(PB(i)) pour i=1 à N avec PB(i) un point dans le repère
du robot.
La matrice de covariance C est ensuite déterminée par la relation suivante :
C = somme((PAW-BarycentreA)(PB(i)-barycentreB)t) pour i=1 à N
Cette matrice de covariance C est ensuite décomposée en valeurs singulières :
C = U E V*
La matrice de rotation R entre les deux repères est alors obtenue par la
relation
suivante :
R = V Ut; si le déterminant de R est négatif, il est possible de multiplier la
troisième colonne de la matrice de rotation R par -1.
La translation à appliquer entre les deux repères est déterminée par la
relation
suivante :
T = - R * BarycentreA +BarycentreB
Il est ainsi possible de convertir n'importe quel point du repère du capteur
14 Pa
dans le repère du robot Pb en appliquant la relation suivante :
Pb = R * Pa + T
L'invention permet ainsi de programmer plusieurs séquences de déplacements Tx
sur un ou plusieurs modèle génériques ml-m3 et d'adapter efficacement ces
modèles
génériques ml-m3 pour reproduire précisément les séquences de déplacements Tx
sur
CA 03067555 2019-12-17
WO 2019/002104 PCT/EP2018/066672
14
une surface dont la géométrie n'est pas connue lors de l'apprentissage des
séquences de
déplacements Tx.
Le robot peut ainsi suivre une séquence de déplacement Tx sélectionnée par
l'utilisateur ou par un opérateur. Une séquence de déplacement Tx peut être
plus
complexe qu'un simple ensemble de points et elle peut comporter différents
paramètres
destinés à mettre en oeuvre la séquence de déplacement Tx, tels que la vitesse
d'exécution
ou la pression d'exécution. En outre, la séquence de déplacement Tx peut
comporter des
positions pour lesquelles des actions sont préprogrammées pour le robot, tels
que
l'application d'une vibration, d'une aspiration ou d'une température.
Les actions ou les paramètres de la séquence de déplacement Tx sélectionnée
peuvent également être ajustables par l'utilisateur ou l'opérateur avant ou
pendant la
réalisation de la séquence de déplacement par le robot. Ainsi, dans l'exemple
du robot de
peinture de porcelaines artisanales, l'opérateur peut régler la vitesse de
peinture et la
puissance d'appui du pinceau sur la porcelaine. Dans l'exemple du robot de
massage,
l'utilisateur peut choisir lui-même la vitesse et la force du massage en
réglant la pression
du robot en temps réel, pour adapter ces paramètres à ses sensations. Il peut
également
régler une température émise par la main de massage ou les effets réalisés par
cette main
de massage, tels que la puissance de vibration ou d'aspiration.
