Note: Descriptions are shown in the official language in which they were submitted.
CA 02418243 2003-01-22
1
Procédé de guidage d'un aéronef en phase finale d'atterrissage et dispositif
correspondant
La présente invention concerne un procédé de guidage d'un avion en
phase finale d'atterrissage ainsi qu'un dispositif pour la mise en oeuvre de
ce
procédé.
Plusieurs systèmes de guidage procurant une aide pour la navigation et
le guidage d'un avion existent. Les systèmes connus actuellement s'appellent
ILS,
MLS, GPS, APALS.
Le système ILS (Instrument Landing System ou système d'atterrissage
aux instruments) fonctionne à l'aide de radio-balises installées le long d'un
chemin
d'approche d'un aéroport et de récepteurs correspondants installés à bord de
l'avion. Ces récepteurs coopèrent avec des indicateurs de bord informant le
pilote
de sa position relative par rapport à une trajectoire idéale. Ces indicateurs
comportent une aiguille horizontale et une aiguille verticale et en gardant
ces deux
aiguilles centrées, le pilote peut maintenir son avion aligné sur la ligne
centrale de
la piste tout en conservant une pente de descente la plus constante possible
jusqu'à l'atterrissage.
2 0 Le système MLS (Microwave Landing System ou système
d'atterrissage micro-ondes) fonctionne sensiblement comme le système ILS mais
utilise des micro-ondes et non pas des faisceaux radio-électriques. De ce
fait, le
système MLS présente par rapport au système ILS une plus grande immunité aux
signaux réfléchis sur des bâtiments environnant la piste d'atterrissage.
Plusieurs systèmes utilisent la technologie GPS (Global Positioning
System ou système de positionnement global). Ces systèmes fonctionnent à
l'aide
d'une constellation de satellites en orbite autour de la Terre. Un appareil à
bord de
l'avion détermine la position de celui-ci en utilisant la mesure des distances
qui le
séparent de plusieurs satellites dont les positions sont connues. En corrélant
la
position de l'avion et celle de la piste d'atterrissage, une aide peut être
fournie au
pilote. De nombreux avions utilisent déjà l'information GPS comme une aide
CA 02418243 2003-01-22
la
supplémentaire (par rapport aux systèmes classiques comme des centrales
inertielles) pour trouver leur chemin dans le ciel. Toutefois, les systèmes de
type
GPS ne sont pas assez précis pour permettre le guidage d'un avion jusque dans
sa phase finale d'atterrissage. En effet, la précision des systèmes GPS est de
l'ordre d'une dizaine de mètres, ce qui n'est pas suffisant pour garantir à un
avion
CA 02418243 2009-12-15
2
de se poser sur une piste d'atterrissage et non pas à côté de celle-ci.
Le système APALS (Autonomous Precision Approach Landing System ou
système d'approche et d'atterrissage autonome de précision) est dans sa
version de
base un système autonome. Son principe repose sur l'utilisation d'antennes
fixes et
du radar météo. Ce système utilise des images du radar météo avec sa propre
connaissance du terrain pour déterminer la position et l'altitude de l'avion.
Ce
système peut être combiné avec un système ILS et/ou GPS. A priori, un tel
système
APALS n'a jamais été embarqué sur un avion en condition opérationnelle.
Le principal inconvénient de ces dispositifs est qu'il nécessite la présence
d'installations au sol. Même pour I'APALS, qui est un système autonome, des
antennes fixes extérieures sont nécessaires.
La présente invention a alors pour but de fournir un procédé de guidage en
phase finale d'atterrissage qui soit entièrement autonome et ne nécessite pas
d'installation spécifique au sol pour réaliser un atterrissage de l'avion.
A cet effet, elle propose un procédé de guidage automatique en phase finale
d'atterrissage pour un aéronef qui comporte les étapes suivantes:
a) prise de vue du sol à partir d'une caméra embarquée à bord de
l'aéronef et obtention d'une image,
b) analyse de l'image par un calculateur dans le but de détecter une zone
aéroportuaire,
c) détection par le calculateur d'une zone aéroportuaire et sélection d'une
piste pour l'atterrissage,
d) suivi de la piste d'atterrissage sélectionnée durant l'approche de
l'aéronef, par le calculateur en fonction des images fournies par la caméra de
la piste
d'atterrissage sélectionnée,
e) suivi de la piste d'atterrissage lorsque l'aéronef est très proche du sol
par analyse des images fournies par la caméra afin de déterminer la position
de
l'aéronef par rapport à la piste d'atterrissage; et
CA 02418243 2009-12-15
2a
f) envoi d'informations relatives à la zone aéroportuaire, la piste
d'atterrissage et la position de l'aéronef vers un dispositif de pilotage
automatique
lequel agit sur le pilotage de l'aéronef.
Un tel procédé de guidage permet sans nécessiter de moyens extérieurs à
l'aéronef d'assister le pilote dans une phase finale d'atterrissage ou bien
même de
fournir à un système de pilotage automatique des informations
CA 02418243 2003-01-22
3
pour réaliser un atterrissage automatique.
Dans ce procédé de guidage, les étapes se déroulent de préférence
dans l'ordre indiqué de a) à e). Toutefois, des modifications sont possibles
dans le
déroulement de ces étapes. Ainsi par exemple si la piste est perdue au cours
du
suivi de l'étape d), une réinitialisation consistant à retourner à l'étape b)
peut être
réalisée.
Une manière originale pour la réalisation de l'étape b) du procédé de
guidage décrit ci-dessus est proposée. Il s'agit dans cette étape de
reconnaître
sur une image 2D des segments qui sont parallèles dans l'espace 3D représenté.
Il est connu que deux lignes parallèles dans l'espace 3D, lorsqu'elles sont
photographiées, ne restent pas parallèles le plus souvent sur la photo 2D
réalisée.
Une façon originale de repérer des lignes parallèles dans l'espace sur une
image
plan est proposée ici. A l'étape b) du procédé de guidage décrit plus haut, de
façon originale, on peut prévoir que l'analyse est réalisée en recherchant sur
l'image des segments de droites sensiblement parallèles et que la détection
d'une
piste d'atterrissage est réalisée en appariant de tels segments de droite.
Bien
entendu, cette façon d'opérer pour repérer une piste d'atterrissage pourrait
être
adaptée au repérage d'autres objets présentant dans l'espace des lignes
parallèles.
La recherche de segments parallèles s'effectue de préférence en
découpant de façon régulière l'intervalle des directions possibles [-7t/2 ;
it/2] en N
classes et en associant chaque segment à une classe, deux segments étant alors
considérés comme parallèles s'ils appartiennent à une même classe. Des
conditions supplémentaires peuvent alors être définies pour considérer que
deux
segments "parallèles" de l'image correspondent à deux segments parallèles de
l'espace. Ainsi deux segments "parallèles" seront par exemple retenus lorsque
les
conditions suivantes sont remplies :
- ces segments appartiennent à une même classe de directions,
- chacun de ces segments présente une longueur minimale,
- ces deux segments se font face avec un taux de recouvrement
minimum,
- la distance séparant ces deux segments est inférieure à une valeur
CA 02418243 2003-01-22
4
prédéterminée.
Ces conditions sont particulièrement adaptées à la recherche d'une
zone aéroportuaire sur une image 2D prise d'avion à distance de cette zone.
Pour
la recherche d'autres objets présentant des segments caractéristiques
parallèles
dans l'espace 3D, d'autres conditions pourront être choisies.
Pour parfaire la recherche d'une zone aéroportuaire (ou d'un autre
objet), il est envisageable, pour chaque paire de segments parallèles, de
déterminer un point de fuite qui est le point d'intersection théorique des
deux
segments sensiblement parallèles et deux paires de segments sont ensuite
regroupées dans la mesure où la distance entre les deux points de fuite
correspondants est inférieure à un seuil prédéterminé.
Dans le procédé de guidage décrit ci-dessus, l'étape d) de suivi de la
piste d'atterrissage met par exemple en oeuvre un procédé de suivi visuel qui
comporte les étapes élémentaires suivantes :
dl) initialisation : la piste d'atterrissage sélectionnée est extraite de
l'image et modélisée et une fenêtre dans laquelle la piste a été trouvée est
définie,
d2) prédiction : la position de la piste d'atterrissage dans l'image
courante est prédite en fonction de la position occupée dans l'image
précédente
et une fenêtre correspondante est définie,
d3) extraction de caractéristiques : une représentation adaptée des
contours et/ou points d'intérêt de la fenêtre est fournie,
d4) appariement : la piste d'atterrissage est recherchée dans la fenêtre
en fonction de la prédiction, et
d5) si nécessaire, mise à jour de la représentation de la piste
d'atterrissage et/ou de la vitesse du mouvement apparent de cette piste,
les étapes d2) à d5) étant des étapes itératives.
L'étape de prédiction, dans le cas présent de suivi de piste
d'atterrissage en phase finale d'approche d'un aéronef, peut éventuellement
être
omise.
Le suivi de la piste d'atterrissage à l'étape e) est par exemple réalisé en
analysant sur l'image courante la couleur et la texture de ses pixels afin de
classifier ces pixels comme appartenant ou non à la piste d'atterrissage.
CA 02418243 2009-12-15
Dans une autre forme de réalisation du procédé de guidage selon l'invention,
le suivi de la piste d'atterrissage à l'étape e) peut être réalisé en
recherchant sur
l'image le bord de la piste et/ou un marquage sur la piste.
Le passage de l'étape d) à l'étape e) peut être soumis à la réalisation d'une
condition prédéterminée. A titre d'exemple, le passage de l'étape d) à l'étape
e) peut
se réaliser lorsque le seuil de la piste n'est plus visible sur les images. On
suppose
ici que la piste d'atterrissage comporte deux bords longitudinaux parallèles
reliés à
une extrémité par un seuil.
La présente invention concerne aussi un dispositif de guidage en phase finale
d'atterrissage d'un aéronef, comportant au moins un calculateur et un
afficheur placé
dans le cockpit, caractérisé en ce qu'il comporte une caméra reliée audit
calculateur,
en ce que ledit calculateur présente des moyens pour effectuer l'acquisition
et le
traitement d'images vidéo, et en ce que ledit calculateur est relié à
l'afficheur placé
dans le cockpit.
La caméra utilisée est avantageusement une caméra de type CCD (Charge
Coupled Device, qui se traduit par "dispositif à transfert de charge").
Dans une forme de réalisation préférée, le dispositif de guidage comporte au
moins deux caméras vidéo.
De préférence, chaque caméra est reliée audit calculateur via une liaison
fibre
optique.
Pour permettre la réalisation d'atterrissages automatiques, le dispositif de
guidage est avantageusement tel que le calculateur est relié à un dispositif
de
pilotage automatique.
Enfin, la présente invention concerne également un aéronef, caractérisé en ce
qu'il comporte un dispositif de guidage tel que décrit ci-dessus.
Les détails et avantages de la présente invention ressortiront mieux de la
description qui suit, faite en référence au dessin schématique annexé sur
lequel:
Figure 1 est un organigramme général d'un procédé selon l'invention,
CA 02418243 2009-12-15
5a
Figure 2 représente schématiquement un dispositif pour la mise en oeuvre du
procédé représenté schématiquement sur la figure 1,
Figure 3 représente une image sur laquelle apparaît schématiquement
CA 02418243 2003-01-22
6
une piste d'atterrissage,
Figure 4 montre à titre d'exemple une image de segment
caractéristique extrait d'une image prise par une caméra,
Figure 5 représente des intervalles de directions possibles pour la
recherche de paires de segments parallèles,
Figure 6 illustre la création de groupements de paires de segments
parallèles,
Figure 7 illustre la notion de point de fuite,
Figure 8 représente une image correspondant à celle de la figure 4
après traitement,
Figure 9 est un organigramme pour la première phase du procédé de la
figure 1,
Figure 10 est un organigramme pour la seconde phase du procédé de
la figure 1, et
Figure 11 représente un organigramme utilisable pour la troisième
phase du procédé de la figure 1.
La description qui suit concerne la perception par caméra vidéo
appliquée à une fonction automatique d'atterrissage d'aéronefs, par exemple
d'avions civils. Le procédé et le dispositif décrits ci-après fournissent à un
pilote
d'avion un système d'approche finale d'atterrissage automatique rendant son
avion le plus autonome possible vis à vis de l'environnement extérieur de
l'avion.
Dans ce qui suit, on extrait, dans des images vidéo acquises par une caméra et
traitées par un calculateur, un écart de l'avion en latéral et vertical afin
d'envoyer
ces informations par exemple à un système de contrôle et de pilotage
automatique de l'avion. La présente invention concerne plus particulièrement
les
aspects perception, c'est-à-dire acquisition et traitement de l'image, plutôt
que les
aspects commande et asservissement pour lesquels plusieurs possibilités sont
envisageables. Selon une première possibilité, le pilote de l'avion joue le
rôle du
comparateur et agit sur le pilotage de l'avion en fonction des informations
visuelles reçues par le système d'aide à l'atterrissage. Une seconde
possibilité
concerne une solution automatique complète dans laquelle le système d'aide à
l'atterrissage est couplé à un système de pilotage automatique. Ces deux
CA 02418243 2003-01-22
7
possibilités existent déjà avec des systèmes de l'art antérieur de type ILS
(Instrument Landing System).
Un dispositif selon l'invention pour aider le pilote en phase finale
comporte (figure 2), dans un mode de réalisation préférée, une caméra 2, un
calculateur 4, plusieurs afficheurs 6, et un dispositif de pilotage
automatique 8.
Une seule caméra est nécessaire dans la présente invention. Toutefois,
comme habituellement dans les systèmes aéronautiques, il est préférable
d'avoir
une seconde caméra en cas par exemple de défaillance de la première. Cette
seconde caméra est représentée en pointillés sur la figure 2. Chaque caméra 2
est une caméra de type CCD (Charge Coupled Device ou dispositif à transfert de
charge). Une fibre optique relie chaque caméra 2 au calculateur 4. Il s'agit
par
exemple d'un calculateur de type CIU (Camera Interface Unit). La caméra
comporte des moyens pour compresser au standard MJPEG les images vidéo
qu'elle transmet au calculateur 4. Chaque caméra 2 travaille dans le domaine
du
visible. On choisira de préférence une caméra qui soit la plus immune possible
par rapport aux variations d'illumination dues au temps, à l'heure dans la
journée,
au brouillard, à la pluie etc.... En fonction de la qualité de la caméra, le
dispositif
peut ou ne peut pas fonctionner par tous temps.
Le calculateur de type CIU a pour mission d'effectuer l'acquisition des
signaux vidéo au format MJPEG issus de la (des) caméra(s) 2, la décompression
de ces images, ainsi que réaliser le traitement de ces images comme cela est
décrit plus loin. Ce calculateur doit également transmettre des images aux
afficheurs 6 et des informations au dispositif de pilotage automatique 8. Sur
la
gauche de la figure 2, les flèches en pointillés indiquent que le calculateur
est
aussi en liaison avec d'autres composants de l'avion tels par exemple une
centrale inertielle ou des sondes radio-électriques.
Les afficheurs 6 sont du même type que ceux que l'on trouve
généralement dans un cockpit d'avion. Ces afficheurs sont normalement destinés
à accueillir les données concernant l'avion (altitude, navigation, alarme,
système).
Dans le présent dispositif, ces afficheurs sont également prévus pour
accueillir
des images vidéo. La figure 2 représente trois afficheurs 6 pouvant recevoir
de
telles images. On suppose alors que dans l'avion équipé du dispositif selon
CA 02418243 2003-01-22
8
l'invention, au moins trois des afficheurs sur les six généralement
disponibles
dans un avion sont capables d'afficher des images vidéo. Chacun des afficheurs
est relié au calculateur 4 par une liaison de type bus avionique.
Le dispositif de pilotage automatique calcule et applique à l'avion les
lois de commandes adéquates à partir de l'écart mesuré par le calculateur 4,
de
façon à corriger toute déviation par rapport au point visé qui est le point
d'impact
de l'avion sur la piste dans le cas où les informations fournies par le
système
d'aide à la navigation doivent permettre un atterrissage entièrement
automatique.
La figure 1 donne le synoptique montrant le principe de base du
découpage de l'approche finale d'atterrissage en trois phases selon
l'invention. La
première phase est initialisée alors que l'appareil se trouve encore à
quelques
kilomètres de la piste d'atterrissage : par exemple 4 à 5 km. Cette première
phase
P1 est destinée à repérer une zone aéroportuaire sur une prise de vue réalisée
par une caméra 2. Une fois cette zone aéroportuaire détectée, une seconde
phase P2 commence. Il s'agit là de repérer sur les images suivantes la zone
aéroportuaire qui a été détectée au cours de la phase P1. Lorsque l'avion
s'approche alors de la zone aéroportuaire, celle-ci grossit de plus en plus
sur les
images fournies par la caméra 2 jusqu'à sortir du cadre de ces images. On
passe
alors à une troisième phase P3 au cours de laquelle on détermine la position
de
l'avion par rapport à la piste d'atterrissage toute proche. Au cours de cette
dernière phase, l'avion roule sur la piste ou n'est plus qu'à quelques mètres
au
dessus de celle-ci.
Une flèche en pointillés 10 sur la figure 1 suggère qu'une réinitialisation
est possible de la phase P2 vers la phase P1. En effet, si lors de la phase P2
le
dispositif n'arrive plus à suivre la piste d'atterrissage, une nouvelle
détection de la
zone aéroportuaire peut être effectuée. Une flèche en pointillés 12 suggère
également une réinitialisation de la phase P3 vers la phase P2. Une telle
réinitialisation est très délicate et devra être évitée. En effet, à ce
moment, l'avion
est très proche de la piste d'atterrissage et pour des raisons de sécurité, il
est
important que le dispositif d'aide à l'atterrissage ne perde pas la trace de
la piste
d'atterrissage.
Comme indiqué plus haut, le passage 14 de la phase P1 à la phase P2
CA 02418243 2003-01-22
9
s'effectue lorsque la zone aéroportuaire a été détectée. Le passage 16 de la
phase P2 à la phase P3 se réalise par exemple lorsqu'une condition de passage
est remplie. Plusieurs conditions de passage sont possibles. Une première
condition correspond par exemple à la disparition du seuil de piste dans
l'image
fournie par la caméra 2. On peut aussi par exemple indiquer que lorsque
l'avion
est à moins de cinq mètres au-dessus de la piste, la phase P3 est initialisée.
D'autres conditions peuvent être définies.
La figure 3 illustre le principe de l'aide à l'atterrissage fournie par le
dispositif et le procédé selon l'invention. Cette figure représente une image
sur
laquelle on a représenté uniquement une piste d'atterrissage 18. Cette piste
18
comporte deux bordures 20 parallèles dans la réalité mais convergentes vers un
point de fuite sur l'image fournie par la caméra 2. Ces deux bordures 20 sont
reliées à leur base par une bande appelée seuil de piste 22. La piste
d'atterrissage 18 présente un axe longitudinal 24 appelé axe de piste. En
fonction
de la position des bordures de piste 20 et du seuil 22, on définit un point de
référence 26 qui est le point d'impact théorique de l'avion sur la piste
d'atterrissage 18. Ce point de référence 26 se trouve sur l'axe de piste 24.
Le
centre de l'image 28 correspond au point visé par la caméra 2. Comme indiqué
par le repère 30 sur la figure 3, on définit un repère (0, x, y, z). Les axes
y et z
sont dans le plan de l'image tandis que l'axe des x est perpendiculaire à ce
plan
image. Le dispositif d'aide à l'atterrissage détermine la déviation
horizontale Ay
ainsi que la déviation verticale Az entre le point de référence 26 et le
centre de
l'image 28. Dans un atterrissage "semi automatique" le pilote de l'avion
visualise
sur un afficheur 6 la déviation verticale Az et la déviation horizontale Ay et
agit sur
le pilotage de l'avion en fonction de ces informations fournies par le
dispositif
d'aide au pilotage. En mode d'atterrissage automatique, ces informations sont
fournies au dispositif de pilotage automatique 8 qui agit alors sur le
pilotage de
l'avion pour essayer par exemple de maintenir ces écarts horizontal et
vertical le
plus près de la valeur 0.
Pour la détection de la zone aéroportuaire (étape P1), la caméra 2
réalise tout d'abord une prise de vue et envoie l'image correspondante au
format
compressé MJPEG au calculateur 4. L'environnement de la zone aéroportuaire
CA 02418243 2003-01-22
peut être très varié. L'aéroport peut être entouré de bâtiments ou se trouver
au
milieu de champs, dans un désert, en bord de mer, etc.... Toutefois, on
remarque
que les zones aéroportuaires présentent des éléments caractéristiques très
structurés formés par les pistes, les taxiways, situés en général sur un fond
5 uniforme (herbeux ou désertique). Vue depuis un avion, une zone
aéroportuaire
comporte donc des segments parallèles (légèrement convergents) qui pourront
servir de base pour détecter dans l'image prise par la caméra 2 une zone
d'intérêt.
Toutefois, il conviendra de distinguer les segments parallèles correspondant à
une
zone aéroportuaire des segments parallèles qui pourraient être fournis par
10 d'autres éléments apparaissant sur une image : route, immeuble, etc....
Une première étape dans la détection d'une zone aéroportuaire sur une
image fournie par la caméra 2 est d'extraire de cette image les segments 2D
caractéristiques de cette image. Ces derniers peuvent être extraits après
application sur l'image par exemple d'un filtre de Sobel. Une image obtenue
après
un tel filtrage est représentée à titre d'exemple sur la figure 4.
Les segments définis au cours de l'étape précédente sont alors classés
en fonction de leur orientation dans l'image. On découpe alors de façon
régulière
l'intervalle des directions possibles [-ic/2 ; 7t/2] en un nombre quelconque
de N
classes. On a alors N directions balayant un angle de 27r/N (figure 5). La
zone
hachurée référencée 32 sur la figure 5 illustre la classe de directions [-2t
/N ; 0].
Des règles sont alors choisies pour déterminer si deux segments
peuvent être jugés comme étant localement parallèles dans le plan image. Ces
règles sont par exemple les suivantes :
- les deux segments doivent appartenir à une même classe de
directions. Le paramètre N est à déterminer. On choisit par exemple N=20.
- Chaque segment doit posséder une longueur minimale 1 min (par
exemple 25 pixels).
- Les deux segments doivent se faire face avec un taux de
recouvrement minimum. Ce taux devra rester supérieur à un taux minimum T min
(par exemple 30%).
- Les deux segments doivent être proches l'un de l'autre. La distance
qui les sépare doit être inférieure à une distance seuil appelée par exemple
CA 02418243 2003-01-22
11
distance max (par exemple 40 pixels).
Le paramètre N et les valeurs seuil I min, T min et distance max doivent être
adaptés au cas d'espèce et seront déterminés empiriquement. Ces valeurs
dépendent de la caméra et de l'application (ici identification d'une piste
d'atterrissage).
Après extraction des paires de segments parallèles, on ferme
transitivement la relation qui unit deux paires de segments en les fusionnant
(figure 6). Ainsi, on fait des groupes de paires de segments parallèles,
chaque
paire de segments d'un groupe présentant au moins un segment commun à deux
paires de segments de ce groupe. Ainsi sur la figure 6 trois paires de
segments
34, 36 et 38 ont été regroupées dans un groupement 40 de paires parallèles. On
remarque que la paire de segments 34 a un segment en commun avec la paire de
segments 36, que la paire de segments 36 a un segment en commun avec la
paire 34 et son autre segment en commun avec la paire 38 et que la paire 38 a
un
segment en commun avec la paire 36.
Il est connu que lorsqu'on prend en photo deux lignes parallèles sans
que l'axe de prise de vue soit perpendiculaire au plan contenant ces deux
lignes
parallèles, l'image formée par ces deux lignes parallèles ne présente plus ce
parallélisme mais forme deux lignes convergentes vers un point appelé point de
fuite. Ainsi, pour déterminer si des segments parallèles d'un groupement 40 de
paires de segments 34, 36, 38 correspondent à des lignes parallèles de l'objet
photographié, on considère deux à deux tous les segments des groupements et
on détermine à chaque fois un point de fuite correspondant (figure 7). On
compare ensuite entre eux les points de fuite en calculant la distance
euclidienne
distance fuite qui les sépare. Si la mesure distance fuite est inférieure à un
seuil
prédéterminé appelé seuil fuite, alors on crée un groupement FUITE formé de
quatre segments. Ainsi par exemple, si comme illustré sur la figure 7, le
point de
fuite est très éloigné ou à l'infini, les segments correspondants ne pourront
être
retenus.
Sur la figure 8, qui correspond à la figure 4, on a uniquement retenu les
groupements de paires de segments parallèles tels le groupement 40 de la
figure 6. Sur toute l'image n'apparaissent que sept groupements de ce type qui
CA 02418243 2003-01-22
12
portent les références 42, 44, 46, 48, 50, 52 et 54.
De même que l'on a réalisé des groupements de paires de segments
parallèles, on réalise le regroupement de groupements de paires de segments
parallèles lorsque dans deux groupements distincts (tel le groupement 40 de la
figure 6) apparaissent deux segments d'un même groupement FUITE. Dans le cas
de figure illustré sur les figures 4 et 8, on réalise alors le regroupement
des
groupements 42, 44 et 46.
La figure 9 est un organigramme récapitulant les différentes étapes de
la phase P1 telle que décrite ci-dessus. Sur cette figure 9 on reconnaît une
image 56 obtenue par la caméra 2. Cette image est numérisée et envoyée vers le
calculateur 4. Une première étape 58 consiste à extraire des segments
caractéristiques en utilisant le filtre gradient de Sobel couplé à un
opérateur
d'amincissement et un opérateur d'interpolation polygonale. L'étape 60
suivante
consiste à détecter parmi tous les segments caractéristiques déterminés à
l'étape
58 ceux qui sont parallèles entre eux et à former alors des groupements de
paires
de segments parallèles. Tous les segments faisant partie d'un groupement de
paires de segments parallèles quelconque sont alors comparés deux à deux pour
déterminer, à l'étape 62, leur point de fuite. On regroupe alors les paires de
segments dont les points de fuite sont proches afin de réaliser des
groupements
FUITE. Enfin, la dernière étape 64 réalise le regroupement de groupements de
paires de segments parallèles détectés à l'étape 60. Deux groupements
distincts
seront regroupés si un groupement FUITE possède des segments dans l'un et
l'autre de ces groupements de paires de segments parallèles. Après le
déroulement de cet algorithme, on obtient une image 66 sur laquelle
apparaissent
uniquement les segments qui correspondent à des segments parallèles en trois
dimensions. Si les valeurs de seuil I min, T min et distance max ont été
astucieusement
choisies, il ne reste plus sur l'image 66 que des segments correspondants à
une
zone aéroportuaire. Plusieurs pistes sont éventuellement représentées sur
cette
image 66. Il conviendra par la suite de déterminer sur laquelle de ces pistes
l'avion doit atterrir. La sélection de la piste peut être faite
automatiquement en
fonction d'instructions rentrées au préalable dans le calculateur 4 ou le
choix peut
être réalisé par le pilote. Dans ce dernier cas, on peut imaginer d'afficher
l'image
CA 02418243 2003-01-22
13
66, superposée éventuellement à l'image 56, sur un afficheur 6 devant les yeux
du pilote.
Une fois la piste d'atterrissage sélectionnée, il convient de reconnaître
cette piste sur les images suivantes prises par la caméra 2. Ceci fait l'objet
de la
phase P2 du procédé décrit ici.
La figure 10 montre un schéma de principe de suivi visuel. Ce schéma
comporte un premier module d'initialisation 68 et quatre modules qui se
répètent
de façon itérative.
Le module d'initialisation 68 permet d'extraire de l'image courante le
motif visuel à suivre dans les images suivantes. Dans le cas présent, la
position
initiale de la piste d'atterrissage est donnée par la phase P1 de détection.
Le
résultat de ce module d'initialisation 68 consiste à fournir :
- un modèle initial de la cible, ici la piste d'atterrissage, avec une
représentation adaptée à la méthode de suivi (contours ou points), et
- une fenêtre dans laquelle l'objet à suivre, la piste d'atterrissage, a été
trouvé.
Le premier module de la boucle représenté sur la figure 10 est un
module de prédiction 70. Ce module, exécuté à chaque itération, doit générer
la
position prédite de la piste d'atterrissage dans l'image courante 1, en
fonction de la
position qu'il avait dans l'image précédente I,_,, de la fréquence
d'acquisition des
images et de traitement de ces images et surtout en fonction d'un modèle de la
dynamique apparente de la piste d'atterrissage dans la séquence. Ce modèle est
en général estimé par filtrage de Kalman. Dans le cas présent, les images sont
des images 2D et le mouvement apparent de la piste d'atterrissage sur l'image
est
provoqué par le mouvement de la caméra 2 par rapport à la piste d'atterrissage
fixe.
Le résultat de ce module de prédiction 70 est une position prédite de la
piste d'atterrissage sur l'image, sous la forme d'une fenêtre ou d'une sous-
image
dans laquelle les traitements suivants seront exécutés. La taille de la
fenêtre, ou
de la sous-image, est fonction de la précision de la prédiction. Cette
précision est
donnée par exemple par une méthode d'estimation à l'aide d'une matrice de
variance sur l'état du système pour le filtrage de Kalman.
CA 02418243 2003-01-22
14
Le module suivant est le module d'extraction des caractéristiques 72.
Ce module a pour but de fournir une représentation adaptée de la sous image
dans laquelle l'objet est recherché. Cette représentation doit être construite
de
manière rapide et être suffisamment discriminante pour que la recherche de la
piste d'atterrissage suivie soit rapide. La représentation sera par exemple
réalisée
à l'aide de points d'intérêt et/ou de contours et/ou de segments, etc....
Le troisième module représenté sur la boucle de la figure 10 est un
module d'appariement 74. Ce dernier va rechercher la piste d'atterrissage dans
la
région d'intérêt déterminée par le module de prédiction 70. Plusieurs méthodes
d'appariements existent : méthode exhaustive, de recherche arborescente, de
relaxation, de prédiction-vérification, etc...,. Dans tous les cas, il est
nécessaire
d'exhiber une mesure de similarité entre un sous ensemble de caractéristiques
extrait de l'image et le modèle de la cible. Le résultat de ce module consiste
en un
ensemble d'appariements (image, modèle) et une mesure de confiance dans ces
appariements.
Le dernier module de la boucle représenté sur la figure 10 est un
module de mise à jour 76 du modèle de la cible. Ce module permet de mettre à
jour la représentation de la piste d'atterrissage et de son modèle de
dynamique
(vitesse du mouvement apparent, etc...).
Au-dessus de cette boucle de suivi visuel, une boucle de contrôle doit
être mise en oeuvre afin de vérifier la cohérence du suivi et afin de
reprendre
d'éventuelles erreurs ou dérives. Cette fonction de contrôle a alors pour but
de
relancer le module d'initialisation en cas de perte de la piste dans la
séquence.
Cette fonction de contrôle assure également le passage de la phase P2 à la
phase P3.
Un tel suivi visuel peut être également mis en oeuvre pour d'autres
applications. Dans l'application au suivi d'une piste d'atterrissage en phase
finale
d'atterrissage, le module d'initialisation 70 est en partie réalisé au cours
de la
phase P1 qui fournit un ensemble de segments convergents. Le module
d'extraction des caractéristiques 72 est quant à lui exécuté sur la sous image
contenant ces segments pour donner un premier modèle de la piste (ensemble de
points, contours actifs, etc...). Le module de prédiction 70 peut être omis
dans le
CA 02418243 2003-01-22
cas présent. Il suffit de rechercher dans l'image suivante In+, la piste là où
elle se
trouvait dans l'image précédente I.
En fonction du temps nécessaire pour réaliser les différentes étapes de
la boucle représentée sur la figure 10, toutes les images de la séquence vidéo
ne
5 seront pas analysées. La piste sera recherchée seulement sur une image sur n
de
la séquence, par exemple, une image sur trois. Plus n sera grand, plus il sera
nécessaire d'introduire un module de prédiction 70.
En ce qui concerne les modules d'extraction des caractéristiques 72,
d'appariements 74 et de mise à jour du modèle 76, plusieurs techniques peuvent
10 être utilisées. Ces techniques sont connues de l'homme du métier et ne
seront
pas détaillées ici. On cite uniquement à titre d'exemple la technique de suivi
(tracking) de contours polygonaux par corrélation 'ID le long des contours et
la
technique de suivi de contour à l'aide de contours actifs (ou snakes) qui
utilise la
silhouette de l'objet suivi. D'autres méthodes peuvent également être
envisagées
15 dans cette phase de suivi.
La dernière phase P3 est très proche de ce qui existe déjà dans le
contexte routier, dans la mesure où l'avion roule sur la piste d'atterrissage
ou n'est
qu'à quelques mètres au-dessus de celle-ci. Les lignes blanches latérales et
centrales de la piste d'atterrissage apparaissent clairement sur l'image, les
imperfections du tarmac sont visibles et la texture des différents éléments
composant la scène (herbe, béton, terre, etc...) devient discriminante.
Dans le contexte routier, des séquences d'images enregistrées à partir
de caméras montées dans un véhicule en mouvement sont évaluées. Ces
séquences d'images fournissent des informations sur l'environnement du
véhicule
qui sont analysées dans le but d'apporter une aide au conducteur se trouvant
dans des situations réelles de trafic. Dans le contexte routier, l'objectif de
l'analyse
des images est de trouver la position du véhicule par rapport à la route. Il
en va de
même dans le cas de l'avion sur la piste d'atterrissage : il faut trouver sa
position
par rapport à cette piste.
Deux approches sont couramment utilisées. Une première approche
est basée sur la classification des pixels de l'image pour détecter des
régions
(herbe, béton, ...) et une autre approche est basée sur un modèle géométrique
de
CA 02418243 2003-01-22
16
la route, à partir des discontinuités extraites de l'image.
A titre d'exemple, un algorithme basé sur l'analyse des régions est
décrit ci-après pour la réalisation de la phase P3. Il s'agit d'un algorithme
de
segmentation et de caractérisation des régions de l'image 56'. Il est composé
de
quatre grandes étapes décrites ci-après.
La première étape 78 doit fournir rapidement une description
synthétique de la scène. Elle est réalisée sur une image 56' de faible
résolution.
Une première partition de l'image est effectuée en divisant celle-ci en
cellules
carrées de taille 2x2 pixels. Plusieurs classes sont définies en analysant les
histogrammes des attributs chromatiques. A chaque cellule est associée une
classe, issue d'une division de l'espace des couleurs. La fusion des cellules
élémentaires est effectuée en utilisant un graphe d'adjacence (de connexité
4).
Finalement, les régions de taille inférieure à un seuil donné sont fusionnées
avec
la région adjacente ayant la valeur du critère d'homogénéité la plus proche.
Chaque région résultante de la première étape (segmentation couleur)
est ensuite caractérisée par sa couleur et sa texture (étape 80). Alors que
pour
caractériser une région selon ses attributs colorimétriques la moyenne
statistique
des pixels qui la composent est utilisée, la mesure des attributs de texture
est
basée sur les histogrammes de somme et de différence. Les attributs générés
par
ces histogrammes sont la moyenne, la variance, l'énergie, l'entropie, le
contraste
et enfin l'homogénéité.
Deux techniques sont utilisées pour identifier (étape 82) les éléments
(régions) présents dans l'image : la technique bayesienne qui réalise la
classification en utilisant l'ensemble des attributs sans effectuer une
partition de
l'espace des caractéristiques et la technique hiérarchique basée sur un
algorithme
qui fait une partition efficace de l'espace des caractéristiques (capacité
intrinsèque
de sélection des attributs). Pour cette identification, on utilise une base
d'apprentissage 84 qui est construite en fonction de l'application du présent
algorithme.
Chaque région de l'image est, dans la dernière étape 86, assortie de sa
nature (étiquetage). Bien que la segmentation couleur fournisse des grandes
régions, ces dernières ne correspondent pas obligatoirement aux grandes
CA 02418243 2003-01-22
17
composantes de la scène. Une étape de fusion est donc nécessaire pour grouper
toutes les régions connexes de la scène.
A l'issue de cet algorithme, on obtient un modèle nominatif 88 des
différentes régions apparaissant dans l'image 56' et identifié au cours de
cette
phase. Ceci permet alors de déterminer le positionnement de l'avion par
rapport à
la piste d'atterrissage.
Le dispositif et le procédé décrits ci-dessus permettent d'obtenir un
système de guidage en phase finale d'atterrissage d'un avion autonome par
rapport à tout type d'installation extérieur à l'avion. De manière originale,
ce
système mesure des écarts par rapport à une trajectoire d'atterrissage idéale
à
partir du traitement perceptuel d'images transmises par un système d'une (ou
plusieurs) caméra(s) embarquée(s) à bord de l'avion. Des algorithmes de
perception pour les trois phases de l'algorithme représenté sur la figure 1
ont été
décrits ci-dessus.
Concernant la détection de la zone aéroportuaire, phase P1, un
algorithme nouveau et original basé sur l'extraction de groupements
perceptuels a
été présenté. Cet algorithme a également été testé et donne de bons résultats.
Cet algorithme permet de déterminer sur une image 2D d'un objet 3D des
segments qui correspondent à des lignes parallèles dans l'espace.
Les phases de suivi de piste (phases P2 et P3) ont également été
testées. En ce qui concerne la phase P2, deux algorithmes testés et décrits à
titre
d'exemple plus haut ont donné de bons résultats. Pour la dernière phase du
procédé selon l'invention, le test a été réalisé avec une base d'apprentissage
prévue pour une application différente. Malgré tout, le résultat obtenu est
encourageant. Il faut remarquer ici que l'algorithme utilisé et décrit est
issu du
domaine de la robotique. D'autres algorithmes issus du domaine du suivi de
route
par un véhicule, qui ont déjà fait leur preuve, peuvent également être
utilisés à
l'étape P3.
La présente invention ne se limite pas aux diverses formes d'exécution
décrites ci-dessus à titre d'exemples non limitatifs mais s'étend également à
toutes les variantes de réalisation à la portée de l'homme du métier, dans le
cadre
des revendications ci-après.
