Language selection

Search

Patent 2602633 Summary

Third-party information liability

Some of the information on this Web page has been provided by external sources. The Government of Canada is not responsible for the accuracy, reliability or currency of the information supplied by external sources. Users wishing to rely upon this information should consult directly with the source of the information. Content provided by external sources is not subject to official languages, privacy and accessibility requirements.

Claims and Abstract availability

Any discrepancies in the text and image of the Claims and Abstract are due to differing posting times. Text of the Claims and Abstract are posted:

  • At the time the application is open to public inspection;
  • At the time of issue of the patent (grant).
(12) Patent: (11) CA 2602633
(54) English Title: DISPOSITIF POUR LA COMMUNICATION PAR DES PERSONNES HANDICAPEES DE LA PAROLE ET/OU DE L'OUIE
(54) French Title: DEVICE FOR COMMUNICATION FOR PERSONS WITH SPEECH AND/OR HEARING HANDICAP
Status: Expired and beyond the Period of Reversal
Bibliographic Data
(51) International Patent Classification (IPC):
  • G09B 21/00 (2006.01)
  • G09B 05/06 (2006.01)
(72) Inventors :
  • FRANCIOLI, FABRICE (France)
(73) Owners :
  • EROCCA
(71) Applicants :
  • EROCCA (France)
(74) Agent: LAVERY, DE BILLY, LLP
(74) Associate agent:
(45) Issued: 2014-08-19
(86) PCT Filing Date: 2006-03-31
(87) Open to Public Inspection: 2006-10-05
Examination requested: 2011-02-24
Availability of licence: N/A
Dedicated to the Public: N/A
(25) Language of filing: French

Patent Cooperation Treaty (PCT): Yes
(86) PCT Filing Number: PCT/FR2006/000707
(87) International Publication Number: FR2006000707
(85) National Entry: 2007-09-27

(30) Application Priority Data:
Application No. Country/Territory Date
0503386 (France) 2005-03-31

Abstracts

English Abstract

The invention concerns a portable device enabling a text to be constructed by an input interface (1), then to be sent on a voice synthesis engine (3). The synthesized voice is rendered audible through a loudspeaker (5b). The synthesized voice can also be sent over the telephone network addressed to another telephone. The device thus enables a person with a speech handicap to communicate with a party who is not used to communication by sign language.


French Abstract


Le dispositif de l'invention est un dispositif portable permettant de
construire un texte par une interface d'entrée (1), puis de l'envoyer sur un
moteur de synthèse vocale (3). La voix synthétisée est rendue audible grâce à
un haut-parleur (5b). La voix synthétisée peut également être envoyée sur le
réseau téléphonique à destination d'un autre téléphone. Le dispositif permet
ainsi à un utilisateur handicapé de la parole de communiquer avec un
interlocuteur qui n'est pas habitué à la communication par le langage des
signes.

Claims

Note: Claims are shown in the official language in which they were submitted.


15
REVENDICATIONS
1. Dispositif portable pour la communication par un utilisateur handicapé de
la
parole, comprenant :
une interface d'entrée de texte (1), apte à générer un flux de données de
texte émis (2) image d'un message entré par l'utilisateur sur l'interface
d'entrée de
texte (1) ;
un dispositif de synthèse vocale (3), recevant le flux de données de texte
émis (2) provénant de l'interface d'entrée de texte (1), et le transformant en
un flux
de signaux audio émis (4); et
une interface de sortie audio (5), recevant le flux de signaux audio émis
(4), et le transformant en un flux d'ondes acoustiques émis (6) image du flux
de
données de texte émis (2) et audible dans l'environnement immédiat du
dispositif
portable;
ledit dispositif étant implémenté sur une base matérielle de téléphone
cellulaire (30) intégrant des fonctions d'assistant personnel numérique (PDA)
(40) et
dotée d'un système d'exploitation ouvert, avec un écran tactile (43), une
architecture
informatique (41, 44) et un corps de traitement numérique du signal (33, 39),
et dans
lequel l'interface d'entrée de texte (1) est reliée au dispositif de synthèse
vocale (3)
par une interface de programmation (7) (API) ouverte, comprenant un sous-
programme d'interface paramétrable et programmable pour l'adaptation à
différents
modules d'interface d'entrée.
2. Le dispositif selon la revendication 1, dans lequel le dispositif de
synthèse
vocale (3) comprend un logiciel de synthèse vocale embarqué.
3. Le dispositif selon l'une des revendications 1 ou 2, dans lequel
l'interface
d'entrée de texte (1) comprend plusieurs modules d'entrée de texte, qui sont
chacun
aptes à générer un flux de données de texte émis (2) à partir d'une
sollicitation de
nature distincte de l'utilisateur, et qui transmettent le flux de données de
texte émis
(2) au dispositif de synthèse vocale (3).
4. Le dispositif selon la revendications 3, dans lequel l'interface d'entrée
de
texte (1) comprend au moins deux des modules d'entrée sélectionnés parmi :
- un premier module d'entrée (la) à clavier alphanumérique,

16
- un second module d'entrée (1b) à pictogrammes générant chacun, sur
sollicitation manuelle de l'utilisateur, un flux de données de texte image
d'un mot ou
d'un groupe de mots ou d'une phrase préenregistrés,
- un troisième module d'entrée (1c) à touches de phonèmes, d'espace et de
ponctuation,
- un quatrième module d'entrée (1 d) à écran de reconnaissance d'écriture
manuscrite,
- un cinquième module d'entrée (le) à gant(s) sensoriel(s), muni(s) de
capteurs et d'un décodeur de mouvements associant un mot ou un phonème à
chaque position de la ou des mains de l'utilisateur portant le ou les gants
sensoriels,
et
- un sixième module d'entrée (1f) à transducteur électroacoustique d'entrée et
dispositif de reconnaissance automatique de la parole, pour transformer des
signaux
acoustiques de parole émis par l'utilisateur en un flux de données de texte
(2).
5. Le dispositif selon la revendication 4, dans lequel le troisième module
d'entrée utilise les phonèmes de la méthode BOREL-MAISONNY ou du Langage
Parlé Complété (PLC).
6. Le dispositif selon l'une quelconque des revendications 1 à 5, comprenant
en outre un transmetteur radiofréquence (8), qui reçoit le flux de signaux
audio émis
(4) provenant du dispositif de synthèse vocale (3) et qui le transmet sous
forme
d'ondes radio (9).
7. Le dispositif selon la revendication 6, comprenant en outre :
un récepteur radiofréquence (8), qui reçoit des ondes radio véhiculant des
signaux audio de réception et qui en extrait un flux de signaux audio de
réception
(10); et
un transducteur électroacoustique de réception (5a, 5b), qui reçoit le flux
de signaux audio de réception (10) et qui le transforme en un flux d'ondes
acoustiques de réception (6) audible dans l'environnement immédiat du
dispositif
portable.
8. Le dispositif selon, la revendication 7, comprenant en outre un module de
reconnaissance automatique de la parole (16), qui reçoit le flux de signaux
audio de
réception (10) et qui le transforme en un flux de données de texte (17) envoyé
à des

17
moyens d'affichage (18) pour afficher les données de texte images du flux de
signaux audio de réception (10).
9. Le dispositif selon l'une quelconque des revendications 6 à 8, comprenant
en outre un dispositif aiguilleur audio (11), qui reçoit le flux de signaux
audio (4)
provenant du dispositif de synthèse vocale (3) et qui le transmet
sélectivement :
- à un amplificateur local (5a) de l'interface de sortie audio (5),
- et/ou au transmetteur radiofréquence (8),
- et/ou à un module voix sur IP (VolP) (12) qui transpose le flux de signaux
audio (4) pour être exploitable par un réseau IP et par un interlocuteur
disposant lui
aussi d'un système en voix sur IP (VolP), et qui transmet le flux transposé au
transmetteur radiofréquence.
10. Le dispositif selon la revendication 9, comprenant en outre un
transducteur électroacoustique d'entrée (14), apte à recevoir la voix d'un
interlocuteur local et à la transformer en un flux de signaux audio d'entrée
(15), et
dans lequel l'aiguilleur audio (11) reçoit d'une part le flux de signaux audio
d'entrée
(15) provenant du transducteur électroacoustique d'entrée (14), et/ou d'autre
part le
flux de signaux audio de réception (10) provenant du récepteur radiofréquence
(8), et
les transmet en séquence au module de reconnaissance automatique de la parole
(16) pour affichage du message d'entrée (15) ou du message de réception (10).
11. Le dispositif selon l'une quelconque des revendications 6 à 10,
comprenant des moyens pour générer et transmettre automatiquement un message
d'alarme lors d'un accident ou d'une circonstance anormale.
12. Le dispositif selon l'une quelconque des revendications 1 à 11,
comprenant un algorithme pour écouter les sons générés par le dispositif
portable,
pour analyser l'amplitude des hautes fréquences des sons reçus, pour comparer
cette amplitude à un seuil donné, et pour modifier en conséquence les
traitements
appliqués sur le flux audio pour corriger l'influence d'une protection
mécanique du
boîtier de dispositif sur les sons émis.

Description

Note: Descriptions are shown in the official language in which they were submitted.


CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
1
DISPOSITIF POUR LA COMMUNICATION
PAR DES PERSONNES HANDICAPEES DE LA PAROLE
ET/OU DE L'OUIE
DOMAINE TECHNIQUE DE L'INVENTION
La présente invention concerne les dispositifs pour permettre la
communication entre des personnes, et plus spécialement pour permettre la
communication entre une personne ayant un handicap de la parole et/ou de
l'ouïe
avec une autre personne ayant toutes ses capacités de parole ou ayant
également
un handicap de communication.
Selon l'enquête Handicaps - Incapacités - Dépendance (HID) de
l'INSEE du 4/10/02 il y a en France 4,2 millions de personnes mal entendantes,
dont 800 000 personnes sourdes ainsi que 0,6 million de personnes ne pouvant
pas parler mais possédant le langage. En tenant compte du fait que les sourds
ne
parlent pas, cela fait environ 5 millions de citoyens qui sont privés de la
parole soit
environ 8% de la population française. Il faudrait aussi compter les personnes
souffrant de trotibles de l'expression comme la dyslexie, la dysorthographie,
la
dysphasie ou l'aphasie.
On comprend que les handicaps de parole ou d'ouïe perturbent
sensiblement la communication entre les personnes, qu'elles soient en vis-à-
vis ou
qu'elles soient distantes.
Les personnes handicapées peuvent habituellement communiquer entre
elles en vis-à-vis par des méthodes gestuelles qu'elles ont nécessairement
apprises. Mais la communication avec des personnes bien portantes nécessite
que
ces dernières apprennent également les méthodes gestuelles, ce qui est plus
rare
et ce qui limite donc les possibilités.
Pour les communications téléphoniques, les méthodes gestuelles ne
sont plus applicables, et jusqu'à présent on a eu recours à la transmission de
texte,
ce qui nécessite la saisie préalable du texte avant sa transmission. La
communication est alors relativement lente.
Il y a donc un premier besoin pour développer des dispositifs permettant
de faciliter et d'accélérer la communication par des personnes handicapées de
la
parole et/ou de l'ouïe, soit avec des personnes bien portantes en vis-à-vis et
qui ne
connaissent pas les méthodes gestuelles, soit avec des personnes distantes qui
peuvent être bien portantes ou également handicapées de la parole et/ou de
l'ouïe.
Par ailleurs, l'invention concerne les dispositifs permettant de simplifier
la communication ou de déclencher des signaux d'alerte pour des personnes

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
2
diminuées ayant une moindre mobilité ou une moindre autonomie (enfants,
personnes âgées, personnes handicapées, malades), ou venant d'avoir un
accident,
vers une autre entité ayant toutes ses capacités de parole.
Les personnes diminuées peuvent habituellement communiquer
facilement avec des personnes bien portantes proches d'elles. Lorsqu'elles ont
un
accident, déclencher un signal d'appel d'aide est généralement impossible,
soit en
raison de l'absence de mobilité induite par l'accident, soit en raison d'un
manque
de conscience. L'absence de déclenchement d'alarme dans les premiers instants
après l'accident se traduit généralement par une aggravation drastique de la
situation, pouvant entraîner des complications jusqu'à la mort de la personne.
II y a donc un second besoin pour développer des dispositifs permettant
de faciliter et développer l'autonomie des personnes diminuées, grâce à une
amélioration de l'ergônomie et éventuellement grâce au déclenchement
automatique ou non d'une alarme dès qu'un problème vient d'arriver. 15 Le
document US 2004/0073432 Al décrit un dispositif portable pour la' ,
communication, par un utilisateur handicapé de la parole, comprenant
une intérface d'entrée de texte à écran tactile, apte à générer un. flux de
données'
de texte émis'image d'un message entré par l'utilisateur sur l'interface
d'entrée de
texte,
- un dispositif de synthèse vocale, recevant le flux de données de texte émis
provenant de l'interface d'entrée de texte, et le transformant en un flux de
signaux
audio émis,
- une interface de sortie audio à haut parieur, recevant le flux de signaux
audio
émis, et le transformant en un flux d'ondes acoustiques émis image du flux de
données de texte émis et audible dans l'environnement immédiat du dispositif
portable.
Le dispositif décrit dans ce document est une télécommande d'accès à
l'Internet munie de moyens d'aide à la communication. L'expression "webpad"
utilisée indique qu'il s'agit d'un ordinateur personnel en forme de tablette
(tablette
PC) ayant sensiblement un format de page A4 et un poids de 1 à 2 kilogrammes.
Ce type de tablette PC ("webpad") est répandu notamment dans les hôtels aux
Etats-Unis pour accéder à divers services (Internet, achats, renseignements)
par le
téléviseur. Pour une communication à distance, la tablette PC échange les
messages par liaison locale sans fil avec un téléphone extérieur ou avec un
dispositif de connexion à l'Internet. Plusieurs appareils sont alors
nécessaires, et
l'ensemble décrit n'est pas portable.

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
3
Un tel dispositif ("webpad") est trop lourd et encombrant pour être en
permanence disponible, notamment lorsque l'utilisateur est une personne
handicapée ou diminuée qui se déplace, ou qui est en station debout.
L'utilisation
des deux mains est nécessaire, et il faut disposer d'un plan d'appui.
On connaît par ailleurs des télécommandes Internet pour interagir avec
un poste de télévision. Un tel système est plus léger qu'une tablette PC, mais
ses
fonctionnalités nécessitent la présence du poste de télévision dans
l'environnement
de l'utilisateur. Il en résulte que le système est impropre à l'utilisation
quotidienne
permanente, par exemple en déplacement.
EXPOSE DE L'INVENTION
Pour des raisons de commodité, il y a donc un besoin de dispositifs de
communication portables et peu encombrants, afin d'être en permanence
disponibles sur la personne handicapée ou diminuée pour la communication
locale
et à distance, dans les circonstances principales de la vie courante.
Une des difficultés, dans le développement d'un dispositif portable pour
la communication par une personnediminuée ou par.un utilisateur handicapé de
1a 7
parole, est que les -handicaps ou l'agilité manuelle diffèrent assez
sensiblemènt
d'une personné à l'autre. Il y a donc un besoin pour adapter le dispositif à
chaque
handicap dans la famille des handicaps de la parole ou des gestes.
Pour atteindre ces buts ainsi que d'autres, l'invention propose un
dispositif portable pour la communication par un utilisateur handicapé de la
parole,
comprenant :
- une interface d'entrée de texte, apte à générer un flux de données de texte
émis
image d'un message entré par l'utilisateur sur l'interface d'entrée de texte,
- un dispositif de synthèse vocale, recevant le flux de données de texte émis
provenant de l'interface d'entrée de texte, et le transformant en un flux de
signaux
audio émis, ..
- une interface de sortie audio, recevant le flux de signaux audio émis, et le
transformant en un flux d'ondes acoustiques émis image du flux de données de
texte émis et audible dans l'environnement immédiat du dispositif portable,
le dispositif étant implémenté sur une base matérielle de téléphone
cellulaire intégrant des fonctions d'assistant personnel numérique (PDA) et
dotée
d'un système d'exploitation ouvert, avec un écran tactile, une architecture
informatique et un corps de traitement numérique du signal. De la sorte, la
personne handicapée dispose d'un appareil de faible encombrement, aisément
portable, lui permettant notamment de générer de façon automatique un texte
vocal

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
4
immédiatement perceptible par une personne en vis-à-vis, à partir d'actions
qui lui
sont accessibles sur l'interface d'entrée.
L'expression "base matérielle de téléphone cellulaire intégrant des
fonctions d'assistant personnel numérique (PDA)", encore appelée smartphone,
qui
peut aussi être définie comme un assistant personnel numérique (PDA) doté des
moyens et des fonctions d'un téléphone cellulaire (encore appelé PDA
communicant), désigne un dispositif électronique portable, intégré dans un
boîtier
tenant dans la main de l'utilisateur, comportant une architecture informatique
(processeurs, mémoires, entrées-sorties, logiciels), les circuits
électroniques d'un
téléphone cellulaire, avec un écran tactile et un corps de traitement
numérique du
signal. Cette base matérielle résout totalement l'impératif de mobilité du
dispositif
sans en compromettre l'ergonomie et la facilité d'utilisation.
Par le choix d'un système d'exploitation ouvert, il est possible d'utiliser le
corps de traitement numérique du signal déjà présent dans la base matérielle
de
téléphone cellulaire pour remplir notamment les fonctions d'interface d'entrée

texte, la fonction de synthèse vocale, la fonction de reconnaissance de la
parole,;
des fonctions de visualisation spectrale d'un signal audio, ef il 'est
possible de gérer
l'orientation des flux de données vers les interfaces âppropriées telles que
l'interface de sortie audio.
Selon l'invention, le dispositif de synthèse vocale peut avantageusement
comprendre un logiciel de synthèse vocale embarqué. On peut utiliser par
exemple
une synthèse vocale embarquée d'un type dédié au marché de l'automobile ou des
systèmes de positionnement global (Loquendo Automotive Solution de la société
Loquendo, ou Acapela Onboard de la société Acapela Group). De la sorte, le
coût
de développement et de production d'un tel dispositif de communication est
particulièrement réduit, et le volume est également réduit.
Pour faciliter le développement des adaptations aux différents
handicaps, l'invention propose, dans un mode de réalisation préféré, que
l'interface
d'entrée de texte soit reliée au dispositif de synthèse vocale par un module
de
traitement automatique constituant une interface de programmation (API)
ouverte,
comprenant un sous-programme d'interface paramétrable et programmable pour
l'adaptation à différents modules d'interface d'entrée. De la sorte, un
utilisateur
peut avoir accès au sous-programme d'interface, par exemple pour adapter un
nouveau module d'interface d'entrée compatible avec un handicap particulier,
ou
pour supprimer un module d'interface d'entrée inutile.
En pratique, l'interface d'entrée de texte peut avantageusement
comprendre plusieurs modules d'entrée de texte, qui sont chacun aptes à
générer

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
un flux de données de texte émis à partir d'une sollicitation de nature
distincte de
l'utilisateur, et qui transmettent le flux de données de texte émis au
dispositif de
synthèse vocale.
Dans la plupart des cas, de bons résultats peuvent être obtenus en
5 prévoyant que l'interface d'entrée de texte comprend au moins deux des
modules
d'entrée, de préférence tous les modules d'entrée de la famille comprenant :
- un premier module d'entrée à clavier alphanumérique,
- un second module d'entrée à pictogrammes générant chacun, sur sollicitation
manuelle de l'utilisateur, un flux de données de texte image d'un mot ou d'un
groupe de mots ou d'une phrase préenregistrés,
- un troisième module d'entrée à touches de phonèmes, d'espace et de
ponctuation,
- un quatrième module d'entrée à écran de reconnaissance d'écriture
manuscrite,
un cinquième module d'entrée à gant(s) sensoriel(s), muni(s).de capteurs et
d'un
décodeur de mouvements associant un mot ou.un phonème à chaque position de
la~ ou des mains de l'utilisateur,portant le ou les gants sensor.iels, ..
- un sixième module d'entrée à transducteur électroacoustique d'entrée et
dispositif
de reconnaissance automatique de la parole, pour transformer des signaux
acoustiques de parole émis par l'utilisateur en un flux de données de texte.
De la sorte, une personne handicapée ou diminuée peut utilement
choisir de communiquer à l'aide de l'un ou l'autre des modules d'entrée,
qu'elle
choisira en fonction de l'étape de communication considérée, c'est-à-dire en
fonction du message à transmettre, ou en fonction des circonstances (handicap,
accident ...).
II peut être avantageux de donner à l'utilisateur une visualisation de la
progression de la synthèse vocale en cours de fonctionnement. Pour cela, la
phrase ou la série de mots saisie est affichée sur l'écran tactile, et on
modifie en
temps réel l'affichage (par un changement de couleur, d'écriture, de luminance
ou
autre) du mot en cours de synthèse vocale.
Le troisième module d'entrée peut avantageusement utiliser les
phonèmes de la méthode BOREL-MAISONNY ou du Langage Parlé Complété
(PLC). De la sorte, la personne handicapée peut mettre à profit ses
connaissances
de ces méthodes particulières qui sont très largement employées.
Selon un mode de réalisation perfectionné, le dispositif selon l'invention
utilise en outre le transmetteur radiofréquence de la base matérielle, qui
reçoit le
flux de signaux audio émis provenant du dispositif de synthèse vocale et qui
le

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
6
transmet sous forme d'ondes radio. De la sorte, la personne handicapée peut
communiquer avec une personne distante.
Le dispositif ainsi déterminé permet ainsi d'envoyer des messages à une
personne distante, qui les recevra avec un dispositif récepteur standard. Par
exemple, le transmetteur radiofréquence peut être de type téléphone portable,
pour
transmission et réception selon la norme GSM.
Simultanément, le dispositif peut avantageusement utiliser le récepteur
radiofréquence, qui reçoit des ondes radio véhiculant des signaux audio de
réception et qui en extrait un flux de signaux audio de réception. Un
transducteur
électroacoustique de réception est alors utilisé pour recevoir le flux de
signaux
audio de réception et pour le transformer en un flux d'ondes acoustiques de
réception audibles dans l'environnement immédiat du dispositif portable. Un
tel
dispositif est alors approprié pour être utilisé par une personne handicapée
de la
parole, mais non handicapé'e de l'ouïe.
Dans le cas d'une personne qui est également handicapée de l'ouïe, on
prévoira que, le dispositif comprend en outre un module, de : reconnaissa'nçé'
automatique de la parole, qui reçoit le flux de sigrraux audiode réception et
qui le
transforme en un flux de données de texte envoyé à des moyens d'affichage pour
afficher les données de texte images du flux de signaux audio de réception.
Dans ce cas également le dispositif pourra comprendre un module de
reconnaissance automatique de la parole, qui reçoit le flux de signaux audio
de
réception et qui le transforme en un flux de données permettant d'animer le
visage
d'un avatar afin de permettre la lecture labiale.
Dans le cas d'un dispositif utilisant le transmetteur radiofréquence pour
émettre en direction d'une personne distante, on peut avantageusement prévoir
un
dispositif aiguilleur audio, qui reçoit le flux de signaux audio provenant du
dispositif
de synthèse vocale et qui le transmet sélectivement :
- à un amplificateur local de l'interface de sortie audio,
- et/ou au transmetteur radiofréquence,
- et/ou à un module voix sur IP (VoIP) qui transpose le flux de signaux audio
pour
être exploitable par un réseau IP et par un interlocuteur disposant lui aussi
d'un
système en voix sur IP (VoIP), et qui transmet le flux transposé au
transmetteur
radiofréquence.
Dans ce cas, on peut alors utiliser en outre le transducteur
électroacoustique d'entrée, apte à recevoir la voix d'un interlocuteur local
et à la
transformer en un flux de signaux audio d'entrée ; l'aiguilleur audio reçoit
d'une part
le flux de signaux audio d'entrée provenant du transducteur électroacoustique

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
7
d'entrée, et/ou d'autre part le flux de signaux audio de réception provenant
du récepteur radiofréquence, et les transmet en séquence au module de
reconnaissance automatique de la parole pour affichage du message d'entrée ou
du message de réception.
Dans le cas d'un dispositif utilisant le transmetteur radiofréquence, on
peut prévoir l'établissement automatique d'une communication à distance, par
exemple la génération et la transmission automatique d'un message d'alarme
lors
d'un accident dans les circonstances principales de la vie courante.
DESCRIPTION SOMMAIRE DES DESSINS
D'autres objets, caractéristiques et avantages de la présente invention
ressortiront de la description suivante de modes de réalisation particuliers,
faite en
relation avec les figures jointes, parmi lesquelles :
- la figure 1 illustre schématiquement un dispositif portable selon un mode de
réalisation simplifié,de l'inv,ention
- la figure 2 illustre une, structure schématique d'un dispositif portable
selon un
second mode Ide réalisation de l'invention ;
- la figure 3-est une vue schématique de détail du dispositif de la figure 2;.
- la figure 4 illustre schématiquement le détail d'un perfectionnement du
'dispositif
portable de la figure 2;
- les figures 5 et 6 illustrent deux réalisations de l'invention ; et
- la figure 7 illustre l'architecture d'une base matérielle de type smartphone
ou PDA
communicant.
DESCRIPTION DES MODES DE REALISATION PREFERES
Le dispositif selon l'invention est implémenté sur une base matérielle de
téléphone cellulaire intégrant des fonctions d'assistant personnel numérique
(PDA),
de type smartphone ou PDA communicant, et dotée d'un système d'exploitation
ouvert. Un tel systèm.e comprend en série un écran tactile et un corps
de_traitement
numérique du signal (par exemple DSP) aisément paramétrable pour constituer le
dispositif de synthèse vocale et tout ou partie de l'interface d'entrée de
texte 1.
La figure 7 illustre schématiquement l'architecture d'une telle base
matérielle de type smartphone ou PDA communicant.
On distingue, sur cette base matérielle, un sous-ensemble d'alimentation
20, une base matérielle de téléphone cellulaire 30, et une base matérielle
d'assistant personnel numérique 40.
La base matérielle de téléphone cellulaire 30 comprend un circuit
transmetteur-récepteur radiofréquence 8 et un sous-ensemble de gestion de
signal
32. On distingue, dans le sous-ensemble de gestion de signal 32, un premier

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
8
processeur 33 constituant, avec un logiciel adapté implémenté dans le
processeur
33 ou enregistré dans une mémoire 39, un corps de traitement numérique du
signal, par exemple de type DSP, capable de traiter à grande vitesse les
signaux
de télécommunication. Le premier processeur 33 communique avec le
transmetteur-récepteur radiofréquence 8 et gère des interfaces simples telles
qu'une interface audio 34, des diodes électroluminescentes 35, des
transducteurs
vibrants 36, un clavier téléphonique 37, une carte mémoire 38 de type SIM, une
mémoire 39 dédiée.
La base matérielle d'assistant personnel numérique 40 comprend un
second processeur 41 qui, avec un logiciel adapté, constitue une architecture
informatique de gestion et communique avec des interfaces plus complexes
telles
qu'un écran LCD 42, un écran tactile 43, une mémoire flash 44, une interface
audio
45, et éventuellement avec un circuit d'interface 46 vers un circuit de
communication 47 de type WiFi.
Ainsi, cette bàsé matérielle comporte deux processeurs distincts 33 et
41, le premier processeur 33 étant dédié à la géstion spécifique des signaux
de '
télécommun'icatiôn, ' le secônd processeur 41 ' étânt dédié à la gestion des
périphériques complexes. On atteint ainsi une rapidité suffisante pour le
traitement
des signaux de télécommunication, et une puissance de gestion suffisante pour
gérer l'écran tactile, la saisie.
De telles bases matérielles sont actuellement disponibles dans le
commerce, par exemple sous les appellations :
- SPV M600 vendu par Orange, fabriqué par High Tech Computer, Corp.,
- SPV M500 vendu par Orange, fabriqué par High Tech Computer, Corp.,
- eTEN M500 vendu par eTEN,
- AXIM X51 vendu par DELL, fabriqué par High Tech Computer, Corp.
-- Dans le mode de réalisation illustré sur la figure-1, le dispositif
portable
selon l'invention comprend une interface d'entrée de texte 1, que
l'utilisateur peut
solliciter pour générer un flux de données de texte émis 2 qui est l'image
d'un
message que l'utilisateur désire entrer sur l'interface d'entrée de texte 1.
Le flux de
données de texte émis 2 est envoyé à un dispositif de synthèse vocale 3, qui
le
transforme en un flux de signaux audio émis 4. Une interface de sortie audio 5
reçoit le flux de signaux audio émis 4, et le transforme en un flux d'ondes
acoustiques émis 6 qui est l'image du flux de données de texte émis 2 et qui
est
audible dans l'environnement immédiat du dispositif portable.
Ainsi, un utilisateur handicapé de la parole peut entrer un message dans
l'interface d'entrée de texte 1, par un moyen autre que la parole, par exemple
par

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
9
une action manuelle, et le dispositif transforme cette sollicitation en un
flux d'ondes
acoustiques émis 6, qu'un interlocuteur peut entendre directement dans
l'environnement immédiat du dispositif portable.
L'interface d'entrée de texte 1 peut par exemple être réalisée sous forme
de l'écran tactile 43 (figure 7). La fonction de synthèse vocale 3 peut être
réalisée
par le premier processeur 33 et un programme associé, par exemple un logiciel
de
synthèse vocale embarqué d'un type dédié au marché de l'automobile ou des
systèmes de positionnement global (GPS). L'interface de sortie audio 5 peut
comprendre un amplificateur local 5a qui alimente un haut-parleur 5b.
On considère maintenant le mode de réalisation plus complet illustré sur
la figure 2, également implémenté sur une base matérielle de type smartphone
ou
PDA communicant.
On retrouve l'interface d'entrée de texte 1, le dispositif de synthèse
vocale 3, l'amplificateur local 5a et le haut-parleur 5b.
.15 Dans ce mode de réalisation, l'interface d'entrée 1 est reliée au
dispositif
de synthèse vocale 3 par un module de traitement automatique comprenant 'ûri
sous-programme d'interface 'paramétrable et programmable pour l'adaptation 'à
différents modules de l'interface d'entrée 1. Ce module de traitement
automatique à
sous-programme d'interface paramétrable et programmable constitue une
interface
de programmation ouverte 7 (Open API), qui offre la possibilité de développer
un
nouveau moyen de saisie de texte sans avoir à modifier l'architecture du
dispositif
ni à faire appel au constructeur. Cela permet d'adapter aisément le dispositif
à des
handicaps divers ou à des problématiques diverses, qui obligent l'utilisateur
à
utiliser tel ou tel moyen pour entrer les messages dans l'interface d'entrée
de texte
1 ou pour déclencher des alarmes. Cela est également utile dès lors qu'un
handicap ou une somme de handicaps ne sont pas pris en compte par le
dispositif
standard.
Ainsi, dans la réalisation illustrée sur la figure 2, l'interface d'entrée de
texte 1 comprend plusieurs modules d'entrée de texte la, lb, 1 c, ld, 1 e et
1f, qui
sont chacun aptes à générer un flux de données de texte émis 2 à partir d'une
sollicitation de nature distincte de l'utilisateur, et qui transmettent le
flux de
données de texte émis 2 au dispositif de synthèse vocale 3 via l'interface de
programmation 7.
Le premier module d'entrée de texte la peut par exemple être un clavier
alphanumérique, permettant la saisie de texte, de chiffres et de ponctuation.
Le
clavier peut être virtuel, sous forme de l'écran tactile 43 (figure 7), ou
sous forme
d'un clavier projeté sur une surface grâce à un rayonnement visible ou
physique.

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
Le second module d'entrée 1 b peut comprendre une série de
pictogrammes générant chacun, sur sollicitation manuelle de l'utilisateur, un
flux de
données de texte image d'un mot ou d'un groupe de mots ou d'une phrase
préenregistrés. Un pictogramme peut par exemple être associé à une phrase au
5 format texte toute faite comme "Bonjour, je m'appelle Fanny, je suis muette
et parle
avec une synthèse vocale", ou comme "Bonjour, je m'appelle Fanny, j'habite au
48 rue Vendôme et j'ai besoin de ... ". Le pictogramme apporte une aisance
pour
les phrases répétitives. L'utilisateur peut créer, modifier ou supprimer à
volonté un
pictogramme et sa phrase associée. De plus, une phrase peut comporter des
10 éléments variables en fonction de paramètres extérieurs. Par exemple, s'il
est
heures, le pictogramme de présentation dira "Bonsoir ... ", au lieu de dire
"Bonjour ... ".
Le troisième module d'entrée lc peut comprendre des touches d.e
phonèmes, d'espace et de ponctuation. Ce module permet la création d'un texte
15 phonétique ou correctement orthographié à partir d'une sélection de
phonèmes; à
partir de l'écran tactile. Afin d'accélérer l'apprentissage de ces phonèmes,,-
.on pe'ût
avantageusement choisir des phonèmes existants cômme ceux de la méthode
BOREL-MAISONNY ou du Langage Parlé Complété (PLCY, ou toute autre
décomposition de phrase en phonèmes. Pour que le texte puisse être interprété
20 correctement avec l'intonation qui s'y prête, les phonèmes sont enrichis de
symboles permettant de créer l'espace entre les mots et la ponctuation. La
concaténation des phonèmes, des espaces et de la ponctuation, donne une phrase
exploitable par une synthèse vocale.
Le quatrième module d'entrée ld peut être un écran de reconnaissance
d'écriture manuscrite. Cette écriture manuscrite est transformée en une chaîne
de
caractères interprétables par un système informatique.
Le cinquième module d'entrée le peut comprendre un ou deux gants
sensoriels, munis de capteur et d'un décodeur de mouvements associant un mot
ou
un phonème à chaque position de la ou des mains de l'utilisateur portant le ou
les
gants sensoriels. Ce module permet de créer la phrase en utilisant la
gestuelle
propre à chaque langage des signes. Il permet, par exemple, à un utilisateur
habitué à utiliser la méthode BOREL-MAISONNY, de construire sa phrase en
utilisant son langage gestuel habituel. Un ou deux gants sensoriels, suivant
le
langage des signes utilisé, permet au décodeur de mouvements d'associer un
phonème ou un mot à chaque position de la ou des mains. Les gants sensoriels
peuvent être remplacés par une caméra vidéo et un traitement du signal
approprié,
ou par la rupture de faisceaux d'ondes positionnés dans les trois dimensions.
Le

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
11
texte est enrichi de nouveaux signes permettant de créer l'espace entre les
mots et
la ponctuation.
Le sixième module d'entrée 1f peut comprendre un transducteur
électroacoustique d'entrée et un dispositif de reconnaissance automatique de
la
parole, pour transformer des signaux acoustiques de parole émis par
l'utilisateur en
un flux de données de texte 2. Ce module peut permettre de corriger des
phrases
inaudibles dans un but de rééducation ou de conversation : il s'agit d'un
dispositif
pour une personne sourde qui souhaite s'exprimer oralement. L'utilisateur
parle
dans le dispositif. Le dispositif de reconnaissance automatique de la parole
retranscrit la phrase dictée sous forme de texte, qui est corrigée d'une
manière
automatique si possible ou manuellement avec l'aide de l'utilisateur qui a
dicté la
phrase. De plus, pour des pathologies comme le bégaiement, le dispositif
permet
d'inculquer un rythme à l'élocutiongrâce à un métronome intégré (visuel ou
auditif).
.L'interface. de programmation 7 permet à un développeur tiers de
transmettre son texte au système sans avoir à passer par une, des entrées
prédéfinies par I;,appj.içati,on...Çette couche d'abstraction -apporte '.de
la, flexibilité
dans le développement du = produit. En effet, les modules d'entrée de,
texte.;1 a-1 f
peuvent être développés avec une indépendance totale, par des équipes
différentes, avec des techniques différentes. De plus, le fait d'ouvrir cette
couche à
des développeurs indépendants permet de créer de nouveaux modules d'entrée de
texte adaptés à des handicaps particuliers sans entrer en conflit avec
l'application
initiale.
Dans le mode de réalisation illustré sur la figure 2, le dispositif de
synthèse vocale 3 peut comprendre deux modules successifs que l'on peut
distinguer, à savoir un module générateur de texte 3a et un module de synthèse
vocale proprement dit 3b. Le module générateur de texte 3a prépare le texte
pour
la synthèse vocale. Il peut par exemple injecter dans la synthèse vocale des
modifications de la voix standard, en jouant sur le timbre, l'attaque, la
vitesse
d'élocution et le volume sonore, afin de personnaliser la voix synthétisée. Le
module de synthèse vocale proprement dit 3b transforme le flux de données sous
forme de texte en un flux de signaux audio émis 4.
Dans le mode de réalisation de la figure 2, le dispositif utilise en outre le
transmetteur radiofréquence 8, qui reçoit le flux de signaux audio émis 4
provenant
du dispositif de synthèse vocale 3 et qui le transmet sous forme d'ondes radio
9.
De préférence, le transmetteur radiofréquence 8 incorpore un récepteur
radiofréquence, qui reçoit des ondes radio véhiculant des signaux audio de
réception et qui en extrait un flux de signaux audio de réception 10. Le flux
de

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
12
signaux audio de réception 10 est envoyé à un transducteur électroacoustique
de
réception, par exemple constitué par l'amplificateur 5a et le haut-parleur 5b,
qui le
transforme en un flux d'ondes acoustiques de réception 6 audible dans
l'environnement immédiat du dispositif portable.
Dans ce mode de réalisation, des applications peuvent être mises en
place sur le dispositif afin de suivre en temps réel son utilisation dans un
de ses
modes de fonctionnement. Typiquement le dispositif peut être utilisé en
télécommande de télévision. L'inutilisation prolongée de ce dispositif se
traduit par
des demandes d'actions vers l'utilisateur (effacements d'erreurs, réponses à
des
questions). Une réponse non satisfaisante à ces stimuli se traduit par le
déclenchement de systèmes d'alarme via le module radiofréquence 8.
Dans ce mode de réalisation, des applications peuvent être mises en
place sur le dispositif afin de. suivre en temps réel l'environnement sonore
de Ja
personne diminuée afin~de détecter automatiquement un son ou une série de
sons:
Typiquement le dispositif peut être utilisé pour analyser en temps réel le -
bruit
ambiant afin de détecter des appéls"à l'aide lancés vers le système.
Une,utilisation
est de permettre à des personnes diminuées qui sont tombéés ' et oncore
conscientes de lancer ùn appél. Dans une autre utilisation, le système analyse
en
temps réel le bruit ambiant. Lorsqu'un bruit anormal est détecté dans
l'environnement de la personne, cela se traduit par des demandes d'actions
vers
l'utilisateur (effacements d'erreurs, réponses à des questions). Une réponse
non
satisfaisante à ces stimuli se traduit par le déclenchement de systèmes
d'alarme
via le module radiofréquence 8.
Le dispositif de la figure 2 comprend en outre un dispositif aiguilleur
audio 11, qui reçoit le flux de signaux audio 4 provenant du dispositif de
synthèse
vocale 3 et qui le transmet sélectivement à l'amplificateur local 5a de
l'interface de
sortie audio, et/ou au transmetteur radiofréquence 8, et/ou à un module voix
sur IP
12 qui transpose le flux de signaux audio 4 pour être exploitable par un
réseau IP,
et qui transmet le flux transposé au transmetteur radiofréquence 8.
On considère maintenant la figure 3, qui illustre plus en détail le mode
de fonctionnement dü dispositif aiguilleur audio 11. Le dispositif aiguilleur
audio 11
distribue le flux audio 4 en provenance du dispositif de synthèse vocale 3
vers les
périphériques concernés. En fonction du contexte d'utilisation (noté 13) du
dispositif par l'utilisateur, le dispositif aiguilleur audio 11 prend la
décision
d'alimenter une ou plusieurs sorties vocales. Dans le cas d'une communication
téléphonique avec écoute amplifiée, le dispositif aiguilleur audio 11 redirige
le flux
audio 4 sur le transmetteur radiofréquence 8, et simultanément sur
l'amplificateur

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
13
local 5a. En mode de communication face à face, le dispositif aiguilleur audio
11
redirige le flux audio 4 uniquement vers l'amplificateur local 5a. En mode de
communication voix sur IP (VoIP) sans écoute amplifiée, le dispositif
aiguilleur
audio 11 redirige le flux audio 4 vers le module de voix sur IP 12 uniquement.
Le dispositif décrit ci-dessus en relation avec les figures 2 et 3 est
adapté pour qu'un utilisateur handicapé de la parole puisse émettre un message
audio soit en local, soit à distance, le message étant perçu par
l'interlocuteur
comme un message audio grâce à la synthèse vocale.
Le dispositif peut aussi être adapté pour qu'un utilisateur diminué, par
exemple âgé ou accidenté, puisse émettre un message audio en local ou à
distance, le message étant perçu par l'interlocuteur comme une demande d'aide
ou
un appel au secours généré automatiquement par le dispositif.
L'utilisateur handicapé de la parole ou diminué peut recevoir en retour
une 'réponse sous forme vocale;' 'directement comme dans les dispositifs
habituellement utilisés par les personnes bien portantes.
La, figure 4-illustre ' un perfectiônnement ' du dispositif 'précédent,
permettant une utilisàtiôn par 'un utilisateur handicapé de l'ouïe. Sur ce
schéma
partiel, on retrouve le transmetteur radiofréquence 8, le dispositif de voix
sur IP 12,
le dispositif aiguilleur audio 11. Un transducteur électroacoustique d'entrée
14 est
utilisé, apte à recevoir la voix d'un interlocuteur local et à la transformer
en un flux
de signaux audio d'entrée 15, transmis au dispositif aiguilleur audio 11.
Le dispositif aiguilleur audio 11 reçoit ainsi d'une part le flux de signaux
audio d'entrée 15 provenant du transducteur électroacoustique d'entrée 14, et
d'autre part le flux de signaux audio de réception 10 provenant du
transmetteur
radiofréquence 8 ou du dispositif de voix sur IP 12. Le dispositif aiguilleur
audio 11
les transmet en séquence à un module de reconnaissance automatique de la
parole 16, qui les transforme en un flux de données- de texte 17 transmis à un
afficheur 18 qui assure l'affichage du message d'entrée contenu dans le flux
de
signaux audio d'entrée 15 ou du message de réception contenu dans le flux de
signaux audio de réception 10.
L'invention décrite ci-dessus a été mise en oeuvre et réalisée sur un
iPAQ hp5540 (marque d'usage) sous Pocket PC 2003 (marque d'usage). Cet iPAQ
(marque d'usage) est doté d'une interface WiFi permettant de communiquer la
voix,
en VolP, sur un réseau Internet sans fil. La démonstration utilise un moteur
de
synthèse vocale SaySo (marque d'usage) fourni par la société ELAN. La saisie
de
phrases est réalisée avec un clavier virtuel reprenant les phonèmes de la
méthode
BOREL-MAISONNY. La touche espace ainsi que les touches de ponctuation

CA 02602633 2007-09-27
WO 2006/103358 PCT/FR2006/000707
14
principale ont été ajoutées pour obtenir une voix synthétique, compréhensible,
agréable, humaine. Voir le dessin de la figure 5.
A titre de validation, f'iPAQ (marque d'usage) a été aussi utilisé pour
passer des appels téléphoniques sur le réseau filaire grâce au logiciel
Skype WIN CE (marque d'usage) : voir le dessin de la figure 6.
Selon un autre aspect, pouvant être indépendant des autres
caractéristiques précédemment décrites, l'invention peut prévoir des moyens de
détection automatique du boîtier de protection, décrits ci-après.
De par leur état, certaines personnes ont besoin que le dispositif
portable soit protégé contre les chocs physiques. Il est alors nécessaire
d'utiliser
une protection faite dans un matériau absorbant. La qualité du son généré est
significativement différente avec ou sans la protection mécanique, alors que
l'utilisateur s'attend à avoir la même qualité de son. Le dispositif intègre
un
algorithme qui comporte une séquence d'écoute des sons générés par le
dispositif
portable, et qui analyse l'amplitude des hautes fréquences des sons reçus en'
la
-comparant à un. seuil donné. Si cette amplitude est infériaure au.seuil
donné, alôrs
le.dispositif en déduit qu'il y a présence d'une protec.tion_mécanique, et
I'algorithnïe
modifie en conséquence les traitements appliqués sur le flux aüdio pour
corrigér
l'influence de la protection mécanique sur les sons émis. On comprendra qu'un
tel
moyen de correction des sons peut être utilisé indépendamment des autres
moyens précédemment décrits.
La présente invention n'est pas limitée aux modes de réalisation qui ont
été explicitement décrits, mais elle en inclut les diverses variantes et
généralisations contenues dans le domaine des revendications ci-après.

Representative Drawing
A single figure which represents the drawing illustrating the invention.
Administrative Status

2024-08-01:As part of the Next Generation Patents (NGP) transition, the Canadian Patents Database (CPD) now contains a more detailed Event History, which replicates the Event Log of our new back-office solution.

Please note that "Inactive:" events refers to events no longer in use in our new back-office solution.

For a clearer understanding of the status of the application/patent presented on this page, the site Disclaimer , as well as the definitions for Patent , Event History , Maintenance Fee  and Payment History  should be consulted.

Event History

Description Date
Time Limit for Reversal Expired 2018-04-03
Letter Sent 2017-03-31
Grant by Issuance 2014-08-19
Inactive: Cover page published 2014-08-18
Letter Sent 2014-06-06
Inactive: Final fee received 2014-06-04
Pre-grant 2014-06-04
Inactive: Single transfer 2014-05-29
Notice of Allowance is Issued 2014-01-02
Letter Sent 2014-01-02
Notice of Allowance is Issued 2014-01-02
Inactive: Approved for allowance (AFA) 2013-12-23
Inactive: Q2 passed 2013-12-23
Amendment Received - Voluntary Amendment 2013-11-29
Inactive: S.30(2) Rules - Examiner requisition 2013-06-14
Letter Sent 2011-03-09
Request for Examination Requirements Determined Compliant 2011-02-24
All Requirements for Examination Determined Compliant 2011-02-24
Request for Examination Received 2011-02-24
Letter Sent 2009-04-28
Reinstatement Requirements Deemed Compliant for All Abandonment Reasons 2009-04-06
Deemed Abandoned - Failure to Respond to Maintenance Fee Notice 2009-03-31
Inactive: Cover page published 2007-12-14
Inactive: Notice - National entry - No RFE 2007-12-12
Inactive: First IPC assigned 2007-10-26
Application Received - PCT 2007-10-25
National Entry Requirements Determined Compliant 2007-09-27
Application Published (Open to Public Inspection) 2006-10-05

Abandonment History

Abandonment Date Reason Reinstatement Date
2009-03-31

Maintenance Fee

The last payment was received on 2014-02-17

Note : If the full payment has not been received on or before the date indicated, a further fee may be required which may be one of the following

  • the reinstatement fee;
  • the late payment fee; or
  • additional fee to reverse deemed expiry.

Patent fees are adjusted on the 1st of January every year. The amounts above are the current amounts if received by December 31 of the current year.
Please refer to the CIPO Patent Fees web page to see all current fee amounts.

Owners on Record

Note: Records showing the ownership history in alphabetical order.

Current Owners on Record
EROCCA
Past Owners on Record
FABRICE FRANCIOLI
Past Owners that do not appear in the "Owners on Record" listing will appear in other documentation within the application.
Documents

To view selected files, please enter reCAPTCHA code :



To view images, click a link in the Document Description column. To download the documents, select one or more checkboxes in the first column and then click the "Download Selected in PDF format (Zip Archive)" or the "Download Selected as Single PDF" button.

List of published and non-published patent-specific documents on the CPD .

If you have any difficulty accessing content, you can call the Client Service Centre at 1-866-997-1936 or send them an e-mail at CIPO Client Service Centre.


Document
Description 
Date
(yyyy-mm-dd) 
Number of pages   Size of Image (KB) 
Representative drawing 2014-07-24 1 4
Description 2007-09-26 14 874
Drawings 2007-09-26 5 86
Claims 2007-09-26 3 155
Abstract 2007-09-26 2 73
Representative drawing 2007-12-12 1 4
Claims 2013-11-28 3 129
Reminder of maintenance fee due 2007-12-11 1 112
Notice of National Entry 2007-12-11 1 194
Courtesy - Abandonment Letter (Maintenance Fee) 2009-04-27 1 172
Notice of Reinstatement 2009-04-27 1 164
Reminder - Request for Examination 2010-11-30 1 117
Acknowledgement of Request for Examination 2011-03-08 1 176
Commissioner's Notice - Application Found Allowable 2014-01-01 1 162
Courtesy - Certificate of registration (related document(s)) 2014-06-05 1 102
Maintenance Fee Notice 2017-05-11 1 178
PCT 2007-09-26 4 139
Fees 2008-03-02 1 45
Fees 2009-04-05 1 61
Correspondence 2014-06-03 1 40