EchoSpeech, des lunettes sonar qui suivent les mouvements du visage pour une communication silencieuse

Le système de sonar pour lire les mouvements de la bouche intégré dans les lunettes est une idée intelligente et très prometteuse d’EchoSpeech.

Un chercheur de l’Université Cornell a mis au point des lunettes sonar qui peuvent « vous entendre » même lorsque vous ne parlez pas . Ces lunettes utilisent de petits microphones et haut-parleurs pour lire les mots que vos lèvres prononcent en silence, qu’il s’agisse de mettre en pause une chanson ou de passer à la suivante, de saisir un mot de passe sans toucher votre téléphone ou de travailler avec des modèles, de dessiner sur un ordinateur sans clavier.

Système sonar de lecture des mouvements de la bouche intégré aux lunettes.

Ruidong Zhang, qui a développé l’appareil, a commencé avec un projet similaire qui utilisait des écouteurs sans fil et des modèles précédents avec caméras. L’utilisation de lunettes élimine le besoin d’utiliser des caméras ou de porter quelque chose dans votre oreille. « La plupart des technologies de reconnaissance dans le monde silencieux sont limitées à un ensemble de commandes prédéfinies et obligent l’utilisateur à regarder dans l’appareil photo ou à le porter, ce qui n’est pas toujours pratique ni même faisable », a expliqué Cheng Zhang, professeur adjoint à l’Université Cornell : « Nous apporterons un sonar au corps humain. »

Les chercheurs expliquent que ce système ne prend que quelques minutes de pratique – comme la lecture d’une série de chiffres – pour apprendre les schémas de parole de l’utilisateur. Après cela, les verres sont prêts. Ils envoient et reçoivent des ondes sonores sur votre visage en détectant les mouvements de votre bouche et en utilisant un algorithme d’apprentissage en profondeur pour analyser les profils d’écho en temps réel « avec une précision d’environ 95 % ».

Le système le fait en déléguant sans fil le traitement des données à votre smartphone, permettant aux lunettes de rester très discrètes. La version actuelle offre environ 10 heures d’autonomie pour la détection acoustique. De plus, aucune donnée ne quitte votre téléphone. « Nous sommes enthousiasmés par ce système car il permet tout en étant puissant et en respectant la vie privée », a déclaré Cheng Zhang. « C’est petit, de faible puissance et respectueux de la vie privée, tous les aspects sont très importants pour le déploiement des nouvelles technologies, en plus de se comporter dans le monde réel. »

Idée intelligente et très prometteuse EchoSpeech

La confidentialité est très importante pour une utilisation dans le monde réel. Par exemple, Ruidong Zhang suggère d’utiliser ces lunettes pour contrôler la musique (sans les mains ni les yeux) dans une bibliothèque, ou pour dicter un message lors d’un concert bruyant là où d’autres méthodes ne fonctionneraient pas. Mais le scénario le plus intéressant, peut-être, serait de permettre aux personnes ayant des troubles de la parole de dialoguer avec un synthétiseur vocal afin qu’elles puissent être entendues.

Si tout va bien, ces points devraient être vendus. Une équipe du laboratoire d’interfaces informatiques intelligentes pour les interactions futures (SciFi) de Cornell étudie la possibilité de commercialiser cette technologie grâce au programme de financement de Cornell. Ils s’intéressent également aux applications de lunettes connectées pour suivre les mouvements du visage, des yeux et même du haut du corps. « Nous pensons que les lunettes deviendront une plate-forme informatique personnelle importante pour comprendre les activités humaines dans la vie quotidienne », a déclaré Cheng Zhang.