EchoSpeech, sonarbril die gezichtsbewegingen volgt voor stille communicatie

Het in een bril ingebouwde sonarsysteem voor het aflezen van mondbewegingen is een slim en veelbelovend idee van EchoSpeech.

Een onderzoeker van Cornell University heeft een sonarbril ontwikkeld die u kan ‘horen’, zelfs als u niet spreekt . Deze bril maakt gebruik van kleine microfoons en luidsprekers om de woorden te lezen die je lippen in stilte zeggen, of het nu gaat om het pauzeren van een nummer of het overslaan naar het volgende, het invoeren van een wachtwoord zonder je telefoon aan te raken, of het werken met sjablonen, tekenen op een computer zonder toetsenbord.

Sonarsysteem voor het lezen van mondbewegingen ingebouwd in bril.

Ruidong Zhang, die het apparaat ontwikkelde, begon met een soortgelijk project waarbij draadloze hoofdtelefoons en eerdere modellen met camera’s werden gebruikt. Het gebruik van een bril elimineert de noodzaak om camera’s te gebruiken of iets in uw oor te dragen. “De meeste herkenningstechnologieën in de stille wereld zijn beperkt tot een reeks vooraf gedefinieerde commando’s en vereisen dat de gebruiker in de camera kijkt of hem draagt, wat niet altijd praktisch of zelfs haalbaar is”, legt Cheng Zhang, een assistent-professor aan de Cornell University, uit: “We zullen sonar naar het menselijk lichaam brengen.”

De onderzoekers leggen uit dat dit systeem slechts een paar minuten oefenen kost – zoals het lezen van een reeks cijfers – om de spraakpatronen van de gebruiker te leren. Daarna zijn de glazen klaar. Ze verzenden en ontvangen geluidsgolven op uw gezicht door de bewegingen van uw mond te detecteren en een deep learning-algoritme te gebruiken om echoprofielen in realtime te analyseren “met een nauwkeurigheid van ongeveer 95%”.

Het systeem doet dit door gegevensverwerking draadloos naar uw smartphone te delegeren, waardoor de bril zeer discreet blijft. De huidige versie biedt ongeveer 10 uur batterijduur voor akoestische detectie. Bovendien verlaat er geen data je telefoon. “We zijn enthousiast over dit systeem omdat het krachtig is en tegelijkertijd de privacy respecteert”, aldus Cheng Zhang. “Het is klein, energiezuinig en respecteert de privacy. Alle aspecten zijn erg belangrijk voor de inzet van nieuwe technologieën, naast het gedrag in de echte wereld.”

Slim en veelbelovend idee EchoSpeech

Privacy is erg belangrijk voor gebruik in de echte wereld. Ruidong Zhang stelt bijvoorbeeld voor om deze bril te gebruiken om muziek te besturen (zonder handen en ogen) in een bibliotheek, of om een ​​boodschap te dicteren tijdens een luid concert waar andere methodes niet zouden werken. Maar het meest interessante scenario zou misschien zijn om mensen met een spraakbeperking een dialoog te laten voeren met een spraaksynthesizer zodat ze gehoord kunnen worden.

Als alles goed gaat, zouden deze punten verkocht moeten worden. Een team van Cornell’s Smart Computer Interfaces for Future Interactions (SciFi) Lab onderzoekt de mogelijkheid om deze technologie op de markt te brengen via het financieringsprogramma van Cornell. Ze zijn ook geïnteresseerd in connected eyewear-apps om bewegingen van het gezicht, de ogen en zelfs het bovenlichaam te volgen. “Wij geloven dat een bril een belangrijk persoonlijk computerplatform zal worden voor het begrijpen van menselijke activiteiten in het dagelijks leven”, aldus Cheng Zhang.