EchoSpeech, сонарные очки, которые отслеживают движения лица для бесшумного общения

Сонарная система для чтения движений рта, встроенная в очки, — умная и очень перспективная идея EchoSpeech.

Исследователь из Корнельского университета разработал очки-сонары, которые могут «слышать» вас, даже когда вы не говорите . В этих очках используются небольшие микрофоны и динамики, чтобы читать слова, которые беззвучно произносят ваши губы, будь то приостановка песни или переход к следующей, ввод пароля без касания телефона или работа с шаблонами, рисование на компьютере без клавиатуры.

Сонарная система для чтения движений рта, встроенная в очки.

Ruidong Zhang, разработавший устройство, начал с аналогичного проекта, в котором использовались беспроводные наушники и предыдущие модели с камерами. Использование очков избавляет от необходимости использовать камеры или носить что-то в ухе. «Большинство технологий распознавания в безмолвном мире ограничены набором предопределенных команд и требуют, чтобы пользователь смотрел в камеру или носил ее, что не всегда практично или даже выполнимо», — пояснил Ченг Чжан, доцент Корнельского университета: «Мы принесем сонар в человеческое тело».

Исследователи объясняют, что этой системе требуется всего несколько минут практики — например, чтение последовательности чисел — чтобы изучить речевые модели пользователя. После этого очки готовы. Они отправляют и принимают звуковые волны на вашем лице, обнаруживая движения вашего рта и используя алгоритм глубокого обучения для анализа профилей эха в режиме реального времени «с точностью около 95 %».

Система делает это, делегируя обработку данных вашему смартфону по беспроводной сети, что позволяет очкам оставаться незаметными. Текущая версия предлагает около 10 часов автономной работы для акустического обнаружения. Кроме того, никакие данные не покидают ваш телефон. «Мы в восторге от этой системы, потому что она расширяет возможности, будучи мощной и уважая конфиденциальность», — сказал Чэн Чжан. «Это маленький, маломощный и уважающий конфиденциальность, все аспекты очень важны для развертывания новых технологий, в дополнение к поведению в реальном мире».

Умная и очень перспективная идея EchoSpeech

Конфиденциальность очень важна для использования в реальном мире. Например, Жуйдун Чжан предлагает использовать эти очки для управления музыкой (без рук и глаз) в библиотеке или для диктовки сообщения во время громкого концерта, где другие методы не сработали бы. Но самым интересным сценарием, пожалуй, было бы позволить людям с нарушениями речи вести диалог с голосовым синтезатором, чтобы их было слышно.

Если все пойдет хорошо, эти точки должны быть проданы. Команда лаборатории Smart Computer Interfaces for Future Interactions (SciFi) Корнелла изучает возможность вывода этой технологии на рынок в рамках программы финансирования Корнелла. Они также заинтересованы в подключенных приложениях для очков, чтобы отслеживать движения лица, глаз и даже верхней части тела. «Мы считаем, что очки станут важной платформой персональных компьютеров для понимания человеческой деятельности в повседневной жизни», — сказал Ченг Чжан.