EchoSpeech、顔の動きを追跡してサイレントコミュニケーションを実現するソナーゴーグル

メガネに組み込まれた口の動きを読み取るソナーシステムは、スマートで非常に有望な EchoSpeech のアイデアです。

コーネル大学の研究者は、話していなくても「聞こえる」ソナー ゴーグルを開発しました。これらのメガネは、小さなマイクとスピーカーを使用して、曲を一時停止したり次の曲にスキップしたり、携帯電話に触らずにパスワードを入力したり、テンプレートを操作したり、キーボードを使わずにコンピューターで絵を描いたりするときに、あなたの唇が静かに発する言葉を読み上げます。

メガネに内蔵された口の動きを読み取るソナーシステム。

このデバイスを開発した Ruidong Zhang 氏は、ワイヤレスヘッドフォンとカメラ付きの以前のモデルを使用した同様のプロジェクトから始めました。メガネを使用すると、カメラを使用したり、耳に何かを装着したりする必要がなくなります。「サイレントな世界におけるほとんどの認識技術は、事前に定義された一連のコマンドに限定されており、ユーザーはカメラを覗き込んだりカメラを装着したりする必要がありますが、これは必ずしも実用的であるとは限らず、実現可能ですらありません」とコーネル大学のチェン・チャン助教授は説明します。 「私たちはソナーを人体に導入します。」

研究者らは、このシステムは、ユーザーの音声パターンを学習するのに、一連の数字を読むなど、数分間の練習だけで済むと説明しています。その後、メガネの準備は完了です。口の動きを検出し、深層学習アルゴリズムを使用してエコー プロファイルを「約 95% の精度で」リアルタイムで分析することで、顔に音波を送受信します。

このシステムは、データ処理をスマートフォンにワイヤレスで委任することでこれを実現し、メガネを非常に目立たない状態に保つことができます。現在のバージョンでは、音響検出のためのバッテリー寿命が約 10 時間あります。さらに、携帯電話からデータが流出することはありません。「私たちはこのシステムに興奮しています。なぜなら、このシステムは強力でプライバシーを尊重しながら権限を与えるからです」と Cheng Zhang 氏は述べています。「小型、低消費電力、そしてプライバシーを尊重しており、現実世界での動作に加えて、すべての側面が新しいテクノロジーの展開にとって非常に重要です。」

スマートで非常に有望なアイデア EchoSpeech

プライバシーは実際の使用において非常に重要です。たとえば、Ruidong Zhang 氏は、これらのメガネを使用して、図書館で（手と目を使わずに）音楽を制御したり、他の方法では機能しないような大音量のコンサート中にメッセージを口述したりすることを提案しています。しかし、おそらく最も興味深いシナリオは、言語障害を持つ人々が音声合成装置を使って会話できるようにして、聞こえるようにすることでしょう。

すべてがうまくいけば、これらのポイントは売却されるはずです。コーネル大学のスマート コンピューター インターフェイス for Future Interactions (SciFi) Lab のチームは、コーネル大学の資金提供プログラムを通じてこのテクノロジーを市場に投入する可能性を模索しています。彼らはまた、顔、目、さらには上半身の動きを追跡するための接続された眼鏡アプリにも興味を持っています。「私たちは、メガネが日常生活における人間の活動を理解するための重要なパーソナル コンピューティング プラットフォームになると信じています」と Cheng Zhang 氏は述べています。