読話術の難易度を下げるための既存の技術手段には、主に磁場、視覚画像、超音波などの方法がある。最も流行している非接触式視覚画像方法を例にすると、読話の精度は比較的高いが、顔の角度、光の強さ、頭の動き、遮りなどの干渉を受けやすい。特にコロナ流行中のマスク着用により、視覚による読話術が新たな挑戦に直面している。顔の筋肉の細かな動きによる読話術には、重要な科学研究の価値と広い応用の見通しがある。

　清華大学機械工学部スマート・生物機械チームはこのほど、中国科学院北京ナノエネルギー・システム研究所のチームと協力し、新たな読話システムを研究開発した。関連研究成果はオープンアクセスジャーナル「ネイチャー・コミュニケーションズ」に掲載された。

　同システムには低コストで自ら給電するフレキシブル摩擦帯電センサーと、プロトタイプ学習に基づくディープラーニングモデルが含まれる。センサーは唇の筋肉の動きにより生まれる電気信号を解読システムに送り、意思疎通が可能な言語に翻訳する。この研究はセンサーの機械・電気性能をテスト・分析し、母音、単語、句、無声音、有声音を選定する唇の動きの信号的特徴を採取・抽出した。同時に採取した唇の動きと音声信号と比較することで、発声の有無に関わらず唇の動きの信号に一致性があることを証明した。さらに話す速度と唇の動き方などの異なるパラメータによる信号の特徴への影響の法則を分析し、唇の動きの信号の識別に用いられるプロトタイプ学習に基づく空洞循環ニューラルネットワークモデルを打ち出した。20の分類（1分類のサンプル数は100件）のテストの正確度は94.5％にのぼった。 　


元のニュース「網易網」（中文サイト）へ