McGurk効果とは何ですか？

McGurk効果は、人間の発話の理解に関係する原則です。 この効果の本質は、視覚的な手がかりが聞き手の話し言葉の理解に重要な役割を果たすということです。 話者の意味を理解するために、人々は口と顔の形、そして聴覚に依存しています。 この情報がない場合、誤解が生じる可能性が高くなります。 この効果は、1976年に研究者のハリーマクガークとジョンマクドナルドによって初めて文書化されました。マクガーク-マクドナルド効果と呼ばれることもあります。

McGurk効果は、実際に名前が付けられるずっと前から、一部の人々には明らかでした。 耳の不自由な人や耳の不自由な人は、何世紀にもわたって読み聞かせによってコミュニケーションをとってきました。 経験豊富なリップリーダーは、口と顔の動きを見て、話者のほとんどの意味を理解します。 この現象を研究している言語療法士と研究者は、すぐにそれが正常な聴力を持つ個人にも適用されることに気付きました。 つまり、すべての人々は日常会話の中で無意識のうちに読唇術を練習します。

McGurk効果は簡単に観察できます。 通常の会話では、リスナーは話者の顔を見ます。 聞き手が目をそらした場合、話者の言葉を追うためにより大きな集中力が必要になり、いくつかの文を繰り返す必要があります。 話し手の顔が見えるとき、聞き手は話し方の文脈と意図だけでなく、顔と口の動きに依存して、音声を完全に理解します。 すべての話し言葉に共通するこの概念は、世界のろうコミュニティでよく知られており、手話でも役割を果たしています。

研究者は、コンピューター音声シミュレーターを使用してMcGurk効果をより徹底的に実証できます。 これらのプログラムは、事前にプログラムされた話し言葉と調整された人間の顔の画像を投影します。 また、人間の話者とは異なり、話されているものとは異なる音の視覚的形状をとるようにプログラムすることもできます。 これが発生すると、リスナーは3番目の音を完全に認識します。 これは、リスナーがシミュレーターの動作を知っている場合でも観察されており、McGurk効果が人間の意識に深く根ざしていることを示唆しています。

McGurk効果は、音声認識ソフトウェアに取り組んでいるコンピューターの専門家による研究の対象となっています。 人間のスピーチの広大なニュアンスを完全に理解するために、そのようなプログラムはMcGurk効果を考慮しなければならないようです。 開発中のプログラムは、小さなカメラを使用して、コマンドを発する人の顔の動きを観察します。 その後、コンピューターはこの情報を録音された音声と統合して、話されているコマンドをより正確に理解します。