Słysząc usta i widząc głos – iluzje dźwiękowe

Ciekawe, nieprawdaż? W zależności od tego, na który obrazek patrzymy, słyszymy „bar” lub „far”. Skąd się biorą takie iluzje dźwiękowe?

Jest to tzw. Efekt McGurka. Został on pierwotnie opisany w 1976 r. przez Harry’ego McGurk’a oraz jego asystenta, John’a MacDonald’a. Co ciekawe, efekt ten został odkryty przez przypadek, gdy MacDonald poprosił technika do zdublowania nagranego filmu różnymi fonemami, podczas badań nad percepcją języka przez niemowlęta w różnym stanie rozwoju. Kiedy puszczono wideo, obaj badacze słyszeli inny fonem niż ten, który był wymawiany podczas nagrań.

Patrz, co do Ciebie mówię

Patrzenie na ułożenie ust potrafi przyćmić to, co tak naprawdę słyszymy. Gdy zamkniemy oczy, nie sugerując się obrazkiem, usłyszymy poprawny dźwięk. Nie usłyszymy słowa „far”. Spróbujcie włączyć filmik jeszcze raz, tym razem z zamkniętymi oczami.

Gdy nasze zmysły dostają sprzeczne informacje, mózg ma niejako wewnętrzny konflikt. Musi on wybrać, którym zmysłem się kierować i którą informację uznać za bardziej wiarygodną. Wzrok dla człowieka jest zmysłem nadrzędnym, dlatego ma on bardzo duży wpływ na postrzeganie poprzez inne zmysły. W przypadku zmysłów wzroku i słuchu, to zjawisko będzie miało miejsce szczególnie wtedy, gdy do obrazu o dobrej jakości doda się dźwięk o gorszej jakości. Co więcej, osoby podatne na integrację sensoryczną w większym stopniu odczują takie iluzje dźwiękowe.

Nie widzę, co słyszę (Nie słyszę, co widzę)

Zjawisko to występuje również w nieco innej formie, gdy poprzez bodźce wzrokowe słyszymy jeszcze inny dźwięk. Zachodzi to np. w podobnym przypadku, co przedstawiony na filmie, tylko z użyciem sylab „ba-ba” oraz „ga-ga”. Okazuje się, że nie słyszymy wtedy którejś z wypowiadanych sylab, ale zupełnie inną – „da-da”. Taki negatywny efekt występuje np. w dubbingowanych scenach filmowych, w których niedopasowanie słów i ruchu warg aktorów może utrudnić zrozumienie tekstu lub spowodować dyskomfort u widza.

Jeszcze kilka luźnych ciekawostek odnośnie tego efektu:

• osoby zdające sobie sprawę z faktu, że istnieją takie iluzje dźwiękowe, odczuwają go mimo wszystko w takim samym stopniu, jak osoby niezaznajomione z tym zjawiskiem,
• fenomen ten może być wykorzystany również w drugą stronę, czyli jako wzmocnienie zrozumiałości mowy bodźcem wizualnym np. w przypadku głośnego otoczenia,
• takie iluzje dźwiękowe zachodzą nie tylko dla sylab, ale nawet dla całych słów,
• dzieci z autyzmem reagują w znacznie mniejszym stopniu na to zjawisko,
• wrażenie jest silniejsze, gdy widoczna jest prawa część ust osoby mówiącej,
• korzystają z niego między innymi brzuchomówcy, którzy koncentrują wzrok widowni na ustach lalki, a nie rzeczywistym źródle dźwięku, czy youtuberzy tworzący nagrania, do których podłożone zostały inne słowa (np. tutaj ,
• kobiety wykazują większą podatność na efekt McGurka.

Nasuwa się pytanie, czy efekt ten jest wykorzystywany komercyjne, lub stanowi problem dla pewnych grup zawodowych? Ciekawym przykładem na to może być dubbing filmów i czytanie tekstu przez lektora. Dość istotnym problemem jest to, żeby dopasować przetłumaczony tekst do ruchu ust postaci tak, żeby nie utrudniało to zrozumienia wypowiadanych przez niego kwestii. To samo zjawisko zachodzi w przypadku filmów z lektorem. Postać mówi coś zupełnie innego, niż czyta lektor i w scenach np. ze zbliżeniem na twarz mogą występować problemy ze zrozumieniem czytanego tekstu.

Jeśli wy zauważyliście, gdzie prawdopodobnie występuje ten efekt i jaki ma to wpływ na nas, napiszcie o tym w komentarzu.