Inne


Słysząc usta i widząc głos

Hubert Jastrzębski, Właściciel firmy Falcon Acoustics

20 Marca 2017

Czy zastanawialiście się kiedyś nad tym, jak widzenie wpływa na odbiór dźwięku? Czy może ono tworzyć iluzję dźwiękową? Podobny temat poruszyłem w tekście o ślepych testach odsłuchowych. W tym artykule przedstawię, że nie tylko producenci sprzętu audio wykorzystują wrażenia wzrokowe, ale robimy to codziennie sami, nieświadomie, podczas rozmowy z innymi osobami.

Na początek obejrzyjcie video:

Ciekawe, nieprawdaż? W zależności od tego, na który obrazek patrzymy, słyszymy „bar” lub „far”. Skąd to się bierze?

Jest to tzw. Efekt McGurka. Został on pierwotnie opisany w 1976 r. przez Harry’ego McGurk’a oraz jego asystenta, John’a MacDonald’a. Co ciekawe, efekt ten został odkryty przez przypadek, gdy MacDonald poprosił technika do zdublowania nagranego filmu różnymi fonemami, podczas badań nad percepcją języka przez niemowlęta w różnym stanie rozwoju. Kiedy puszczono wideo, obaj badacze słyszeli inny fonem niż ten, który był wymawiany podczas nagrań.

Patrz, co do Ciebie mówię

Patrzenie na ułożenie ust potrafi przyćmić to, co tak naprawdę słyszymy. Gdy zamkniemy oczy, nie sugerując się obrazkiem, usłyszymy poprawny dźwięk. Nie usłyszymy słowa „far”. Spróbujcie włączyć filmik jeszcze raz, tym razem z zamkniętymi oczami.

Gdy nasze zmysły dostają sprzeczne informacje, mózg ma niejako wewnętrzny konflikt. Musi on wybrać, którym zmysłem się kierować i którą informację uznać za bardziej wiarygodną. Wzrok dla człowieka jest zmysłem nadrzędnym, dlatego ma on bardzo duży wpływ na postrzeganie poprzez inne zmysły. W przypadku zmysłów wzroku i słuchu, to zjawisko będzie miało miejsce szczególnie wtedy, gdy do obrazu o dobrej jakości doda się dźwięk o gorszej jakości. Co więcej, osoby podatne na integrację sensoryczną w większym stopniu doznają tego efektu.

Nie widzę, co słyszę (Nie słyszę, co widzę)

Zjawisko to występuje również w nieco innej formie, gdy poprzez bodźce wzrokowe słyszymy jeszcze inny dźwięk. Zachodzi to np. w podobnym przypadku, co przedstawiony na filmie, tylko z użyciem sylab „ba-ba” oraz „ga-ga”. Okazuje się, że nie słyszymy wtedy którejś z wypowiadanych sylab, ale zupełnie inną – „da-da”. Taki negatywny efekt występuje np. w dubbingowanych scenach filmowych, w których niedopasowanie słów i ruchu warg aktorów może utrudnić zrozumienie tekstu lub spowodować dyskomfort u widza.

Jeszcze kilka luźnych ciekawostek odnośnie tego efektu:

  • osoby zdające sobie sprawę z istnienia tego efektu, odczuwają go mimo wszystko w takim samym stopniu, jak osoby niezaznajomione z tym zjawiskiem,
  • fenomen ten może być wykorzystany również w drugą stronę, czyli jako wzmocnienie zrozumiałości mowy bodźcem wizualnym np. w przypadku głośnego otoczenia,
  • efekt zachodzi nie tylko dla sylab, ale nawet dla całych słów,
  • dzieci z autyzmem reagują w znacznie mniejszym stopniu na to zjawisko,
  • wrażenie jest silniejsze, gdy widoczna jest prawa część ust osoby mówiącej,
  • korzystają z niego między innymi brzuchomówcy, którzy koncentrują wzrok widowni na ustach lalki, a nie rzeczywistym źródle dźwięku, czy youtuberzy tworzący nagrania, do których podłożone zostały inne słowa (np. tutaj ,
  • kobiety wykazują większą podatność na efekt McGurka.

Nasuwa się pytanie, czy efekt ten jest wykorzystywany komercyjne, lub stanowi problem dla pewnych grup zawodowych? Ciekawym przykładem na to może być dubbing filmów i czytanie tekstu przez lektora. Dość istotnym problemem jest to, żeby dopasować przetłumaczony tekst do ruchu ust postaci tak, żeby nie utrudniało to zrozumienia wypowiadanych przez niego kwestii. To samo zjawisko zachodzi w przypadku filmów z lektorem. Postać mówi coś zupełnie innego, niż czyta lektor i w scenach np. ze zbliżeniem na twarz mogą występować problemy ze zrozumieniem czytanego tekstu.

Jeśli wy zauważyliście, gdzie prawdopodobnie występuje ten efekt i jaki ma to wpływ na nas, napiszcie o tym w komentarzu.

Jeśli chcesz na bieżąco dowiadywać się o ciekawostkach ze świata akustyki, zapisz się na nasz newsletter

Czytaj także

Jak Pitagoras wpłynął na muzykę

Badania stosunków długości strun i piszczałek przeprowadzano już w czasach wczesnohistorycznych, jednak miały one charakter wycinkowy i niedokładny. Pierwszym badaczem, który stworzył dokładne podstawy teoretycznego wyznaczania wysokości dźwięków, był sławny filozof i matematyk – Pitagoras.

czytaj dalej

Rekord Guinessa na najdłuższe „echo”

Zastanawialiście się kiedyś, jakie kategorie z dziedziny akustyki istnieją w Księdze rekordów Guinessa? Jedną z nich jest najdłuższe echo. Naturalnie rzecz biorąc, rekord ten dotyczy czasu pogłosu, a nie echa, ale chyba komuś nie chciało się tego sprawdzać☺

czytaj dalej