Audiovisuell perception av vokaler

Det är känt sedan länge att läppavläsning bidrar till perceptionen av tal inte bara när man inte hör talsignalen, utan även när den hörs. År 1976 visade sedan McGurk och MacDonald på ett slående sätt att det vi ser sammansmälter med det vi hör vid perceptionen av klusiler. Ett auditivt [b] kan således sammansmälta med ett visuellt [g] så att man hör ett [d]. Man ansåg att det faktum att dessa konsonanter till skillnad från t.ex. vokaler percipieras på ett kategoriskt vis bidrar till eller möjliggör effekten. Men hur förhåller det sig egentligen med vokaler? Hur mycket betyder den visuella signalen för perceptionen av rundning/spridning hos främre vokaler och kan det vara så att t. ex. ett visuellt [y] sammansmälter med ett auditivt [e] så att man hör ett [ø], dvs. att den auditiva signalen dominerar vid perceptionen av öppningsgrad medan den visuella signalen dominerar vid perceptionen av rundningsgrad?

 

Facit

Tabellen visar vilken signal som presenterades visuellt och auditivt samt i sista kolumnen vad man uppfattar om den visuella signalens rundning/spridning överlagras på den auditiva signalens öppningsgrad (vokalhöjd).

 

Stimulus

nummer

Visuellt

stimulus

 

Auditivt

stimulus

Sammansmält

(auditiv öppningsgrad

+ visuell rundning)

1

e

œ

ε

2

œ

i

y

3

e

y

i

4

y

i

y

5

i

œ

ε

6

œ

e

ø

7

i

y

i

8

y

e

ø

 

Åter till experimentet

Från forskningsprojektet Audiovisuell integration och talperceptionsteori