Audiovisuelle Wahrnehmung von Vokalen
Es ist schon
lange bekannt, dass Lippenlesen zur Wahrnehmung der Sprache beiträgt, und zwar
nicht nur wenn man nichts hören kann, sondern auch wenn man gleichzeitig
deutlich hört. Besonders bekannt ist eine Beobachtung von McGurk
und MacDonald (1976): Ein auditiv dargebotenes [b] verschmilzt typischerweise
mit einem gleichzeitig visuell dargebotenen [g] so, dass man ein [d] wahrnimmt.
Man war lange der Ansicht, dass die akustisch kurze Dauer von Plosiven und
deren dadurch bedingte kategorische Wahrnehmung dieses Verschmelzen ermöglicht.
Bei Vokalen erwartete man so etwas kaum. Aber wie verhält es sich eigentlich
bei Vokalen? Wie viel bedeutet die visuelle Information für die Wahrnehmung der
Lippenrundung und –spreizung von vorderen Vokalen?
Könnte es der Fall sein, dass z. B. die Rundung eines visuell dargebotenen [y]s
(ü) mit dem Öffnungsgrad eines gleichzeitig auditiv dargebotenen [e]s (e) in
der Weise verschmilzt, dass man ein [ø] (ö) wahrnimmt? Dann würde das Auge dabei
das Ohr dominieren, und wir würden die Lippenrundung mit den Augen hören, wenn
immer die Lippen gut genug sichtbar sind.
Schlüssel
Die Tabelle
zeigt, in phonetischer und approximativ in deutscher Transkription, was visuell
und auditiv dargeboten wurde und, in der letzten Spalte, was man wahrnimmt,
wenn die sichtbare Lippenrundung/-spreizung mit dem hörbaren Öffnungsgrad zu
einem Perzept verschmilzt.
|
Reiz Nummer |
Visueller Reiz |
Auditiver Reiz |
Wenn verschmolzen (auditiver Öffnungsgrad + visuelle Lippenrundung) |
|
1 |
[e] (e) |
[œ] (ö) |
[ε] (ä) |
|
2 |
[œ] (ö) |
[i] (i) |
[y] (ü) |
|
3 |
[e] (e) |
[y] (ü) |
[i] (i) |
|
4 |
[y] (ü) |
[i] (i) |
[y] (ü) |
|
5 |
[i] (i) |
[œ] (ö) |
[ε] (ä) |
|
6 |
[œ] (ö) |
[e] (e) |
[ø] (ö) |
|
7 |
[i] (i) |
[y] (ü) |
[i] (i) |
|
8 |
[y] (ü) |
[e] (e) |
[ø] (ö) |
Das Ergebnis
eines formellen Experiments zeigte, dass der Öffnungsgrad zwar nur mit den
Ohren wahrgenommen wurde, die Lippenrundung aber von der Mehrheit mit den
Augen. Dieser Mehrheit gehörten fast alle Frauen und auch mehr als die Hälfte der
Männer an.
Ref.: Niklas Öhrström
& Hartmut Traunmüller (2004) „Audiovisual perception of Swedish vowels with
and without conflicting cues” Proceedings, Fonetik
2004, 40-43, Dept. of Linguistics, Stockholm University.