Zurück zum Anfang

Audiovisuelle Wahrnehmung von Vokalen

Es ist schon lange bekannt, dass Lippenlesen zur Wahrnehmung der Sprache beiträgt, und zwar nicht nur wenn man nichts hören kann, sondern auch wenn man gleichzeitig deutlich hört. Besonders bekannt ist eine Beobachtung von McGurk und MacDonald (1976): Ein auditiv dargebotenes [b] verschmilzt typischerweise mit einem gleichzeitig visuell dargebotenen [g] so, dass man ein [d] wahrnimmt. Man war lange der Ansicht, dass die akustisch kurze Dauer von Plosiven und deren dadurch bedingte kategorische Wahrnehmung dieses Verschmelzen ermöglicht. Bei Vokalen erwartete man so etwas kaum. Aber wie verhält es sich eigentlich bei Vokalen? Wie viel bedeutet die visuelle Information für die Wahrnehmung der Lippenrundung und –spreizung von vorderen Vokalen? Könnte es der Fall sein, dass z. B. die Rundung eines visuell dargebotenen [y]s (ü) mit dem Öffnungsgrad eines gleichzeitig auditiv dargebotenen [e]s (e) in der Weise verschmilzt, dass man ein [ø] (ö) wahrnimmt? Dann würde das Auge dabei das Ohr dominieren, und wir würden die Lippenrundung mit den Augen hören, wenn immer die Lippen gut genug sichtbar sind.

Schlüssel

Die Tabelle zeigt, in phonetischer und approximativ in deutscher Transkription, was visuell und auditiv dargeboten wurde und, in der letzten Spalte, was man wahrnimmt, wenn die sichtbare Lippenrundung/-spreizung mit dem hörbaren Öffnungsgrad zu einem Perzept verschmilzt.

 

Reiz

Nummer

Visueller

Reiz

 

Auditiver

Reiz

Wenn verschmolzen

(auditiver Öffnungsgrad

+ visuelle Lippenrundung)

1

[e] (e)

[œ] (ö)

[ε] (ä)

2

[œ] (ö)

[i] (i)

[y] (ü)

3

[e] (e)

[y] (ü)

[i] (i)

4

[y] (ü)

[i] (i)

[y] (ü)

5

[i] (i)

[œ] (ö)

[ε] (ä)

6

[œ] (ö)

[e] (e)

[ø] (ö)

7

[i] (i)

[y] (ü)

[i] (i)

8

[y] (ü)

[e] (e)

[ø] (ö)

 

Das Ergebnis eines formellen Experiments zeigte, dass der Öffnungsgrad zwar nur mit den Ohren wahrgenommen wurde, die Lippenrundung aber von der Mehrheit mit den Augen. Dieser Mehrheit gehörten fast alle Frauen und auch mehr als die Hälfte der Männer an.   

 

Ref.: Niklas Öhrström & Hartmut Traunmüller (2004) „Audiovisual perception of Swedish vowels with and without conflicting cues” Proceedings, Fonetik 2004, 40-43, Dept. of Linguistics, Stockholm University.