Depuis longtemps
il est bien connu que la vision (à côté de l’ouïe) est un composant très
important de la compréhension du langage. En 1976, McGurk et MacDonald ont
exploré la perception audiovisuelle lorsque le signal optique et le signal
acoustique ne correspondent pas l’un à l’autre. Dans leurs résultats, ils ont
montré que la perception des plosives se compose d’une fusion entre ce que l’on
a perçu par les oreilles et celui perçu par les yeux. Ainsi un [b] auditif et un [ɡ] visuel sera perceptuellement intégré et perçu
comme un [d]. On croyait que cet
effet partiellement était dû au fait que ces plosives sont perçu d’une façon
catégorique. Nous nous demandons ce qui se passe lors de la perception
audiovisuelle des voyelles. Est-ce qu’il y a certains traits articulaires (par
exemple lèvres arrondies et aperture mandibulaire) qui sont plus proéminents
dans l’une des modalités (auditive et visuelle) que dans l’autre. Nos résultats
indiquent que l’arrondissement des lèvres est perçu par la vision en premier
lieu tandis que l’aperture mandibulaire est perçue par les oreilles (Öhrström
et Traunmüller, 2004).
Clé
Le tableau
ci-dessous montre chaque signal présenté dans les deux modalités visuelle et
auditive et dans la dernière colonne, ce que l’on a perçu à condition que le
signal visuel de l’arrondissement soit perceptuellement combiné avec le signal
auditif de l’aperture.
|
Stimulus numéro |
Stimulus visuel |
Stimulus auditif |
Fusion (aperture
auditive + arrondissement
visuel) |
|
1 |
[e] |
[œ] |
[ε] (è) |
|
2 |
[œ] |
[i] |
[y] (u) |
|
3 |
[e] |
[y] |
[i] (i) |
|
4 |
[y] |
[i] |
[y] (u) |
|
5 |
[i] |
[œ] |
[ε] (è) |
|
6 |
[œ] |
[e] |
[ø] (eu) |
|
7 |
[i] |
[y] |
[i] (i) |
|
8 |
[y] |
[e] |
[ø] (eu) |
Ref.:
Niklas Öhrström & Hartmut Traunmüller (2004) „Audiovisual perception of Swedish
vowels with and without conflicting cues” Proceedings, Fonetik
2004, 40-43, Dept. of Linguistics, Stockholm University.