我来提供一种可能的解释吧。

当我们听不到或听不清楚别人在说什么时，会怎样解读信息呢？我们有时候会从语境中理解，有时候会猜测别人的动机，而有时候会看口型。

一个经典的例子是林丹的「卖避孕套」动图表情。

（请自行搜索或点击链接林丹表情）

不看字幕光看口型，能分辨出林丹是骂了一句脏话；而配上字幕后，相当于给出一个附加信息，告诉你林丹说了什么，接下来只要口型差不多对得上，你就会觉得林丹真的在说「卖避孕套」。

如果把字幕换成配音，就是我们要探讨的问题了；当然，事情要复杂得多——我们看到的口型与听到的声音之间存在相互作用。

欢迎收看本期《走近科学》。

---

英国心理学家哈利 · 麦格克有一次在准备一段影片时，主人公发出 ba 的音，而做出 ga 的口型。令人惊讶的是，大家都认为自己听到的不是 ba，也不是 ga，而是 da；如果只听声音或者播放无关的画面，da 就神奇地消失了。

麦格克意识到这不是偶然。和其他典型的心理学家一样，他迅速设计了一个实验：

他准备了一段影片，内容是一个女人一边修电视机，一边念念有词，而她的口型和声音并不对应。这样的安排一共有四组：

1. ba 的口型——ga 的声音
2. ga 的口型——ba 的声音
3. ka 的口型——pa 的声音
4. pa 的口型——ka 的声音

而被试则被分成两组，分别以看影片和只听声音两种方式接受测试。他们的任务是报告自己听到了什么。

实验结果泾渭分明：只听声音时，90% 以上的被试回答都是正确的；而看影片的被试错误率非常高，孩子们的错误率在 50% 以上，而成人的错误率更是高达 92%——实验雄辩地证明了，口型作为一种视觉信息，影响了人对听觉信息的认知。麦格克把他的发现刊登在《自然》杂志上，而这一效应也以他的名字命名，被称为「麦格克效应」(McGurk effect)。

进一步的研究表明，麦格克效应比我们想象的还要广泛：

• 你即使知道效应的存在，知道别人要来研究你，并且已经被研究了二十年，你仍然能体验到它；
• 最早的研究中只用到了音节，后来的研究证实了单词也会产生麦格克效应；
• 目前为止，「麦格克效应」存在于所有语言中，但语言不同，效应的强度也不同，西方国家的效应强度，比中国和日本不知高到哪里去了；
• 只有 5 个月大的婴儿已经能表现出「麦格克效应」。事实上，麦格克本人的初衷正是研究婴儿的语言发展。

相信通过这些前情提要，你已经对「麦格克效应」有了大致的了解，而它就是对我们问题的一种可能的解释：之所以很多人看电视剧只要没字幕就觉得听不清楚，正是「麦格克效应」在作怪。

在看电视剧时，有字幕的情况下一切好说，剧中人物的发言，字幕有最终解释权，即使是「数字小姐」在演戏，也不影响我们的理解；而在没有字幕的情况下，「麦格克效应」显现，电视剧中口型与声音的微小差异会让我们的大脑在试图理解其含义时感到迷惑，不一致的视觉信息和听觉信息被整合成了第三种全新的声音——这很显然不利于我们理解其含义，反而会让我们觉得听不清楚。

至于为什么口型和声音会有差异，可能是电视剧制作中不可避免的问题。

参考文献：

1. Mcgurk, H., & Macdonald, J. (1976). Hearing lips and seeing voices. Nature, 264(5588).
2. Colin, C., Radeau, M., & Deltenre, P. (2005). Top-down and bottom-up modulation of audiovisual integration in speech. European Journal of Cognitive Psychology, 17(4), 541-560.
3. Wright, D. B., & Wareham, G. (2005). Mixing sound and vision: The interaction of auditory and visual information for earwitnesses of a crime scene. Legal and Criminological Psychology, 10(1), 103-108.
4. Sekiyama, K. (1997). Cultural and linguistic factors in audiovisual speech processing: the McGurk effect in Chinese subjects.. Attention Perception & Psychophysics,, 73-80.
5. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Attention Perception & Psychophysics, 59(3).