Likan Zhan

语言和大脑

战立侃 · 2019-10-07

前言

2019年10月5号《科学》杂志发表了一期关于语言和大脑关系的特刊。本帖子是对特刊中四篇文章相关内容的总结。注:其中图片序号是原文中相关图片的原始序号。

言语信号的加工过程

  1. 言语信号本身的复杂性。

言语信号的声学特征与其表述的语言学特征之间的联系非常复杂,并存在着跨语言的不一致性;言语信号中听觉特征的使用也具有很大的灵活性。在不同言语情境中,决定言语信号可懂度的声学特征是不一样的;言语信号携带的信号是丰富的,如音素、说话者、情绪、及语法结构等高级信号形式;言语信号还通常发生在嘈杂的环境中;言语理解在言语产出中也起着重要作用;言语信号本质上是一种社会行为,是社会交往的重要模式。所以言语信号的研究对于听觉加工、语言加工、社会加工、情绪、个体识别和音乐研究都非常重要。

  1. 背外侧颞叶对言语信号的表征。

听觉信号到达初级听觉区后会分别向外侧颞叶的前后两个方向传输。在外侧颞叶前端,左右两半球分工合作,完成对言语信号的语言学信息(音位、词汇、句法、情绪等信息)和口音信息(音调、说话者身份、和情绪)的加工(图 1 )。在外侧颞叶后端,完成感知运动联系的加工。另外,外侧颞回的表征层次实际上不是音位,而是音节(图2)

  1. 外侧颞叶并非专门用于加工言语信号。

从一般意义上来讲,外侧颞叶前后端的划分应该基于其对声音信号不同特征的加工:前测负责加工声音信号中变化较慢、具有持续性的特征;而后端则负责加工声音信号出现所导致的快速、即时变化的特征。前端可以被叫做What''通路,而后端可以被叫做how’’通路(图3)。

  1. 相关文献

短语结构的加工过程

  1. 组合型网络模型(combinatory network)(图3)。

基于相关研究,作者提出了语言加工的模型。该模型涉及 左前侧颞叶(Left Anterior Temporal Lobe, LATL)、腹内侧前额叶(ventromedial prefrontal cortex, vmPFC)、左内额回(left Inferior Frontal Gyrus,LIFG)、角回(Angular Gyrus,AG)、和左后颞叶(left Posterior Temporal Lobe, LPTL)。其中 AG 对论元结构敏感,PTL 对句法的组合效应敏感,LIFG 对长距离依赖关系敏感,LATL 对概念的组合性敏感,而 vmPFC对组合性效应敏感。

  1. 左腹内侧颞叶和服内测前额叶的作用。

人类语言的句法结构能把几个小的语言成分组合到一起形成更大的成分。句法性组合的最简单形式是把两个单词组成一个短语。那么句法组合涉及什么样的神经过程呢?发现与不能组合的单词串xtb boat'',组合性短语结构red boat’’ 首先会200-250毫秒左右在左前侧颞叶(Left Anterior Temporal Lobe, LATL)产生一个激活,然后在200毫秒之后会在腹内侧前额叶(ventromedial prefrontal cortex, vmPFC)产生一个激活(图1)。 在言语产出和手语产出中,也激活这两个区域;但在时间进程上这两处激活是同时发生的 (图1)。实际上 LATL 的功能不单单是句法性的,还是概念性的(conceptual hypothesis),一个明显的证据是LATL对概念特异性(Conceptual Specificity)的敏感性。例如,研究发现 tomato dish''比vegetable dish’’在LATL引发更大的激活 (图2)。

  1. 由此作者认为,句法不是一种行为,而是一种知识(Syntax may be something that the brain knows rather than does),句法是一种知识,而语义是一种过程(syntax as knowledge, semantics as process)。

  2. 相关文献

句子结构的加工过程

  1. 传统观点的不足。

传统上基于失语症病人得出的语言模型认为,人类语言位于左侧大脑颞叶和额叶相关区域,其中布罗卡区负责言语产出、韦尼克负责言语理解等。但该模型存在诸多不足,如两个区域无法清晰的定义、言语理解和产出都激活这些区域区域、功能连接和核磁共振的相关数据发现语言理解和产出的相关区域比传统观点认为的要广泛的多(图2),甚至涉及小脑和皮下结构。

  1. 语言加工的复杂性。

a). 神经解剖学的可塑性。例如语言学上的句法移位会激活先天盲人的视觉区,而复杂的算术共识则不会激活该区域,说明视觉区域可以被用来加工语言信息,而不一定是左侧颞叶和额叶。b). 即时性原则(The immediacy principle)。人类能够以每秒钟2-5个单词的速度产出或理解语言。人类语言信号的发生如此迅速的一个重要原因是在理解和产出语言时人类能够实时利用各种语言线索,即即时性原则。即时性原则的一个表现是语言理解中的预测性。c). 信息结构(Information Structure)。语言的理解和产出通常发生在实际交往的上下文语境中。此时有些信息是听说双方已经共享的,语言学中称作话题'',有些信息是新的,被称作评论’‘。在实际交流中,新信息通常是通过焦点''来实现的。研究发现当在典型情境中引发脑电成分N400的语义不一致信息出现在非焦点位置时,N400消失 (图3)。d). 语用推理(Pragmatic Inferencing)。语言交流还需要听话者正确理解话语中没有直接表达出来的意思,即语用推理。例如,同样的一句话这里很热’’,当与一片沙漠同时出现时,听话者会认为这只是一个陈述性命题。而当与一扇门同时出现时,听话者则会认为这是一个请求,请求听话者打开门。结果发现,后者会激活心理理论(TOM)的相关区域,即右侧颞顶联合区和前额叶中部区域。

  1. 多元网络观点(Multiple network review)。

言语理解可以分为很多步。第一步,把复杂的语言信号分为基本的组成单元(Elementary Linguistic Units, ELUs,如声音模式、词汇的含义和句法特征、正字法规则等)和基本的语言操作(Elementary Linguistic Operations, ELOs,如对基本单元的提取和组合等)。人类具有某些先天特征,让我们更容易习得语言,如从线性数据中解析层级结构的能力(图1)。这其中有些成分是语言特有的如ELUs,而另一些则是与其他系统共享的如 ELOs。这一步涉及的大脑区域包括 LIFC、颞叶、和顶叶。 第二步,利用注意控制系统(attentional control-multiple demand system)提升对语言信号的表征,表达语言信号的信息结构。第三步,把相关情景模型(situation model)纳入到理解过程中。例如,把由基本单元和基本操作组成命题与真实或想象的情境进行匹配以确定其真值。这一步涉及有内测额回和右侧角回。最后,为了从语言表征中提取相应的信息,听话者还需要把语言信息和非语言信息整合到一起。

  1. 相关文献

发声学习的进化过程

  1. 人类的口语语言由七个核心部分组成(图1):

言语/韵律知觉(Speech/song perception)、句法(Syntax)、语义和语用(Semantics and Pragmatics)、听觉学习(Auditory Learning)、发声使用学习(Vocal Usage learning)、言语/韵律产出(Speech/song Production)、和发声产出学习(Vocal Production Learning)。其中后两种在脊椎动物中较少出现。对于语言的进化,作者认为语言的大部分成分在不同物种间都具有连续性,只是在人类集中出现,发展最复杂,即持连续观(Continuum Hypotheses)。

  1. 发声学习的独特生理解剖学基础。

大脑体积大或神经元密度高(影响发声学习的神经环路)(图2A);发声器官不同(图2B);出现前脑神经环路(图2C,图 3A-B 黄色区域):人类和猿类的 LMC 区, 唱歌鸟的 HVC 区 和 RA 区;产生从运动皮层到脑干发声运动神经元的直接连接(图2D,图 3 中红色箭头);产生从次级听觉皮层到发声前运动皮层连接(图2E,图 3 中蓝色箭头);大脑中内化的语言模块(图2F,图3中红色区域):人类布洛卡区,唱歌鸟的 MAN 和 MO 区。

  1. 发声学习起源的动作理论。

由于唱歌鸟和人类的发声学习和言语通路是嵌套在或临近于动作学习通路(Motor Learning Pathways)的,所以作者提出了发声学习的运动理论。该理论认为,用于支持发声学习和言语的大脑通路是在周边的运动学习通路独立进化而来的,这些通路在所有物种中都存在,所以有很深的同系性(homology)。大脑的进化是通过大脑通路的复制实现的(Brain Pathway Duplication):已经能接受听觉输入的动作学习通路在胚胎发展期(embryonic development)也许会被复制很多次,从而使得脑干和脊髓神经元分布于很多肌肉组织中(图5B)。在发声学习者中,一个被额外复制的神经通路(图5C)布满了很多脑干发声运动神经元,并被用作发声学习的表现型(phenotype)(图5D)。

  1. 言语发声学习的三个进化阶段:

脊椎动物的共同祖先均有一个脑干通路发出先天的、有限变化的声音(如隆巴德效应)。有些物种中,前脑运动学习通路得到复制并形成了一个发声运动学习通路,该通路还有一个到脑干发声运动神经元的弱直接投射。此后,这个前脑发声运动学习通路在神经元的数量上有了扩张,导致前脑神经元密度提高,分布到运动学习通路之外,获得到脑干发声运动神经元的直接投射能力。最后,发声学习通路进一步得到复制,并接受了专门化基因的进一步限制,和连接,从而形成了我们在鹦鹉和人类中看到的更为复杂的发声学习通路。作者进一步提出了发声学习和口语语言的大脑机制(图4)。

  1. 相关文献