首页
我们
党建
科研
学人
资源
教学
搜索

“语音、语言与大脑”研讨会综述

作者:语音室 来源:今日语言学 时间: 2017-12-18
字号:

  2017年12月18日,由中国社会科学院语言研究所语音与言语科学重点实验室主办的“语音、语言与大脑“研讨会在北京举行,会议开幕式由实验室主任李爱军研究员主持,语言所所长刘丹青研究员致辞。

  来自中国社会科学院、中国科学院、北京大学、北京师范大学、北京语言大学、首都师范大学、北京外国语大学、南京师范大学、兰州大学、香港中文大学、美国俄亥俄大学、美国中阿肯色大学等科研院所和国内外高校的学者在论坛中就言语认知、言语病理和大脑疾病等话题进行了深入的交流与讨论。

  语言所所长刘丹青研究员主要就三方面的内容作了大会致辞。

刘丹青研究员

  第一,十九大的精神之一就是要贯彻以人民为中心的发展思想,本次研讨会很大程度上就践行了这一精神。语言所虽然长期以来以语言学的本体研究,尤其是汉语的本体研究为主,但也一直在推动语言研究成果为社会应用服务,把人民群众对于美好生活的向往作为工作目标之一。人民群众对于美好生活的向往,就包含了对美好语言生活的向往。社会中存在着很多由于各种各样的障碍引起的语言障碍患者,他们不能像普通人一样表达出自己简单的想法和要求。用语言学的专业知识来为社会上有语言生活方面困难的群体提供专业有效的帮助,符合把研究服务于人民群众对美好生活向往的宗旨。

  第二,从专业方面来说,本次研讨会是非常有意义的自然科学与人文社会科学的交叉结合。这种交叉结合不仅仅是一两个学科之间的关系,更是在学术史的大格局上体现了学术发展的潮流。人类科学发展经历了两个方向不太相同的阶段。第一个阶段侧重于学科的分工分类,这体现了科学发展的系统化、精细化、专业化。现代科学就是在这种分工越来越明确的情况下向前推进。但是到了一定的阶段,学科之间的关联互动不但发生在具体的学科之间,也发生在人文社会科学和自然科学的大领域间。本次研讨会就体现了这样一个精神。随着语言学的发展,将有越来越多的语言学理论假设可以从脑神经科学方面得到证实或者证伪。作为人文学科里面处于跟自然科学交界的前沿学科,语言学的知识需要与脑科学这样的现代技术相结合。

  第三,大数据计量和脑科学是当下最受关注的两大领域。很多主要发达国家和一些发达国家的联合体都制定了雄心勃勃的脑科学计划。大数据的研究对于语言学的促进,更多的是从定量的方面,它能揭示的更多是科学所追求的一种相关性。但是相关性还不是最终的目标,语言学的最终目标是要揭示人类语言的一些因果关系和机制,这些就需要脑科学、神经语言学在定性方面的知识。

顾曰国研究员  

  语言研究所语料库语言学研究室顾曰国主任的报告《DAT (dementia of Alzheimer type) 知识本体构建》,以阿尔茨海默型痴呆症患者为研究对象,从研究设计、静态传世知识构建、动态临床诊断知识获取以及面临的挑战四个方面,为我们介绍了其在研究老龄化与语言蚀失领域所取得的成果。

 

梁丹丹教授

  南京师范大学文学院副院长梁丹丹教授的研究《情绪强度影响下汉语高功能自闭症儿童情绪韵律识别研究:基于情绪维度理论的视角》揭示了汉语高功能自闭症儿童情绪韵律识别的认知机制,特别是强度对其情绪韵律识别的认知机制的影响。

  吴西愉副教授

  北京大学中文系吴西愉副教授的报告《注意力的影响因素研究初探》通过眼动实验,考察了语音、文字和图片三因素对注意力分配的影响,发现语音的工作记忆力同样影响注意力的分配,这三者影响从大到小为:语音>文字>图片。

胡斌教授

  国家973项目首席科学家、兰州大学信息科学与工程学院院长胡斌教授介绍了如何面向抑郁障碍进行心理生理计算。首先他指出该项工作面临的若干挑战:数据驱动范式下高质量结构化数据集收集困难,早期抑郁障碍定义不完善,静态影像数据不满足抑郁障碍的动态识别。针对这些问题,胡斌教授团队进行自主工程设计,优化电极,制造便携式脑电传感器,加速了数据收集。尽管该传感器只关注负向情感处理,只收集前额叶脑电信号而在一定程度上牺牲了区分度空间,但这是国际首次有效检测抑郁障碍与脑电信号特征关联度的尝试。胡斌教授认为多维度多模态的信息,如语音刺激,能提高系统的检测效度,他也认为基于生物信息反馈的虚拟现实可以对负向情感进行抑制干预。他总结道,这类技术可以应用于更普适化的情绪检测系统,将人的高级认知功能更深入地引入机器,满足类人智能协同的需求。

胡建华研究员

  社科院语言所当代语言学研究室主任、《当代语言学》主编胡建华研究员介绍了儿童语言发展的社会生物语言学。他认为“互动”和“指向”是儿童语言习得的基础能力,通过大规模儿童语言发展的历时记录,其团队发现儿童“带有发声的指向”是VP和CP合并的初步准备,为“句法心灵”的假说提供了新的证据,并在此基础上建立了句法的双向发展模型。

徐立教授

  俄亥俄大学交流科学与障碍系Auditory Prosthesis Laboratory主任徐立教授的报告“Singing Proficiency of Prelingually Deafened Children with Cochlear Implants”,介绍了他的团队对儿童歌唱能力的发育开展的一系列研究。他们对比了正常儿童、佩戴助听器、人工耳蜗三组儿童,发现助听器儿童和人工耳蜗植入儿童,歌唱能力较差,正常儿童可以达到百分之九十几音高方向正确率,而助听器和人工耳蜗植入儿童可能只有50%的方向是准确的。而对两位小海豚的人工耳蜗佩戴儿童的定量分析发现,他们不仅歌唱的方向达到正常儿童的效果,在压缩方面非常接近正常人的数据,在每一个音离歌谱的距离方面,比正常儿童唱得更准。两年严格的音乐训练可以让小海豚人工耳蜗植入儿童唱得跟正常人一样好,证明了儿童大脑的可塑性。

李丹教授

  香港中文大学电子工程系数字信号处理与语音技术实验室主任李丹教授的报告“Automatic Assessment of Pathological Speech: Some Experience of Inter-disciplinary Collaboration”,分享了他的团队在过去十多年的时间里跟不同领域研究机构开展合作研究病理语音的经验。在病理语言研究中言语障碍的评估是一个非常重要的环节,基本目的是评估它的种类或者严重程度。这方面主观评价做得很精细,治疗师通过聆听评估语音质量,评分包括整体严重性,粗糙度,呼气,张力,断头,发声的断断续续,震颤,喉部声门等各个方面,每个病人一个分数,包括1-10分精细的评测和正常、轻度、中度、重度等较粗尺度的评价。病理语言研究不止需要研究者对语音背景有了解,还需要对语言文化背景的了解。比如在北美讲广东话的人年纪大了开始有语言方面的问题,没有语言资料的话,言语治疗师语言评估工作基本上不太可能开展。语音识别系统对不同的语种不同地区会有不同的处理方法。病例语音自动工作目前遇到的困难比较多,比如说轻微、中度和严重,严重的识别率还是相当的高,对轻微和中度的混淆力则相当厉害;虽然可以收集到很多病人的数据,但是在打分、语音(来自湖南、广州等各个地区)等方面很难做统一,这是两个比较大的难题。

高军助理研究员

  语言研究所语音与言语科学重点实验室高军助理研究员的报告《1.5-6岁普通话儿童发音测试词表和常模》介绍了团队为调查正常儿童发音发展特点和规律所开展的相关工作。她们采集了北京四个城区4000多名普通话儿童看图说话的发音数据,所选词语以名词为主,覆盖所有声母、韵母、声调组合、连读变调、轻声、儿化等语音现象。在此基础上,通过有序聚类对16个年龄段的数据分性别进行划分,以声母、韵母、声调平均错误率作为每个年龄段三个维度的向量,确定儿童语音的发展阶段;并针对每个年龄段,通过熵权法计算声韵调三方面的权重后得出综合错误率以制定常模。最后,她报告了制定标准测试词表的工作设想。

孔江平教授

  北京大学孔江平教授的报告《阅读障碍的测试方法》强调了建立阅读障碍的自动监测方法和干预手段的重要意义,并介绍了团队目前开展的阅读障碍测试工作。测试范围为北京朝阳区、海淀区四所小学的二至五年级学生,每年级各三十人;测试项目覆盖认知能力、阅读能力、读前能力三部分,共十二项,可作为衡量阅读能力的有效指标。最后,他提出了自动测试系统设计的初步工作与整体设想,包括对语音识别系统的需求,以及对潜在阅读障碍患者的后期干预方式、学习考试方法的调整等。

阳晶助理教授

  美国阿肯色大学交流科学与障碍系阳晶助理教授的报告“Speech Production of Prelingually Deafened Children with CIs”介绍了植入人工耳蜗的语前聋儿童(简称CI儿童)与正常发展儿童(简称NH儿童)在单元音、复合元音以及擦音产出上的差异。通过对比CI儿童与NH儿童产出的单元音、擦音(f、s、q、sh)以及4个二合元音与2个三合元音在声学参数上的差异,她发现:CI儿童与NH儿童相比,产出的单元音时长更长,在声学空间上更分散,不同元音间的边界更为模糊;产出擦音的正确率更低,且四个擦音的声学参数差异很小;产出的复合元音时长也更长,尤其是三合元音,且不能快速地转换发音目标。尽管如此,CI儿童语言产出的发展轨迹仍大致与NH儿童一致。

李爱军研究员

  李爱军研究员报告了《言语链:言语认知的实证与理论研究》,重点介绍了实验室在言语产出、言语感知与认知发展三大领域的最新研究成果。言语产出领域的成果包括构建3D发音模型、空气动力学模型等;在言语感知领域,通过眼动实验考察普通话母语者处理上声变调的机制,通过脑电实验研究汉语特色语法结构(关系从句、同位语、领属结构)的认知神经机制,并通过眼动实验研究汉语语篇中逻辑加工的认知关系(以因果关系为例);在认知发展领域,开展了声调范畴习得、词类习得、普通话儿童轻声产出等研究,并从神经计算建模的角度出发,建立语言习得GSOM模型,模拟婴幼儿在言语交互中习得母语音位范畴的过程。最后,她展望了未来的研究方向,如关注一老一小的语音和语言认知发展,从言语科学视角研究语言获得与蚀失机制、构建基于汉语病理语音和语言特点的测试量表、研究中国不同语言文化背景的言语产出和感知机制等。

  报告结束,中国科学技术大学电子工程与信息科学系凌震华教授主持了讨论环节,他认为许多疾病的判断以及认知研究依赖大量的人工,智能语音技术或者一些人工智能处理技术可以在一些疾病的诊断评估里做出很多应用,用一些自动化的手段为疾病判断和认知研究提供帮助,未来各领域的结合将会成为新的趋势。语言科学越来越庞大的数据规模,需要先进的数据分析手段,比如自动语音识别或者自动数据分析,大规模的语言数据库也可以用来做大数据挖掘的研究。二者如何结合,是对工程技术人员一次新的挑战。曹剑芬研究员认为本次研讨会的内容反映了基础理论研究在实践中的应用,而理论研究开花结果并在实践中得到检验,正是其意义所在。此外,基础理论研究也应该有前瞻性,例如国内声调的研究较为成熟,但除声调以外的韵律研究由于在应用的驱动下开展,研究仍较为被动。她总结道,语言与思维的关系以及对神经机制的探索,是目前语言学研究义不容辞的义务;而大数据的现象描述也非常重要,但不能停留在描述阶段,更需开展进一步讨论。此外,林茂灿研究员也出席了讨论环节,与在场的专家学者一起就报告内容进行了激烈的讨论。