2024年7月11日上午,美国加州大学洛杉矶分校陶红印教授应邀在中国社会科学院语言研究所做了题为“(互动)语言学的多模态转向的理论与实践意义”的学术报告。报告由当代语言学研究室主任完权研究员主持,采用线下线上相结合的方式举行。中国社会科学院语言研究所、中国社会科学院大学等单位的部分师生参加了此次学术报告会。
陶红印教授是功能语言学的代表学者,运用话语分析、语料库语言学等理论对汉语语法和语言教学进行了丰富的研究。近年来,陶红印教授致力于多模态互动语言学的研究。本次讲座中,陶教授系统回顾了语言学中多模态转向的学术发展历程,并结合前沿领域的实践分享了自己对这一转向的理论思考。
陶红印教授首先归纳了当代语言研究的若干发展趋势,包括基于大规模、多语体的语料库语言学、基于多模态的互动语言学,以及基于多模态/视频的生成式人工智能,指出语言研究不再仅限于语言学,而成为很多相关领域共同关注的问题,其中材料、理论和技术是同步发展的。
接下来,陶教授梳理了从早期欧洲经验主义的实践到北美西海岸功能语言学的发展历程,并着重探讨了互动语言学的学理背景——功能语言学与会话分析的结合。会话分析将日常对话作为体现社会秩序的具体方面,两个主要派别分别以Garfinkel和Goffman为代表。前者从会话结构出发,试图寻找超越社会族群、生活环境、文化背景等因素的会话规则。例如,将疑问作为言者互动的社会现象,关注具体场合(如庭审)中答语的类合属性以及长短区别。后者则关注日常互动中的自我呈现,提出戏剧和角色的理论,并通过“参与框架”理解社会互动。多模态转向更多缘起于后一派别的探索。
随后,陶教授通过多个生动的例子说明,视线变化、手势、身势等多模态表现具有强烈的互动意义。这种意义并不通过言语表达出来,但同样可以被受话人观照到;复杂的语用行为往往由多模态具身的方式微妙地实现。因此,多模态研究可以丰富对言语行为意义的理解。
最后,陶教授总结了多模态转向对于语言学研究的理论意义。从学术史的发展来看,多模态互动语言学带来语言学研究目标的变化——从言谈扩展到交际,对形式的分析和意义的理解也有所扩展,给诸如二语教学及多模态人工智能等应用领域提出了新的问题和启发。
陶教授的报告追根溯源、深入浅出,对当前热门的生成式人工智能领域也多有涉及,引发了大家的热烈讨论。方梅研究员、完权研究员、方迪副研究员、彭馨葭博士、张帆博士等分别就多模态的范畴归纳、手势与语词的关系、多模态分析与词汇句法分析的离析、多模态互动语言学对自然语言处理的贡献,以及多模态人工智能中“基于经验”和“基于规则”两种思路的关系等问题与陶教授进行了深入的探讨和交流。
本场学术报告在热烈的讨论气氛中结束。