2024年9月26日上午,中国科学技术大学语言科学交叉研究中心王怡哲博士应邀在中国社会科学院语言研究所做了题为“大语言模型时代下的语言学”的学术报告。报告由当代语言学研究室主任完权研究员主持,采用线上线下相结合的方式举行。中国社会科学院语言研究所、中国社会科学院大学等单位的部分师生参加了此次学术报告会。
王怡哲博士目前任职于中国科学技术大学语言科学交叉研究中心,博士毕业于图卢兹第二大学计算语言学专业,曾任职于法国国家科学研究中心及法国南特大学。她参与了多个国内外研究项目,是新一代人工智能国家科技重大专项子课题负责人。主要从事计算术语学以及大语言模型可解释性方向研究。
王怡哲博士首先简要概述了神经网络与语言模型的基本概念,重点介绍了 Transformer 架构的核心机制及其在语言处理中的重要性。通过具体实例,详细解释了为什么基于Transformer 的模型能够实现更精准的语言理解和生成能力,总结了大语言模型具有训练数据海量、神经网络复杂、计算资源大量、理解与生成语言通用、能够进行上下文理解和可适应性以及微调等重要特点。
随后,王怡哲博士讨论了语言学和大语言模型的紧密联系,指出神经网络对于语言学发展的主要贡献在两个方面:一是能够提供新的检验理论的方法,通过建模和量化分析的方法检验已有理论;二是能提供新的解决和语言相关任务的方法,例如机器翻译。语言学对大语言模型的贡献主要在三个方面:第一,语言学为大语言模型的发展提供了具有多样性的高质量标注数据,尤其是突出语言特征,并且对于濒危语言的数据整理具有重要意义;第二,语言学为模型的不断优化提供理论支持;第三,语言学在解释模型的语言处理机制方面提供了重要的理论框架。
尽管大语言模型展现了众多能力,它们是否具备真正的理解仍然备受争议。一些研究人员认为,通过增加模型的参数和训练数据的规模,大语言模型最终可能实现类人类的智能和理解,支持了“规模就是一切”的观点。然而,另一些学者认为,尽管这些模型语言流畅,但它们缺乏真正的理解,仅仅是在庞大数据集上学会了语言的形式。
最后,针对基于Transformer的语言模型对语言学信息的捕捉能力问题,王怡哲博士谈到,尽管目前尚无定论,但已有研究试图从词汇、句法、语义等角度对大语言模型隐藏层进行探索和解释,指出BERT模型仍具有局限性。
综上所述,本报告通过探讨语言模型的发展历程、语言学对大语言模型发展的贡献,以及这些模型在捕捉语言学信息方面的能力,促进了对语言学与大语言模型在 NLP领域中的持续交互与融合的深入理解,并为未来的研究指明方向。
王怡哲博士的报告引发了大家的热烈讨论,薛嗣媛助理研究员、李爱军研究员、赵青青副研究员、李玉晶博士、张帆助理研究员等与王怡哲博士后进行了深入的探讨和交流。本场学术报告在热烈的讨论气氛中结束。