| Residential College | false |
| Status | 已發表Published |
| ChatGPT等大模型的语言处理机制及其理论蕴涵 | |
袁毓林1,2
| |
| 2024-08 | |
| Source Publication | 外国语
 |
| ISSN | 1004-5139 |
| Issue | 04Pages:2-14 |
| Abstract | 本文简单解释ChatGPT等现代大型语言模型的语言处理机制和数学原理及其理论蕴涵。首先，通过ChatGPT对代词指称歧义句的理解，来说明语言大模型在语义理解和常识推理方面的性能；接着，介绍转换器这种语言模型的新颖构架，特别是其注意力机制及其功能；还介绍基于分布语义学的词的向量化嵌入表示，以及词向量在语言处理和类比推理方面的作用；然后详细介绍转换器模型怎样通过注意力机制和前馈网络，来追踪和传递词语之间的句法语义关系信息，从而成功地预测下一个词语并生成合适的文本；最后简介语言大模型的训练方式，并说明大模型怎样用“再造语言”的方式，帮助我们重新认识人类自然语言的有关特点（分布性和预测性），启发我们反思既有的句法学和语义学理论。 |
| Keyword | Chatgpt 语言大模型 转换器 注意力机制 前馈网络 词向量 |
| Indexed By | 核心期刊 ; CSSCI ; 其他Other |
| Language | 中文Chinese |
| Funding Project | 面向可解释AI的语义推理模式与机制研究 |
| Document Type | Journal article |
| Collection | DEPARTMENT OF CHINESE LANGUAGE AND LITERATURE |
| Affiliation | 1.澳门大学人文学院中国语言文学系 2.北京大学 中国语言文学系/中国语言学研究中心 |
| First Author Affilication | Faculty of Arts and Humanities |
| Recommended Citation GB/T 7714 | 袁毓林. ChatGPT等大模型的语言处理机制及其理论蕴涵[J]. 外国语, 2024(04), 2-14. |
| APA | 袁毓林.(2024). ChatGPT等大模型的语言处理机制及其理论蕴涵. 外国语(04), 2-14. |
| MLA | 袁毓林."ChatGPT等大模型的语言处理机制及其理论蕴涵".外国语 .04(2024):2-14. |
| Files in This Item: | There are no files associated with this item. | |||||
Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.
Edit Comment