| 以ChatGPT为代表的大型语言模型研究进展 |
| |
| 引用本文： | 柯沛,雷文强,黄民烈.以ChatGPT为代表的大型语言模型研究进展[J].中国科学基金,2023(5):714-723. |
| |
| 作者姓名： | 柯沛 雷文强 黄民烈 |
| |
| 作者单位： | 1. 清华大学计算机科学与技术系;2. 四川大学计算机学院 |
| |
| 基金项目： | 国家自然科学基金项目(62125604,61936010)的资助； |
| |
| 摘 要： | 大型语言模型是当今人工智能领域最前沿的研究方向之一，该方向旨在训练含有大规模参数的通用语言模型，使其能够遵循人类指令完成不同类型的自然语言处理任务。作为大型语言模型的代表，由OpenAI研发的ChatGPT在各个领域均展现出强大的自然语言生成能力，受到了全球各行各业的关注。本文从语言模型的发展历程出发，介绍了近年研究者在扩大语言模型规模上的探索，然后分析了大型语言模型带来的范式改变，并以ChatGPT为典型实例概述了其发展、技术和应用，接着介绍了后ChatGPT时代大型语言模型的前沿进展，最后从评价和治理两方面总结了目前大型语言模型的局限性及未来需要解决的挑战。
|
| 关 键 词： | 大型语言模型 ChatGPT 预训练语言模型 Transformer 思维链 自然语言处理 人工智能 |
|
| 点击此处可从《中国科学基金》浏览原始摘要信息 |
| 点击此处可从《中国科学基金》下载免费的PDF全文 |
