| ChatGPT生成与学者撰写文献摘要的对比研究——以信息资源管理领域为例 |
| |
| 引用本文： | 张强,王潇冉,高颖,王常珏,周洪.ChatGPT生成与学者撰写文献摘要的对比研究——以信息资源管理领域为例[J].图书情报工作,2024(8):35-47. |
| |
| 作者姓名： | 张强 王潇冉 高颖 王常珏 周洪 |
| |
| 作者单位： | 1. 安徽工程大学人文学院;2. 华中师范大学信息管理学院;3. 安徽工程大学计算机与信息学院;4. 中国科学院大学经济与管理学院;5. 中国科学院武汉文献情报中心 |
| |
| 基金项目： | 安徽省省级教学研究重大项目“新工科背景下人文素质教育体系的改革与实践”（项目编号：2020jyxm0152）； |
| |
| 摘 要： | 目的/意义]探究ChatGPT生成与学者撰写的中文论文摘要之间的异同，为AI生成学术论文检测及相关研究提供借鉴。方法/过程]首先，以信息资源管理领域为例，分别抽取图书馆学、情报学、档案学近3年各500篇高被引论文，基于获取的论文题目采用Prompt方式应用ChatGPT工具生成对应的摘要文本，构建数据集合；其次，采用9种机器学习及深度学习算法对ChatGPT生成与学者撰写的摘要文本进行分类检测；最后，从文本特征、主题模型、ROUGE评测对二者的异同进行多角度分析，从而揭示二者之间的异同点。结果/结论]基于数据集所训练的主流机器学习及深度学习算法可以有效地分辨摘要是AI生成还是学者撰写，其中BERT和ERNIE的效果最好，而机器学习算法中RF和Xgboost效果最好。ChatGPT生成的摘要字符数量、句子数量较学者撰写的要多，关键词多为模版化的转折性词语；两者的文本主题大部分相同，在“学科体系”“数字人文”等主题上存在差异；ROUGE及余弦相似度定量分析表明ChatGPT生成的摘要与学者撰写的摘要文本存在明显的“形似”而非“神似”的现象。
|
| 关 键 词： | ChatGPT 文本分类 文本特征 论文摘要 |
|
