基于增强对抗网络和多模态融合的谣言检测方法          下载免费PDF全文

唐樾  马静 《情报科学》2022,40(6):108-114

【目的/意义】随着社交网络的复杂化,当前谣言往往是由描述事件的文本、对应的图片或者视频组成,多种 模态的谣言更容易给用户传达一种错误的认知。现有谣言检测的研究往往只使用谣言文本特征,且未能充分挖掘 谣言与事件存在的联系。【方法/过程】因此本文提出一种基于增强对抗网络和多模态融合的谣言检测方法,使用 BERT 和 Text-CNN 提取文本特征,使用 VGG-19网络提取图像特征,再通过注意力机制捕捉多个模态的特征交 互,最后使用增强对抗网络来挖掘谣言和事件之间联系。【结果/结论】在公开的微博多模态数据集上进行对比实 验,实验结果表明该方法检测的准确率达到了 92.5%,相较于传统单模态和现有多模态模型,提升了约 10%~20%。 【创新/局限】本文将对抗网络和多模态特征融入谣言检测中,有效提升了谣言检测的效果,但目前仅尝试了文本和 图像两种模态的结合,如何融合更多模态的特征后续有待研究。  相似文献