| 基于BERT+BiLSTM+Attention的对抗训练新闻文本分类模型 |
| |
| 引用本文： | 汪辉,于瓅.基于BERT+BiLSTM+Attention的对抗训练新闻文本分类模型[J].西安文理学院学报,2023(3):49-53. |
| |
| 作者姓名： | 汪辉 于瓅 |
| |
| 作者单位： | 安徽理工大学计算机科学与工程学院 |
| |
| 基金项目： | 2021年安徽省重点研究与开发计划项目(202104d07020010)； |
| |
| 摘 要： | 新闻文本分类是长文本分类的典型问题，因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers, BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码，在训练后的词向量级别上进行扰动达到数据增广的效果，以此来进行对抗训练，之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F1值在TNEWS数据集上比BERT模型提升了1.34%.
|
| 关 键 词： | BiLSTM 新闻文本分类 对抗训练 BERT |
|
|
