基于隐含主题协同注意力网络的领域分类方法
【摘要】 基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果。然而当训练数据的规模有限，或者测试数据与训练数据的分布有较大差异时，一些有价值的信息词很难在训练中被模型捕捉到。为此，该文提出了一种新的基于协同注意力（co-attention）网络的领域分类方法。该文利用隐含主题模型学习隐含主题注意力，并将其引入到文本分类常用的双向长短时记忆网络（BiLSTM）中，与软或硬注意力（soft-orhard-attention）机制一上的实验结果表明，隐含主题协同注意力网络取起构成协同注意力。在中文话语领域分类基准语料以及单独的隐含主题注意力机制得了显著优于注意力机制的领域分类效果，比基线注意力机制的分类正确率。此外，实验结果还验证了，在额外的未标记数据上训Softatt、Hardatt分别提高了SMP-ECDT
