基于图的多层次注意力事实验证算法

【摘要】 事实验证任务要求能够从大规模的文本语料库中抽取相关的证据,并通过推理对给定的声明得出事实性的判断。现有的研究通常将检索到的证据拼接,然后比较声明和证据嵌入的余弦相似度,这些方法忽视了长距离证据之间的联系,以及不同层次的语义相似度,而这些特征对于推理验证至关重要。设计了一种基于图的多层次注意力模型(Graph-awareHierarchicalAttentionNetworksforFactVerification,GHAN)。该模型首先通过BERT(Bidirec-tionalEncoderRepresentationfromTransformers)筛选出所需的证据片段,再利用卷积神经网络提取不同长度的N-gram特征,构造不同粒度的相似度转移矩阵提取相似度特征。为了综合考虑字符级别和句子级别的语义信息,将证据信息构建成信息融合图,再利用基于核函数的注意力机制进行信息传递与证据推理。该算法在FEVER数据集上取得较好的效果,优于其他基于BERT的方法。