结合注意力与卷积神经网络的中文摘要研究

【摘要】 研究周才东1,曾碧卿1,2,王盛玉1,商齐11.华南师范大学计算机学院,广州5106312.华南师范大学软件学院,广东佛山528225摘要:目前深度学习已经广泛应用于英文文本摘要领域,但是在中文文本摘要领域极少使用该方法进行研究。另外,在文本摘要领域主要使用的模型是编码-解码模型,在编码时输入的是原始的文本信息,缺乏对文本高层次特征的利用,导致编码的信息不够充分,生成的摘要存在词语重复、语序混乱等问题。因此,提出一种局部注意力与卷积神经网络结合的具备高层次特征提取能力的编码-解码模型。模型通过局部注意力机制与卷积神经网络结合的方式提取文本的高层次的特征,将其作为编码器输入,此后通过基于全局注意力机制的解码器生成摘要。实验结果证明,在中文文本数据集上该模型相对于其他模型有着较好的摘要效果。