基于时序卷积网络的词级语言模型研究与应用

【摘要】 提出一种卷积神经网络---时序卷积神经网络。将该网络应用于语言模型,时序卷积神经网络的基本结构由输入层、扩大卷积层、因果卷积层、Relu层、Dropout层、输出层组成,将扩大卷积应用在语言模型中。实验结果表明,将语言模型的复杂度降到83.21,误差降到3.87,该网络同RNN比较复杂度下降14%、误差下降0.69,该网络同LSTM比较复杂度下降13%、误差下降0.4,综合复杂度、误差两个指标,时序卷积网络优于其它基准模型。