基于ActionVLAD池化与分层深度学习网络的组群行为识别方法

【摘要】 构建端到端的深度学习网络结合局部聚合描述符(Actionvectoroflocallyaggregateddescriptor,ActionVLAD)池化层和多层长短时记忆(Longshorttimememory,LSTM)解决组群行为识别问题。在传统的单一图像信息(RedGreenBlue,RGB)作为深度学习网络的输入基础上,添加密集光流信息(Dense_flow),描述视频帧间的运动,作为双流网络的输入;通过底层LSTM对特征信息进行建模,由融合的双流特征来表示个人行为;而ActionVLAD池化层可以对不同时间、图片不同位置的特征进行融合,从而更好地融合个人信息;最后顶层LSTM连接Softmax分类器,通过融合的个人信息判断组群活动。在Collectiveactivitydataset数据集上的测试实验获得了82.3%的平均识别精度。