面向情绪调节的多模态人机交互技术
【摘要】 目的现代社会存在心理问题的人日趋增多，及时调节其负面情绪对社会和谐稳定具有重要现实意义。传统的情绪调节方法需要花费大量人力，为此提出一种面向情绪调节的多模态人机交互方法，识别用户情绪，采用文本对话和体感交互实现对用户情绪的调节。方法综合运用了表情识别、文本对话和手势来实现对用户情绪的识别，构建了具有情绪表现力的智能体。用户的表情识别采用支持向量机方法，文本对话采用基于规则和融入情绪因素的Seq2Seq模型实现。设计了聊天、过生日和互动游戏(打篮球)等交互剧情，采用手势和肢体动作来辅助交互。为了更好地体现情绪调节的作用，在互动游戏中设计了强化学习算法，可根据用户的情绪反馈来自动调整游戏难度，最终让用户情绪调整到积极状态。结果通过实验发现，采用单模态交互很难感知到用户的背景信息，因此对用户的情绪识别可能出现误判。而采用多模态的人机交互方式，可以通过文本对话了解用户的背景信息，从而对用户情绪的识别更为合理。在多模态的人机交互剧情中，用户能以更自然的方式实现情景互动，智能体在多模态交互中更能发挥情绪调节作用。结论本文提出一种基于多模态人机交互的情绪调节方法，该
