基于增量式流处理的自适应群体划分方法

【摘要】 群体有效划分是实现群智协同的关键性基础问题.然而,在具有大规模数据流的协同应用中,由于用户数据的复杂关联性、流式处理的信息片段性和用户特征的动态变化性,造成了概念漂移现象的发生,严重制约了群体划分的准确性和适应性.如何实现群体划分在发生概念漂移时自适应地动态更新成为一个亟待解决的问题.针对这一问题,本文提出了适应概念漂移的群体划分模型,覆盖了信息建模、群体划分、群体模式提取、迭代优化四个阶段,可基于流处理引擎为群智协同应用提供有效的群体划分和数据过滤分发.该方法首先基于关联数据建立用户全生命