基于多路分块的Pay-as-you-go实体识别方法
【摘要】 实体识别是数据集成和数据清洗的一个重要方面.针对Pay-as-you-go数据管理需求，本文提出一个基于多路分块的Pay-as-you-go实体识别方法.该方法不要求提供最优的分块或排序的键，并且可以直接找出脏数据集中冗余度最大的区域.分为两个阶段，初始化阶段和迭代阶段.在初始化阶段，初步地生成候选数据对象对，并按匹配可能性排序后加入到候选队列.在迭代阶段，每次选择候选队列队首的候选对（即最可能匹配的）来处理，并且根据实时的实体识别结果，动态地更新候选对的匹配可能性，调整候选队列.这样减少了无用的数据对象比较，使得实时的识别结果最优化.通过在真实数据集和合成数据集上的实验对比，说明本文提出的基于多路分块的Pay-as-you-go实体识别方法显著地优于已有工作中提出的方法.
