基于Storm实时流式计算框架的网络日志分析方法
【摘要】 随着互联网的飞速发展，网络日志数据呈现爆炸式增长，网络日志蕴含着丰富的网络安全信息。通过对网络日志进行分析，提出了基于访问行为和网络关系的攻击IP识别模型和基于滑动时间窗口的IP真人属性判定模型。基于Storm实时流式计算框架，对所提模型进行算法实现，以构建分布式网络日志实时计算与分析平台，并对实现过程中遇到的技术问题给出了解决方案。通过真实数据对所构建的模型进行分析计算，结果表明，所构建的攻击IP识别模型的标注准确率达到98%，IP真人属性判定模型的标注准确率达到96%;构建的分布式网络日志实时计算与分析平台能够有效、实时地监控网络安全，并及时识别网络中存在的安全隐患。
