[00054836]一种基于流式实时分布式大数据的数据采集方法及系统
联系人： 华南理工大学
所在地： 广东广州市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
摘要：本发明公开了一种基于流式实时分布式大数据的数据采集方法及系统，主要是采用分布式云集群的方式来处理数据采集，提高数据采集的处理性能和提供一定的可扩展性；构建分区关联的任务队列，不需要首先完成数据累计和落地，实时检测业务数据的变化，采用内存模型来高效存储增量收集的数据，减少本地临时文件保存时所占的空间，避免数据堆积和丢失，同时在基于内存模型的基础上，将数据块进行流化处理，直接在内存中对数据流进行并行处理并实时更新到分析数据集。本发明充分发挥了云集群的高效处理性能，同时利用基于内存的高效存储模型完成数据的收集和归类操作，为后续的实时数据分析提供数据基础，保证了实时数据采集可得到实时的反馈分析结果。
