[00132589]清源大数据应用平台软件V1.0

“大数据”是一个涵盖多种技术的概念,简单地说,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V,即大量化（Volume）、多样化（Variety）、快速化（Velocity）及由此产生的价值（Value）。 大数据将带来巨大的技术和商业机遇,大数据分析挖掘和利用将为企业带来巨大的商业价值,而随着应用数据规模急剧增加,传统计算面临严重挑战,大规模数据处理和行业应用需求日益增加和迫切出现越来越多的大规模数据处理应用需求,传统系统难以提供足够的存储和计算资源进行处理,云计算技术是最理想的解决方案。调查显示：目前,IT专业人员对云计算中诸多关键技术最为关心的是大规模数据并行处理技术大数据并行处理没有通用和现成的解决方案对于应用行业来说,云计算平台软件、虚拟化软件都不需要自己开发,但行业的大规模数据处理应用没有现成和通用的软件,需要针对特定的应用需求专门开发,涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现,这些都为大数据处理技术的发展提供了巨大的驱动力。 我司拟通过该项目中的数据抓取系统,自然人画像识别系统,个性化推荐系统对传统运营平台进行大数据云计算化的改造,利用大数据并行处理技术的优点,优化索引查询技术,及运维管理,实现数据的存储与查询,实时计算,离线计算等,建立一个拥有大数据计算优势的运营平台系统。 关键技术： 1)数据抓取系统 通过自动抓取电商网站、媒体网站、微博、论坛、社区等网站的页面公开数据,以补充企业内部数据的不足,并支撑企业对全网市场监控、全网舆情监控等大数据洞察引擎的数据需求。目前,本系统已全面支持抓取国内主流电商平台网站的商品价格、商品属性、用户评价数据,对于淘宝和天猫还支持抓取商品销量数据,以及抓取微博、论坛、社区等SNS网站的用户言论数据。 2)自然人画像识别系统 随着跨渠道、跨终端的用户接触点越来越多,用户留在这些接触点上的ID标识也越来越多,如浏览器Cookie、会员账号、Email地址、手机号码、手机MAC地址、QQ号、微信账号、微博账号等等。用户指纹识别系统通过建立一张用户多重ID的映射关系图谱,得到一个用户所有ID之间的关联关系,进而可以把一个用户在所有接触点上的行为连接起来,形成一条完整行为轨迹。 3)大规模数据并行处理技术,涉及到诸多并行化算法、索引查询优化技术研究、以及系统的设计实现; 4)数据存储与查询; 5)数据的实时计算; 6)数据的离线计算; 7)运维管理系统