[00136097]中国光大银行基于大数据技术的近线数据存储平台

一、项目内容 中国光大银行的客户历史交易数据原本存放在磁带库和光盘库中,查询的效率较低、工作量较大。为了更好的满足客户和外部有权机构等对于历史交易数据的查询要求,提高业务处理能力,缩短业务办理时间,中国光大银行于2012年6月立项建设基于大数据技术的近线数据存储平台。在经过较长时间的调研和POC测试试验后,中国光大银行引入分布式架构的大数据处理HADOOP技术实现该系统。系统建设工作自2013年3月启动,经过开发、测试和验收,于2013年10月系统投产上线并开始试运行;2014年5月,完成全行推广工作。 本系统整合了光大银行自全行大集中后10多年来由Minter系统、阳光卡系统、核心业务系统积累的近40亿笔历史交易明细数据,提供在线的实时/异步、长时间跨度的查询功能。 本系统是国内银行业首次将大数据HADOOP技术应用落地,充分运用了该技术的特点,有效解决海量数据在线存储问题,突破现有计算能力瓶颈。 通过对本系统的建设,实现了满足客户和外部有权机构对历史数据查询的要求、缩短业务办理时间、降低业务人员手工强度、节约人力成本、统一数据格式、减少数据流转环节、防止泄密和提升安全控制能力等业务目标;也达到了尝试Hadoop分布式架构在银行体系的应用,探索出一种大数据存储并提供在线服务的模式,构建低成本硬件集群提供高性能、易扩展、高可用性的服务,为银行迎接“大数据”时代积累宝贵经验的技术目标。 二、技术特点 中国光大银行基于大数据技术的近线数据存储平台采用分布式架构的大数据处理HADOOP技术。该系统不仅发挥了HADOOP技术的特点,而且进行了技术创新,使其更加适合银行运营体系。 1.分布式架构。本系统采用了分布式架构的HADOOP技术,数据存储在分布式文件系统HDFS中,数据完整性的校验分布式计算Mapreduce算法框架,数据的挂载和查询采用分布式的列存储数据库Hbase。 该架构的优点： （1）易扩展。系统实现动态扩展,系统扩容增加新节点之后,自动在所有节点之间均衡数据,无需人工干预,实现数据均衡分布。 （2）高性能。本系统单集群（7台DateNode）性能测试TPS可达到245笔/s,ART为254ms/笔。系统上线后,在40亿笔交易数据的基础上,实时查询交易平均响应时间在200毫秒左右,异步查询交易平均完成时间在1分钟左右。 （3）低硬件成本。相比传统小型机+EMC存储的解决方案,硬件成本节约90%。 2.双中心 双集群 双活 双Namenode,“四双架构”带来系统高可用性。 （1）为了满足系统灾备要求,结合项目背景,本系统在生产和灾备双中心采用双集群双活架构。两集群间服务、数据独立。在单中心单系统出现异常时,快速切换,保证数据安全性和业务连续性;双集群的数据独立传输、整合和加载,最大力度节约机房间的网络带宽资源;双集群特有的双活设计,即两个集群同时提供查询服务,提高了硬件资源利用率。 （2）双Namenode。在一个集群内部,采用双NameNode方式运行。采用集群共享存储服务journalnode存储NameNode节点之间的交换信息。当主NameNode出现问题时,实现自动切换,保证系统正常运行。 3.多数据复本均衡分布,带来数据高可用性 为了防止单节点故障造成数据丢失,Hadoop采用三复本分别存储到不同节点上。本系统在其基础上,将三复本存储到不同机架的节点上,这样保证即使一个机架出现问题,仍保证数据完整并不影响服务。 三、自主知识产权情况 基于大数据技术的近线数据存储平台为中国光大银行与第三方北京天云融创科技有限公司共同合作开发的软件系统,中国光大银行拥有该产品自主知识产权。 四、成果推广应用情况 中国光大银行基于大数据技术的近线数据存储平台建设启动于2013年3月;在开发测试阶段,项目组经过与厂商的多次沟通探讨和艰苦磨合之后,终于通过严格的测试和验收,使Hadoop分布式架构与银行运营体系成功结合,于2013年10月上线试运行,在总行和北京分行试用;2014年5月,全行顺利完成推广工作。 截止目前,基于大数据技术的近线数据存储平台运行状况良好。在多账户、长时间跨度的查询中,系统响应速度快,大大减少了业务人员手工操作,提升了业务处理能力;系统自动校验数据,提高了数据的完整性和准确性,降低了人工处理的工作量,统一数据格式、减少数据传输和流转环节,防止篡改、防止泄密,提升安全控制能力。各级分行在使用过程中反映非常好。