[00147879]中国农业银行基于大数据技术的多平台协同交易数据查询系统

基于大数据技术的多平台协同交易数据查询系统是基于NoSQL数据库、分布式数据仓库等大数据核心技术,采用多平台协同方式,实现业务交易数据统一存储、查询、管理的服务系统。 系统搭建了企业级海量交易数据管理平台,构建了面向交易信息的一站式数据管理框架,实现了交易数据统一存储管理、多平台协同统一数据访问、高并发实时数据查询、可配置批量数据处理、高效数据清理等功能,满足了配合主机轻量化改造、降低数据处理成本的要求,为农业银行企业数据管理和业务发展奠定了坚实的基础,有效提升了农业银行的企业数据管理水平。 系统基于Hadoop分布式框架,采用Hbase分布式数据库等技术,实现了海量交易数据的集中统一管理,向各渠道及应用系统提供全周期交易数据的实时查询服务;采用自主研发的通用批处理框架,实现了数据处理过程中类型和操作的松耦合;通过设计Hbase数据访问模型,向业务层提供统一的数据访问视图;运用过滤器模式对查询结果进行过滤,提高了查询效率,实现了高并发实时数据访问;采用Coprocessor技术实现了可灵活配置且运行高效的数据清理机制。 系统对活期明细、定期明细、贷款明细、基金明细和理财明细等业务交易数据实施统一管理,对外提供统一的查询服务接口,简化了前台交易使用,方便柜面、网银等渠道开发,为对业务数据进行深入分析、挖掘提供了数据基础,为基于业务交易数据开发个性化新产品提供了可能。