[00133691]面向大数据应用的企业级PaaS平台研发

在本项目建设之前,我司与国外的公司开展了深度合作,并掌握了相关的云平台技术,为该项目的研发提供了相应的基础条件。同时,在项目开展之前,我司已经在暨南大学、广州大学、广东医科大学、广东科学技术职业学院等学校部署了实验用的云平台,为项目的顺利开展打下坚实的基础。在研发过程中,我司与国家超级计算广州中心进行深入的合作,所有功能点均在超算中心的麒麟云上进行测试,其性能良好。同时,在2017年我司获得了广东省教育云PaaS工程技术研究中心,为项目的合理开展提供了更为便利的条件。 本次项目构建的PaaS平在建设过程中考虑到充分利用基础架构层的弹性资源优势,为应用运行和数据分析提供可靠的、弹性的、动态的资源访问。支撑平台层（PaaS）即在基础架构层（IaaS）的基础之上,为应用程序自动提供运行必要的、可靠的、可扩展的、可监控的、开放的基础软件运行环境,包括有:Java/PHP等中间运行环境,HTTP Webserver环境,路由管理（Router）,DNS域名解析,关系型数据库服务,NO-SQL文档管理数据库,消息中间件等基础软件服务。 PaaS平台作为云计算提供的服务模式分类中的中间层,提供应用程序的开发与运行环境服务,能实现应用的弹性伸缩,解决传统解决方案孤立且无法横向扩展的问题。PaaS在三层云架构中承上启下,向下与硬件虚拟化资源相结合,为应用软件提供“一站式”的软硬件环境,向上为SaaS业务提资源调度管理等服务,支持SaaS业务的灵活扩展,实现服务平台化。在本项目中,我们实现了OpenStack IaaS层与Cloud Foundry PaaS纵向无缝扩展。Cloud Foundry提供了一个完整的PaaS平台解决方案,Cloud Foundry支持多种框架、语言、运行环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题,企业可以针对业务需求扩充PaaS云平台的功能。 本项目对Hadoop生态中的大数据工具进行改进封装,并将其集成到大数据平台之中,供用户选择使用。大数据基础软件包括Hadoop生态体系中的HDFS、MapReduce、HBase、Hive、Pig、ZooKeeper、Sqoop、Avro、Greenplum、GemFire、Mahout以及数据可视化等工具软件,利用这些基础软件即可满足大数据存储、大数据处理分析等绝大多数大数据作业的需求。项目在大数据方面支持仪表盘、服务管理、主机管理、警告管理、集群管理、用户管理等模块的功能。仪表盘提供该集群已安装的服务的列表,HDFS磁盘使用情况、DataNodes存活节点、内存使用情况、网络使用情况等常用监控项的概览显示。服务管理是对已安装在集群中的大数据服务进行具体的监控和操作。主要有查看各节点对应服务运行情况,资源占用情况等监控功能,及可以对服务进行启动、停止和进入维护模式等操作。主机管理是对支撑集群的物理服务器进行具体的监控和操作。主要有查看各物理节点的磁盘、内存、CPU占用情况等监控功能,及可以对某物理节点上运行的服务进行启动、停止和进入维护模式等操作。警告管理是对集群中出现的警告和错误信息进行集中管理。集群管理是对集群中的服务版本、服务帐号、安全认证机制、服务自启动等进行配置的一个管理模块。用户管理系统通过用户和用户组对用户进行管理,用户可以加入用户组,为用户组定义的权限（如：只读、管理等）对属于该用户组的所有用户有效。日志数据管理提供日志数据采集与管理功能。 通过本项目的研发,我们实现平台对基础资源的统一管理,根据用户的资源配置、网络环境、组件版本等要求动态分配资源和运行环境,实现对大数据资源和平台能够自动化部署并服从平台的集中管理。同时,平台支持多租户模式下为用户提供大数据服务,进而使得作业任务的相对独立、互不影响。它集成开源数据挖掘、数据分析工具,并对其进行优化扩展,支持聚类分析、关联分析、决策树算法、回归分析等方法,支持大数据建模分析服务,并支持服务提供商和大数据应用开发者在平台上发布自有的应用服务,具有应用弹性和数据延展性功能,能做到数据的高可用,实现分布式系统的冗余备份,数据传输的服务质量较好,有效地解决了云存储系统的服务质量和可靠性问题,为日后利用这些数据做相关大数据分析提供了平台建设基础。该系统在客户中得到了实际的运用,运行情况良好。 本项目整合了云计算、大数据产业链上的上下游企业,可在各行业领域广泛使用,并将强化产业链相关节点的联系,建设全产业链共荣共生生态圈。面向不同的用户需求,提供与之相应的一站式大数据服务解决方案,项目的应用极大缩减了用户的成本开支,大大提高了用户对大数据和利用率,得到用户的高度认可,具有良好的市场应用前景,具备全国推广的价值。