[00142410]基于中间件的数据挖掘企业应用平台及相关技术研究

本项目自2005年4月开始启动，经过调研规划、总体方案论证和关键理论研究和核心技术攻关，最终完成了数据挖掘的中间件平台的搭建与具体实施，实现了一个具有数据预处理、分类、聚类、关联规则、知识表达等功能的基于中间件技术的数据挖掘企业应用平台，并提供了几个基于该平台下的多种形式的数据挖掘企业级应用。在该数据挖掘企业应用平台的设计实现上，我们提出并实现了典型的预处理、聚类、分类、关联规则挖掘的增量算法，能够处理100M量级的数据，能够适应的数据的增量在10M～100M，并且能够根据不同的挖掘任务实现相应的模式展现与可视化。以本项目为基础，至今已经发表国内外论文13篇，其中EI检索论文2篇，远超出合同中规定的总计8篇的要求；2008年该项目申请了软件著作权；项目期间累计培养了8名硕士研究生和2名博士研究生；晋升职称3人。本项目实现的基于中间件的数据挖掘企业应用平台（RoboMiner）通过中间件技术自身的特点和优势，解决了数据挖掘的计算密集型和存储密集型的瓶颈，相对应的中间件同时实现了负载均衡和存储均衡的易扩展和大并发性要求。研究目的与意义如下：1.进一步完善了数据挖掘理论体系，并针对部分知识类型的挖掘提出具有知识继承性、变化适应性的数据挖掘算法，设计并实现有关数据挖掘算法的中间件及数据挖掘企业应用平台。2.基于项目研发的平台，用户可以快速构建电信、银行等行业的数据挖掘应用，帮助企业分析关键因素，发现业务规律，解释隐藏趋势，增强其核心竞争力。创见与创新如下：1.基于中间件技术的数据挖掘平台设计与开发2.数据挖掘关键技术研究a）具有继承性的数据挖掘算法b）具有自适应性的数据挖掘算法3.知识的表达与管理社会经济效益如下：1、基于中间件的数据挖掘企业应用平台（RoboMiner）通过中间件技术自身的特点和优势，解决了数据挖掘的计算密集型和存储密集型的瓶颈，相对应的中间件同时实现了负载均衡和存储均衡的易扩展和大并发性要求；2、基于中间件技术的数据挖掘平台实现不仅仅实现了平台中各个中间件组件的互连，而且还实现了各种应用之间的互操作。该系统是基于分布式处理的软件平台，特别应用了网络通讯的优势；3、平台可以依据已有的数据库（或数据仓库）中的数据作为数据挖掘及分析的对象，也可以根据用户定制的上传数据作为数据挖掘及分析的对象。通过系统推荐的数据挖掘任务或用户定制的数据挖掘任务对待处理数据进行进一步的分析、处理、转化、挖掘结果的图形化表达等，实现其它已有数据挖掘系统不能实现的数据定制、挖掘任务定制、模型显示定制等互操作性功能。为企业的数据挖掘工作和智能决策工作节约大量的资金成本；4、提高了南开大学软件学院智能信息实验室的科研技术水平，加强了将理论成果应用于提高企业生产力的能力，培养锻炼了众多硕士研究生和博士研究生。