[00044120]一种基于分布式缓存的数据处理系统及处理方法
技术详细介绍
本发明涉及一种基于分布式缓存的数据处理系统，包括用于将提交来的用户作业分解成多个map任务和多个reduce任务的mapreduce数据处理模块、用于处理map任务的map任务内存处理模块和用于通过reduce任务处理map任务的reduce分布式缓存模块；本发明还涉及一种基于分布式缓存的数据处理方法；本发明的有益效果是：主要服务于map任务，优化map任务处理数据，保证map能在最短的时间内找到目标数据，且以最快的速度传输中间处理结果；能够减少数据传输量，完全实现数据本地化处理，提高数据命中率，从而提升数据处理的执行效率。
