[00127845]基于大数据的视频资源管理与利用关键技术研究

该项目是由河北工业大学、天津商业大学和天津网络广播电视台有限公司合作完成的自选研究项目。项目深入研究了基于大数据分析技术的视频资源评价方法及其在天津IPTV智能电视推荐系统中的应用,构架了视频信息采集——数据分析评价——存储系统优化——信息技术推广的完整应用模式,完成了基于互联网的视频信息采集分析系统的研究与开发,实现了Spark平台下的分布式IPTV推荐算法,形成了高效能存储系统核心技术。主要研究内容如下： （1）将优化了的视频推荐算法用于IPTV集成播控平台,为用户提供个性化的视频推荐。首先,针对超高维IPTV用户隐式评分矩阵利用张量分解方法进行降维处理,为了更好的解决高维数据的稀疏性问题,避免张量填充过程中造成的数据失真,提出一种基于标签惩罚机制的张量构建方法和随机梯度下降的张量分解方法（PMUS-HOSGD）,引入标签惩罚机制结合用户评分构建张量,使用随机梯度下降法对张量的展开矩阵进行分解,提出新的PMUS-HOSGD张量分解方法能有效提高推荐的准确率。然后,针对传统协同过滤推荐算法仅考虑用户局部相似性而忽略用户间全局关系的问题,结合用户的隐式反馈数据,提出了一种融合时序影响度与图游走模型的改进协同过滤推荐算法,该算法使用图游走方法挖掘用户间的传递相似度,并考虑了用户访问项目的时序关系以及时间间隔影响,缓解了稀疏性问题对算法准确度的影响,并将其在Spark平台上并行化实现,解决了算法的扩展性问题。 （2）在视频数据挖掘中,针对当前间隙约束序列模式挖掘中Apriori性质与挖掘完备性难以兼顾的问题,提出了无重叠条件的序列模式挖掘,并构建了基于Apriori性质的完备性挖掘算法NOSEP,该算法采用网树数据结构来完备性计算一个模式的支持度,并采用模式增长策略实现候选模式有效剪枝。实验结果表明无重叠条件的序列模式挖掘更有助于发现有价值的频繁模式。 （3）提出新的视频评估模型。首先,利用新媒体和传统媒体的视频大数据从视频收视度、视频影响度和视频内容等方面建立基于大数据的视频评估体系;然后,基于IPTV历史收视大数据,针对数据筛选方法和隐式评分模型进行研究,提出基于收视时长和收视比值的收视行为筛选策略,并提出一种新的用户收视比值、用户兴趣偏置因子以及视频类型影响因子相结合的多特征混合隐式评分模型,新的筛选策略结合新的隐式评分模型能更准确更有效地挖掘用户对视频的偏好程度。最后,利用IPTV平台上大量视频的历史收视数据反应出来的隐式评分结果作为输出,相应视频在大数据视频评估体系中的各个指标数据作为输入来训练评估模型,能够从IPTV受众群体的需求上准确评估视频。为了解决训练大规模数据的时间消耗问题,提出了一种新的基于Spark的并行反向传播神经网络算法SBPNN,针对批量更新模式中批量值的大小进行自适应调整来提高训练速度。实验证明该算法有较好的收敛性和并行性、训练速度更快,更适合用于大规模数据的训练。 （4）解决视频调度缓存问题。采用固态盘和磁盘混合存储结构,分别存放随机数据和连续数据,减少磁盘访问次数;采用磁盘分组策略,减少并行磁盘数量,降低存储系统整体能耗;采用数据增量校验算法,在数据写入和数据恢复都可以减少磁盘的读操作,可以提高存储系统性能同时减低能耗。 项目研发过程中发表论文17篇,其中4篇SCI检索。申请专利5项。研究成果已在天津市IPTV行业应用,达到了满意的效果,实施效果明显增收节支2756万元,获得了较好的经济和社会效益。