[00113183]嵌入式4K自由立体视频转换及播放系统关键技术及应用

3D自由立体显示技术无需佩戴任何辅助设备即可提供极具冲击力的视觉效果,代表了3D显示技术未来发展方向,目前已列入“十三五”国家战略新兴产业发展规划。据预测,至2021年其市场规模将达830亿美元,仅中国市场需求量将达5000万台,市值3700亿元。本项目由成都信息工程大学与普什集团3D有限公司在自由立体显示播放器横向项目基础上,联合多家高校与企业根据市场需求自主研发取得。 本项目针对现有光栅式自由立体显示技术多视点3D视频与双目视频不兼容,3D显示分辨率低,观看距离和角度受限、虚拟视点合成质量不高等问题,在双目3D视频转换、自由立体分辨率提升、（超）多视点视图合成等方面进行了创新性研究,取得了系列原创性成果,实现了完整嵌入式商业解决方案。 本项目针对4K高清3D显示,开发基于安卓平台的嵌入式分布系统解决方案,依次完成两视点3D视频转多视点3D视频、自由立体显示分辨率提升、（超）多视点视图合成三项创新理论研究和嵌入式工程实现。在双目视频转多视点视频模块,利用双目3D视频序列像素的时空分布与景深分布特性,基于无监督的交互式的视频图像分割实现精细深度图像获取;然后基于分布式并行处理框架,完成遮挡兼容和空洞数据填充。在自由立体显示分辨率提升模块,研发了多流视频高阶SVD自由立体分辨率提升技术,最高可支持8路3840x2160,30Hz H.264/AVC、H.265/HEVC等视频压缩信号的复用,支持4K高清显示输出。在（超）多视点视图合成模块,提出了自由立体显示连续观看（超）多视点合成技术,通过光栅元覆盖非整数个数像素的算法设计,可实现相邻子视区的重叠,根据显示器子像素和视差图之间的光学映射关系,提出了一种对应的连续视点合成图生成算法。 本项目实现的嵌入式解决方案与市场常见产品性能指标对比如下： 美国StreamTV,仅支持双目3D格式,清晰度（2D 单路）：1920x1080,立体感：0.4m,连续观看：150°,价格2万元左右; 荷兰Dimenco,仅支持V+D格式,清晰度（2D 单路）：960x1080,立体感：0.3m,连续观看：140°,价格2万元左右; 中国易维视,仅支持双目3D格式,清晰度（2D 单路）：960x1080,立体感：0.4m,连续观看：120°,价格5千元以上; 本项目产品,支持双目3D格式、V+D格式、多视点3D格式,清晰度（2D 单路）：1920x1080,立体感：0.7m,连续观看：150°,价格1千元左右。 本项目创新性如下： 1) 形成一套嵌入式多视点3D视频转换生成解决方案。根据双目3D视频序列像素的时空分布与景深分布特性,结合对物理对象空间关系的深入研究,利用空间关系表示与空间关系推理,综合运用无监督交互式视频图像分割算法、基于几何感知的帧内匹配算法、双向检测技术与泛三维图像变换技术,保证场景深度信息的时序与几何结构的高度稳定性和一致性。在获得精细深度图的同时,基于分布式并行处理框架实现基于深度图像的虚拟视点视频绘制,解决遮挡兼容与空洞填充难题,同时解决合成视点视频在时域上不连续与空间不完整进而引发的闪烁噪声等失真问题,提高观看时的立体感与沉浸感。 2) 研发基于高阶信息超分辨率重建和多流视频复用的自由立体分辨率提升技术。采用高阶SVD实现3D高维视频数据降维,并基于多视点实现高速块匹配,同时,根据多路视频相似性实现自适应高阶SVD基的获取,获得比固定基更稀疏的表达,与传统立体显示分辨率提升技术相比,其鲁棒性和有效性大大提高,有效提升显示清晰度。此外,通过多路3D视频复用技术及多视点实时同步解码渲染算法,将传统自由立体显示分辨率提升6倍,显示亮度达到315cd/㎡。 3) 提出连续多视点渲染及合成技术解决自由立体显示过渡区域跳变,有效扩展观看距离和视角。该方法主要利用用于自由立体显示的N幅视差图,并将第N幅视差图进行处理来生成一幅合成图的方法。合成图显示所产生的视区中,N-2个子视区宽度为正确立体视区,1个子视区宽度为二维视区,1个子视区宽度为赝立体视区。与传统多视点渲染及合成算法相比,可将自由立体显示的可视角度由100°提升至150°,同时可显著减小赝立体视区的宽度与错误的视差,显著降低视疲劳。 本项目获授权发明专利7项,软件著作权6项,发表SCI、EI收录论文20余篇,有效解决制约光栅式自由立体显示发展的技术难题。在行业内率先完成成果转化,开发了具有自主知识产权、可支撑大范围应用的嵌入式4K自由立体视频转换及播放系统（含嵌入式4K自由立体视频转换、播放和3D多媒体内容分发系统）,并形成了从节目源设计到4K自由立体显示的系统解决方案。研发产品入选《2016年成都市地方名优产品推荐目录》和《2017年成都市地方名优产品推荐目录》,并在国内几十家企业及科研院所得以应用,近三年内新增合同销售收入超过人民币12210万元,新增利润6720.62万元。项目成果打破了国外技术垄断,对加速立体显示核心技术发展,在消费装备领域建立国际领先优势,促进数字创意产业蓬勃发展,创造引领新消费做出了重大贡献。 本项目未申请任何科研奖励。