[00133121]面向高清3D视频的时空一致性深度估计方法研究

3D视频是传统2D视频的扩展,通过增加深度信息,使用户体验到视频内容的立体感和临场感。3D视频涉及3D内容制作、传输、存储、播放和显示设备等多个产业链。发展3D视频技术,占领产业链的至高点对于发展国民经济具有重要的意义。当前3D视频发展面临的瓶颈是内容缺乏。制作一批具有较高品质和符合3D展示媒介需求的3D内容依然面临着诸多挑战。3D内容的丰富性直接决定了3D视频普及和推广的成效。深度信息获取是3D内容制作的支撑技术。 （1）单目视频深度估计 随着3D立体频道的开通和3D电影的普及,3D内容不足成为制约3D视频产业发展的主要因素。2D转3D根据各种线索从2D视频中提取深度,进而利用DIBR（depth image based rendering）技术予以展现。2D转3D能够在较短时间内以较低的成本将现有海量2D视频资源转换为可立体显示的3D视频,既能缓解当前3D内容不足的状况,又能解决利用3D拍摄设备直接制作3D内容的高成本和操作不便性。考虑到深度传感器应用的不断推广,我们提出基于RGBD大数据深度迁移的单目视频2D转3D方法,将基于深度传感器的主动深度获取方法和基于线索的被动深度估计方法有效结合在一起。 （2）双目视频深度估计 基于立体匹配的双目视频深度估计是创建3D内容的主要手段之一。立体匹配主要分为局部方法和全局方法。前者计算简单,但效果较差。后者可获得接近深度传感器拍摄精度的深度,但计算量巨大。全局方法大多采用马尔可夫随机场模型对估计的深度进行优化,而置信度传播算法是求解该能量模型普遍采用的手段。我们针对该算法消息迭代和更新计算量大的问题,提出收敛检测方法,对部分接近收敛的节点提前终止迭代和更新,将计算速度提高2倍左右。 （3）深度估计中的能量模型 考虑到实际场景的深度变化满足下述规律：同一对象的深度渐进变化,不同对象边界处深度发生跳变。我们提出基于数据保真度、空间平滑度和对象深度一致性的能量模型,通过迭代变权重最小二乘法予以求解。实验结果表明,该能量模型可有效改善深度图的估计质量,使得最终的深度图分布更加接近深度传感器拍摄信号的分布规律,即同一对象的深度趋于一致,深度跳变只出现在对象边界处。