[00128373]自由无拘束多曝光融合的研究

自然界中光线的亮度跨越十多个数量级,远远超出了当前成像设备的动态范围。所以我们拍摄的影像经常出现过爆或欠曝问题,因而被称为低动态范围影像。为了更准确的呈现场景中信息,高动态范围影像势必为未来趋势。然而,传统算法计算量大,而且对目标场景有较高的要求,更无法在运动、模糊、低照明等场景中获取有效的高动态范围影像。本项目拟针对当前多曝光融合算法的缺陷,在保证低计算量的基础上提高其处理复杂环境的能力。我们将避开传统算法所需的相机光度标定、色调映射等步骤,完全从图像融合的角度探索噪声、运动的影响。 本项目研究工作和所取得的成果共分为五部分,详情如下： 1 复杂场景下图像融合中的模糊、运动等问题的建模与理论完善 多曝光融合是高动态范围成像的重要手段,其利用合理机制评价多曝光图像序列的每个像素,并分配相应权值,最后在权值的指导下进行无缝图像融合并最终生成可显示的完美曝光图像。为得到准确权值,像素的评价将考虑多种因素,比如模糊、运动干扰、邻域一致性等。这些问题处理不好,容易造成融合的图像中出现鬼影、噪声等现象。 ①针对序列间的运动干扰问题,课题组研究发现由于曝光差异,图像序列间存在较大强度变化,难以区分图像间变化是由运动造成还是受曝光影响,因此提出了通过直方图映射将图像归一化的思想,大大降低了运动检测的难度。 ②针对序列中的一致性问题,提出了多曝光图像中的帧内一致性和帧间一致性思想,可用于解决图像融合中的噪声、模糊、运动、配准误差等问题。 ③针对序列中的模糊等问题,课题组研究了图像主观质量的评价机制,描述散焦、运动等情况下所获取图像的质量的评估,提高去模糊的针对性。通过研究图像模糊信息,引入了参数化的边缘描述方程,描述图像模糊程度的定量特征。 ④针对图像配准问题,课题组研究了在噪声、模糊、相机及场景运动情况下的图像配准问题。尤其在复杂场景下所获得图像出现退化失真时的图像配准问题。 2 复杂动态场景下的多曝光融合技术的新突破 与传统的高动态范围（HDR）成像技术相比,多曝光图像融合技术可以直接生成低动态范围（LDR）的高品质图像,不需图像曝光信息及色调映射,更不需对相机进行光度标定。因此更容易操作,计算复杂度低,具有更广阔的商业前景。 课题组总结了现有算法的优缺点,系统研究了拍摄场景下可能出现的复杂因素,提出了一套基于参考图像的多曝光融合算法体系,引入直方图匹配思想,在超像素层次上实现“鬼影”检测和去除,有效地对输入的低动态范围图像序列进行了归一化,在去除鬼影的前提下最大限度地保留了图像中的细节,完成了高质量的高动态范围图像无鬼影重建。具体如下： ①在鬼影检测前对选定的参考图像和图像序列中的其他图像进行直方图映射匹配运算。这种方法可以使场景中的大部分细节得以保留下来,尤其是参考图像中过曝光或欠曝光的区域,并大大降低了后期运动检测的难度; ②为实现不同曝光图像同一位置的像素间的帧间一致性与同一幅图像里相邻像素间的帧内一致性思想,我们将运动检测模型建立在超像素层面。 3 适用于静态、动态场景的多曝光融合系统的实现与应用 项目组在应用方面主要致力于整理和编写友好、易于操作的多曝光融合技术的软件系统,并从整体上提出了一套既可用于静态场景也可用于有物体运动的动态场景的多曝光融合的算法体系,向用户分享和推广最新的多曝光融合技术的研究成果。该软件系统已获得软件著作权,软件名称：《高动态多曝光图像融合软件》。此外,还有两项关于高动态范围技术的发明专利正在申请过程中。 4 多曝光图像融合技术的综述及公共评测网站和数据库的搭建 为了普及多曝光融合的高动态范围成像技术,并吸引更多学者关注,项目组对现有的多曝光融合及去鬼影算法进行了全面的总结,整理出一篇《高动态范围成像技术中的鬼影检测与去除技术综述》的文章;为有助于多曝光融合算法的比较和评价,项目组建立了专门针对高动态范围技术的网站http://www.vsislab.com/projects/HDR/。 5 高动态范围成像技术的推广和应用 由于本课题属于多学科交叉项目,该项目中关于特征提取、图像理解等研究成果对其它相关领域的研究也有一定的借鉴和推动作用。 ①项目组针对高动态范围图像提出了一种基于预测误差差值扩展的可逆数据隐藏算法。 ②项目组研究利用多模态信息进行图像识别。通过建立合理神经网络分析人脸表情的纹理和运动信息,对多模态信息同步进行抽象化特征提取,实现表情的准确识别。 ③项目组研究了基于图像特征的环境感知方法。该方法采用由近及远的学习策略,利用双目视觉将近景的一部分地形样本分为障碍与地面,将这些样本作为训练数据,通过提取样本中的颜色和纹理特征,构建分类器分类的未知样本。最后对可疑的样本进行重分类,实现准确且稳定的大范围地形感知。 ④受图像、视觉等领域的启发,项目组研究了基于深度相机、无线网络等多传感的人体行为分析及定位跟踪算法。