联系人:
所在地:
项目概述:
由相机传感器捕捉到的原始数据是一个单通道的马赛克图像,它记录了红、绿、蓝的辐照度,目前还不像一张照片。需要一个摄像机图像信号处理(ISP)管道来将这些原始数据转换为RGB图像,以适应人类的视觉感知。一个传统的ISP管道包括一系列的子处理模块[2],例如,去噪、去噪、伽马校正、白平衡、颜色校正等。通常,这些模块使用独立的算法重新实现,需要对参数调整进行大量的人工干预。
如今,配备高分辨率相机的移动设备已经流行起来,这引发了对高质量移动端ISP的巨大需求。然而,由于移动设备空间紧凑,很难在这些移动设备上部署高端成像硬件。此外,手持技术的不稳定性使得相机只允许较短的曝光时间,从而给原始图像带来了更多的噪声。因此,一个移动特定的ISP需要补偿这些成像的限制。考虑到传统的ISP,设计一个ISP管道和调整内部模块的参数需要图像专家的大量努力。
近年来,有研究表明,传统的图像信号处理(ISP)由于其优越的性能,可以被深度神经网络所取代。然而,大多数这些网络需要沉重的计算负担,因此远远不足以部署在资源有限的平台上,包括但不限于移动设备和FPGA。为了解决这一挑战,我们提出了一个自动搜索框架,该框架在满足低计算要求的同时,导出具有高图像质量的ISP模型。为了降低搜索成本,我们采用了权重共享策略,引入超网络,将架构搜索解耦为超级网络训练和硬感知进化搜索两个阶段。利用所提出的框架,我们可以对ISP模型进行一次训练,并在多个设备上快速找到高性能但低计算量的模型。实验表明,搜索到的ISP模型在图像质量和模型复杂性之间有很好的权衡,即与最先进的网络相比,搜索到的流量减少了90%以上的重建质量。
(方法概述)
(效率提升)