本发明属于视频雨滴去除技术领域,尤其涉及一种基于图像熵的视频雨滴去除方法及系统。所述方法包括:步骤a:通过图像特定阈值及窗口大小计算图像局部熵;步骤b:根据图像局部熵结合面积及角度滤波确定图像含雨部分,使用多个邻居帧的图像局部熵均值检测运动物体部分,并利用雨的时域分布特性得到雨滴部分;步骤c:采用相邻帧均值替换法去除雨滴部分,得到去雨图像。本发明通过色彩空间转换大幅缩小了雨滴去除所需的时间;通过使用图像局部熵计算得到雨滴部分及运动物体部分,并使用雨的时域分布特性得到检测雨滴,避免雨滴误检;通过相邻帧均值替换法去除雨滴,并通过各向异性滤波对去雨图像进行修复处理,以获得更高质量的图像效果。