本发明提供了一种大雨场景视频数据中雨滴的检测与去除方法和系统,其方法基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像,判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围,若有一次判断结果是落入所述预设范围,则将该像素纳入初检结果,并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像;通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量对所述初检结果进行筛选。本发明的雨滴检测和去除方法及系统通过在大雨场景中可以利用改进两帧间的亮度差进行雨滴初检,再利用色彩特性进行约束排除非雨成分。