本发明提供了一种小雨场景视频数据中雨滴的检测与去除方法和系统,其雨滴检测方法为抽取初始彩色视频图像中待处理的像素;判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入所述预设范围的像素纳入初检结果;通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。本发明的雨滴检测和去除方法及系统通过在小雨场景中可以利用两帧间的亮度差进行雨滴初检,再利用色彩特性进行约束排除非雨成分,检测出真实的雨滴,最后去雨恢复视频,提高雨滴检测的正确率并降低漏检率,提高视频恢复的质量。