本发明涉及图像处理领域,提供了一种视频数据中雨场去除的方法和系统,其方法包括:提取初始视频数据中代表亮度信息的视频图像数据;提取所述视频图像数据中待处理的像素;判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围,若否,则统计所述偏度大于所述预设范围上限的像素个数,当该像素个数超过第一预定值时,则基于运动分割的方法对所述视频图像数据中的雨滴进行去除;若是,则计算表征雨势大小的参数值,依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。本发明可以处理彩色视频数据,通过在去雨处理前对视频进行判断选择合适的雨滴去除方法。