本发明旨在解决上述现有技术中存在的问题,提出一种基于雨势尺度的视频雨滴去除算法,包括以下步骤:S100、获取视频像素总数P,确定样本像素点的标号;S200、获取视频前N帧对应像素的亮度平均值;S300、求出前N帧图像中每个像素的最大值及最小值;S400、采用K均值聚类方法,根据每个像素亮度值将像素分为雨滴或背景,标记被雨滴污染的帧数并求和sum;S500、判断sum/(M×N)是否大于预设阈值T,是则采用帧差法处理被雨滴覆盖像素;否则采用引导滤波器处理被雨滴覆盖像素。本发明在视频去雨滴处理之前进行预处理,判断雨势大小,再选择合适的算法去除雨滴,能够获得更好的雨滴去除效果。