本发明属于视觉跟踪领域,提供一种基于尺度自适应相关滤波和特征点匹配的目标跟踪算法,解决长时间目标跟踪的问题,包括:建立尺度自适应相关滤波跟踪模块CFF,对每一帧图像进行处理;基于特征点匹配和光流的跟踪模块MTF;建立CFF和MTF的协同处理判定模块。本发明将跟踪问题分解成能够相互辅助的两部分CFF和MTF,通过判断目标被遮挡的程度或者是否已经消失于视野,决定是否去更新算法,从而避免模型被背景信息污染产生漂移现象;对于目标重新出现于视野时,本发明能够实现目标的重新检测,更新相应模块实现持续长久稳定的跟踪;而且本发明的处理速度完全满足实时处理要求,针对实际复杂场景具有非常好的效果。