本发明提供了一种基于机器视觉的海面船只智能跟踪系统及其方法。系统包括图像采集模块、Mean‑shift跟踪模块、Kalman滤波器模块、多级并联检测模块和在线学习模块。本发明以Haar+AdaBoost组合算法检测海面船只,检测结果作为跟踪器的起始帧,从而初始化跟踪器与检测器,来取代人工圈定目标区域。将Kalman滤波器用于船只检测与跟踪中,缩小了检测范围,减少了计算量,提高了实时性;基于Mean‑shift的跟踪模块有效地发挥了特征稳定、抗遮挡、计算简便以及对目标形变、旋转和背景运动不敏感的特性;采用多级并联检测模块,将基于随机森林的集合分类器、Haar分类器、最近邻分类器集合起来,解决了因遮挡、变形等因素而导致船只跟踪失败的难题,提高了跟踪的实时性、准确性和鲁棒性。