本发明公开了一种基于单应性矩阵的实时视频稳像方法,对手持DV,无人机等设备获取的视频序列进行稳像处理。本发明的方法包括如下步骤:A、提取视频图像中分布均匀的角点;B、计算帧间的光流矢量,利用光流矢量跟踪帧间运动的角点;C、利用分层仿射校正算法校正跟踪的角点;D、利用随机抽样一致算法求取帧间的单应性矩阵;E,使用卡尔曼滤波器分离帧间的主动运动补偿量、畸变校正量;F、使用单应性矩阵,运动补偿量和畸变校正量对视频图像进行稳像变换得到稳定的当前帧输出。本发明可以有效的去除视频序列存在的抖动,算法复杂度较低,运行速度快,为实时的视频处理系统提供很好的应用价值。