一种多视点视频信号的编码方法通过联合利用多视点视频视点间相关性,采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价JDIRECT的统计分布特性,或采用直接模式编码的当前宏块的率失真代价JDIRECT与16×16块模式编码的当前宏块的率失真代价J16×16设置编码最佳模式,能够构建有效直接模式的早期终止条件以及早期终止策略,由于直接模式计算量最小,且构建的直接模式的早期终止条件误判率和漏判率低,因此,上述多视点视频信号的编码方法最大限度地提前选择编码最佳模式并终止视频编码中不必要的复杂的模式选择过程,更有效降低多视点视频编码复杂度,提高编码速度。