基于学习的高效视频编码方法采用高效视频编码器编码视频序列,提取每个编码单元块对应的特征向量;将提取的特征向量与最佳编码单元尺寸输入三值输出的学习机,建立学习模型。在高效视频编码器中进行编码单元尺寸的选择过程加入早期终止策略结构,首先执行直接模式和融合模式当前块,提取对应的当前编码对应的特征向量。将特征向量输入已学习好了的学习机模型,输出预测值,按照对应早期终止策略结构执行当前编码单元尺寸。直至编码树单元中所有的编码单元层都编码完成;重复执行直至所有视频帧中编码树单元都编码完成。因此,能够根据率失真代价以及计算复杂度对应输出最优的编码过程,提高分类器的学习和分类性能,进而提高视频编码的编码效率。