本发明适用于计算机视觉技术领域,提供了一种视频分类快速识别的方法及装置。该方法包括:获取待测试视频,从待测试视频的视频码流中提取出运动向量和原始RGB图像;将运动向量转换为运动向量图像;将原始RGB图像输入至预定的基于RGB图像的卷积神经网络中,以获得基于RGB的分类类别置信度;将运动向量图像输入至预定的基于运动向量的增强卷积神经网络中,以获得基于运动向量的分类类别置信度;将基于RGB的分类类别置信度和基于运动向量的分类类别置信度进行融合,获得待测试视频的分类类别置信度;将待测试视频的分类类别置信度中分值最高的一项所对应的类别作为待测试视频中内容对应的类别。本发明可有效提高视频分类识别的效率。