本发明涉及三维点云数据处理与三维场景重建技术领域,一种室外场景三维彩色点云分类方法,包括以下步骤:(1)获取室外场景三维彩色点云数据,(2)构建室外场景三维彩色点云数据训练集,(3)在点云和图像模态中分别构建条件随机场分类器,(4)在点云模态中进行学习训练和分类推断,(5)在图像模态中进行学习训练和分类推断,(6)给出最终分类结果,(7)不断更新协同学习。本发明具有以下优点:一是、本发明将单模态学习扩展为多模态学习,利用模态之间的交互学习,构建多模态协同学习机制,充分发挥各模态优势;二是、本发明将有监督学习扩展为半监督学习,充分利用实时获取的大量无类标签数据进行协同学习,准确分类室外场景。