本发明提供一种基于三维实景数据的城市违章建筑识别系统及方法。所述方法包括:S1、采集城市道路环境的全景影像数据及其周边建筑的三维点云数据;S2、对获取的全景影像数据和三维点云数据进行融合,建立映射对应关系,以建立三维实景数据;S3、提取所述三维实景数据的特征项;S4、提取已有的城市规划数据,并与三维实景数据的特征项进行对比,判断所述特征项与城市规划数据是否符合,若不符合,则为违章建筑。本发明的目的是提供一种基于三维实景数据的城市违章建筑识别的新方法,能将相关影响因素的影响减到最少,提高违章建筑的识别率及鲁棒性。