本发明公开了一种基于深度视频的3D场景生成方法,包括以下步骤:S1、使用深度摄像机采集深度视频和彩色视频数据,并进行滤除处理;S2、结合平面坐标和深度值将所述经过滤除处理的深度视频转换为三维点云数据,再根据所述三维点云数据建立场景模型;S3、从所述经过滤除处理的彩色视频数据中获取所述三维点云数据中每个点对应的颜色,并应用于所述场景模型之中,得到彩色场景模型;S4、将所述彩色场景模型的数据转换为3D文件格式,所述转换之后的文件即为生成的3D场景文件。该方法产生的场景逼真、自然,建模方便高效,绘制时计算量和存储量小,更适合于实时建模和绘制。