[00105380]基于三维视频多视觉任务协同分析研究

　　该项目主要研究成果如下：
　　1。三维视频数据特征描述方法研究传统的视觉分析中多是针对单视觉任务提取特定特 征：面对多视觉任务协同分析，如果提取多种特征，面对海量数据会造成巨大的运算负担， 造成任务完成效率低下，需要将单一化特征描述模式演进为快速的协同化通用特征描述模式。课题组结合生物视觉感知机理，首先提出了三维视频中面向多视觉任务的网格化移动尺度不 变性特征描述方法。在多尺度空间计算的基础上，利用层并行高斯金字塔和积分网络实现多 尺度空间特征的快速检测，然后通过三个正交平面的共生统计特性进行关键点定位，实现特 征的本征通用化描述。为了进一步描述数据的时空特性，减少数据冗余，提出了时空局部二 值编码的特征描述方法，首先将三维视频数据抽象成每帧行为随时间构成的空间体积行为视 频，建立时域关键图像模型，逐帧计算视频帧像素对应位置的最大值，生成描述区域变化的 时域二值化轮廓历史图像，生成混合时域最大二值轮廓历史图像，然后再进行均匀局部二值 模式特征描述，可以有效地减少数据噪声，提高运算效率。
　　2。大规模数据的协同特征学习模型研究：复杂场景中的多视觉任务具有时变性，目标具有运动性，传统方法只能对既定需求进行处理，如何实时响应高层视觉任务需求，在海量数据下实现存储轻载化和特征学习充分化，需要研究基于大规模数据的协同特征学习模型。 为了实现底层特征与上层目标感知识别间的关联学习，课题组首先提出了鲁棒的区域稀疏回归模型，引入区域稀疏表示和低秩矩阵恢复理论，建立含类别信息的有监督谱回归约束融合最优化模型，用于本征特征矢量的提取，引入非线性旋转因子进入带噪声的数据中，实现对包含姿态、遮挡和扭曲数据的判别性特征学习。为了更好地描述多视觉任务的关联关系，课题组提出了一种区域/全局回归映射模型，将局部描述符加权化处理，获得与上层任务关联的全局描述子，再通过提取本征流形结构，提取和学习出低维判别性特征，实现数据判别性和特征描述性的同时提高。
　　3。基于多视觉任务协同分析模型的智能演示系统的研究：传统视觉任务分析中，框架模 型建立后一般不再进行变动。但在智能感知时代，随着不同场景的时间增长和空间变换，依 据原先训练数据得到的学习网络模型已不再是最优的。为了满足在复杂场景的时空推移变化， 仍然保持最优的感知识别性能，需要研究适境感知的自适应反馈机制。为了实现动态环境下 的模型参数自适应优化调整，研究了适境感知的自适应反馈评估机制，针对复杂场景的不确 定性的特点，提取亮度感知参数、视角感知参数和注意感知参数作为适境感知参数，通过参 数反馈机制和环境进行交互，采用渐进式网络的深度协同机制，通过最大化累计奖赏的方式， 来学习多任务识别的最优策略。开发了多个多视觉任务协同识别的演示系统。