联系人:
所在地:
该项目为国家自然科学基金资助青年科学基金项目(项目批准号:61602049)。
该项目面向大数据环境下视频复杂场景的自动分析与理解需求,针对有限语义标注的特定限制,对视频目标间的时空关联挖掘、有限语义标注下的视频语义识别、视频内容的自然语言表述三个关键科学问题进行了深入研究,主要研究成果如下:
基于时序编码三维卷积神经网络的视频语义实时识别算法;基于多尺度时空推理的视频中人物关系识别方法;视频中的渐进式搜索方法;面向广义零样本条件下的视频动作识别方
法;基于混合池化的视频场景自动理解方法;基于能量图深度学习的体育视频自动理解方法; 基于时序注意力编码分层递归神经网络的视频自然语言描述生成方法;以及一种面向视频问答的多样性学习聚合网络。最后,开发了基于结构化双流注意力机制的视频语义问答系统和基于时空渐进式搜索的监控视频中的关键目标搜索系统。该项目可以有效突破数据瓶颈的限制,提高了视频复杂语义识别的广度和准确度,最终为互联网视频搜索与城市视频监控等视频大数据应用提供理论支持和技术支撑。