[00105453]草图的文本描述及其图像检索算法

该项目为国家自然科学基金资助青年科学基金项目（项目批准号：61601042）。

该项目从探究草图与一般图像所蕴涵的语义内容出发，研究如何通过衡量两者文本描述的语义相似度来达到基于草图的图像检索的目标。主要研究内容如下：

1. 如何通过对草图进行语义级别的分割理解。

2. 如何通过对图像的文本描述进行推理，从而检索相关图像。

3. 从非监督学习的角度，学习图像到草图的跨域生成模型，并用于草图图像检索。

4. 如何收集大规模草图及其文本描述数据集。该项目主要研究成果如下：

1. 大规模草图语义分割数据集及分割算法构建了一个超大规模草图分割数据集，并基于谷歌 QuickDraw 草图数据集提出了 SketchSeg-150K 草图分割数据集，是一个包含 15 万张草图笔画粒度标注的分割数据集。此外，还提出了一个笔画级别草图分割算法 SketchSegNet ， 是一个端到端的深度学习框架（RNN），能够有效进行草图的笔画级别分割。解决草图分割问题是解决细粒度的草图理解的关键，对于很多草图相关的应用都有极其重要的意义，例如包括草图识别、基于草图的图像检索等。

2. 基于图像文本描述推理的图像检索基于人的视觉推理过程，研究了如何先识别图像中的关键语义信息，然后再通过推理并联系其中的隐含关系来给出图像内容的相关性。研究了其中一些关键算法和环节，包括如何将图像文本描述化、如何将密集文本描述转化为场景图网络、以及如何对场景图网络进行相似度匹配。基于文本描述的图像相似度匹配的最关键步骤。

3. 非监督的图像到草图生成算法及其在图像检索的应用提出了一种非监督的一般图像- 草图的翻译深度模型，能够完成一般图像的“草图化”，跨域生成式模型也可将一般图像的特征转化到草图域，因此可以用于草图-一般图像的相似度度量，完成草图-图像的检索任务。4.草图-文本描述数据集建立草图-文本描述数据集，相对于一般图像的文本描述，草图

的文本描述很难收集。该项目采取给一般图像描绘草图的方式来让草图与文本描述对应。另外，草图的采集设备采用了 ISKNSlate2，能够让作者用真实的纸笔作画，极大提升了草图收集的易操作性。