当前位置: 首页 > 科学研究 > 共性技术平台 > 机器学习中心 > 科研成果 > 正文

科学研究

科研成果

SCIENTIFIC RESEARCH ACHIEVEMENTS

多模态领域知识迁移方法研究

  • 分享

字段1 字段2
字段3 字段4
职称 负责人 张立

相关论文1:《Multi-level Domain Adaptive learning for Cross-Domain Detection》, Proceedings oftheIEEEInternationalConference on Computer Vision (ICCV) Workshops, 2019。

内容简介:本工作希望解决不同领域图像中因为光照、风格、尺度和外观的变化所引起的图像分析模型性能变化,使得在某一模态图像训练得到的模型能在其他模态图像上也能具有较高的性能。以前的工作使用对抗性训练来对齐领域偏移中的全局特征并实现图像信息传输。然而,这些方法不能有效地匹配局部特征的分布,导致跨域对象检测的改进有限。为了解决这个问题,我们提出了一个多级自适应模型来同时对齐局部级特征和全局级特征的分布。我们通过多个实验评估我们的方法,包括不利天气适应、合成数据适应和跨相机适应。在大多数对象类别中,所提出的方法相对于最先进的技术实现了卓越的性能,这证明了我们方法的有效性和稳健性,相关工作获得ICCV 2019 TaskCV workshop最佳论文。

1660A

▲网络架构图

2FB5E

▲从Cityscapes到带雾Cityscapes数据集的适应性定性结果

相关论文2:《Annotation-Free Cardiac Vessel Segmentation via KnowledgeTransferfromRetinalImages》,InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention(MICCAI), 2019。

内容简介:在医疗图像分析领域,大部分领域知识迁移都发生在同一器官或对象的不同模态数据之间,不同器官数据之间的知识迁移少之又少,本工作是第一篇将眼底血管和心脏血管的图像信息加以结合,提出了一种无需标注的基于知识迁移的形状一致生成对抗网络模型(SC-GAN),该模型可使用来自公开标注的眼底数据集中的知识来分割冠状动脉。所提出的网络以端到端的方式进行训练,并生成和分割合成图像,这些图像可保持冠状动脉造影的背景并保留视网膜血管和冠状动脉的血管结构。

2DAF7

▲SC-GAN模型架构图

下面是我们的SC-GAN方法一些实验结果。首先是图像合成的结果。跟SC-GAN相比,我们的方法合成的图像背景更加逼真,而且合成的血管也能够很好的与合成的标签相对应。

8CC76

▲SC-GAN模型合成图像示例

该成果被提名MICCAI2019青年科学家奖。大会收录论文538篇,其中仅有14篇获得该提名。获得该提名的还包括麻省理工学院、牛津大学、约翰霍普金斯大学、美国梅奥诊所等团队。

相关论文3:《DAST: Unsupervised Domain Adaptation in Semantic Segmentation Based on DiscriminatorAttentionandSelf-Training》,TheThirty-FifthAAAIConferenceonArtificialIntelligence (AAAI), 2021。

内容简介:本工作首次将无监督领域自适应在图像分割上的作用提升到了像素级别,这将提高未标记现实世界数据语义分割的性能。在本文中,我们提出了一种使用鉴别器注意力和自我训练策略来减少领域偏移的新方法。判别器注意力策略包含一个两阶段的对抗学习过程,如图5所示。它明确区分对齐良好(领域不变)和对齐不良(领域特定)的特征,然后引导模型专注于后者。

226E4

▲对抗学习方法

自训练策略自适应地改进模型对目标域的决策边界,这隐含地促进了域不变特征的提取。通过结合这两种策略,我们提出了一种有效且直观的无监督域适应方法用于语义分割,结合了鉴别器注意和自我训练的策略。实验结果和定性示例证明我们的方法在基准数据集上优于以前的最先进方法。

27360

▲分割结果和注意力图

研究贡献:医疗图像分析任务往往具有多模态、少标注等特点,研究多模态领域知识迁移方法,有利于将不同模态的信息融合在一起,对比单一模态的分析可能具有更好的表现。本课题成果一正是针对医疗图像处理的这一特点,不仅实现了跨模态之间的知识迁移,还实现了跨器官之间的信息传递,具有较好的科研先进性,并且具有较好的现实意义。

版权所有©北京大学大数据分析与应用技术国家工程实验室 京ICP备05065075号-1 京公网安备 110402430047 号