Bidirectional Learning for Domain Adaptation of Semantic Segmentation
UC San Diego（加州大学圣地亚哥分校）；Microsoft（微软）
领域自适应对于语义图像分割是非常必要的，因为用像素级标签手动标记大数据集是昂贵且耗时的。现有的领域自适应技术要么在有限的数据集上工作，要么与监督学习相比，产生不那么好的性能。在本文中，我们提出了一种新的双向学习框架的领域自适应分割。利用双向学习，图像平移模型和分割自适应模型可以交替学习，相互促进。此外，我们提出了一个自监督学习算法来学习一个更好的分割自适应模型，并反过来改善图像的翻译模型。实验结果表明，该方法在大边缘分割的领域自适应方面优于现有方法。源代码可在https://github.com/liyunsheng13/BDL上获得。
2019-04-24 cs.CV
BANet: Bidirectional Aggregation Network with Occlusion Handling for Panoptic Segmentation
Zhejiang University（浙江大学）；Zhengzhou University（郑州大学）
全景分割旨在同时对前景实例执行实例分割和对背景材料执行语义分割。典型的自上而下的流水线集中在两个关键问题上：1）如何有效地对语义分割和实例分割之间的内在交互进行建模，以及2）如何适当地处理用于全景分割的遮挡。直观地说，语义分割和实例分割之间的互补性可以用来提高性能。此外，我们注意到，使用检测/掩模分数不足以解决遮挡问题。受这些观察的启发，我们提出了一种新的基于双向学习管道的深度全景分割方案。此外，我们引入了一个即插即用的遮挡处理算法来处理不同对象实例之间的遮挡。在COCO panoptic基准上的实验结果验证了该方法的有效性。代码将很快在https://github.com/Mooonside/BANet上发布。
2020-03-31 cs.CV
Bidirectional Multi-scale Attention Networks for Semantic Segmentation of Oblique UAV Imagery
University of Twente（特文特大学）；Wuhan University（武汉大学）
空中平台的语义分割一直是对地观测的基本场景理解任务之一。大多数语义分割的研究集中在拍摄的场景在最低视图，其中对象具有相对较小的规模变化相比，拍摄的场景倾斜视图。倾斜图像中对象的巨大尺度变化限制了以单尺度方式处理图像的深度神经网络（DNN）的性能。为了解决尺度变化的问题，本文提出了一种新的双向多尺度注意力网络，该网络能够双向融合多个尺度的特征，以实现更自适应和更有效的特征提取。在UAVid2020数据集上进行的实验表明了该方法的有效性。我们的模型达到了最先进的（SOTA）结果，平均交叉联合（mIoU）评分为70.80%。
2021-02-05 cs.CV
Bidirectional Feature Globalization for Few-shot Semantic Segmentation of 3D Point Cloud Scenes
University of Chinese Academy of Sciences（中国科学院大学）；Wuhan University（武汉大学）
点云的Few-Shot分割一直是一个具有挑战性的任务，因为没有有效的方法将点云的局部信息转换为全局表示，这阻碍了点特征的泛化能力。在这项研究中，我们提出了一个双向的功能全球化（BFG）的方法，它利用点特征和原型向量之间的相似性度量嵌入全球感知到本地点特征的双向方式。通过点到原型全球化（Po2PrG），BFG根据从密集点特征到稀疏原型的相似性权重将局部点特征聚合到原型。通过原型到点全球化（Pr2PoG），基于从稀疏原型到密集点特征的相似性权重将全局感知嵌入到局部点特征。基于度量学习框架，将嵌入全局感知的每类稀疏原型归纳为单个原型，用于Few-Shot 3D分割。在S3DIS和ScanNet上的大量实验表明，BFG的性能明显优于最先进的方法。
2022-11-02 cs.CV
BiCLIP: Bidirectional and Consistent Language-Image Processing for Robust Medical Image Segmentation
Department of Computer Engineering, University of Kurdistan, Iran（伊朗库尔德大学计算机工程系）；Artificial Intelligence and Innovation Centre, University of Kurdistan, Erbil, Iraq（伊拉克埃尔比尔库尔德大学人工智能与创新中心）；College of Information Technology, United Arab Emirates University, UAE（阿联酋大学信息科技学院）
BiCLIP通过双向多模态融合和一致性目标提升医学图像分割的鲁棒性，有效应对标注稀少和临床伪影挑战。
2026-09-16 cs.CV
BiCoR-Seg: Bidirectional Co-Refinement Framework for High-Resolution Remote Sensing Image Segmentation
China University of Geosciences, Wuhan（中国地质大学（武汉））
BiCoR-Seg通过双向共细化框架提升高分辨率遥感图像分割的判别性和可解释性。
2025-12-23 cs.CV
Adaptive Bidirectional Displacement for Semi-Supervised Medical Image Segmentation
China University of Petroleum (East China)（中国石油大学（华东））
本文提出自适应双向位移方法，通过基于置信度的双向图像块位移为无标签和有标签数据生成增强样本，有效提升半监督医学图像分割中一致性学习的质量，并在多个基线模型上取得最先进性能。
2024-05-01 cs.CV
ALBERT: Advanced Localization and Bidirectional Encoder Representations from Transformers for Automotive Damage Evaluation
MARSAIL（Motor AI Recognition Solution Artificial Intelligence Laboratory）
本文提出专为汽车损伤与部件分割设计的ALBERT实例分割模型，融合双向编码器表示与高级定位机制，在含多类损伤与部件标注的大规模数据集上训练后，在分割精度和损伤分类上表现优异，助力智能汽车检测评估。
2025-06-12 cs.CV
Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；University of Trento（特伦托大学）；ETH Zurich（苏黎世联邦理工学院）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
在自动驾驶中，学习能够适应各种环境条件的分割模型至关重要。特别是，在光照变化剧烈的情况下进行复制是一个迫切的需求，因为在日光数据上训练的模型在夜间表现不佳。在本文中，我们研究了域自适应夜间语义分割（DANSS）的问题，其目的是学习一个有区别的夜间模型与标记的白天数据集和未标记的数据集，包括粗略对齐的昼夜图像对。为此，我们提出了一种新的双向混合（Bi-Mix）框架DANSS，它可以有助于图像翻译和分割自适应过程。具体来说，在图像转换阶段，Bi-Mix利用昼夜图像对的知识来提高夜间图像重新照明的质量。另一方面，在分割自适应阶段，Bi-Mix有效地弥合了白天和夜间域之间的分布差距，使模型适应夜间域。在这两个过程中，Bi-Mix只是通过混合两个样本进行操作，而没有额外的超参数，因此很容易实现。在Dark Zurich和Nighttime Driving数据集上的大量实验证明了所提出的Bi-Mix的优势，并表明我们的方法在DANSS中获得了最先进的性能。我们的代码可在https://github.com/ygjwd12345/BiMix上获得。
2021-11-19 cs.CV
Fully Differentiable Bidirectional Dual-Task Synergistic Learning for Semi-Supervised 3D Medical Image Segmentation
School of Electrical Engineering, Southwest Jiaotong University, Chengdu, 611756, China（电子工程学院，西南交通大学，成都，611756，中国）
本文提出全微分双向双任务协同学习框架，通过整合四个关键SSL组件提升3D医学图像分割性能，实现双向任务协同学习，推动半监督学习框架发展。
2026-02-10 cs.CV
Bidirectional Channel-selective Semantic Interaction for Semi-Supervised Medical Segmentation
本文提出双向通道选择性语义交互框架，通过语义-空间扰动、通道选择性路由器和双向通道交互提升半监督医学图像分割性能。
2026-01-09 cs.CV
Bidirectional Uncertainty-Aware Region Learning for Semi-Supervised Medical Image Segmentation
Key Laboratory of Intelligent Computing \& Signal Processing (ICSP), Ministry of Education, School of Artificial Intelligence, Anhui Uniersity, Hefei, 230601, China；Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, School of Computer Science；Technology, Anhui University, Hefei, 230601, China；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center, Hefei, 230026, China
针对半监督医学图像分割中错误伪标签集中于高不确定性区域的问题，提出双向不确定性感知区域学习策略，分别利用标记数据监督高不确定性区域、在未标记数据上聚焦低不确定性区域，显著提升分割性能。
2025-09-29 cs.CV
Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
针对半监督医学图像分割中标记与未标记数据分布失配的问题，提出基于Mean Teacher架构的双向复制粘贴方法，通过双向混合数据与一致监督缩小分布差距，在多个数据集上取得显著性能提升。
2023-05-01 cs.CV
Bidirectional Cross-Attention Fusion of High-Resolution RGB and Low-Resolution Hyperspectral Inputs for Multimodal Semantic Segmentation
KIT, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer IOSB, Fraunhofer Institute of Optronics, System Technologies（弗劳恩霍夫院所光学、系统技术与图像利用研究所）
提出双向交叉注意力融合（BCAF），通过局部双向交叉注意力对齐高分辨率RGB与低分辨率高光谱图像，避免预上采样或早期光谱坍缩，在实时约束下提升多模态分割性能。
2026-06-18 cs.CV
Background Matters: A Cross-view Bidirectional Modeling Framework for Semi-supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；National Institute of Healthcare Data Science, Nanjing University（健康数据科学国家研究院，南京大学）；Nanjing Drum Tower Hospital（南京鼓楼医院）
提出跨视图双向建模（CVBM）框架，通过显式建模背景区域并引入双向一致性机制，提升半监督医学图像分割性能，在多个数据集上达到最先进水平，且仅用20%标注数据超越全监督方法。
2025-05-22 cs.CV
WT-BCP: Wavelet Transform based Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation
Nanjing University（南京大学）；Jiangsu Provincial Hospital of Traditional Chinese Medicine（江苏省中医药研究院）
针对半监督医学图像分割中分布不匹配、扰动偏差及高低频信息利用不足问题，提出基于小波变换的双向复制粘贴框架WT-BCP，通过多输入多输出模型XNet-Plus及一致性训练提升分割性能。
2025-04-20 cs.CV
Synchronizing Vision and Language: Bidirectional Token-Masking AutoEncoder for Referring Image Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对指代表达图像分割在复杂语言和场景中上下文理解不足的问题，提出双向令牌掩码自编码器BTMAE，通过图像与语言特征在令牌级的双向重建互补，在三个数据集上取得最先进性能。
2023-11-29 cs.CV
Multi-Granularity Denoising and Bidirectional Alignment for Weakly Supervised Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
本文提出端到端MDBA模型，通过多粒度噪声过滤与检测、输入输出双向分布对齐，解决显著图伪标签噪声及单类到多类场景泛化问题。
2023-05-09 cs.CV
Bidirectional RNN-based Few Shot Learning for 3D Medical Image Segmentation
DGIST（大邱庆北科学技术院）
三维医学图像中感兴趣器官的分割对于准确的诊断和纵向研究是必要的。虽然最近使用深度学习的进展已经显示出许多分割任务的成功，但高性能需要大数据集，并且注释过程既耗时又劳动密集。在本文中，我们提出了一个三维Few Shot分割框架，使用有限的目标器官注释训练样本进行准确的器官分割。为了实现这一目标，设计了一个类似U-Net的网络，通过学习支持数据的2D切片与查询图像之间的关系来预测分割，包括一个双向门控递归单元（GRU），它学习相邻切片之间编码特征的一致性。此外，我们引入了一个迁移学习方法，以适应目标图像和器官的特点，通过更新模型之前，测试与任意的支持和查询数据采样的支持数据。我们使用三个3D CT数据集与不同器官的注释来评估我们提出的模型。我们的模型比最先进的Few Shot分割模型的性能有了显着提高，并且与使用更多目标训练数据训练的完全监督模型相当。
2020-11-19 cs.AI cs.CV
BiSegMamba: Efficient Bidirectional Tri-Oriented Mamba for 3D Medical Image Segmentation
School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院）；State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北航虚拟现实技术与系统国家重点实验室）
提出BiSegMamba，一种基于双向三向Mamba的高效3D医学图像分割网络，通过渐进压缩主干、多尺度空间混合器、双向正交Mamba块和自适应方向融合，在降低计算成本的同时提升分割精度。
2026-09-15 cs.CV
Bidirectional Self-Training with Multiple Anisotropic Prototypes for Domain Adaptive Semantic Segmentation
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）
领域自适应分割的一个蓬勃发展的趋势是为目标领域生成高质量的伪标签，并在其上重新训练分割器。在这种自训练模式下，一些竞争性的方法寻求潜在空间信息，建立语义类的特征质心（也称为原型），并通过它们与这些质心的距离来确定伪标签候选者。在本文中，我们认为，潜在的空间包含更多的信息被利用，从而采取进一步利用它。首先，而不是仅仅使用的源域原型，以确定目标的伪标签，因为大多数传统的方法做，我们双向产生的目标域原型，以降低这些源功能，这可能是太难或干扰的适应。其次，现有的尝试简单地将每个类别建模为单个和各向同性的原型，而忽略了特征分布的方差，这可能导致相似类别的混淆。针对这一问题，本文提出了一种基于高斯混合模型（Gaussian Mixture Model）的多个各向异性原型表示方法，以拟合源域的实际分布，并基于概率密度估计目标样本的似然性。我们将我们的方法应用于GTA5->Cityscapes和Synthia->Cityscapes任务，平均IoU分别达到61.2和62.8，大大优于其他竞争性自我训练方法。值得注意的是，在一些严重的类别，如“卡车”和“巴士”，我们的方法分别达到56.4和68.8，这进一步证明了我们的设计的有效性。
2022-08-04 cs.CV
BAGNet: Bidirectional Aware Guidance Network for Malignant Breast lesions Segmentation
Nankai University（南开大学）；Civil Aviation General Hospital（民航总医院）；Chinese PLA General Hospital（中国人民解放军总医院）
乳腺病变分割是计算机辅助诊断系统的重要环节，一直受到人们的关注。然而，准确分割的恶性乳腺病变是一个具有挑战性的任务，由于异质性的结构和相似的强度分布的影响。本文提出了一种新的双向感知引导网络（BAGNet）从乳腺超声图像中分割恶性病变。具体而言，双向感知引导网络用于从输入的粗显着性图中捕获全局（低级）和局部（高级）特征之间的上下文。全局特征图的引入可以减少周围组织（背景）对病变区域的干扰。为了评估网络的分割性能，我们使用六种常用的评估指标在公共乳腺超声数据集上与几种最先进的医学图像分割方法进行了比较。大量的实验结果表明，我们的方法取得了最有竞争力的分割结果对恶性乳腺超声图像。
2022-04-28 cs.CV cs.LG eess.IV
Scale-wise Bidirectional Alignment Network for Referring Remote Sensing Image Segmentation
University of Twente（特温特大学）；University of Bath（巴斯大学）
针对 RRSIS 中跨模态单向融合及多尺度地物感知不足的问题，本文提出 SBANet，通过双向对齐、动态特征选择和文本条件聚合提升分割性能。
2025-01-06 cs.CV
Referring Remote Sensing Image Segmentation via Bidirectional Alignment Guided Joint Prediction
University of Science and Technology Beijing（北京科技大学）；Shunde Graduate School of University of Science and Technology Beijing（北京科技大学顺德研究生院）
针对遥感图像指代分割中视觉-语言差距大、小目标多等挑战，提出\bours框架，通过双向空间相关性等模块提升特征交互与细粒度区分，在基准数据集上实现IoU指标显著提升，为相关应用提供精准分割方案。
2025-02-12 cs.CV
Innovative Tooth Segmentation Using Hierarchical Features and Bidirectional Sequence Modeling
School of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院）；School of Computer and Cyber Sciences, Communication University of China（中国传媒大学计算机与 cyber 科学学院）；Center of Big Data, China Digital Culture Group Co., Ltd（中国数字文化集团大数据中心）；Department of Stomatology, Tongxiang Hospital of Traditional Chinese Medicine（同祥中医医院口腔科）；School of Mathematical and Computational Sciences, Massey University（马希大学数学与计算科学学院）；Shining3D Tech Co., Ltd.（Shining3D科技有限公司）；School of Art Design, Zhejiang Gongshang University（浙江工商大学艺术设计学院）；Zhejiang Key Laboratory of Big Data and Future E-Commerce Technology（浙江大数据与未来电子商务技术重点实验室）
本文提出一种基于层次特征和双向序列建模的牙齿分割方法，通过跨尺度特征融合和高效建模策略提升分割精度与效率。
2026-02-25 cs.CV
0.5%>100%: Bidirectional Reciprocal Learning for Referring Image Segmentation
Xidian University（西安电子科技大学）
针对视觉基础模型适配指代图像分割时全量微调开销大、单向交互不足的问题，提出双向互惠学习框架，通过互惠注意力与门控适配器实现双向跨模态交互，以不到0.5%的参数更新取得最先进性能。
2026-09-23 cs.CV
Bidirectional Graph Reasoning Network for Panoptic Segmentation
Sun Yat-sen University（中山大学）；DarkMatter AI Research（DarkMatter人工智能研究）
最近的研究全景分割诉诸于一个单一的端到端的网络，结合实例分割和语义分割的任务。然而，以前的模型只统一了两个相关的任务在架构层面上通过一个多分支计划或揭示了它们之间的潜在的相关性，通过单向的特征融合，这忽略了显式的语义和共生关系的对象和背景。背景信息对目标的识别和定位至关重要，而包含目标的细节对背景场景的分析至关重要。因此，本文研究了在全景分割任务中，如何对目标和背景之间的相关性进行显式建模，以实现对图像的整体理解。我们引入了一个双向图推理网络（BGRNet），它将图结构融入到传统的全景分割网络中，以挖掘前景事物和背景事物类内部和之间的模块内和模块间关系。特别是，BGRNet首先在实例和语义分割分支中构建图像特定的图，分别在建议级别和类级别实现灵活的推理。为了建立独立分支之间的相关性，并充分利用事物和东西之间的互补关系，我们提出了一个双向图连接模块，以可学习的方式在分支之间传播信息。实验结果证明了我们的BGRNet的优越性，它在具有挑战性的COCO和ADE 20 K全景分割基准上实现了最先进的性能。
2020-04-14 cs.CV cs.LG eess.IV
Towards Deeper and Better Multi-view Feature Fusion for 3D Semantic Segmentation
Duke Kunshan University（昆山杜克大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
3D点云包含丰富的几何结构信息，而2D图像包含重要的连续纹理信息。结合二维信息实现更好的三维语义分割已成为三维场景理解的主流。尽管取得了成功，但如何融合和处理这两个不同空间的跨维特征仍然是一个难题。现有的最先进的技术通常利用双向投影方法对齐的跨维特征，并实现二维和三维语义分割任务。然而，为了实现双向映射，该框架通常需要对称的2D-3D网络结构，从而限制了网络的灵活性。同时，这种双任务设置可能容易分散网络的注意力，并导致3D分割任务中的过拟合。由于受到网络可扩展性的限制，融合特征只能通过解码器网络，这会因深度不足而影响模型性能。为了减轻这些缺点，在本文中，我们认为，尽管它的简单性，单向多视图2D深度语义特征投影到3D空间与3D深度语义特征对齐，可以导致更好的特征融合。一方面，单向投射使我们的模型更专注于核心任务，即，三维分割;另一方面，将双向投影解锁为单向投影使得能够实现更深的跨域语义对齐，并且享有融合来自非常不同的空间的更好和复杂的特征的灵活性。在联合2D-3D方法中，我们提出的方法在ScanNetv 2 3D语义分割基准测试中取得了优异的性能。
2022-12-13 cs.CV
GUNNEL: Guided Mixup Augmentation and Multi-Model Fusion for Aquatic Animal Segmentation
Vietnam National University（越南国家大学）；University of Science（科学大学）；University of Dayton（代顿大学）；National Institute of Informatics（国立信息研究所）
本研究构建了名为“Aquatic Animal Species”的新数据集，并提出GUNNEL框架，通过引导式Mixup数据增强与多模型融合有效提升水生动物分割性能，显著优于现有方法。
2025-06-30 cs.CV
BiPVL-Seg: Bidirectional Progressive Vision-Language Fusion with Global-Local Alignment for Medical Image Segmentation
Wayne State University（韦恩州立大学）
提出BiPVL-Seg端到端框架，通过双向渐进融合和全局-局部对比对齐强化视觉与文本特征交互，在CT和MR多类医学图像分割任务上超越现有方法。
2025-03-30 cs.AI cs.CV
Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation
Imperial College London（伦敦帝国理工学院）
类别不平衡对开发无偏见、准确的预测模型提出了挑战。特别地，在图像分割中，神经网络可能过拟合来自小结构的前景样本，这些小结构在训练集中通常严重不足，导致泛化能力差。在这项研究中，我们提供了新的见解类不平衡下的过拟合问题，通过检查网络的行为。我们根据经验发现，当使用有限的数据和强烈的类不平衡进行训练时，在测试时，logit激活的分布可能会跨越决策边界，而代表性良好的类的样本似乎不受影响。这种偏差导致小结构的系统性分割不足。这种现象在不同的数据库、任务和网络体系结构中得到了一致的观察。为了解决这个问题，我们引入了流行的损失函数和正则化技术的新的非对称变体，包括大边缘损失，焦点损失，对抗性训练，混淆和数据增强，这些都是明确设计来对抗代表性不足的类的logit移位。广泛的实验进行了几个具有挑战性的分割任务。我们的研究结果表明，与基线和替代方法相比，对目标函数的修改可以显著提高分割精度。
2021-02-20 cs.CV
Bidirectional Fusion Guided by Cardiac Patterns for Semi-Supervised ECG Segmentation
VUNO Inc.（VUNO公司）
本文提出CardioMix框架，通过心脏模式引导的双向CutMix策略提升ECG分割性能，实验表明其在多种数据集和标注比例下均优于现有方法。
2026-05-15 cs.AI cs.CV cs.LG
Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation
School of Electronics and Information Engineering, Harbin Institute of Technology（电子信息工程学院，哈尔滨工业大学）；Faculty of Computing, Harbin Institute of Technology（计算机学院，哈尔滨工业大学）；Peng Cheng Laboratory, Shenzhen（鹏城实验室，深圳）
提出跨模态双向交互模型CroBIM，通过上下文感知提示调制、语言引导特征聚合和互交互解码器解决指代遥感图像分割中复杂空间关系与尺度差异问题，并构建大规模基准RISBench，性能优于现有方法。
2025-05-26 cs.AI cs.CV
TransMix: Attend to Mix for Vision Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Oxford（牛津大学）；ByteDance Inc.（字节跳动有限公司）
已经发现基于混合的增强对于在训练期间泛化模型是有效的，特别是对于视觉Transformer（ViT），因为它们很容易过拟合。然而，以前的基于混合的方法具有潜在的先验知识，即目标的线性内插比率应保持与输入内插中提出的比率相同。这可能会导致一个奇怪的现象，有时没有有效的对象在混合图像由于随机过程中增强，但仍然有响应的标签空间。为了弥合输入空间和标签空间之间的差距，我们提出了TransMix，它基于视觉Transformer的注意力地图混合标签。如果相应的输入图像被注意力图加权得更高，则标签的置信度将更大。TransMix非常简单，只需几行代码就可以实现，而无需向基于ViT的模型引入任何额外的参数和FLOP。实验结果表明，我们的方法可以在ImageNet分类的尺度上持续改进各种基于ViT的模型。在ImageNet上使用TransMix进行预训练后，基于ViT的模型也表现出更好的语义分割，目标检测和实例分割的可移植性。在4个不同的基准测试中，TransMix也表现出更强大的性能。代码将在https://github.com/Beckschen/TransMix上公开。
2021-11-18 cs.CV
UDA4Inst: Unsupervised Domain Adaptation for Instance Segmentation
Computer Vision Center, Universitat Autònoma de Barcelona（计算机视觉中心，巴塞罗那自治大学）
针对自动驾驶实例分割缺乏真实标注数据的问题，提出UDA4Inst框架，通过语义类别训练和双向混合训练实现合成到真实域的无监督域适应，在SYNTHIA->Cityscapes基准上达到mAP 31.3的新最先进水平。
2025-06-19 cs.CV
Context Patch Fusion With Class Token Enhancement for Weakly Supervised Semantic Segmentation
School of Cyber Science and Engineering, Wuxi University（网络安全科学与工程学院，无锡大学）；School of Informatics, Xiamen University（信息学院，厦门大学）；School of Computer Science, University of Liverpool（计算机科学学院，利物浦大学）
CPF-CTE通过上下文补丁融合与类令牌增强，提升弱监督语义分割的准确性和鲁棒性。
2026-01-21 cs.CV
Full-Duplex Strategy for Video Object Segmentation
Nankai University（南开大学）；Wuhan University（武汉大学）；Sichuan University（四川大学）；Peng Cheng Laboratory（鹏城实验室）；IIAI（人工智能研究院）
提出全双工策略网络FSNet，通过关系交叉注意力模块和双向净化模块实现运动与表观特征的双向传播与净化，在视频目标分割与显著目标检测任务中取得优异性能。
2021-09-03 cs.CV
ModelMix: A New Model-Mixup Strategy to Minimize Vicinal Risk across Tasks for Few-scribble based Cardiac Segmentation
The Johns Hopkins University（约翰斯·霍普金斯大学）
针对涂鸦弱监督分割难题，提出基于模型参数插值的ModelMix方法，通过凸组合卷积参数构建虚拟模型并正则化以最小化跨任务邻域风险，在三个公开心脏分割数据集上性能超越现有最优涂鸦监督方法。
2024-06-19 cs.CV
BiSVP: Building Footprint Extraction via Bidirectional Serialized Vertex Prediction
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
从遥感影像中提取建筑物足迹是近年来研究的热点问题。主流方法通过生成具有繁琐细化阶段的矢量化建筑物掩模来解决这个具有挑战性的问题，这限制了此类方法的应用。在本文中，我们介绍了一种新的细化和端到端的建筑足迹提取方法，这是概念直观，简单，有效的。我们的方法，被称为BiSVP，表示一个建筑实例与有序的顶点，并制定了建设足迹提取预测序列化的顶点直接在一个双向的方式。此外，我们提出了一个跨尺度特征融合（CSFF）模块，以促进高分辨率和丰富的语义特征学习，这是必不可少的密集建筑顶点预测任务。在没有花里胡哨的情况下，我们的BiSVP在三个建筑实例分割基准测试中的表现远远优于最先进的方法，清楚地证明了它的优越性。代码和数据集将公开提供。
2023-03-01 cs.CV
Revisiting CycleGAN for semi-supervised segmentation
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IIT Roorkee（印度理工学院鲁尔基分校）；ETS Montreal（蒙特利尔工程技术学院）
在这项工作中，我们研究了仅使用一小部分注释图像来训练深度网络进行语义图像分割的问题，这可能会显着减少人类注释工作。特别是，我们提出了一种策略，利用CycleGAN在半监督分割中的不成对图像风格传输能力。与最近使用对抗学习进行半监督分割的作品不同，我们强制循环一致性来学习未配对图像和分割掩码之间的双向映射。这增加了一个无监督的正则化效果，当注释数据有限时，可以提高分割性能。在PASCAL VOC 2012、Cityscapes和ACDC三个不同的公共分割基准上的实验证明了该方法的有效性。该模型相对于基线实现了2-4%的改进，并且在此任务中优于最近的方法，特别是在低标记数据状态下。
2019-08-30 cs.CV
CycleMix: A Holistic Strategy for Medical Image Segmentation from Scribble Supervision
Fudan University（复旦大学）
管理大量的完全注释的训练数据可能是昂贵的，特别是对于医学图像分割的任务。涂鸦是一种较弱的注释形式，在实践中更容易获得，但从有限的涂鸦监督中训练分割模型仍然具有挑战性。为了解决这些困难，我们提出了一个新的框架，涂鸦学习为基础的医学图像分割，这是由混合增强和周期一致性，因此被称为CycleMix。为了加强监督，CycleMix采用了混合策略，并采用了专门的随机遮挡设计，以执行涂鸦的增量和减量。对于监督的规则化，CycleMix强化了训练目标，一致性损失惩罚不一致的分割，这导致分割性能的显着提高。两个开放数据集的结果，即，ACDC和MSCMRseg表明，所提出的方法实现了令人振奋的性能，表现出与完全监督方法相当甚至更好的准确性。在https://github.com/BWGZK/CycleMix上可以公开获得MSCMRseg的代码和专家制作的潦草注释。
2022-03-12 cs.CV eess.IV
Mixup-Privacy: A simple yet effective approach for privacy-preserving segmentation
École de Technologie Supérieure（高等技术学院）；Université de Sherbrooke（舍布鲁克大学）
提出一种基于图像混合的客户端-服务器分割系统，通过混合图像保护隐私，端到端训练分割与解混网络，在MRI脑分割中达到与原始图像训练相当精度并优于其他隐私保护方法。
2023-06-16 cs.CV
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow
Tsinghua University（清华大学）；University of California, Merced（加州大学默塞德分校）
本文提出了一种端到端的可训练网络SegFlow，用于同时预测视频中的逐像素对象分割和光流。提出的SegFlow有两个分支，其中对象分割和光流的有用信息在一个统一的框架中双向传播。分割分支是基于一个完全卷积网络，这已被证明是有效的图像分割任务，和光流分支利用FlowNet模型。统一框架迭代地离线训练以学习通用概念，并针对特定对象进行在线微调。在视频对象分割和光流数据集上进行的大量实验表明，引入光流提高了分割的性能，反之亦然，对最先进的算法。
2017-09-20 cs.CV
ROAM: Random Layer Mixup for Semi-Supervised Learning in Medical Imaging
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zurich（苏黎世联邦理工学院）
医学图像分割是机器学习方法面临的主要挑战之一。然而，深度学习方法深刻地依赖于大量的注释数据，这是耗时且昂贵的。然而，半监督学习方法通过在训练过程中利用大量的未标记数据以及少量的标记数据来解决这个问题。最近，MixUp正则化器已被成功地引入到半监督学习方法中，表现出优越的性能。MixUp通过在输入空间对数据进行线性插值，使用新的数据点来增强模型。我们认为这种选择是有限的。相反，我们提出了ROAM，这是一种RandOm lAyer Mixup，它鼓励网络对随机选择的空间中的插值数据点不那么自信。ROAM生成了更多的数据点，这是以前从未见过的，因此它避免了过度拟合，提高了泛化能力。我们进行了广泛的实验，以验证我们的方法在三个公开的数据集上的全脑图像分割。ROAM在全监督（89.5%）和半监督（87.0%）设置中实现了最先进的（SOTA）结果，全脑分割的相对改善分别高达2.40%和16.50%。
2020-11-16 cs.CV
Bidirectional Projection Network for Cross Dimension Scene Understanding
The Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）
2D图像表示在规则的网格中，并且可以被有效地处理，而3D点云在3D空间中是无序和分散的。这两个视觉领域内的信息是互补的，例如，2D图像具有精细的纹理，而3D点云包含丰富的几何信息。然而，大多数当前的视觉识别系统单独处理它们。在本文中，我们提出了一个\emph{bidirectional projection network (BPNet)}联合2D和3D推理的端到端的方式。它包含具有对称架构的2D和3D子网络，这些子网络由我们提出的\emph{bidirectional projection module (BPM)}连接。通过\emph{BPM}，互补的2D和3D信息可以在多个架构级别中彼此交互，使得这两个视觉领域中的优势可以结合起来，以实现更好的场景识别。大量的定量和定性的实验评估表明，联合推理的2D和3D视觉域可以同时有利于2D和3D场景理解。我们的\emph{BPNet}在ScanNetV2基准测试中实现了2D和3D语义分割的最佳性能。代码可在\url{https://github.com/wbhu/BPNet}上获得。
2021-03-26 cs.CV
LiAuto-MindViT: A Hybrid Vision Backbone with Adaptive Bidirectional Mamba
Li Auto Inc.（理想汽车公司）；University of Science and Technology of China（中国科学技术大学）
针对Mamba视觉适配挑战，提出LiAuto-MindViT混合骨干，以自适应双向Mamba消除方向偏差，结合重参数化模块加速推理，在图像分类、检测和分割上达到最优性能。
2026-09-23 cs.CV
Linguistic Query-Guided Mask Generation for Referring Image Segmentation
Alibaba Group（阿里巴巴集团）
参考图像分割的目的是根据给定的语言表达分割出感兴趣的图像区域，这是一个典型的多模态任务。现有的方法要么采用基于像素分类的框架或基于可学习查询的框架来生成掩码，这两种方法都不足以处理具有固定数量的参数化原型的各种文本-图像对。在这项工作中，我们提出了一个端到端的框架建立在Transformer执行语言查询引导掩码生成，被称为LGFormer。该方法将语言特征看作查询，为任意输入的图像文本对生成专门的原型，从而生成更加一致的分割结果。此外，我们在编码器和解码器中设计了几个跨模态交互模块（\eg，视觉语言双向注意模块，VLBA），以实现更好的跨模态对齐。
2023-03-22 cs.CV
OurDB: Ouroboric Domain Bridging for Multi-Target Domain Adaptive Semantic Segmentation
Ajou University（明知大学）；Tech. Innovation Group, KT（KT技术创新组）；ETRI（韩国电子通信研究院）
提出OurDB框架，用单一教师架构动态循环对齐多目标域，结合Fisher信息防遗忘和上下文引导的类级混合，在四个驾驶数据集上超越现有方法。
2024-03-18 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Prototype Refinement Network for Few-Shot Segmentation
AInnovation Technology Co., Ltd.（创新奇智科技有限公司）
Few-Shot分割目标是在提供很少注释图像的情况下分割新类别。它比传统的语义分割任务更具挑战性，分割具有丰富注释图像的已知类。在本文中，我们提出了一个原型细化网络（PRNet）来解决Few-Shot分割的挑战。它首先学习从已知类的支持和查询图像中双向提取原型。此外，提取新类的代表性原型，我们使用适应和融合的原型细化。自适应步骤使模型学习新的概念，这是直接通过再训练实现的。首先提出了原型融合的概念，将支持原型和查询原型融合，融合了支持原型和查询原型的知识。它在原型精化中是有效的，而无需引入额外的可学习参数。通过这种方式，原型在低数据状态下变得更具歧视性。在PASAL- $5^i$和COCO- $20^i$上的实验证明了该方法的优越性.特别是在COCO- $20^i$上，PRNet在1次激发设置下的性能明显优于现有方法13.1%。
2020-05-09 cs.CV
SegAssess: Panoramic quality mapping for robust and transferable unsupervised segmentation assessment
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）；College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院）；Hubei Luojia Laboratory（湖北珞珈实验室）
SegAssess通过全景质量映射方法实现鲁棒且可迁移的无监督分割质量评估，采用四类细粒度分割任务和增强SAM架构提升跨域鲁棒性与零样本迁移能力。
2025-12-05 cs.CV
Branches Mutual Promotion for End-to-End Weakly Supervised Semantic Segmentation
本文提出一种端到端弱监督语义分割方法，通过双向监督机制和分支间交互操作，使分类分支与分割分支平等互促，从而提升分割性能。
2023-08-09 cs.CV
Improving Robustness of Deep Learning Based Knee MRI Segmentation: Mixup and Adversarial Domain Adaptation
University of Oulu（奥卢大学）；Oulu University Hospital（奥卢大学医院）；Erasmus MC（伊拉斯姆斯医学中心）
本文针对跨扫描仪与采集协议的膝关节MRI软骨分割鲁棒性问题，比较mixup与对抗式UDA，发现二者均显著提升性能，而mixup因更高效且无需目标域数据更受推荐。
2019-10-27 cs.CV eess.IV
1st Place Solution for YouTubeVOS Challenge 2021:Video Instance Segmentation
CyberCore AI（赛博核心人工智能）；Toyota Motor Corporation（丰田汽车公司）
视频实例分割（VIS）是一个同时执行检测、分割和跟踪的多任务问题。从图像集的应用程序扩展，视频数据还包括时间信息，如果处理得当，这是非常有用的识别和预测对象的运动。在这项工作中，我们设计了一个统一的模型来相互学习这些任务。具体来说，我们提出了两个模块，命名为时间相关的实例分割（TCIS）和双向跟踪（BiTrack），以利用相邻帧之间的对象的实例掩码的时间相关性。另一方面，由于帧的重叠，视频数据通常是冗余的。我们的分析表明，这个问题对于YoutubeVOS-VIS 2021数据来说尤其严重。因此，我们提出了一种多源数据（MSD）的训练机制，以弥补数据不足。通过将这些技术与一系列技巧相结合，与基线相比，网络性能得到了显着提升，并且在YoutubeVOS-VIS 2019和2021数据集上的表现明显优于其他方法。
2021-07-09 cs.CV
