SSD: Towards Better Text-Image Consistency Metric in Text-to-Image Generation
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);Duke Kunshan University(昆山杜克大学)
从给定文本生成一致和高质量的图像对于视觉语言理解是必不可少的。虽然在生成高质量图像方面取得了令人印象深刻的结果,但文本图像一致性仍然是现有基于GAN的方法的主要问题。特别是,最流行的度量$R$ -精度可能无法准确地反映文本-图像的一致性,往往会导致非常误导的语义生成的图像。尽管它的重要性,如何设计一个更好的文本图像一致性度量令人惊讶的是仍然在社区中探索不足。在本文中,我们进一步发展一种新的CLIP为基础的度量称为语义相似距离($SSD$),这是从理论上成立的分布的观点和经验验证的基准数据集。受益于所提出的度量,我们进一步设计了并行深度融合生成对抗网络(PDF-GAN),旨在通过融合不同粒度的语义信息并捕获准确的语义来提高文本-图像一致性。PDF-GAN配备了两个新的即插即用组件:硬否定句构造器和语义投影,可以减轻不一致的语义,弥合文本-图像语义鸿沟。一系列实验表明,与当前最先进的方法相比,我们的PDF-GAN可以显著提高文本图像的一致性,同时在CUB和COCO数据集上保持良好的图像质量。
2022-12-03 cs.CV
SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Sheffield(谢菲尔德大学);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
近年来,语义引导的条件生成对抗网络(cGAN)已经成为人脸编辑的流行方法。然而,大多数现有的方法引入语义掩码作为生成器的直接条件输入,并且通常需要目标掩码在RGB空间中执行相应的翻译。我们提出了SeCGAN,一种新的标签引导cGAN,用于利用语义信息编辑人脸图像,而无需指定目标语义掩码。在训练过程中,SeCGAN有两个并行运行的生成器和鉴别器分支,其中一个分支经过训练来翻译RGB图像,另一个分支经过训练来翻译语义掩模。为了以一种互利的方式桥接这两个分支,我们引入了一个语义一致性损失,它约束两个分支具有一致的语义输出。虽然在训练过程中需要这两个分支,但RGB分支是我们的主要网络,语义分支不需要用于推理。我们在CelebA和CelebA-HQ上的结果表明,我们的方法能够生成具有更准确属性的面部图像,在目标属性识别率方面优于竞争基线,同时保持质量指标,如自我监督的Fréchet Inception Distance和Inception Score。
2022-06-16 cs.CV
AffineTok: Semantic Affine Consistency for Diffusion-Friendly Visual Tokenizer
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
本文提出AffineTok,通过语义仿射一致性(SAC)引导视觉分词器训练,引入M_SAC作为代理指标,在ImageNet 256上实现了gFID的显著降低,达到无引导1.21、有引导1.10的SOTA性能。
2026-08-26 cs.CV
Enriching Information and Preserving Semantic Consistency in Expanding Curvilinear Object Segmentation Datasets
School of Computer Science, Chongqing University(重庆大学计算机学院)
针对曲线目标分割数据集规模小的问题,本文提出结合多文本特征生成数据的扩充方法,构建COSTG数据集,并设计SCP ControlNet保障语义一致性,在多类目标和数据集上验证了能有效提升分割模型性能。
2024-07-11 cs.CV
Boosting Consistency in Story Visualization with Rich-Contextual Conditional Diffusion Models
Tencent AI Lab(腾讯AI实验室)
本文提出丰富上下文条件扩散模型RCDMs,通过两阶段框架联合注入参考图像、预测帧语义嵌入和文本嵌入,以单次前向推理实现语义与时间连贯的故事可视化生成。
2024-07-03 cs.CV
Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency
KU-Leuven/PSI(鲁汶大学/PSI);TRACE (Toyota Res in Europe)(丰田欧洲研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);ETH Zurich(苏黎世联邦理工学院)
由于深度学习的进步,图像到图像的翻译最近受到了极大的关注。大多数工作集中在学习一个一对一的映射在无监督的方式或多对多的映射在监督的方式。然而,更实际的设置是以无监督的方式进行多对多映射,由于缺乏监督以及复杂的内部和跨域变化,这很难实现。为了缓解这些问题,我们提出了示例引导和语义一致的图像到图像翻译(EGSC-IT)网络,该网络将翻译过程限制在目标域中的示例图像上。我们假设一个图像包括一个跨域共享的内容组件和一个特定于每个域的样式组件。在目标域范例的指导下,我们将自适应实例规范化应用于共享内容组件,这允许我们将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨域变化而自然出现的语义不一致,我们引入了特征掩码的概念,该特征掩码提供粗略的语义指导,而不需要使用任何语义标签。在不同数据集上的实验结果表明,EGSC-IT不仅能将源图像转换为目标域中的不同实例,而且在转换过程中保持了语义的一致性。
2019-03-13 cs.CV
Unsupervised Coherent Video Cartoonization with Perceptual Motion Consistency
Institute of Computing Technology(计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Technologies(华为技术有限公司);University of Science and Technology of China(中国科学技术大学)
近年来,像风格转移和神经照片编辑这样的创意内容生成引起了越来越多的关注。其中,真实世界场景的卡通化在娱乐和工业中有着很好的应用。与注重提高生成图像风格效果的图像翻译不同,视频卡通化对时间一致性有额外的要求。在本文中,我们提出了一个空间自适应的语义对齐框架与感知运动一致性相干视频卡通化在无监督的方式。语义对齐模块的设计是为了恢复变形的语义结构所造成的空间信息丢失的编码器-解码器架构。此外,我们设计的时空相关地图作为一个风格独立的,全局感知的感知运动一致性的正则化。该算法通过对照片和卡通图像中的高层次特征进行相似性度量,获取光流中原始像素值以外的全局语义信息。此外,相似性度量从特定领域的风格属性中分离出时间关系,这有助于在不损害卡通图像风格效果的情况下规范时间一致性。定性和定量实验表明,我们的方法能够生成风格和时间高度一致的卡通视频。
2022-04-02 cs.CV
Beyond the Veil of Similarity: Quantifying Semantic Continuity in Explainable AI
Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学);Wageningen University & Research(瓦赫宁根大学及研究中心);Netherlands eScience center(荷兰eScience中心)
本文提出一种新的语义连续性度量标准,通过观察输入增量变化对XAI解释的影响,评估模型泛化能力和XAI方法捕捉模型行为的准确性,促进更可靠透明的AI系统。
2025-01-30 cs.AI cs.CV cs.LG
Quantifying Explanation Consistency: The C-Score Metric for CAM-Based Explainability in Medical Image Classification
本文提出C-Score指标,用于评估基于CAM的医学图像分类解释一致性,通过强度强调的成对软IoU量化同一类内解释的可重复性,并在不同CNN架构上评估六种CAM技术的性能。
2026-04-09 cs.AI cs.CV
Beyond accuracy: quantifying trial-by-trial behaviour of CNNs and humans by measuring error consistency
University of Tübingen(图宾根大学);IMPRS-IS(智能系统国际马克斯·普朗克研究学院)
认知科学和行为神经科学以及机器学习和人工智能研究的一个核心问题是确定两个或多个决策者(无论是大脑还是算法)是否使用相同的策略。准确性本身并不能区分不同的策略:两个系统可以用非常不同的策略达到相似的准确性。如果两个系统的性能接近天花板,就像卷积神经网络(CNN)和人类在视觉物体识别上的表现一样,那么区分准确性之外的差异就显得尤为迫切。在这里,我们介绍了一次又一次的试错一致性,这是一种定量分析,用于衡量两个决策系统是否在相同的输入上系统地犯错误。在一次又一次尝试的基础上犯下一致的错误是决策者之间相似处理策略的必要条件。我们的分析适用于比较算法与算法,人类与人类,以及算法与人类。当错误一致性应用于物体识别时,我们得到了三个主要发现:(1)。无论架构如何,CNN彼此之间都非常一致。(2.)然而,CNN和人类观察者之间的一致性仅略高于偶然的预期-这表明人类和CNN可能实施非常不同的策略。(3.)CORnet-S是一种被称为“灵长类动物腹侧视觉流的当前最佳模型”的递归模型,它未能捕获人类行为数据的基本特征,并且在我们的分析中表现得基本上像一个标准的纯前馈ResNet-50。总的来说,错误一致性分析表明人类和机器视觉使用的策略仍然非常不同-但我们设想我们的通用错误一致性分析作为量化未来进展的有效工具。
2020-12-18 cs.CV cs.LG q-bio.NC
Network Dissection: Quantifying Interpretability of Deep Visual Representations
MIT(麻省理工学院)
我们提出了一个称为网络解剖的一般框架,通过评估单个隐藏单元和一组语义概念之间的对齐来量化CNN潜在表示的可解释性。给定任何CNN模型,所提出的方法利用视觉概念的广泛数据集来对每个中间卷积层的隐藏单元的语义进行评分。具有语义的单元被赋予一系列对象、部件、场景、纹理、材质和颜色的标签。我们使用所提出的方法来测试假设,即单元的可解释性等同于单元的随机线性组合,然后我们应用我们的方法来比较各种网络在训练以解决不同的监督和自监督训练任务时的潜在表示。我们进一步分析了训练迭代的效果,比较了用不同初始化训练的网络,检查了网络深度和宽度的影响,并测量了dropout和批量归一化对深度视觉表示的可解释性的影响。我们证明了所提出的方法可以揭示CNN模型和训练方法的特征,这些模型和方法超越了它们的区分能力的测量。
2017-04-19 cs.AI cs.CV
AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation
Georgia Institute of Technology(佐治亚理工学院)
用于域自适应语义分割的大多数现代方法依赖于在自适应期间对源数据的持续访问,这可能由于计算或隐私约束而不可行。我们专注于无源领域自适应语义分割,其中一个源模型必须适应一个新的目标域只给未标记的目标数据。我们提出了增强一致性指导的自训练(AUGCO),这是一种无源自适应算法,它使用模型的像素级预测一致性,跨各种自动生成的每个目标图像的视图以及模型置信度来识别可靠的像素预测,并选择性地对这些像素进行自训练。AUGCO在3个标准的语义分割基准测试中实现了最先进的无源自适应结果,所有这些都在一个简单的实现和快速收敛的方法中实现。
2022-01-06 cs.CV cs.LG
Discriminative Semantic Transitive Consistency for Cross-Modal Learning
Indian Institute of Technology Kanpur(坎普尔印度理工学院);TensorTour Inc.(TensorTour公司)
跨模态检索通常通过将来自两个不同模态的数据投影和对齐到共享表示空间上来执行。这种共享空间通常还充当转换模式的桥梁。我们通过提出和利用判别语义传递一致性的属性来解决学习这种表示空间的问题-确保数据点即使在转移到其他模态之后也能正确分类。除了语义传递一致性外,我们还执行了传统的距离最小化约束,这使得来自两种模态的相应数据点的投影在表示空间中更接近。我们分析和比较的损失条款和它们的相互作用的贡献,为任务。此外,我们将语义循环的一致性为每个模态。我们根据经验证明,由于具有清晰消融研究的不同组件,性能更好。我们还提供了定性结果来支持这些建议。
2022-03-20 cs.CV cs.LG
Updated version: A Video Anomaly Detection Framework based on Appearance-Motion Semantics Representation Consistency
Xiamen University(厦门大学);PKU-Wuhan Institute for Artificial Intelligence(北京大学武汉人工智能研究院)
视频异常检测是一项重要而又具有挑战性的任务。现有的方法主要研究正常模式与异常模式的重构差异,而忽略了行为模式的外观和运动信息之间的语义一致性,使得重构结果高度依赖于帧序列的局部上下文,缺乏对行为语义的理解。针对这一问题,本文提出了一种基于正常数据和异常数据之间的外观和运动语义表示一致性差异的外观-运动语义表示一致性框架。设计了双流结构对正常样本的外观和运动信息表示进行编码,并提出了一种新的一致性丢失方法来增强特征语义的一致性,从而能够识别一致性较低的异常。此外,异常的较低一致性特征可用于恶化预测帧的质量,这使得异常更容易被发现。通过仿真和实测数据处理验证了所提方法的有效性。
2023-03-09 cs.CV
Leveraging the Video-level Semantic Consistency of Event for Audio-visual Event Localization
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
提出视频级语义一致性引导网络,通过事件语义一致性建模模块和两种新损失,在全/弱监督下提升音视频事件定位性能。
2023-10-20 cs.AI cs.CV
Region-level Contrastive and Consistency Learning for Semi-Supervised Semantic Segmentation
Jilin University(吉林大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
目前的半监督语义分割方法主要集中在设计像素级一致性和对比正则化。然而,像素级正则化对来自具有不正确预测的像素的噪声敏感,并且像素级对比正则化具有O(pixel_num^2)的内存和计算成本。为了解决这些问题,我们提出了一种新的区域级对比和一致性学习框架(RC ^2L)的半监督语义分割。具体来说,我们首先提出了一个区域掩码对比(RMC)损失和区域特征对比(RFC)损失,以实现区域级的对比属性。此外,区域类一致性(RCC)损失和语义掩码一致性(SMC)损失提出了实现区域级的一致性。基于提出的区域级对比和一致性正则化,我们开发了一个用于半监督语义分割的区域级对比和一致性学习框架(RC ^2L),并在两个具有挑战性的基准测试(PASCAL VOC 2012和Cityscapes)上评估了我们的RC $^2$ L,性能优于最先进的。
2022-04-28 cs.CV
Learning Multi-level Region Consistency with Dense Multi-label Networks for Semantic Segmentation
The University of Adelaide(阿德莱德大学)
图像语义分割是图像理解中的一项基本任务。图像的每像素语义标记极大地受益于考虑局部和全局区域一致性的能力。然而,许多基于全卷积网络的方法并没有施加这种一致性,这可能会导致噪声和不可信的预测。我们通过提出一个密集的多标签网络模块来解决这个问题,该模块能够鼓励不同级别的区域一致性。这个简单但有效的模块可以很容易地集成到任何语义分割系统中。实验结果表明,密集多标签算法能够有效地去除不可信标签,消除混淆,从而提高语义分割系统的性能。
2017-01-25 cs.CV
Self-supervised Augmentation Consistency for Adapting Semantic Segmentation
TU Darmstadt(达姆施塔特工业大学)
我们提出了一种方法来领域自适应的语义分割,这是既实用又高度准确。与以前的工作相比,我们放弃了使用计算涉及的对抗目标,网络合奏和风格转移。相反,我们采用标准的数据增强技术$-$光度噪声,翻转和缩放$-$,并确保这些图像转换的语义预测的一致性。我们在一个轻量级的自监督框架中开发了这个原则,该框架在共同进化的伪标签上进行训练,而不需要繁琐的额外训练轮。从从业者的角度来看,我们的方法很简单,非常有效。我们实现了适应后的最先进的分割精度的显着改善,一致的骨干架构和适应场景的不同选择。
2021-04-30 cs.CV cs.LG
Net2Vec: Quantifying and Explaining how Concepts are Encoded by Filters in Deep Neural Networks
University of Oxford(牛津大学)
为了理解深度网络捕获的中间表示的含义,最近的论文试图将特定的语义概念与个体神经网络滤波器响应相关联,其中经常发现有趣的相关性,主要是通过关注极值滤波器响应。在本文中,我们表明,这种方法可以有利于易于解释的情况下,不一定代表的平均行为的表示。一个更现实但更难研究的假设是,语义表示是分布式的,因此过滤器必须结合起来研究。为了研究这个想法,同时使系统的可视化和量化的多个过滤器的响应,我们介绍了Net2Vec框架,其中语义概念映射到矢量嵌入的基础上相应的过滤器的响应。通过研究这样的嵌入,我们能够表明,1.,在大多数情况下,需要多个过滤器来为概念编码,即2.,通常过滤器不是概念特定的,并且帮助编码多个概念,并且3.,与单个过滤器激活相比,过滤器嵌入能够更好地表征表示的含义及其与其他概念的关系。
2018-03-29 cs.AI cs.CV stat.ML
Structured Consistency Loss for semi-supervised semantic segmentation
SNUAILAB(首尔大学人工智能实验室);Seoul National Univ.(首尔大学);KyeongBook Univ.(庆北大学)
一致性损失是近年来半监督学习研究中解决问题的关键。然而,现有的研究与一致性损失仅限于其应用于分类任务;现有的研究半监督语义分割依赖于像素分类,这并不反映结构化的性质的特征预测。我们提出了一个结构化的一致性损失,以解决现存研究的这一局限性。结构化一致性损失促进教师和学生网络之间像素间相似性的一致性。具体来说,与CutMix的合作通过显著降低计算负担来优化具有结构化一致性损失的半监督语义分割的高效性能。在Cityscapes上验证了所提方法的优越性,Cityscapes的基准测试结果(包括验证和测试数据)分别为81.9 mIoU和83.84 mIoU。这在Cityscapes基准测试套件的像素级语义标记任务中排名第一。据我们所知,我们是第一个提出最先进的半监督学习在语义分割的优势。
2021-11-22 cs.CV
Quantifying Model Uncertainty for Semantic Segmentation using Operators in the RKHS
University of Florida(佛罗里达大学)
用于语义分割的深度学习模型由于任务的高度挑战性而在现实世界的应用中容易表现不佳。模型不确定性量化(UQ)是解决缺乏模型可信度问题的一种方法,它使从业者能够知道对分割输出的信任程度。目前的UQ方法在这一应用领域主要限于基于贝叶斯的方法,这是计算昂贵的,只能提取不确定性的中心时刻,从而限制了他们的不确定性估计的质量。我们提出了一个简单的框架,高分辨率的预测不确定性量化的语义分割模型,利用多矩功能定义的不确定性与模型的特征空间中的再生核希尔伯特空间(RKHS)。从该框架中提取的多个不确定性泛函由模型特征空间的局部密度动态定义,因此自动在特征空间的固有概率密度函数的尾部区域(不确定性最高)对齐,从而使连续高阶矩量化更不确定的区域。这导致了一个显着更准确的看法模型的不确定性比传统的贝叶斯方法。此外,这些矩的提取是在单次计算中完成的,这使得它比贝叶斯和集成方法(涉及模型的大量前向随机传递以量化其不确定性)快得多。我们通过对我们的框架进行实验评估来证明这些优势,该框架在四种不同的最先进的模型架构上实现,这些模型架构在两个基准道路场景分割数据集(Camvid和Cityscapes)上进行了训练和评估。
2022-11-03 cs.CV cs.IT cs.LG
Spatial and Semantic Consistency Regularizations for Pedestrian Attribute Recognition
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
近年来行人属性识别的研究在利用复杂网络和注意力机制方面取得了显著进展,但大多数研究都忽略了图像间的关系和一个重要的先验:监控场景下属性的空间一致性和语义一致性。同一个属性在不同的行人图像中的空间位置应该是一致的,\eg、"帽子”属性和"靴子”属性总是分别位于图片的顶部和底部。此外,无论是棒球帽、贝雷帽还是头盔,"hat”属性的固有语义特征都应该是一致的。为了在模型学习过程中充分利用图像间关系并聚合人类先验知识,我们构建了一个空间和语义一致性(SSC)框架,该框架由两个互补的正则化组成,以实现每个属性的空间和语义一致性。具体来说,我们首先提出了一个空间一致性正则化,专注于可靠和稳定的属性相关区域。基于精确的属性位置,我们进一步提出了一个语义一致性正则化提取内在和歧视性的语义特征。我们对流行的基准测试进行了广泛的实验,包括PA100K,RAP和PETA。实验结果表明,该方法在不增加参数的情况下,与现有方法相比,具有较好的性能。
2021-09-13 cs.CV
Emphasizing Semantic Consistency of Salient Posture for Speech-Driven Gesture Generation
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);La Trobe University(拉筹伯大学);SmartMore Corporation(思必驰科技股份有限公司)
本文提出一种语音驱动手势生成方法,通过学习音频与姿态的联合流形空间、弱监督检测显著姿态并重加权一致性损失,以及分离面部与身体手势特征,提升显著姿态与语音语义的一致性。
2024-10-17 cs.CV
ICMSC: Intra- and Cross-modality Semantic Consistency for Unsupervised Domain Adaptation on Hip Joint Bone Segmentation
University of Bern(伯尔尼大学);Inselspital(Inselspital医院(伯尔尼大学医院));University Hospital of Fribourg(弗里堡大学医院)
无监督领域自适应(UDA)通过领域不变特征学习或图像外观变换,在跨模态医学图像分割中取得了很大进展。自适应特征学习通常不能检测像素级的域偏移,并且在密集的语义分割任务中不能获得良好的结果。图像外观翻译,例如CycleGAN,将图像翻译成具有良好外观的不同风格,尽管其人口,其语义一致性很难保持,并导致差的跨模态分割。在本文中,我们提出了内和跨模态语义一致性(ICMSC)的UDA和我们的关键见解是,在不同风格的合成图像的分割应该是一致的。具体来说,我们的模型包括一个图像翻译模块和一个特定领域的分割模块。图像转换模块是标准的CycleGAN,而分割模块包含两个特定于域的分割网络。模态内语义一致性(IMSC)迫使在一个周期之后的重建图像以与原始输入图像相同的方式被分割,而跨模态语义一致性(CMSC)鼓励在翻译之后的合成图像与翻译之前完全相同地被分割。综合实验结果表明,我们提出的方法的有效性,实现了81.61%的髋臼和88.16%的股骨近端的平均DICE,优于其他国家的最先进的方法。值得注意的是,如果没有UDA,在CT上训练的髋关节骨分割模型无法转移到MRI,并且几乎没有DICE分割。
2020-12-23 cs.AI cs.CV
Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification
Normandie Univ, UNICAEN, ENSICAEN, CNRS(诺曼底大学,卡昂大学,卡昂国立高等工程师学校,国家科学研究中心);ONERA - The French Aerospace Lab(法国国家航空航天研究院)
本文研究了zero-shot图像分类的问题。所提出的方法的关键贡献是控制图像的语义嵌入-零样本学习的主要成分之一-通过将其制定为度量学习问题。优化后的经验标准关联两种类型的子任务约束:度量区分能力和准确的属性预测。这导致了一种新的零样本学习的表达,在训练阶段不需要类的概念:只有对图像/属性,增强了一致性指标,作为地面真理。在测试时,学习的模型可以预测测试图像与给定属性集的一致性,从而允许以灵活的方式产生识别推断。尽管它的简单性,所提出的方法给出了国家的最先进的结果四个具有挑战性的数据集用于zero-shot识别评估。
2016-07-27 cs.AI cs.CV cs.LG
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Google(谷歌)
我们利用无监督学习的深度,自我运动,和相机的本质,以提高单图像语义分割的性能,通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号,从而显著提高其质量,或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
RSC-VAE: Recoding Semantic Consistency Based VAE for One-Class Novelty Detection
Zhejiang University(浙江大学);Taiyuan University of Technology(太原理工大学)
本文提出RSC-VAE,通过将VAE潜在空间划分为正常、异常和未知语义区域,并采用重编码机制约束语义一致性,结合三种训练模式,在单类新颖性检测中达到最先进性能。
2023-05-07 cs.AI cs.CV
Exploiting Spatial-Temporal Semantic Consistency for Video Scene Parsing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Automation and Electrical Engineering, University of Science and Technology Beijing(北京科技大学自动化与电气工程学院)
与图像场景解析相比,视频场景解析引入了时间信息,可以有效提高预测的一致性和准确性。在本文中,我们提出了一个时空语义一致性的方法来捕获类排他的上下文信息。具体地说,我们设计了一个时空一致性损失,以限制在空间和时间维度的语义一致性。此外,我们采用伪标记策略来丰富训练数据集。我们在VSPW的开发(测试部分1)和测试集上分别获得了59.84%和58.85%的mIoU。我们的方法在ICCV2021的VSPW挑战赛中获得第一名。
2021-09-06 cs.CV
A Video Anomaly Detection Framework based on Appearance-Motion Semantics Representation Consistency
Xiamen University(厦门大学);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔分部);Tibet University(西藏大学);Wright State University(莱特州立大学)
视频异常检测是指对偏离预期行为的事件进行识别。由于训练中缺乏异常样本,视频异常检测成为一项极具挑战性的任务。现有的方法几乎都遵循重建或未来帧预测模式。但是,这些方法忽略了样本的外观和运动信息之间的一致性,限制了其异常检测性能。异常只发生在监控视频的运动前景中,因此,在不考虑背景信息的情况下,异常检测中的视频帧序列和光流所表达的语义应该具有高度的一致性,对异常检测具有重要意义。基于这一思想,本文提出了一种基于正常数据外观和运动语义表示一致性的异常检测框架--外观-运动语义表示一致性(Appearance-Motion Semantics Representation Consistency,AMSRC).首先,设计了一个双流编码器对正常样本的外观和运动信息表示进行编码,并引入约束条件进一步增强正常样本的外观和运动信息之间的特征语义一致性,从而识别出外观和运动特征表示一致性较低的异常样本。此外,异常样本的外观和运动特征的较低一致性可用于生成具有较大重建误差的预测帧,这使得异常更容易被发现。通过仿真和实测数据处理验证了所提方法的有效性。
2022-04-08 cs.CV
SeMv-3D: Towards Concurrency of Semantic and Multi-view Consistency in General Text-to-3D Generation
University of Electronic Science and Technology of China(电子科技大学);Tongji University(同济大学)
针对通用文本生成3D任务中语义一致性与多视角一致性难以兼顾的问题,提出SeMv-3D框架,通过三面体先验学习和基于先验的三面体语义对齐,在多视角一致性上达新SOTA,同时保持有竞争力的语义一致性性能。
2025-05-21 cs.CV
Open-Set Hypothesis Transfer with Semantic Consistency
UBTECH Sydney AI Centre, School of Computer Science, Faculty of Engineering, The University of Sydney(悉尼大学工程学院计算机科学学院UBTECH悉尼人工智能中心)
无监督开集领域自适应(UODA)是一个现实问题,其中未标记的目标数据包含未知的类别。现有方法依赖于源域数据和目标域数据的共存来执行域对齐,这在源域数据由于隐私问题而受到限制时极大地限制了它们的应用。本文讨论了具有挑战性的假设转移设置UODA,从源域的数据不再提供在目标域的适应。我们引入了一种方法,重点是在目标数据的转换,这是很少赞赏以前的领域自适应方法的语义一致性。具体来说,我们的模型首先发现可信的预测,并使用伪标签进行分类。然后,我们强制该模型在语义相似的输入上输出一致和明确的预测。其结果是,未标记的数据可以被分类到与源类或未知类相一致的判别类。实验结果表明,我们的模型优于国家的最先进的方法UODA基准。
2020-10-01 cs.CV cs.LG
GeoGuide: Hierarchical Geometric Guidance for Open-Vocabulary 3D Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);National Key Laboratory of Deep Space Exploration, Deep Space Exploration Laboratory(深空探测全国重点实验室,深空探测实验室)
GeoGuide提出了一种新的框架,通过预训练3D模型整合层次几何-语义一致性,以提升开放词汇3D分割的性能,通过不确定性基于的超点蒸馏模块和实例级掩码重建模块等方法增强局部语义一致性。
2026-03-27 cs.AI cs.CV
ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency
Sun Yat-sen University(中山大学);University of Technology Sydney(悉尼科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Oxford(牛津大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
近年来,在从文本监督中学习视觉表示方面取得了巨大的成功,促进了文本监督语义分割的出现。然而,现有的工作集中在像素分组和跨模态语义对齐,而忽略了同一图像的多个增强视图之间的对应关系。为了克服这种局限性,我们提出了多\textbf{View} \textbf{Co}坚持学习(ViewCo)的文本监督语义分割。具体来说,我们首先提出了文本到视图的一致性建模,以学习相同输入图像的多个视图的对应关系。此外,我们提出了跨视图分割一致性建模,以解决文本监督的模糊性问题,通过对比暹罗视觉编码器的段功能。文本到视图的一致性有利于密集分配的视觉特征,鼓励不同的作物对齐相同的文本,而跨视图分割一致性建模提供了额外的自我监督,克服了模糊的文本监督分割掩码的限制。在大规模图像文本数据的训练下,该模型可以直接以zero-shot方式分割任意类别的对象。大量的实验表明,ViewCo在PASCAL VOC 2012、PASCAL Context和COCO上的平均性能分别比最先进的方法高出2.9\%、1.6\%和2.4\%。
2023-01-31 cs.AI cs.CL cs.CV
FedSaaS: Class-Consistency Federated Semantic Segmentation via Global Prototype Supervision and Local Adversarial Harmonization
Shandong Computer Science Center, Qilu University of Technology (Shandong Academy of Sciences)(山东省计算中心(齐鲁工业大学(山东省科学院)));Shandong Fundamental Research Center for Computer Science(山东省计算机科学基础研究中心);College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
针对联邦语义分割中的域偏移与类别表征歧义问题,提出 FedSaaS 框架,利用全局类别原型监督、局部对抗协调和多级对比损失提升类别一致性,并在驾驶场景数据集上取得优于现有方法的分割精度。
2025-05-14 cs.AI cs.CV
Quantifying Topology In Pancreatic Tubular Networks From Live Imaging 3D Microscopy
University of Copenhagen(哥本哈根大学);Roskilde University College(罗斯基勒大学学院)
本文提出一种拓扑分数和半监督深度学习方法,通过联合训练自编码器与分割网络并随时间追踪环路,解决了胰腺管状网络分割中的拓扑一致性和标注困难问题,在活体成像数据上表现优于全监督及现有拓扑方法。
2022-07-04 cs.CV cs.LG
Global Semantic Consistency for Zero-Shot Learning
Fudan University(复旦大学);Tongji University(同济大学)
在图像识别中,有很多情况下,训练样本不能覆盖所有的目标类别。零样本学习(Zero-shot learning,ZRL)利用类语义信息来对训练集中不包含对应样本的未见过类别的样本进行分类。在本文中,我们提出了一个端到端的框架,称为全局语义一致性网络(GSC-Net),它充分利用了可见和不可见类的语义信息,以支持有效的零样本学习。我们还采用了软标签嵌入损失,以进一步利用类之间的语义关系。为了使GSC-Net适应更实际的设置,广义零样本学习(GSCNL),我们引入了一个参数化的新颖性检测机制。我们的方法在三个视觉属性数据集上实现了最先进的性能,这验证了所提出的框架的有效性和优势。
2018-06-22 cs.CV
A Semantic Consistency Feature Alignment Object Detection Model Based on Mixed-Class Distribution Metrics
Huazhong University of Science and Technology(华中科技大学)
无监督领域自适应在各种计算机视觉任务中至关重要,例如目标检测,实例分割等。它们试图减少域偏差引起的性能下降,同时也提高模型应用速度。先前在领域自适应目标检测中的工作尝试对齐图像级和实例级移位以最终最小化域差异,但是它们可能在图像级领域自适应中将单类特征对齐到混合类特征,因为目标检测任务中的每个图像可能是多于一个类和对象。为了实现单类配准和混合类配准,将混合类特征作为一个新的类,提出了一种混合类$H-divergence$用于目标检测,以实现同质特征配准,减少负迁移。在此基础上,提出了一种基于混合类$H-divergence$的语义一致性特征对齐模型(SCFAM)。为了改善单类和混合类的语义信息,实现语义分离,SCFAM模型提出了语义预测模型(SPM)和语义桥接组件(SBC)。然后根据SPM结果改变像素域的权重,以减少样本不平衡。在广泛使用的数据集上进行的广泛的无监督域自适应实验表明,我们提出的方法在域偏差设置中具有鲁棒的目标检测。
2022-06-12 cs.AI cs.CV
TriangleNet: Edge Prior Augmented Network for Semantic Segmentation through Cross-Task Consistency
Minzu University of China(中央民族大学);Tibet University(西藏大学);Qinghai University(青海大学)
本文提出 TriangleNet 语义分割网络,通过解耦跨任务一致性损失显式增强边缘检测与分割的联合学习,在 Cityscapes 上以 77.4% mIoU/46.2 FPS 实现实时推理,并在 FloodNet 上验证了泛化能力。
2023-08-30 cs.CV
Semantic-Aware Implicit Template Learning via Part Deformation Consistency
Korea University(高丽大学)
针对现有仅依赖几何信息的隐式模板学习方法在高变异性物体上变形效果次优的问题,提出基于部件变形一致性的语义感知隐式模板学习框架,引入语义先验与多维度变形一致性正则化,在多项形状对应任务中取得优于基线的性能。
2023-08-23 cs.CV
Focus on Semantic Consistency for Cross-domain Crowd Understanding
Northwestern Polytechnical University(西北工业大学)
对于像素级的人群理解,在数据汇集和标注上费时费力。一些领域自适应算法试图通过用合成数据训练模型来解放它,最近的一些工作已经证明了这种方法的可行性。然而,我们发现,大量的估计误差的背景区域阻碍了现有的方法的性能。本文提出了一种领域自适应的方法来消除这种干扰,根据合成人群区域和真实人群区域的深层特征语义一致性和相似性分布,引入语义提取器来有效区分高层语义信息中的人群和背景。此外,为了进一步增强自适应模型,我们采用对抗学习来对齐语义空间中的特征。在三个典型的真实数据集上的实验表明,所提出的领域自适应方案在跨域计数问题上达到了最先进的水平。
2020-02-20 cs.CV
Unsupervised Domain Adaptation for Mobile Semantic Segmentation based on Cycle Consistency and Feature Alignment
University of Padova(帕多瓦大学)
用于语义分割的深度网络的监督训练需要大量标记的真实世界数据。为了解决这个问题,一个常用的解决方法是使用合成数据进行训练,但是当分析与训练集具有略微不同统计属性的数据时,深度网络显示出严重的性能下降。在这项工作中,我们提出了一种新的无监督领域自适应(UDA)策略,以解决现实世界和合成表示之间的域转移问题。基于循环一致性框架的对抗模型执行合成域和真实域之间的映射。然后将数据馈送到执行语义分割任务的MobileNet-v2架构。在MobileNet-v2的特征级工作的另外两个鉴别器允许更好地对齐两个域分布的特征,并进一步提高性能。最后,利用语义映射的一致性。在对合成数据进行初始监督训练之后,整个UDA架构将同时考虑其所有组件进行端到端训练。实验结果表明,所提出的策略是如何能够获得令人印象深刻的性能,在适应分割网络训练的合成数据,以现实世界的情况。轻量级MobileNet-v2架构的使用允许其部署在具有有限计算资源的设备上,如自动驾驶汽车中使用的设备。
2020-03-12 cs.CV cs.LG
Progressive Learning with Cross-Window Consistency for Semi-Supervised Semantic Segmentation
Wuhan University(武汉大学)
半监督语义分割侧重于对少量标记数据和大量未标记数据的探索,更符合现实图像理解应用的需求。然而,它仍然受到无法充分有效地利用未标记图像的阻碍。在本文中,我们揭示了跨窗口一致性(CWC)是有助于全面提取辅助监督从未标记的数据。此外,我们提出了一种新的CWC-driven渐进式学习框架,通过从大量未标记数据中挖掘弱到强的约束来优化深度网络。更具体地说,本文提出了一种带有重要性因子的有偏跨窗口一致性(BCC)损失,这有助于深度网络明确地约束来自不同窗口中重叠区域的置信度图,以保持与更大上下文的语义一致性。此外,我们提出了一个动态的伪标签存储体(DRAM),以提供高一致性和高可靠性的伪标签,以进一步优化网络。在城市视图、医疗场景和卫星场景的三个代表性数据集上进行的大量实验表明,我们的框架始终优于最先进的方法,并且具有很大的优势。代码将公开。
2023-03-26 cs.CV
Characterizing Adversarial Examples Based on Spatial Consistency Information for Semantic Segmentation
University of Michigan(密歇根大学);Simon Fraser University(西蒙弗雷泽大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校)
深度神经网络(DNN)已广泛应用于各种识别任务中。然而,最近DNN被证明容易受到对抗性示例的攻击,这可能会误导DNN做出任意的错误预测。虽然对抗性样本在分类任务中得到了很好的研究,但其他学习问题可能具有不同的属性。例如,语义分割需要额外的组件,如扩张卷积和多尺度处理。在本文中,我们的目标是在语义分割中基于空间上下文信息来表征对抗性示例。我们观察到,即使强大的自适应攻击者可以访问模型和检测策略,也可以利用空间一致性信息来鲁棒地检测对抗性示例。我们还表明,基于本文中考虑的攻击的对抗性示例几乎不会在模型之间转移,尽管可转移性在分类中很常见。我们的观察为开发对抗攻击和防御提供了新的思路,以更好地了解DNN的脆弱性。
2018-10-11 cs.CR cs.CV cs.LG
Bridging the Semantic Gaps: Improving Medical VQA Consistency with LLM-Augmented Question Sets
University of Sydney(悉尼大学);Macquarie University(麦考瑞大学)
针对医疗VQA系统因问题表述语言变异性导致的一致性不足问题,提出SEQA框架利用LLM生成语义等价问题重述,并引入TAR-SC等指标,增强数据集后提升了模型准确率与一致性。
2025-04-16 cs.CV cs.LG
BioD2C: A Dual-level Semantic Consistency Constraint Framework for Biomedical VQA
Shandong University(山东大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Institute of Deep Perception Technology, JITRI(JITRI深度感知技术研究院)
针对生物医学VQA多模态语义对齐欠佳问题,提出双层语义一致性约束框架BioD2C,通过图像-文本融合与跨模态软语义损失实现特征与模型双重对齐,并构建新数据集BioVGQ,在多个下游数据集上达到SOTA。
2025-03-04 cs.AI cs.CV
Unsupervised Domain Adaptation with Semantic Consistency across Heterogeneous Modalities for MRI Prostate Lesion Segmentation
UCL(伦敦大学学院);UCLH NHS Foundation Trust(伦敦大学学院医院国民保健服务基金会信托)
与先前协议不同的任何新颖的医学成像模态(例如,在成像通道的数量方面)引入了与先前的领域不同的新领域。这种常见的医学成像场景很少被认为是在域适应文献,处理跨域的相同维度的转变。在我们的工作中,我们依赖于随机生成模型在像素空间上跨两个异构域进行翻译,并引入了两个新的损失函数,以促进语义一致性。首先,我们在源域中引入语义循环一致性损失,以确保翻译保持语义。其次,我们引入了一个伪标签损失,在这里我们将目标数据转换为源数据,通过源域网络对它们进行标签,并使用生成的伪标签来监督目标域网络。我们的研究结果表明,这使我们能够系统地提取更好的表示为目标域。特别是,我们解决的挑战,提高性能的VERDICT-MRI,一种先进的扩散加权成像技术,通过利用标记的MP-MRI数据。与几种无监督域自适应方法相比,我们的方法产生了实质性的改进,这些改进一直延续到半监督和监督学习环境中。
2021-09-19 cs.CV cs.LG eess.IV
Multi-View Correlation Consistency for Semi-Supervised Semantic Segmentation
Australian National University(澳大利亚国立大学)
半监督语义分割需要对未标记数据进行丰富而鲁棒的监督。一致性学习强制同一像素在不同的增强视图中具有相似的特征,这是一个鲁棒的信号,但忽略了与其他像素的关系。相比之下,对比学习考虑了丰富的成对关系,但为像素对分配二进制正负监督信号可能是一个难题。在本文中,我们采取了两全其美,并提出了多视图相关一致性(MVCC)学习:它考虑了自相关矩阵中丰富的成对关系,并在视图之间进行匹配,以提供强大的监督。连同这种相关性的一致性损失,我们提出了一个视图一致的数据增强策略,保证像素之间的对应关系不同的意见。在两个数据集上的一系列半监督设置中,我们报告了与最先进的方法相比具有竞争力的准确性。值得注意的是,在Cityscapes上,我们使用1/8的标记数据实现了76.8%的mIoU,仅比完全监督的oracle少0.6%。
2022-08-17 cs.CV
High Temporal Consistency through Semantic Similarity Propagation in Semi-Supervised Video Semantic Segmentation for Autonomous Flight
Télécom Paris, Institut Polytechnique de Paris(巴黎电信学院,巴黎理工大学);Fraunhofer IVI(弗劳恩霍夫IVI研究所)
本文提出轻量级视频语义分割方法SSP及知识蒸馏训练框架KD-SSP,通过跨帧语义相似性传播提升自主飞行感知的时序一致性,在航空数据集上显著优于基础模型并实现更优的速度与质量权衡。
2025-06-26 cs.CV
ML-SemReg: Boosting Point Cloud Registration with Multi-level Semantic Consistency
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
针对现有点云配准方法在低重叠场景下效果不佳的问题,提出即插即用框架ML-SemReg,通过分组匹配和掩码匹配模块利用多层语义一致性解决两类错配,显著提升配准召回率与鲁棒性。
2024-07-13 cs.CV
Structure-aware Semantic Discrepancy and Consistency for 3D Medical Image Self-supervised Learning
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化院);Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);The University of Queensland(昆士兰大学);Zhongshan Hospital, Fudan University(复旦大学中山医院)
本文提出3D医学图像自监督学习框架$S^2DC$,通过最优传输增大不同结构图像块的语义差异,并基于邻域相似性分布实现结构级语义一致性,从而学习结构感知表示,在10个数据集、4项任务和3种模态上超越现有方法。
2025-07-03 cs.CV
SOI is the Root of All Evil: Quantifying and Breaking Similar Object Interference in Single Object Tracking
本文首次系统量化了单目标跟踪中的相似目标干扰(SOI)瓶颈,构建了首个语义认知指导基准SOIBench,并提出利用大规模视觉语言模型作为外部认知引擎无缝集成至RGB跟踪器的新范式,显著提升了跟踪性能。
2025-08-14 cs.CV
Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency
East China University of Science and Technology(华东理工大学);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Humboldt University of Berlin(柏林洪堡大学)
语义分割和深度补全是场景理解中两个具有挑战性的任务,在机器人和自动驾驶领域有着广泛的应用。虽然提出了几个工作,以联合训练这两个任务使用一些小的修改,如改变最后一层,一个任务的结果是不利用,以提高另一个的性能,尽管这两个任务之间有一些相似之处。在本文中,我们提出了多任务生成对抗网络(多任务GANs),它不仅可以胜任语义分割和深度完成,而且还可以通过生成的语义图像来提高深度完成的准确性。此外,我们通过引入多尺度空间池块和结构相似性重建损失来改进基于CycleGAN生成的语义图像的细节。此外,考虑到语义和几何结构之间的内在一致性,我们开发了一个语义引导的平滑损失,以改善深度完成的结果。在Cityscapes数据集和KITTI深度完成基准上的大量实验表明,多任务GANs能够在语义分割和深度完成任务方面取得有竞争力的性能。
2020-11-29 cs.CV
DESC: Domain Adaptation for Depth Estimation via Semantic Consistency
Imperial College London(帝国理工学院)
准确的真实深度注释很难获得,需要使用特殊设备,如LiDAR传感器。自监督方法试图通过处理视频或立体声序列来克服这个问题,这可能并不总是可用的。相反,在本文中,我们提出了一种领域自适应方法来训练一个单目深度估计模型,使用一个完全注释的源数据集和一个非注释的目标数据集。我们通过利用语义预测和低级别边缘特征为目标域提供指导来弥合域差距。我们强制主模型和使用语义分割和边缘图训练的第二模型之间的一致性,并以实例高度的形式引入先验知识。我们的方法进行评估标准的领域自适应的单目深度估计的基准,并表现出一致的改进后,国家的最先进的。
2020-09-03 cs.CV
Uncertainty-Participation Context Consistency Learning for Semi-supervised Semantic Segmentation
School of Artificial Intelligence Nanjing Normal University Nanjing, China;School of Artificial Intelligence Nanjing Normal University Nanjing, China cs\;School of Artificial Intelligence Nanjing Normal University Nanjing, China zheng\
本文提出UCCL方法用于半监督语义分割,通过SBU策略利用不确定像素区域的语义知识,并设计CKR模块促进跨增强视图的类别级语义一致性学习,在公开基准上达到SOTA性能。
2024-12-24 cs.CV