Semantically Consistent Video Inpainting with Conditional Diffusion Models
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI（Inverted AI公司）
针对现有视频修复方法难以合成新内容的问题，提出基于条件视频扩散模型的修复框架，通过专用采样方案和已知像素条件约束，生成时空语义一致的高质量多样修复结果。
2024-10-08 cs.CV cs.LG
Semantically Consistent Image Completion with Fine-grained Details
The Chinese University of Hong Kong（香港中文大学）
由于生成对抗网络（GANs）的进步，图像完成已经取得了重大进展。虽然看起来很自然，但合成的内容仍然缺乏细节，特别是对于具有复杂结构的场景或具有大孔的图像。这是因为在低水平的重建损失和高水平的对抗性损失之间存在差距。为了解决这个问题，我们引入了一个感知网络来提供中级指导，该网络在相似性增强的空间中测量合成内容和原始内容之间的语义相似性。我们对不同损失和不同水平的感知特征在图像补全中的作用进行了详细的分析，表明对抗训练和感知特征之间存在互补性。通过将它们组合在一起，我们的模型可以以端到端的方式实现近乎无缝的融合结果。此外，我们设计了一种有效的轻量级生成器架构，可以用更少的参数实现有效的图像修补。在CelebA Face和Paris StreetView数据集上进行评估，我们提出的方法显着优于现有方法。
2017-11-26 cs.CV
Composing People Together: Iterative Pose-Image Generation for Multi-Person Interaction Scenes
Cornell University（康奈尔大学）
提出一种双姿态-图像表示方法，将人物结构先验引入预训练扩散Transformer，通过跨模态对齐和迭代场景构建，提升多人交互图像生成的提示对齐度和场景多样性。
2026-05-22 cs.CV
From Enhancement to Understanding: Build a Generalized Bridge for Low-light Vision via Semantically Consistent Unsupervised Fine-tuning
East China Normal University（东华师范大学）；Tencent Youtu Lab（腾讯云视频实验室）；Tencent WeChat Pay Lab（腾讯微信支付实验室）
针对低光照增强与理解分离的问题，提出GEFU范式并设计SCUF无监督微调方法，利用扩散模型与光照感知提示实现零样本泛化，在图像质量及分类、检测等下游任务上超越现有方法。
2025-07-11 cs.CV
Densely Semantically Aligned Person Re-Identification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个密集的语义对齐的人重新识别框架。它从根本上解决了身体错位的问题所造成的姿势/视点的变化，不完美的人检测，遮挡等，通过利用密集的语义的人的图像的估计，我们构建了一组密集的语义对齐的部分图像（DSAP图像），其中相同的空间位置具有相同的语义在不同的图像。我们设计了一个双流网络，包括一个主要的完整的图像流（MF-Stream）和一个密集的语义对齐的指导流（DSAG-Stream）。DSAG-Stream以DSAP图像作为输入，充当调节器以引导MF-Stream从原始图像学习密集语义对齐的特征。在推理中，DSAG-Stream被丢弃，而只需要MF-Stream，这使得推理系统的计算效率和鲁棒性。据我们所知，我们是第一个利用细粒度语义来解决re-ID的不对齐问题。我们的方法在CUHK 03数据集上实现了78.9%的rank-1准确率（新协议），在CUHK 01数据集上达到了90.4%，在Market 1501数据集上达到了95.7%，优于最先进的方法。
2019-04-10 cs.CV
IMAGE-ALCHEMY: Advancing subject fidelity in personalised text-to-image generation
Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）
针对个性化文本生成图像存在的灾难性遗忘、过拟合等问题，提出基于LoRA微调的两阶段IMAGE-ALCHEMY框架，在SDXL上实现0.789的DINO相似度，优于现有方法。
2025-05-15 cs.CV
Personalized Reward Modeling for Text-to-Image Generation
Yonsei University（延世大学）
PIGReward通过动态生成用户条件评估维度和推理过程，实现文本到图像生成的个性化评估与优化，提升生成图像与个体意图的一致性。
2025-11-21 cs.AI cs.CV
PINO: Person-Interaction Noise Optimization for Long-Duration and Customizable Motion Generation of Arbitrary-Sized Groups
Institute of Science Tokyo（东京科学研究所）；LY Corporation（LY公司）；National Institute of Informatics (NII)（日本信息处理学会）
针对任意规模群体的长时长、可定制真实交互生成问题，本文提出无需训练的PINO框架，通过成对交互分解、预训练双人扩散模型组合及物理惩罚噪声优化实现精确控制。
2025-07-25 cs.CV
Semantically Selective Augmentation for Deep Compact Person Re-Identification
University of Bristol（布里斯托大学）
我们提出了一种深度人员重新识别方法，该方法将语义选择性的深度数据增强与基于聚类的网络压缩相结合，以生成高性能，轻型和快速的推理网络。特别是，我们建议通过从深度卷积生成对抗网络（DCGAN）中采样来增强有限的训练数据，DCGAN的训练受到语义分类器的约束，以显式控制生成过程的域特异性。因此，我们在分类器网络中编码信息，这些信息可用于指导对抗合成，并为我们的CondenseNet ID网络训练提供动力。我们提供了一个定量和定性分析的方法及其变体的一些数据集，获得的结果，优于国家的最先进的LIMA数据集的长期监测在室内生活空间。
2018-06-18 cs.CV
Semantically Adaptive Image-to-image Translation for Domain Adaptation of Semantic Segmentation
University of Parma（帕尔马大学）
领域转移是语义分割中一个非常具有挑战性的问题。任何模型都可以在人工生成图像和标签的合成数据上轻松训练，但在真实环境中部署时性能会很差。在本文中，我们解决的问题领域自适应语义分割的街道场景。许多国家的最先进的方法集中在翻译的源图像，同时强加的结果应该是语义上与输入一致。然而，我们主张，图像语义也可以用来指导翻译算法。为此，我们重新考虑生成模型，以加强这一假设，并加强像素级和特征级域对齐之间的联系。我们进行了广泛的实验，通过训练常见的语义分割模型与我们的方法，并表明，我们得到的结果上的合成到真正的基准超越了最先进的。
2020-09-02 cs.CV
Decoupled Guidance: Disentangling Subject and Context Pathways in Text-to-Image Personalization
Dept. of Artificial Intelligence, Hanyang University, South Korea（韩国汉阳大学人工智能系）；Dept. of Data Science, Hanyang University, South Korea（韩国汉阳大学数据科学系）
提出解耦引导（DeGu）框架，通过独立引导流分别处理主体身份和场景上下文，并引入空间混合机制动态融合，以解决个性化生成中保真度与可编辑性的权衡问题。
2026-07-03 cs.CV
StyleLipSync: Style-based Personalized Lip-sync Video Generation
AITRICS；KAIST（韩国科学技术院）
提出StyleLipSync，基于StyleGAN潜在空间和姿态感知遮罩生成身份无关的唇形同步视频，并通过少样本自适应方法增强未见人脸特征。
2024-02-12 cs.AI cs.CV cs.LG
High-resolution semantically-consistent image-to-image translation
University of Winnipeg（温尼伯大学）；Natural Resources Canada（加拿大自然资源部）；Canada Centre for Mapping and Earth Observation（加拿大测绘与地球观测中心）
近年来，深度学习已经成为遥感科学家最有效的计算机视觉工具之一。然而，缺乏训练标签的遥感数据集意味着科学家需要解决的领域自适应问题，以缩小卫星图像数据集之间的差异。因此，经过训练的图像分割模型可以更好地推广和使用现有的标签集，而不需要新的标签。本文提出了一种无监督的领域自适应模型，该模型在风格转换阶段保持图像的语义一致性和像素质量。本文的主要贡献是提出了改进的架构的SemI 2 I模型，这显着提高了所提出的模型的性能，使其具有竞争力的国家的最先进的CyCADA模型。第二个贡献是在WorldView-2和SPOT-6等遥感多波段数据集上测试CyCADA模型。该模型在风格转换阶段保持了图像的语义一致性和像素质量。因此，与SemI 2 I模型相比，在适应图像上训练的语义分割模型显示出显著的性能增益，并达到与最先进的CyCADA模型相似的结果。未来的发展所提出的方法可能包括生态域转移，{ \em先验}的数据分布方面的数据集质量的评估，或探索的内部架构的领域自适应模型。
2022-09-13 cs.CV cs.LG
V-Warper: Appearance-Consistent Video Diffusion Personalization via Value Warping
KAIST AI（韩国科学技术院人工智能研究所）；Korea University（韩国大学）
V-Warper通过价值扭曲实现视频扩散模型的无训练粗到细个性化，提升外观一致性与生成质量。
2025-12-13 cs.CV
Semantically Self-Aligned Network for Text-to-Image Part-aware Person Re-identification
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；JD Explore Academy at JD.com（京东集团京东探索研究院）
文本到图像的人重新识别（ReID）旨在使用文本描述搜索包含感兴趣的人的图像。然而，由于文本描述中显著的模态间隙和较大的类内方差，文本到图像的ReID仍然是一个具有挑战性的问题。因此，在本文中，我们提出了一个语义自对准网络（SSAN）来处理上述问题。首先，我们提出了一种新的方法，自动提取语义对齐的部分级别的功能，从这两种方式。其次，我们设计了一个多视图的非本地网络，捕捉身体部位之间的关系，从而建立更好的身体部位和名词短语之间的对应关系。第三，我们引入了复合排名（CR）损失，该损失利用相同身份的其他图像的文本描述来提供额外的监督，从而有效地减少文本特征的类内方差。最后，为了加快文本到图像ReID的未来研究，我们建立了一个新的数据库ICFG-PEDES。大量的实验表明，SSAN优于国家的最先进的方法显着的利润率。新的ICFG-PEDES数据库和SSAN代码均可在https://github.com/zifyloo/SSAN上获得。
2021-08-09 cs.CV
Person-In-Situ: Scene-Consistent Human Image Insertion with Occlusion-Aware Pose Control
University of Tsukuba（茨口大学）
本文提出两种基于3D姿态控制和潜在扩散模型的人物插入方法，无需遮挡掩码即可在场景中自然合成人物并保持场景一致性，优于现有方法。
2025-05-07 cs.CV cs.GR
3D-Consistent Image Inpainting with Diffusion Models
NAVER LABS Europe（NAVER欧洲实验室）
针对扩散模型图像修复的3D不一致问题，提出融入场景另一视角信息的改进扩散模型，无需显式3D监督即可实现3D一致且语义连贯的修复，在多数据集上表现优于现有最优方法。
2024-12-08 cs.AI cs.CV
Directional Textual Inversion for Personalized Text-to-Image Generation
KAIST（韩国科学技术院）；Sookmyung Woman’s University（成均馆女子大学）
方向性文本反转通过优化方向提升文本到图像生成的个性化效果，实现更稳定的语义连贯性。
2026-03-10 cs.CV cs.LG
Semantically Robust Unsupervised Image Translation for Paired Remote Sensing Images
Shandong University of Science and Technology（山东科技大学）；Xi’an Jiaotong University（西安交通大学）
针对双时相遥感图像无监督翻译需语义保留和确定性输出的问题，提出SRUIT方法，通过共享生成器高层网络层、引入跨周期一致对抗网络，实现语义鲁棒的确定性翻译，提升感知质量与语义保留能力。
2025-02-17 cs.CV
Latent-Identity Tuning in Text-to-Image Personalization Models
Tel Aviv University（特拉维夫大学）；Cornell University（康奈尔大学）
研究文本到图像个性化模型中细粒度身份调整问题，利用预训练冻结编码器潜在空间，无需额外训练，通过揭示潜在语义方向实现局部、细粒度且语义连贯的面部编辑，经实验验证有效。
2026-07-14 cs.CV cs.GR
LumosX: Relate Any Identities with Their Attributes for Personalized Video Generation
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里云达摩院）；Hupan Lab（虎斑实验室）；National University of Singapore（新加坡国立大学）
LumosX通过结合身份与属性关系，提升多主体个性化视频生成的精细度和一致性，采用数据与模型双改进策略，构建了全面的基准测试平台。
2026-03-20 cs.AI cs.CV
CDPM: Convolutional Deformable Part Models for Semantically Aligned Person Re-identification
South China University of Technology（华南理工大学）；Birkbeck College（伦敦大学伯贝克学院）；The University of Sydney（悉尼大学）
部分级表示对于鲁棒的人重新识别是必不可少的。然而，在行人检测过程中出现的常见错误经常会导致身体部位的严重错位问题，这会降低部分表示的质量。因此，为了解决这个问题，我们提出了一种新的模型称为卷积可变形零件模型（CDPM）。CDPM的工作原理是将复杂的部分对齐过程解耦为两个更简单的步骤：首先，垂直对齐步骤在多任务学习模型的帮助下在垂直方向上检测每个身体部位;其次，基于注意力的水平细化步骤抑制每个检测到的身体部位周围的背景信息。由于这两个步骤是正交和顺序执行的，零件对齐的难度大大降低。在测试阶段，CDPM能够准确地对准柔性车身部件，而无需任何外部信息。大量的实验结果表明，所提出的CDPM的有效性的零件对齐。最令人印象深刻的是，CDPM在三个大规模数据集上实现了最先进的性能：Market-1501，DukeMTMC-ReID和CUHK 03。
2019-12-13 cs.CV
CRCE: Coreference-Retention Concept Erasure in Text-to-Image Diffusion Models
School of Engineering University of Edinburgh（工程学院 苏格兰爱丁堡大学）
针对文本到图像扩散模型概念擦除的过/欠擦除问题，提出CRCE框架，借助大语言模型区分需共擦除的相关概念与需保留的概念，实现精准擦除，在多类任务上性能优于现有方法，并将发布相关数据集与代码。
2025-05-20 cs.AI cs.CL cs.CV
OccluMix: Towards De-Occlusion Virtual Try-on by Semantically-Guided Mixup
图像虚拟试穿的目的是用服装图像（店内服装）代替个人图像上的衣服，这已经引起了多媒体和计算机视觉界越来越多的关注。现有的方法成功地保留了服装图像的特征，但是遮挡仍然是真实感虚拟试穿中的一个有害影响。在这项工作中，我们首先对遮挡进行了全面的分析，并将其分为两个方面：i）固有遮挡：前一件衣服的幽灵仍然存在于试穿图像中; ii）获得性遮挡：目标衣服扭曲到不合理的身体部位。基于深入的分析，我们发现，闭塞可以模拟一个新的语义引导的mixup模块，它可以生成语义特定的闭塞图像，与试穿图像一起工作，以促进训练去闭塞试穿（DOC-VTON）框架。具体地，DOC-VTON首先对试穿者进行锐化的语义解析。在语义指导和姿态先验的辅助下，各种复杂的纹理以复制粘贴的方式选择性地与人体部位融合。然后，生成模块（GM）负责合成最终的试穿图像和学习去遮挡。与最先进的方法相比，DOC-VTON通过减少遮挡效应实现了更好的感知质量。
2023-01-03 cs.CV cs.MM
Content Disentanglement for Semantically Consistent Synthetic-to-Real Domain Adaptation
TUM（慕尼黑工业大学）；BMW AG（宝马股份公司）；Google（谷歌）
合成数据生成是自动驾驶中生成新交通场景的一种有吸引力的方法。然而，仅在合成数据上训练的深度学习感知算法在真实数据上进行测试时会遇到严重的性能下降。这种性能下降通常归因于真实数据和合成数据之间的域间隙。已经应用于减轻上述领域差距的领域自适应方法实现了视觉上吸引人的结果，但是通常将语义不一致引入到翻译样本中。在这项工作中，我们提出了一种新的，无监督的，端到端的领域自适应网络架构，使语义一致的\textit{sim2real}图像传输。我们的方法通过采用共享内容编码器和固定样式的代码来执行内容解纠缠。
2021-08-03 cs.CV
Making Heads or Tails: Towards Semantically Consistent Visual Counterfactuals
Meta AI
视觉反事实解释用来自干扰物图像的区域替换查询图像中的图像区域，使得系统对变换后的图像的决定改变为干扰物类。在这项工作中，我们提出了一个新的框架计算视觉反事实的解释的基础上两个关键的想法。首先，我们强制执行的替换和替换区域包含相同的语义部分，从而在语义上更一致的解释。第二，我们使用多个干扰图像在计算效率的方式，并获得更多的歧视性的解释与更少的区域替换。我们的方法在语义上的一致性提高了27%，并且比三个细粒度图像识别数据集上的竞争方法快了一个数量级。我们强调我们的反事实的效用，通过机器教学实验，我们教人类对不同的鸟类物种进行分类现有的作品。我们还用对系统决策贡献最大的部件和属性的词汇来补充我们的解释。在这项任务中，我们获得了最先进的结果时，使用我们的反事实解释相对于现有的作品，加强语义一致的解释的重要性。源代码可在https://github.com/facebookresearch/visual-counterfactuals上获得。
2022-07-16 cs.CV
Knowing Where to Focus: Attention-Guided Alignment for Text-based Person Search
Xiamen University（厦门大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
针对TBPS中随机掩码忽略语义和文本描述存在噪声的问题，提出注意力引导对齐（AGA）框架，通过动态掩码语义词促进跨模态对齐并用预测增强文本，在三个基准上达到新SOTA。
2024-12-19 cs.CV
Personalized Cinemagraphs using Semantic Understanding and Collaborative Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；KAIST（韩国科学技术院）；Microsoft Research（微软研究院）
Cinemagraphs是一种引人注目的方式来传达场景的动态方面。在这些媒体中，动态和静态元素并置，以创造一种艺术和叙事体验。创建高质量、美观的电影场景需要以语义上有意义的方式隔离对象，然后为这些对象选择良好的开始时间和循环周期，以最大限度地减少视觉伪影（如撕裂）。为了实现这一目标，我们提出了一种新的技术，使用对象识别和语义分割的优化方法的一部分，自动创建动态图像从视频，既有视觉吸引力和语义意义。给定一个场景有多个对象，有许多动态静图可以创建。我们的方法评估了这些多个候选人，并提出了最好的一个，这是由一个经过训练的模型确定的，该模型可以以协作的方式预测人类的偏好。我们证明了我们的方法与多个结果和用户研究的有效性。
2017-08-09 cs.CV cs.GR
KLIEP-based Density Ratio Estimation for Semantically Consistent Synthetic to Real Images Adaptation in Urban Traffic Scenes
TU Munich（慕尼黑工业大学）；BMW AG（宝马集团）；Google（谷歌）
合成数据已应用于许多基于深度学习的计算机视觉任务。仅在合成数据上训练的算法的有限性能已经接近领域自适应技术，例如基于生成对抗框架的技术。我们展示了对抗训练如何单独在翻译图像中引入语义不一致。为了解决这个问题，我们提出了密度预匹配策略，使用基于KLIEP的密度比估计过程。最后，我们表明，上述策略提高了质量的翻译图像的基础方法和它们的可用性的语义分割任务的背景下，自动驾驶。
2021-05-26 cs.CV
OV-SCAN: Semantically Consistent Alignment for Novel Object Discovery in Open-Vocabulary 3D Object Detection
University of Waterloo（滑铁卢大学）
OV-SCAN通过语义一致性对齐解决开放词汇3D检测中跨模态特征对不一致问题，利用精确3D标注和噪声过滤策略，在nuScenes上取得最优性能。
2025-03-09 cs.CV
Learning Temporally and Semantically Consistent Unpaired Video-to-video Translation Through Pseudo-Supervision From Synthetic Optical Flow
Honda Research Institute USA, Inc.（美国本田研究所）
非配对视频到视频翻译的目的是在源域和目标域之间翻译视频，而不需要配对的训练数据，使其更适合实际应用。不幸的是，翻译的视频通常遭受时间和语义不一致。为了解决这个问题，许多现有的作品采用时空一致性约束，结合基于运动估计的时间信息。然而，在运动估计的不准确性恶化的质量的指导对时空的一致性，这导致不稳定的翻译。在这项工作中，我们提出了一种新的范式，正则化的时空一致性合成运动在输入视频与生成的光流，而不是估计它们。因此，可以在正则化范例中应用合成运动，以保持跨域的运动一致，而没有运动估计中的错误风险。此后，我们利用我们的无监督的回收和无监督的空间损失，由合成光流提供的伪监督的指导下，准确地执行时空一致性在这两个领域。实验表明，我们的方法是通用的，在各种情况下，并实现了最先进的性能，在生成时间和语义一致的视频。代码可在：https://github.com/wangkaihong/Unsup_Recycle_GAN/.
2022-12-21 cs.CV
MLSL: Multi-Level Self-Supervised Learning for Domain Adaptation with Spatially Independent and Semantically Consistent Labeling
Information Technology University of Punjab（旁遮普信息技术大学）
大多数最近的深度语义分割算法遭受大的泛化误差，即使在基于卷积神经网络的强大的分层表示模型已经被采用。这可能是由于有限的训练数据和训练和测试域数据集中的大分布差距。本文提出了一种用于语义分割的领域自适应的多层次自监督学习模型。利用的想法，一个对象（和大多数的东西给定的上下文）应该被标记一致，无论其位置，我们生成空间独立和语义一致（SISC）的伪标签分割多个子图像使用基本模型和设计的聚合策略。图像级伪弱标记PWL，计算引导领域自适应通过捕获全局上下文相似性在潜在空间级的源和域。因此，即使与图像的其余部分相比，属于域类别的像素非常少（例如小对象），也可以帮助潜在空间学习表示。我们的多级自监督学习（MLSL）优于现有的最先进的（自我或对抗学习）算法。具体而言，保持所有设置相似并采用MLSL，与现有最先进的方法相比，我们在GTA-V到Cityscapes适配上获得了5：1%的mIoU增益，在SYNTHIA到Cityscapes适配上获得了4：3%的mIoU增益。
2019-09-30 cs.CV
3D Semantic Scene Perception using Distributed Smart Edge Sensors
University of Bonn（波恩大学）
我们提出了一个系统的3D语义场景感知组成的网络的分布式智能边缘传感器。传感器节点基于嵌入式CNN推理加速器和RGB-D和热成像相机。用于目标检测、语义分割和人体姿态估计的高效视觉CNN模型在设备上实时的运行。用RGB-D深度估计增强的2D人类关键点估计以及语义注释的点云从传感器流传输到中央后端，其中多个视点被融合到非中心的3D语义场景模型中。由于图像判读是在本地计算的，因此只有语义信息通过网络发送。原始图像保留在传感器板上，大大减少了所需的带宽，并减轻了被观察者的隐私风险。我们在我们的实验室中，在具有挑战性的现实世界中的多人场景评估所提出的系统。所提出的感知系统提供了一个完整的场景视图，包含语义注释的三维几何形状和估计的三维姿态的多个人在实时的。
2022-05-03 cs.CV cs.RO
Adversarial Attribute-Image Person Re-identification
Sun Yat-sen University（中山大学）；Tencent（腾讯）
虽然属性已被广泛用于人重新识别（Re-ID），其目的是在不相交的摄像机视图中匹配相同的人图像，但它们被用作额外的特征或用于执行多任务学习以辅助图像-图像匹配任务。然而，如何找到一组人的图像，根据一个给定的属性描述，这是非常实用的，在许多监控应用中，仍然是一个很少研究的跨模态匹配问题的人重新ID。在这项工作中，我们提出了这个挑战，并制定这项任务作为一个联合空间学习问题。通过对图像施加属性引导的注意力机制和对属性施加语义一致的对手策略，每个模态，即，图像和属性，成功地学习语义相关的概念的指导下，其他。我们在三个属性数据集上进行了广泛的实验，并证明了所提出的联合空间学习方法是迄今为止属性-图像跨模态人Re-ID问题的最有效方法。
2018-07-04 cs.CV
STNReID : Deep Convolutional Networks with Pairwise Spatial Transformer Networks for Partial Person Re-identification
Zhejiang University（浙江大学）；Beijing Research Institute of Megvii Inc（旷视科技北京研究院）
部分人重新识别（ReID）是一个具有挑战性的任务，因为只有部分信息的人的图像可用于匹配目标人。很少有研究，特别是关于深度学习的研究，专注于将部分人物图像与整体人物图像进行匹配。该研究提出了一种新的基于成对空间Transformer网络（STNReID）的深度部分ReID框架，该框架可以在现有的整体人数据集上进行训练。STNReID包括空间Transformer网络（STN）模块和ReID模块。仿射模块从整体图像中采样仿射图像（语义上对应的补丁）以匹配部分图像。ReID模块提取整体、部分和仿射图像的特征。在STNReID模块和ReID模块之间观察到竞争（或对抗），并且应用两阶段训练来获得部分ReID的强STNReID。实验结果表明，我们的STNReID在部分ReID和部分iLIDS数据集上分别获得了66.7%和54.6%的rank-1准确率。这些值与用最先进的方法获得的值相当。
2020-01-07 cs.CV
SEMAGIC: Learning Semantically Consistent Deformable 3D Representations from In-the-Wild Images
Johns Hopkins University（约翰霍普金斯大学）；CISPA Helmholtz Center for Information Security（信息安全霍普金斯中心）
针对现有可变形3D重建方法语义对应不稳定的问题，提出SEMAGIC框架，通过特征级一致性损失和顶点索引条件变形，在重建过程中强制语义一致性，从而提升类别级语义对应性能。
2026-05-27 cs.CV
HorNet: A Hierarchical Offshoot Recurrent Network for Improving Person Re-ID via Image Captioning
Nanjing Institute of Advanced Artificial Intelligence（南京高等人工智能研究院）；Horizon Robotics（地平线机器人）
人物重新识别（re-ID）旨在识别不同相机中具有显著外观差异的感兴趣人物。现有的研究工作集中在视觉表示的能力和鲁棒性。在本文中，相反，我们提出了一种新的分层分支递归网络（HorNet），用于通过图像描述提高人的重新识别。图像标题比视觉属性在语义上更丰富、更一致，这可以显着减轻差异。我们使用相似性保持生成对抗网络（SPGAN）和图像字幕机来实现域转移和语言描述生成。然后，所提出的HorNet可以从图像和标题中联合学习视觉和语言表示，从而提高人的re-ID的性能。在有或没有图像标题的几个基准数据集上进行了大量的实验，即，CUHK 03、Market-1501和Duke-MTMC的仿真结果表明了该方法的优越性。我们的方法可以生成和提取有意义的图像字幕，同时实现最先进的性能。
2019-08-14 cs.CV
Volumetric Semantically Consistent 3D Panoptic Mapping
ETH Zurich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）；Microsoft（微软公司）
提出一种基于Voxel-TSDF的在线2D到3D语义实例建图算法，通过置信度融合与图优化实现语义、实例一致的3D地图，并揭示评估中使用真实轨迹造成的性能偏差。
2024-07-08 cs.CV cs.RO
Semantic Alignment: Finding Semantically Consistent Ground-truth for Facial Landmark Detection
National Lab of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；Visionfinity Inc.（Visionfinity公司）；ObjectEye Inc.（ObjectEye公司）；Universal AI Inc.（通用人工智能公司）；AnyVision；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，基于深度学习的人脸标志点检测取得了巨大的成功。尽管如此，我们注意到，语义模糊性大大降低了检测性能。具体地，语义模糊性意味着一些界标（例如，沿着面部轮廓均匀分布的那些界标）不具有清晰和准确的定义，从而导致注释者的注释不一致。因此，这些通常由公共数据库提供的不一致的注释通常用作监督网络训练的真值，导致准确性降低。据我们所知，很少有研究调查这个问题。在本文中，我们提出了一种新的概率模型，它引入了一个潜在的变量，即“真正的”真值，这是语义上一致的，以优化。该框架耦合了两个部分：（1）训练地标检测CNN和（2）搜索“真实”真值。这两个部分被交替优化：搜索到的“真实”地面实况监督CNN训练;并且训练后的CNN辅助搜索“真实"真值。此外，为了恢复由于遮挡和低质量而导致的不自信的预测地标，我们提出了一个全局热图校正单元（GHCU），通过考虑全局人脸形状作为约束来校正离群值。在基于图像（300 W和AFLW）和基于视频（300-VW）的数据库上进行的大量实验表明，该方法有效地提高了地标检测的准确性，并达到了最先进的性能。
2019-03-26 cs.CV
Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
注释良好的医学数据集使深度神经网络（DNN）能够在提取病变相关特征方面获得强大的能力。由于需要高水平的专业知识，构建如此大型且设计良好的医疗数据集成本高昂。基于ImageNet的模型预训练是一种常见的做法，可以在数据量有限的情况下获得更好的泛化。然而，它遭受自然和医学图像之间的域差距。在这项工作中，我们在超声（US）领域而不是ImageNet上预训练DNN，以减少医疗US应用中的领域差距。为了学习基于未标记的US视频的US图像表示，我们提出了一种新的基于元学习的对比学习方法，即Meta Ultrasound对比学习（Meta-USCL）。为了解决对比学习中获得语义一致的样本对的关键挑战，我们提出了一个正对生成模块以及一个基于元学习的自动样本加权模块。在肺炎检测、乳腺癌分类和乳腺肿瘤分割等多个计算机辅助诊断（CAD）问题上的实验结果表明，所提出的自监督方法达到了最先进水平（SOTA）。这些代码可在https://github.com/Schuture/Meta-USCL上获得。
2022-12-08 cs.CV cs.LG
Self-Supervised Learning of Semantically Consistent Visual Features via a Simple 3D Prior
University of Edinburgh（爱丁堡大学）
该研究针对现有视觉特征无法区分对称或重复部件类别左右的问题，提出一种基于简单3D先验的自监督学习方法，通过对比学习和分布匹配学习特征，在多类对象上验证了方法的有效性。
2026-10-14 cs.CV
Semantically Consistent Discrete Diffusion for 3D Biological Graph Modeling
Department of Quantitative Biomedicine, University of Zurich, Switzerland（苏黎世大学定量生物医学系）；ETH AI Center, ETH Zurich, Switzerland（苏黎世联邦理工学院AI中心）；Department of Computer Science, Technical University of Munich, Germany（慕尼黑技术大学计算机科学系）；Athinoula A. Martinos Center, Harvard Medical School, USA（哈佛医学院阿提尼娅·马丁斯中心）
本文提出一种语义一致的三维生物图离散扩散生成方法，通过投影算子修正不一致性并采用边删除加噪，在Willis环和肺气道数据上提升生成质量、下游标注性能及链接预测能力。
2025-07-07 cs.CV
SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval
SeCo-SBIR是解决CLIP适配ZS-SBIR时域适配与泛化矛盾的语义一致提示学习框架，结合多模态提示、一致性约束与多目标损失，在三类ZS-SBIR基准上达最优性能。
2026-08-05 cs.CV
SemST: Semantically Consistent Multi-Scale Image Translation via Structure-Texture Alignment
University of Southern California（南加州大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
针对无监督图像翻译中源域与目标域语义统计差异导致的语义失真问题，提出基于结构-纹理对齐的SemST方法，通过对比学习与多尺度策略缓解失真，达到最优性能，还可作为语义分割的有益预训练。
2023-10-08 cs.CV
Unsupervised Person Re-identification via Simultaneous Clustering and Consistency Learning
无监督的人再识别（re-ID）已成为一个重要的课题，由于其潜在的解决监督re-ID模型的可扩展性问题。然而，现有的方法简单地利用来自聚类的伪标签进行监督，因此尚未充分探索数据本身中的语义信息，这限制了学习模型的表示能力。为了解决这个问题，我们设计了一个无监督的re-ID的借口任务，通过学习静态图像的视觉一致性和训练过程中的时间一致性，使聚类网络可以自动将图像分成语义聚类。具体而言，借口任务通过最大化同一图像的两个编码视图之间的一致性，通过潜在空间中的一致性损失来学习语义上有意义的表示。同时，我们通过将两个编码视图分组到同一个簇中来优化模型，从而增强视图之间的视觉一致性。在Market-1501，DukeMTMC-reID和MSMT 17数据集上的实验表明，我们提出的方法比最先进的方法有很大的优势。
2021-04-01 cs.CV
When Semantically Consistent Encoding Meets View-Label Heterogeneity Modeling: A Unified Framework for Incomplete Multi-View Multi-Label Learning
University of Macau（澳门大学）；Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Surrey（萨里大学）
本文提出V2L统一框架，通过扰动感知编码和主动视图-标签相关性建模，解决不完整多视图多标签学习中的语义一致与视图异质性难题，在五个基准上取得领先性能。
2026-09-09 cs.CV
Semantically Consistent Regularization for Zero-Shot Recognition
University of California, San Diego（加利福尼亚大学圣迭戈分校）
语义在零样本学习中的作用。以往的方法的有效性进行了分析，根据提供的监督形式。虽然有些人独立学习语义，但其他人只监督由训练类解释的语义子空间。因此，前者能够约束整个空间，但缺乏建模语义相关性的能力。后者解决了这个问题，但留下一部分语义空间无人监督。这种互补性在一个新的卷积神经网络（CNN）框架中得到了利用，该框架提出使用语义作为识别的约束条件。尽管经过分类训练的CNN没有传输能力，但可以通过学习隐藏的语义层以及用于分类的语义代码来鼓励这种能力。两种形式的语义约束，然后介绍。第一种是基于损失的正则化器，它在每个语义预测器上引入泛化约束。第二个是码字正则化器，它支持与先前语义知识一致的语义到类的映射，同时允许从数据中学习这些映射。在几个数据集上实现了对最先进技术的重大改进。
2017-04-10 cs.AI cs.CV cs.LG
ASMR: Learning Attribute-Based Person Search with Adaptive Semantic Margin Regularizer
POSTECH（浦项科技大学）；Graduate School of AI POSTECH（浦项科技大学人工智能研究生院）
基于属性的人物搜索是寻找与给定的文本属性集最佳匹配的人物图像的任务。这项任务的主要挑战是属性和图像之间的巨大模态差距。为了减少差距，我们提出了一个新的损失学习跨模态嵌入的背景下，基于属性的人搜索。我们把一组属性看作是一类具有相同特征的人。在两种模态的联合嵌入空间中，我们的损失将图像拉近其人类别以进行模态对齐。更重要的是，它将一对人员类别推开由其语义距离自适应确定的边缘，其中距离度量是端到端学习的，使得损失在关联人员类别时考虑每个属性的重要性。我们的损失引导的自适应语义边缘导致更多的歧视性和语义良好安排的分布的人的图像。因此，它使一个简单的嵌入模型能够在公共基准上实现最先进的记录，而无需花里胡哨。
2021-08-10 cs.AI cs.CV cs.LG
Temporally-Coherent Surface Reconstruction via Metric-Consistent Atlases
EPFL（洛桑联邦理工学院）；Adobe Research（Adobe研究院）
我们提出了一种方法，用于从一系列随时间变化的点云中无监督地重建时间相干的表面序列，从而在所有关键帧之间产生密集的、语义上有意义的对应关系。我们使用神经网络将重建的表面表示为图谱。使用通过图集定义的规范对应关系，我们鼓励重建在各帧之间尽可能等距，从而实现有语义意义的重建。通过实验和比较，我们的经验表明，我们的方法实现的结果，超过了最先进的无监督对应的准确性和表面重建的准确性。
2021-08-23 cs.CV
Semantics-Aligned Representation Learning for Person Re-identification
University of Science Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
人物再识别（Person Re-identification，reID）的目的是通过匹配人物图像来检索具有相同身份的人物。这是一项具有挑战性的任务，因为要匹配的图像通常是语义错位，由于人类姿势和捕获视点的多样性，不完整的可见机构（由于遮挡）等，在本文中，我们提出了一个框架，驱动reID网络学习语义对齐的特征表示通过微妙的监督设计。具体来说，我们建立了一个语义对齐网络（SAN），其中包括一个基础网络作为编码器（SA-Enc）的重新ID，和一个解码器（SA-Dec）用于重建/回归密集语义对齐的全纹理图像。我们共同训练的监督下的人重新识别和对齐纹理生成的SAN。此外，在解码器处，除了重建损失之外，我们在特征图上添加Triplet ReID约束作为感知损失。解码器被丢弃的推理，因此我们的计划是计算效率。消融研究证明了我们设计的有效性。我们在基准数据集CUHK 03，Market 1501，MSMT 17和部分人reID数据集Partial REID上实现了最先进的性能。我们提出的方法的代码可在https://github.com/microsoft/Semantics-Aligned-Representation-Learning-for-Person-Re-identification上获得。
2020-03-18 cs.CV
Personalize Your Gaussian: Consistent 3D Scene Personalization from a Single Image
Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出CP-GS框架，通过逐步传播单视角参考外观到新视角，有效缓解视角偏差，实现高质量3D场景个性化。
2025-12-24 cs.CV
Temporally-Consistent Surface Reconstruction using Metrically-Consistent Atlases
EPFL（洛桑联邦理工学院）；Adobe Research（Adobe研究院）；IIT Bombay（孟买印度理工学院）
我们提出了一种无监督重建的时间上一致的表面序列从一个序列的时间演变的点云。它在框架之间产生密集的和语义上有意义的对应关系。我们将重建的表面表示为由神经网络计算的图谱，这使我们能够建立帧之间的对应关系。使这些对应在语义上有意义的关键是保证在对应点计算的度量张量尽可能相似。我们设计了一种优化策略，使我们的方法对噪声和全局运动具有鲁棒性，而无需先验对应或预对准步骤。因此，我们的方法在几个具有挑战性的数据集上优于最先进的方法。该代码可在https://github.com/bednarikjan/temporally_coherent_surface_reconstruction上获得。
2021-11-12 cs.CV
Memory-Augmented Vision-Language Agents for Persistent and Semantically Consistent Object Captioning
Italian Institute of Technology, Genoa, Italy（意大利理工学院，热那亚，意大利）；University of Genoa, Genoa, Italy（热那亚大学，热那亚，意大利）
本文提出一种统一的记忆增强视觉-语言代理，通过单一自回归框架同时处理数据关联、对象描述和探索策略，提升持久且语义一致的对象描述能力。
2026-03-30 cs.CV
Semantically-consistent Landsat 8 image to Sentinel-2 image translation for alpine areas
University of Winnipeg（温尼伯大学）；Norwegian University of Science & Technology (NTNU) Gjøvik（挪威科技大学（NTNU）约维克校区）
研究界对经常免费提供卫星图像的需求日益增加。Landsat 8和Sentinel-2等卫星星座每天提供大量宝贵的数据。然而，这些卫星的传感器特性的差异使得使用在任一数据集上训练并应用于另一个数据集的分割模型毫无意义，这就是为什么领域自适应技术最近成为遥感领域的一个活跃研究领域。为了缩小Landsat 8和Sentinel-2之间的传感器差异，本文利用HRSemI 2 I模型进行了通过风格转换的领域自适应实验。本文的主要贡献是分析这种方法的方便性，通过比较使用域适应图像与那些没有适应的分割结果。HRSemI 2 I模型，调整工作与6波段的图像，显示显着的交叉超过工会的平均和每类指标的性能改善。第二个贡献是在两个标签方案- NALCMS 2015和CORINE之间提供不同的推广方案。第一个办法是通过较高级别的土地覆被类别实现标准化，第二个办法是通过实地的协调验证。
2022-12-22 cs.CV cs.LG
