GeoReason: Aligning Thinking And Answering In Remote Sensing Vision-Language Models Via Logical Consistency Reinforcement Learning
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所）；Key Laboratory of Target Cognition and Application Technology, Chinese Academy of Sciences（中国科学院目标认知与应用技术重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
GeoReason通过逻辑一致性强化学习提升遥感视觉-语言模型的推理可靠性与可解释性，实现思考与决策的同步。
2026-01-08 cs.CV
Logically Consistent Loss for Visual Question Answering
Deakin University（迪肯大学）
给定一个图像，背景知识和一组关于对象的问题，人类学习者回答问题非常一致，无论问题的形式和语义任务如何。基于神经网络的视觉问答（VQA）的当前进展，尽管其令人印象深刻的性能，但由于同分布（i.i.d.）假设我们提出了一种新的模型不可知逻辑约束来解决这个问题，方法是在多任务学习框架中制定逻辑一致的损失，以及称为family-batch和hybrid-batch的数据组织。为了证明这一建议的有用性，我们训练和评估MAC-网络为基础的VQA机与建议的逻辑一致的损失和建议的数据组织。实验证实，建议的损失公式和引入混合批次导致更多的一致性，以及更好的性能。虽然所提出的方法进行了测试与MAC网，它可以用于任何其他QA方法，只要答案之间存在逻辑一致性。
2020-11-19 cs.AI cs.CV
IQ-VQA: Intelligent Visual Question Answering
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
尽管在可视化问答领域已经取得了巨大的进步，但今天的模型仍然倾向于不一致和脆弱。为此，我们提出了一个模型独立的循环框架，增加了一致性和鲁棒性的任何VQA架构。我们训练我们的模型来回答原始问题，基于答案生成一个含义，然后还学习正确地回答生成的含义。作为循环框架的一部分，我们提出了一种新的隐含生成器，它可以从任何问答对中生成隐含问题。作为未来一致性工作的基线，我们提供了一个新的人类注释VQA-影响数据集。该数据集由约30 k个问题组成，包含3种类型的含义-逻辑等价、必要条件和互斥-由VQA v2.0验证数据集生成。我们表明，我们的框架在基于规则的数据集上将VQA模型的一致性提高了约15%，在VQA-Implications数据集上提高了约7%，鲁棒性提高了约2%，而不会降低其性能。此外，我们还定量地显示了注意力地图的改善，这突出了对视觉和语言的更好的多模态理解。
2020-07-08 cs.CL cs.CV
Cycle-Consistency Learning for Captioning and Grounding
Huawei Inc.（华为公司）；University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
提出CyCo循环一致性学习框架，桥接视觉定位与图像描述，实现半弱监督训练并提升全监督性能，生成可描述任意区域的通用描述模型。
2023-12-23 cs.CV
RoboSurg-VQA: A Multimodal Benchmark for Surgical Segmentation-Aware Visual Question Answering
Swansea University, UK（威尔士大学）；Maynooth University, Ireland（迈诺特大学）；Aston University, UK（阿斯顿大学）
提出RoboSurg-VQA基准，通过重新利用公共手术分割数据集，构建分割感知的视觉问答任务，以评估在机器人辅助和微创手术中恶劣视觉条件下的语言化临床问题理解能力。
2026-05-21 cs.CV
Adversarial Multimodal Network for Movie Question Answering
利用多通道信息的视觉问答系统近年来受到越来越多的关注。然而，这是一个非常具有挑战性的任务，因为视觉内容和自然语言具有非常不同的统计特性。在这项工作中，我们提出了一种称为对抗多模态网络（AMN）的方法，以更好地理解视频故事的问答。在AMN中，受生成对抗网络的启发，我们提出通过为视频剪辑和相应的文本找到更连贯的子空间来学习多模态特征表示（例如，字幕和问题）。此外，我们引入了一个自我注意力机制，以执行所谓的一致性约束，以保持学习的多模态表示的原始视频剪辑的视觉线索的自相关性。在MovieQA数据集上进行的大量实验表明，我们提出的AMN比其他已发表的最先进的方法更有效。
2020-03-12 cs.CV
PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle
PixVL作为自监督后训练框架，通过统一掩码-文本一致性循环及语义验证等策略，解决像素级MLLMs的优化干扰问题，同时提升区域理解与分割任务性能。
2026-10-09 cs.CV
Measuring and Improving Complex-Atomic Answer Consistency in Endoscopic VQA
研究内窥镜VQA中复杂问题答案一致性，引入EndoCA基准，评估11个VLM，发现部分模型复杂答案准确率高但原子答案准确率及复杂-原子答案一致性低，提出ASR机制，能在选定模型上提高配对复杂-原子正确性及已回答案例准确性。
2026-07-21 cs.AI cs.CV
Leveraging Visual Question Answering for Image-Caption Ranking
Virginia Tech（弗吉尼亚理工大学）
视觉问答（VQA）的任务是将图像和关于图像的自由形式的自然语言问题作为输入，并产生准确的答案。在这项工作中，我们认为VQA作为一个"特征提取"模块来提取图像和字幕表示。我们采用这些表示的图像标题排名的任务。每个特征维度捕捉（想象）一个事实（问题-答案对）对于图像和标题是否可能是真实的。这允许模型从各种各样的角度解释图像和标题。我们提出了分数级和代表级融合模型，将VQA知识在现有的国家的最先进的VQA不可知的图像字幕排名模型。我们发现，结合和推理图像和字幕之间的一致性显着提高性能。具体来说，我们的模型在MSCOCO数据集上的标题检索和图像检索方面分别提高了7.1%和4.4%。
2016-08-31 cs.CV
STRIDE-QA: Visual Question Answering Dataset for Spatiotemporal Reasoning in Urban Driving Scenes
STRIDE-QA通过大规模视觉问答数据集提升自动驾驶中动态交通场景的时空推理能力，显著提升VLMs在空间定位和未来运动预测中的表现。
2026-01-19 cs.CV
Learning How To Ask: Cycle-Consistency Refines Prompts in Multimodal Foundation Models
Microsoft Research（微软研究院）
本文提出CyclePrompt技术，利用循环一致性作为免费监督信号，在多模态基础模型中通过双向映射迭代优化提示，无需微调或训练数据，在代码生成和图像字幕任务上显著提升模型性能。
2024-02-13 cs.CL cs.CV
Answer with Evidence: Consistency-Aware Grounded Visual Question Answering for Roadside Traffic Scenes
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Jiangnan University（江南大学）；Central China Normal University（华中师范大学）；CUHK（香港中文大学）；Peking University（北京大学）；Wuhan University（武汉大学）；Fudan University（复旦大学）
针对路边交通场景中接地多模态大模型的说-点不匹配问题，提出先枚举后回答（EtA）和枚举一致性策略优化（ECPO），显著提升答案与证据的一致性及接地F1，并验证了跨场景迁移能力。
2026-10-14 cs.CV cs.HC
Visual Question Answering with Prior Class Semantics
The University of Adelaide（阿德莱德大学）
我们提出了一种新的机制，嵌入先验知识的视觉问答模型。任务的开集性质与训练固定分类器的普遍方法不一致。我们将展示如何利用有关候选答案的语义的额外信息。我们扩展的答案预测过程中的一个回归目标的语义空间，在其中，我们项目的候选人的答案使用先验知识来自词嵌入。我们对GQA数据集的学习表示进行了广泛的研究，揭示了答案空间中嵌入之间的关系中捕获了重要的语义信息。我们的方法在一系列问题类型上提高了一致性和准确性。在训练过程中看不到的新答案的实验表明，该方法具有开集预测的潜力。
2020-05-04 cs.CV cs.LG
Detection-based Intermediate Supervision for Visual Question Answering
Huazhong University of Science and Technology（华中科技大学）；Ping An Property & Casualty Insurance Company of China, Ltd.（中国平安财产保险股份有限公司）；ByteDance Inc.（字节跳动股份有限公司）
提出基于检测的中间监督（DIS）方法，通过生成式检测框架改进神经模块网络的中间监督，提升组合视觉问答的准确性和推理一致性。
2023-12-26 cs.AI cs.CV
Beyond Exact Match: Task-Aware GRPO for Cross-Domain PCBA Visual Question Answering
Hefei University of Technology（合肥工业大学）；Universiti Malaya（马来亚大学）
针对跨领域PCBA视觉问答，提出任务感知GRPO框架，整合多组件语义奖励与距离感知奖励，结合推理校正，在官方挑战中取得83.24分。
2026-09-21 cs.AI cs.CV
MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering
Arizona State University（亚利桑那州立大学）
虽然在视觉问答排行榜上取得了进展，但模型通常利用i.i.d.下数据集中的虚假相关性和先验。设置.因此，评价的分布（OOD）测试样本已成为一个代理泛化。在本文中，我们提出了MUTANT，这是一种训练范式，它将模型暴露给感知相似但语义不同的输入突变，以提高OOD泛化能力，例如VQA-CP挑战。在这种范式下，模型利用一致性约束的训练目标来理解输入（问题-图像对）中的语义变化对输出（答案）的影响。与VQA-CP上的现有方法不同，MUTANT不依赖于关于训练和测试答案分布的性质的知识。MUTANT通过对$10.57\%$的改进，在VQA-CP上建立了一种新的最先进的精度。我们的工作开辟了途径，使用语义输入突变的面向对象的推广问答。
2020-10-16 cs.CL cs.CV
Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering
Facebook AI Research（脸书人工智能研究院）；Georgia Tech（佐治亚理工学院）
我们提出了一类新的概率神经符号模型，具有符号功能程序作为一个潜在的，随机变量。实例化的背景下，视觉问答，我们的概率公式提供了两个关键的概念优势，比以前的神经符号模型VQA。首先，我们的模型生成的程序更容易理解，而需要较少的教学实例。其次，我们表明，一个可以提出反事实的情况下，该模型，探测其信念的程序，可能导致一个指定的答案给定的图像。我们在CLEVR和SHAPES数据集上的结果验证了我们的假设，表明该模型即使在低数据状态下也能获得更好的程序（和答案）预测准确性，并允许人们探索推理的连贯性和一致性。
2019-06-27 cs.AI cs.CV cs.LG
Measuring Compositional Consistency for Video Question Answering
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
最近的视频问答基准测试表明，最先进的模型很难回答组合问题。然而，目前还不清楚哪些类型的组合推理导致模型预测错误。此外，很难辨别模型是使用组合推理还是利用数据偏差来得出答案。在本文中，我们开发了一个问题分解引擎，以编程方式解构成一个有向无环图的子问题的组成问题。该图被设计成使得每个父问题是其子问题的组合。我们提出AGQA分解，一个基准包含$2.3M$问题图，平均每个图的$11.49$子问题，和$4.55M$总新的子问题。使用问题图，我们评估了三个国家的最先进的模型与一套新的组成一致性指标。我们发现，模型要么不能通过大多数组合正确推理，要么依赖于不正确的推理来获得答案，经常自相矛盾，或者在中间推理步骤失败时达到高准确度。
2022-05-24 cs.CV
Improving Motion Forecasting for Autonomous Driving with the Cycle Consistency Loss
Carnegie Mellon University（卡内基梅隆大学）；Motional
动态场景的鲁棒运动预测是自主车辆的关键组成部分。这是一个具有挑战性的问题，由于在场景中的异质性和固有的不确定性的问题。为了提高运动预测的准确性，在这项工作中，我们确定了一个新的一致性约束在这项任务中，即代理的未来轨迹应该是一致的，其历史观测，反之亦然。为了利用这个属性，我们提出了一个新的周期一致性训练方案，并定义了一个新的周期损失，以鼓励这种一致性。特别是，我们将预测的未来轨迹在时间上反向，并将其反馈到预测模型中，以预测历史并计算损失作为额外的周期损失项。通过我们在Argoverse数据集上的实验，我们证明了周期丢失可以提高竞争性运动预测模型的性能。
2022-10-31 cs.CV
Learning Facial Representations from the Cycle-consistency of Face
National Yang Ming Chiao Tung University（国立阳明交通大学）
面孔在许多方面表现出很大的差异，如身份，表情，姿势和面部造型。因此，从人脸图像中分离和提取这些特征是一个很大的挑战，特别是在无监督的方式。在这项工作中，我们引入了周期一致性的面部特征作为自由监督信号，学习面部表示从未标记的面部图像。通过叠加人脸运动周期一致性和身份周期一致性约束来实现学习。人脸运动周期一致性的主要思想是，给定一张有表情的人脸，我们可以通过去除人脸运动来对中性人脸进行去表情，并进一步进行重新表情以重建回原始人脸。身份循环一致性的主要思想是通过特征重规范化来剥夺给定的中性面孔的身份，从而实现去身份化为中性面孔，以及通过向中性面孔添加个人属性来实现重新身份化为中性面孔。在训练时，我们的模型学习解开两个不同的面部表示，以用于执行周期一致的面部重建。在测试时，我们使用线性协议计划评估面部表征的各种任务，包括面部表情识别和头部姿态回归。我们还可以直接将学习的面部表示应用于人识别，额化和图像到图像的翻译。我们的实验表明，我们的方法的结果是有竞争力的与现有的方法，展示了丰富和独特的信息嵌入在解开表示。代码可在https://github.com/JiaRenChang/FaceCycle上获得。
2021-08-07 cs.CV
Disentangled Cycle Consistency for Highly-realistic Virtual Try-On
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯AI实验室）；ETH Zürich（苏黎世联邦理工学院）；Tencent Data Platform（腾讯数据平台）
图像虚拟试穿将人物图像上的衣服替换为期望的店内衣服图像。这是具有挑战性的，因为人和店内的衣服是不成对的。现有的方法将虚拟试穿制定为绘画或循环一致性。这两个公式都鼓励生成网络以自监督的方式重建输入图像。然而，现有的方法不区分服装和非服装区域。由于图像内容的严重耦合，直接生成会妨碍虚拟试穿质量。在本文中，我们提出了一个解纠缠的周期一致性尝试网络（DCTON）。DCTON能够通过解开虚拟试穿的重要组件（包括衣服翘曲、皮肤合成和图像合成）来产生高度逼真的试穿图像。为此，DCTON可以在循环一致性学习之后以自我监督的方式自然地训练。在具有挑战性的基准测试上进行的大量实验表明，DCTON的性能优于最先进的方法。
2021-03-19 cs.CV
CyclePose -- Leveraging Cycle-Consistency for Annotation-Free Nuclei Segmentation in Fluorescence Microscopy
Friedrich-Alexander-Universität (FAU)（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学（FAU））；Universität Würzburg（维尔茨堡大学）；Center for AI and Data Science (CAIDAS)（人工智能与数据科学中心（CAIDAS））
针对显微图像细胞核实例分割需大量标注数据的问题，提出整合合成数据生成与分割训练的混合框架CyclePose，基于CycleGAN架构实现自监督，无标注时性能优于其他弱/无监督方法。
2025-04-15 cs.CV
Extrapolative-Interpolative Cycle-Consistency Learning for Video Frame Extrapolation
Yonsei University（延世大学）
视频帧外推是在给定过去帧的情况下预测未来帧的任务。与以往的研究通常集中在模块的设计或网络的构建，我们提出了一种新的外插-内插循环（EIC）损失使用预训练帧插值模块，以提高外推性能。在许多视觉任务中，循环一致性损失已被用于两个函数空间之间的稳定预测。我们制定这个周期的一致性使用两个映射函数;帧外推和插值。由于在对象遮挡和运动不确定性方面，预测中间帧比预测未来帧更容易，插值模块可以有效地为训练外推函数提供指导信号。EIC损失可以应用于任何现有的外推算法，并保证在短期内以及长期的未来帧一致的预测。实验结果表明，简单地将EIC损失添加到现有基线上可以提高UCF 101和KITTI数据集的外推性能。
2020-05-27 cs.CV
Cycle-World: Mitigating Error Accumulation in Long-term Video World Models via Reverse-Prediction Cycle Consistency
School of Computer Science, Shanghai Jiao Tong University, Shanghai, China（上海交通大学计算机科学学院）；Institute of Cyber-Systems and Control, Zhejiang University, Hangzhou, China（浙江大学控制系统研究所）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
针对自回归扩散模型在长视频生成中误差累积问题，提出循环世界框架，通过训练和推理阶段的时间可逆性及反向预测模型抑制误差，实验证明其在VBench基准测试中显著减轻误差漂移，提升生成质量和时间一致性。
2026-07-14 cs.CV
CycleHOI: Improving Human-Object Interaction Detection with Cycle Consistency of Detection and Generation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
CycleHOI通过引入检测-生成循环一致性损失，结合扩散模型知识蒸馏与数据增强，显著提升了基于DETR的人-物交互检测性能。
2024-07-16 cs.CV
A recurrent cycle consistency loss for progressive face-to-face synthesis
Samsung AI Center, Cambridge（三星人工智能中心剑桥）；University of Nottingham（诺丁汉大学）
本文解决了一个主要的缺陷，周期一致性损失时，用于保持输入的外观在面对面的合成域。特别是，我们发现，使用这种损失训练的网络生成的图像隐藏了一种噪声，阻碍了它们用于进一步的任务。为了克服这一限制，我们提出了一个“循环一致性损失”，它对于不同的目标属性序列，最小化输出图像之间的距离，独立于任何中间步骤。我们经验验证，我们的损失不仅可以重用生成的图像，但它也提高了它们的质量。此外，我们提出了第一个网络，涵盖了无约束的地标引导的面对面合成的任务。与以前的作品相反，我们提出的方法使一组特定的输入功能的大跨度的姿势和表情，从而目标地标成为地面实况点的转移。然后，我们评估我们所提出的方法的一致性，在目标地标合成的脸。据我们所知，我们是第一个提出一个损失，以克服限制的周期一致性损失，第一个提出一个“在野外”的地标指导合成方法。本文的代码和模型可以在https://github.com/ESanchezLozano/GANnotation中找到
2020-04-14 cs.CV
Cycle Consistency in Video Object-Centric Learning
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（艾洛大学电气工程与自动化系，芬兰 Espoo）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan, China（华中科技大学人工智能与自动化学院，中国 Wuhan）；Department of Computer Science, Aalto University, Espoo, Finland（艾洛大学计算机科学系，芬兰 Espoo）；Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland（奥卢大学机器视觉与信号分析中心，芬兰 Oulu）
针对视频目标中心学习中潜在槽空间难以直接应用循环一致性的问题，提出隐式循环一致性（ICC），将约束从槽空间转移到连续重建流形，避免特征坍塌并提升性能。
2026-05-28 cs.CV
Learning Dense Correspondence via 3D-guided Cycle Consistency
UC Berkeley（加州大学伯克利分校）；ENPC ParisTech（巴黎高科路桥学校）；TTI-Chicago（芝加哥丰田技术研究院）
判别式深度学习方法在人类标记的基础事实丰富的问题上表现出了令人印象深刻的结果，但对于难以或不可能获得标签的任务呢？本文解决了这样一个问题：在不同的对象实例之间建立密集的视觉对应。对于这个任务，虽然我们不知道地面实况是什么，但我们知道它应该在该类别的实例中保持一致。我们利用这种一致性作为监督信号来训练卷积神经网络，以预测描绘同一类别对象的图像对之间的跨实例对应关系。对于每一对训练图像，我们找到一个合适的3D CAD模型，并渲染两个合成视图以与这对图像链接，建立一个对应流4循环。我们使用渲染引擎提供的地面实况合成到合成对应关系来训练ConvNet，以预测与地面实况周期一致的合成到真实、真实到真实和真实到合成对应关系。在测试时，不需要CAD模型。我们证明了我们的端到端训练的ConvNet由周期一致性监督，在对应相关任务中优于最先进的成对匹配方法。
2016-04-18 cs.CV
Canonical Surface Mapping via Geometric Cycle Consistency
我们探讨的任务规范表面映射（CSM）。具体来说，给定一个图像，我们学习将对象上的像素映射到该类别的抽象3D模型上的相应位置。但是我们如何学习这样的映射呢？监督的方法需要大量的手动标记，这是不可扩展的，超出了几个手工挑选的类别。我们的关键见解是，CSM任务（像素到3D）与3D投影（3D到像素）相结合时，完成了一个周期。因此，我们可以利用几何循环一致性损失，从而允许我们放弃密集的手动监督。我们的方法允许我们训练一个CSM模型的一组不同的类，没有稀疏或密集的关键点注释，只利用前景掩模标签进行训练。我们表明，我们的预测也使我们能够推断出两个图像之间的密集对应关系，并将我们的方法的性能与几种通过利用不同数量的监督来预测对应关系的方法进行比较。
2019-08-15 cs.CV
Unsupervised Video Interpolation Using Cycle Consistency
NVIDIA（英伟达）
学习通过插值合成高帧速率视频需要大量的高帧速率训练视频，然而，这是稀缺的，特别是在高分辨率下。在这里，我们提出了无监督的技术来合成高帧速率视频直接从低帧速率视频使用周期一致性。对于三个连续的帧，我们优化模型，以尽量减少中心帧和它的周期重建，从插值中间帧插值回来之间的差异。这种简单的无监督约束单独实现了与使用地面实况中间帧的监督相当的结果。我们还引入了一个伪监督损失项，该项强制内插帧与预训练的内插模型的预测一致。伪监督损失项与循环一致性一起使用，可以有效地使预训练模型适应新的目标域。在没有额外数据的情况下，我们的技术以完全无监督的方式显着改善了新目标域上的预训练模型，将Slowflow上的PSNR值从32.84dB增加到33.05dB，将Sintel评估数据集上的PSNR值从31.82dB增加到32.53dB。
2021-03-28 cs.CV
Breaking Shortcut: Exploring Fully Convolutional Cycle-Consistency for Video Correspondence Learning
University of Oxford（牛津大学）；University of Texas（德克萨斯大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
以前的周期一致性对应学习方法通常利用图像块进行训练。在本文中，我们提出了一个完全卷积的方法，这是更简单，更连贯的推理过程。虽然直接应用完全卷积训练会导致模型崩溃，但我们研究了这种崩溃现象背后的原因，表明像素的绝对位置提供了一条轻松实现循环一致性的捷径，这阻碍了有意义的视觉表示的学习。为了打破这种绝对位置的捷径，我们提出了应用不同的作物的前向和后向帧，并采用特征扭曲建立对应关系的两个作物的同一帧。前一种技术强制前向和后向轨道处的对应像素具有不同的绝对位置，而后一种技术有效地阻止了前向和后向轨道之间的快捷方式。在姿态跟踪、人脸地标跟踪和视频对象分割的三个标签传播基准测试中，我们的方法大大改善了香草全卷积循环一致性方法的结果，与自监督最先进的方法相比，实现了非常有竞争力的性能。我们的训练模型和代码可以在\url{https://github.com/Steve-Tod/STFC3}上找到。
2021-12-29 cs.CV
Long-Term Anticipation of Activities with Cycle Consistency
University of Bonn（波恩大学）；The University of Melbourne（墨尔本大学）；MPI Informatics（马克斯·普朗克信息学研究所）
随着深度学习方法在分析视频活动方面的成功，最近更多的注意力集中在预测未来的活动上。然而，大多数关于预测的工作要么分析部分观察到的活动，要么预测下一个动作类。最近，已经提出了新的方法来扩展预测范围到未来几分钟，并预测一系列未来的活动，包括其持续时间。虽然这些工作解耦的语义解释所观察到的序列的预期任务，我们提出了一个框架，直接从观察到的帧和训练它在一个端到端的方式的功能来预测未来的活动。此外，我们引入了一个周期的一致性损失随着时间的推移，通过预测过去的活动给出了预测的未来。我们的框架在两个数据集上实现了最先进的结果：早餐数据集和50沙拉。
2020-09-02 cs.CV
Self-Supervised Partial Cycle-Consistency for Multi-View Matching
Utrecht University（乌得勒支大学）；TNO（荷兰应用科学研究组织）
针对部分重叠多视角目标匹配，本文扩展循环一致性并引入伪掩码、互补循环变体和时间发散采样，实现鲁棒的自监督特征学习。
2025-01-10 cs.CV
Align and Aggregate: Compositional Reasoning with Video Alignment and Answer Aggregation for Video Question-Answering
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
本文提出模型无关的 VA³ 框架，通过视频对齐、答案聚合和问题分解提升视频问答的组合一致性与准确性，并引入新指标和 LLM 自动分解流程验证其有效性。
2024-07-03 cs.CV
Representation Learning via Global Temporal Alignment and Cycle-Consistency
Samsung AI Centre Toronto（三星人工智能中心多伦多）
我们引入了一种基于对齐时间序列的弱监督表示学习方法（例如，视频）的相同过程（例如，人的行动）。其主要思想是使用全局时间排序的潜在对应跨序列对作为一个监督信号。特别是，我们提出了一个损失的基础上评分的最佳序列比对训练嵌入网络。我们的损失是基于一个新的概率路径寻找动态时间规整（DTW），其中包含以下三个关键特征：（i）本地路径路由决策是对比和可微的，（ii）成对的距离被投射为概率，是对比，以及（iii）我们的配方自然承认一个全球循环的一致性损失，验证对应关系。对于评估，我们考虑细粒度动作分类，少样本学习和视频同步的任务。我们报告显着的性能比以前的方法增加。此外，我们报告了我们的时间对齐框架的两个应用，即3D姿态重建和细粒度的音频/视觉检索。
2021-05-11 cs.CV
Contrastive Learning of Image Representations with Cross-Video Cycle-Consistency
McGill University（麦吉尔大学）；UC San Diego（加州大学圣地亚哥分校）；Mila（Mila（魁北克人工智能研究所））
最近的工作已经大大提高了自监督表示学习的性能。这些方法的核心是图像内不变性学习。一个图像实例的两个不同变换被认为是一个正样本对，其中各种任务被设计为通过比较该对来学习不变表示。类似地，对于视频数据，来自同一视频的帧的表示被训练为比来自其他视频的帧更接近，即视频内不变性。然而，跨视频关系几乎没有被探索的视觉表示学习。与视频内不变性不同，跨视频关系的地面真值标签通常在没有人工劳动的情况下不可用。在本文中，我们提出了一种新的对比学习方法，探索跨视频的关系，通过使用一般的图像表示学习的周期一致性。这允许在不同的视频实例中收集阳性样本对，我们假设这将导致更高级别的语义。我们通过将我们的图像表示转移到多个下游任务（包括视觉对象跟踪、图像分类和动作识别）来验证我们的方法。我们展示了比最先进的对比学习方法显著的改进。项目页面可在https://happywu.github.io/cycle_contrast_video上找到。
2021-05-13 cs.CV
CycleGAN with Better Cycles
University of California, Berkeley（加州大学伯克利分校）
本文针对CycleGAN像素级循环一致性可能导致图像失真的问题，提出三种简单修改，在减少伪影的同时实现了更优的图像转换效果。
2024-11-21 cs.CV cs.LG
Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
Computer Vision Center（计算机视觉中心）；Autonomous University of Barcelona（巴塞罗那自治大学）；Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
基于Zero-shot草图的图像检索（SBIR）是计算机视觉中的一项新兴任务，它可以检索与草图查询相关的自然图像，这些图像可能在训练阶段看不到。现有的工作要么需要对齐的草图图像对或低效的内存融合层的视觉信息映射到一个语义空间。在这项工作中，我们提出了一个语义对齐的配对循环一致性生成（SEM-PCYC）模型的zero-shot SBIR，其中每个分支映射的视觉信息到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对高价对齐的草图图像对的需要。对生成器输出的分类标准确保视觉到语义空间的映射是有区别的。此外，我们建议通过一个特征选择自动编码器，选择在同一个端到端模型的歧视边信息结合文本和层次边信息。我们的研究结果表明，在具有挑战性的Sketchy和TU-Berlin数据集上，zero-shot SBIR性能比最先进的SBIR性能有显著提高。
2019-03-08 cs.CV
Exploring Cycle Consistency Learning in Interactive Volume Segmentation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；United Imaging Intelligence（联影智能）
针对交互式医学体数据分割中传播阶段误差易累积的问题，提出带反向传播路径的循环一致性损失正则化传播网络，在AbdomenCT-1K和OAI-ZIB数据集上验证了有效性。
2024-03-09 cs.CV
Image Completion and Extrapolation with Contextual Cycle Consistency
Samsung Research Institute - Noida（三星诺伊达研究院）
图像完成是指填充图像的缺失区域的任务，图像外推是指在保持图像连贯性的同时在其边界处扩展图像的任务。许多基于GAN的最新工作已经在解决这些问题陈述方面取得了进展，但缺乏对这两种情况的适应性，即为完成内部掩蔽图像而训练的神经网络不能很好地推广到边界上的外推，反之亦然。在本文中，我们提出了一种技术，训练完成和外推网络同时受益。我们证明了我们的方法在完成大的缺失区域的效率，我们显示了与当代最先进的基线状态的比较。
2020-06-04 cs.CV
All Graphs Lead to Rome: Learning Geometric and Cycle-Consistent Representations with Graph Convolutional Networks
University of Pennsylvania（宾夕法尼亚大学）
图像特征匹配是许多几何计算机视觉应用的基本部分，并且使用多幅图像可以提高性能。在这项工作中，我们制定多图像匹配作为一个图嵌入问题，然后使用图卷积网络学习一个适当的嵌入函数对齐图像特征。我们使用周期一致性以无监督的方式训练我们的网络，因为获取地面真实对应很困难或昂贵。此外，几何一致性损失可以在训练时添加，即使信息在测试集中不可用，这与直接优化循环一致性的先前方法不同。据我们所知，没有其他作品使用学习多图像特征匹配。我们的实验表明，我们的方法是有竞争力的其他优化方法。
2019-01-07 cs.CV
Deep Semantic Matching with Foreground Detection and Cycle-Consistency
Academia Sinica（中央研究院）；National Taiwan University（台湾大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University of California, Merced（加州大学默塞德分校）；Google Cloud（谷歌云）
建立对象实例之间的密集语义对应仍然是一个具有挑战性的问题，由于背景杂乱，显着的规模和姿态差异，以及大的类内变化。在本文中，我们解决了基于深度网络的弱监督语义匹配，其中仅提供没有手动关键点对应注释的图像对。为了便于使用这种较弱形式的监督进行网络训练，我们1）显式估计前景区域以抑制背景杂波的影响，2）开发周期一致性损失以强制多个图像之间的预测变换在几何上是合理和一致的。我们使用PF-PASCAL数据集训练所提出的模型，并在PF-PASCAL，PF-WILLOW和TSS数据集上评估性能。大量的实验结果表明，该方法对国家的最先进的方法表现良好。
2020-03-31 cs.CV
Inverse-and-Edit: Simple and Effective Framework for Fast Image Editing
HSE University（俄罗斯高等经济大学）；AIRI（人工智能研究院）；Sber（俄罗斯储蓄银行）；Innopolis
提出基于循环一致性模型的图像编辑框架，通过循环一致性优化提升反演质量，仅需四步即可实现高质量编辑，效率与效果均优于现有方法。
2026-10-30 cs.CV
Cycle-Consistency Uncertainty Estimation for Visual Prompting based One-Shot Defect Segmentation
AI Tech Team, LG Energy Solution（LG能源解决方案 AI技术团队）
针对视觉提示方法在工业缺陷检测中的过度自信问题，提出基于循环一致性的不确定性估计方法，通过计算恢复提示掩码与原始掩码的mIoU量化不确定性，在VISION24挑战赛中取得0.9175的良率。
2024-09-21 cs.CV
Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency
East China University of Science and Technology（华东理工大学）；Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；Humboldt University of Berlin（柏林洪堡大学）
语义分割和深度补全是场景理解中两个具有挑战性的任务，在机器人和自动驾驶领域有着广泛的应用。虽然提出了几个工作，以联合训练这两个任务使用一些小的修改，如改变最后一层，一个任务的结果是不利用，以提高另一个的性能，尽管这两个任务之间有一些相似之处。在本文中，我们提出了多任务生成对抗网络（多任务GANs），它不仅可以胜任语义分割和深度完成，而且还可以通过生成的语义图像来提高深度完成的准确性。此外，我们通过引入多尺度空间池块和结构相似性重建损失来改进基于CycleGAN生成的语义图像的细节。此外，考虑到语义和几何结构之间的内在一致性，我们开发了一个语义引导的平滑损失，以改善深度完成的结果。在Cityscapes数据集和KITTI深度完成基准上的大量实验表明，多任务GANs能够在语义分割和深度完成任务方面取得有竞争力的性能。
2020-11-29 cs.CV
CycleBEV: Regularizing View Transformation Networks via View Cycle Consistency for Bird's-Eye-View Semantic Segmentation
Electronics and Telecommunications Research Institute (ETRI)（电子电信研究院）；University of Science and Technology (UST)（科学技术大学）
CycleBEV通过引入视图循环一致性正则化方法，提升视图转换网络在鸟瞰图语义分割中的性能，实现显著的mIoU提升。
2026-02-27 cs.AI cs.CV
MedCycle: Unpaired Medical Report Generation via Cycle-Consistency
Technion – Israel Institute of Technology（以色列理工学院）
本文提出MedCycle方法，通过循环一致映射函数和报告自编码，解决非配对场景下X光图像医学报告生成问题，无需一致标注模式且在语言和临床指标上超越现有方法。
2024-03-21 cs.CV
End-to-End Learning Using Cycle Consistency for Image-to-Caption Transformations
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
到目前为止，从字幕保持图像的足够信息的观点出发，已经进行了从图像生成字幕的研究。如果可以从生成的字幕生成接近输入图像的图像，即，如果可以生成包含足够信息的自然语言字幕来再现图像，则认为该字幕忠实于图像。为了使这种再生成为可能，使用循环一致性损失的学习是有效的。在这项研究中，我们提出了一种通过学习端到端的图像和文本之间的相互转换生成字幕的方法。为了评估我们的方法，我们进行了比较实验，有和没有周期的一致性。通过自动评估和众包对结果进行评估，证明了我们所提出的方法是有效的。
2019-03-25 cs.CL cs.CV
Cycle Self-Training for Semi-Supervised Object Detection with Distribution Consistency Reweighting
State Grid Smart Grid Research Institute Co., Ltd.（国网智能电网研究院有限公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，许多半监督目标检测（SSOD）方法采用师生框架，取得了很好的效果。然而，教师网络与学生网络紧密耦合，因为教师是学生的指数移动平均（EMA），这导致了性能瓶颈。为了解决耦合问题，我们提出了一个循环自我训练（CST）框架SSOD，其中包括两个教师T1和T2，两个学生S1和S2。在此基础上建立了循环自训练机制，S1 ${\rightarrow}$ T1 ${\rightarrow}$ S2 ${\rightarrow}$ T2 ${\rightarrow}$ S1.对于S ${\rightarrow}$ T，我们还利用学生的EMA权重来更新教师。对于T ${\rightarrow}$ S，教师T1（T2）不是直接为其自己的学生S1（S2）提供监督，而是为学生S2（S1）生成伪标签，这失去了耦合效应。此外，由于EMA的性质，教师最有可能积累来自学生的偏见，使错误不可逆转。为了缓解这个问题，我们还提出了一种分布一致性重新加权策略，其中伪标签基于教师T1和T2之间的分布一致性进行重新加权。通过该策略，两个学生S2和S1可以用噪声伪标签进行鲁棒训练，以避免确认偏差。大量的实验证明了CST的优越性，通过不断提高AP超过基线，并通过2.1%的绝对AP改进与稀缺的标记数据超过最先进的方法。
2022-07-12 cs.CV
Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network
University of Florida（佛罗里达大学）；Medical Imaging Technologies, Siemens Healthcare（西门子医疗医学影像技术部门）
合成的医学图像具有几个重要的应用，例如，作为跨模态图像配准的中间媒介，并作为补充训练样本，以提高分类器的泛化能力。特别是，合成的计算机断层扫描（CT）数据可以为放射治疗计划提供X射线衰减图。在这项工作中，我们提出了一种通用的跨模态合成方法，具有以下目标：1）使用不成对的训练数据合成逼真的3D图像，2）确保一致的解剖结构，这可能会改变跨模态合成的几何失真和3）通过使用合成数据有限的训练样本的模态改善体积分割。我们证明了这些目标可以通过端到端的3D卷积神经网络（CNN）来实现，该网络由用于图像合成和分割任务的互利生成器和分割器组成。生成器使用对抗性损失、周期一致性损失和形状一致性损失进行训练，这些损失由分割器监督，以减少几何失真。从分割视图来看，分割器由来自发生器的合成数据以在线方式提升。生成器和分段器以端到端的训练方式交替提示对方。通过对包括总共4，496个CT和磁共振成像（MRI）心血管体积的数据集进行广泛的实验，我们表明这两个任务对彼此都有利，并且将这两个任务结合起来会比单独解决它们带来更好的性能。
2019-03-16 cs.CV
Learning to Sketch with Shortcut Cycle Consistency
Queen Mary University of London（伦敦玛丽女王大学）；The University of Edinburgh（爱丁堡大学）
看就是画--徒手画自然地建立了人类和机器视觉之间的联系。在本文中，我们提出了一种新的方法，用于将对象照片转换为草图，模仿人类的素描过程。这是一项极具挑战性的任务，因为照片和草图领域有很大的不同。此外，即使在参考照片中描绘相同的对象实例时，人类草图也表现出各种程度的复杂性和抽象性。这意味着即使照片-草图对可用，它们也只能提供弱的监督信号来学习翻译模型。与解决D（E（photo））-> sketch问题的现有监督方法相比，其中E（$\cdot$）和D（$\cdot$）分别表示编码器和解码器，我们利用逆问题（例如，D（E（sketch））-> photo），并与域内重建的无监督学习任务相结合，所有这些都在一个多任务学习框架内。与现有的基于周期一致性的无监督方法（即，D（E（D（E（photo）-> photo），我们引入在编码器瓶颈处强制执行的快捷一致性（例如，D（E（photo））-> photo）来利用额外的自我监督。定性和定量的结果表明，该模型优于一些国家的最先进的替代品。我们还表明，合成草图可以用来训练一个更好的细粒度的基于草图的图像检索（FG-SBIR）模型，有效地缓解了草图数据稀缺的问题。
2018-05-01 cs.CV
CycleNet: Rethinking Cycle Consistency in Text-Guided Diffusion for Image Manipulation
University of Michigan（密歇根大学）；LG AI Research（LG AI研究院）
针对预训练扩散模型无配对图像到图像转换一致性不足的问题，提出引入循环一致性的CycleNet框架，在多粒度任务上表现更优，数据需求低、训练算力要求小，还新增了物体物理状态变化研究数据集。
2024-03-09 cs.AI cs.CV cs.LG
MixCycle: Mixup Assisted Semi-Supervised 3D Single Object Tracking with Cycle Consistency
Northwestern Polytechnical University（西北工业大学）；China University of Geosciences, Wuhan（中国地质大学（武汉））；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出首个半监督三维单目标跟踪方法 MixCycle，通过自跟踪与前向-后向循环一致性及 SOTMixup 增强，在 KITTI 上以少量标签显著超越全监督 P2B。
2023-08-16 cs.CV
Temporal Cycle-Consistency Learning
Google Brain（谷歌大脑）；DeepMind（深度思考（DeepMind））
我们介绍了一个自我监督的表示学习方法的基础上的视频之间的时间对齐的任务。该方法使用时间周期一致性（TCC）来训练网络，时间周期一致性是一种可区分的周期一致性损失，可用于在多个视频中查找跨时间的对应关系。由此产生的每帧嵌入可以用于通过使用学习的嵌入空间中的最近邻居简单地匹配帧来对齐视频。为了评估嵌入的能力，我们密集地标记了Pouring和Penn Action视频数据集的动作阶段。我们表明，（i）学习的嵌入使这些动作阶段的Few-Shot分类，显着降低了监督训练要求;（ii）TCC是视频中其他自监督学习方法的补充，如洗牌和学习以及时间对比网络。嵌入还用于基于视频对之间的对准（密集时间对应）的许多应用，包括视频之间的同步模态的元数据（声音、时间语义标签）的传输、多个视频的同步回放以及异常检测。项目网页：https://sites.google.com/view/temporal-cycle-consistency。
2019-04-16 cs.CV cs.LG
