Improving Whole Slide Segmentation Through Visual Context - A Systematic Study
Oxford NIHR Biomedical Research Centre (BRC)（牛津国家健康研究所生物医学研究中心）；John Radcliffe Hospital（约翰·拉德克利夫医院）
虽然具有挑战性，但组织学图像的密集分割是评估组织结构和细胞形态变化的必要第一步。虽然特定的卷积神经网络架构已经成功地应用于该问题，但很少有效地结合来自多个尺度的视觉上下文信息。在本文中，我们提出了一个系统的比较不同的架构，以评估如何包括多尺度信息影响分割性能。本研究使用了公开的乳腺癌和当地收集的前列腺癌数据集。研究结果支持我们的假设，视觉环境和规模发挥了至关重要的作用，在组织学图像分类问题。
2018-06-11 cs.CV
VSE++: Improving Visual-Semantic Embeddings with Hard Negatives
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Google Brain（谷歌大脑）
我们提出了一种新的技术，学习视觉语义嵌入的跨模态检索。受硬否定挖掘、硬否定在结构化预测中的使用以及排名损失函数的启发，我们对用于多模态嵌入的常见损失函数进行了简单的更改。这与微调和使用增强数据相结合，在检索性能方面产生了显着的收益。我们展示了我们的方法，VSE++，在MS-COCO和Flickr 30 K数据集上，使用消融研究和与现有方法的比较。在MS-COCO上，我们的方法在标题检索和图像检索方面分别比最先进的方法高出8.8%和11.3%（在R@1）。
2018-07-29 cs.CL cs.CV cs.LG
Toward Improving the Evaluation of Visual Attention Models: a Crowdsourcing Approach
University of Siena（锡耶纳大学）
人类的视觉注意是一个复杂的现象。这种现象的计算建模必须考虑到人们在哪里看，以评估哪些是突出的位置（注视的空间分布），当他们在这些位置看时，以了解探索的时间发展（注视的时间顺序），以及他们如何从一个位置移动到另一个位置，相对于场景的动态和眼睛的力学（动态）。最先进的模型专注于从人类数据中学习显着性图，这个过程只考虑了现象的空间成分，而忽略了其时间和动态对应物。在这项工作中，我们专注于人类视觉注意模型的评价方法。我们强调了显着性预测和扫描路径相似性的当前度量的局限性，并且我们引入了用于评估模拟眼球运动的动态的统计测量。虽然深度学习模型在显著性预测方面取得了惊人的性能，但我们的分析显示了它们在捕捉过程动态方面的局限性。我们发现，无监督的引力模型，尽管他们的简单，优于所有的竞争对手。最后，利用一个众包平台，我们提出了一项研究，旨在评估如何强烈的无监督重力模型产生的扫描路径似乎合理的天真和专家的人类观察员。
2020-05-07 cs.CV cs.LG
Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation
The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Tencent AI Lab（腾讯AI实验室）；University of Rochester（罗切斯特大学）
弱监督短语接地旨在仅使用图像-句子对来学习区域-短语对应关系。因此，一个主要的挑战在于训练过程中图像区域和句子短语之间的缺失链接。为了解决这一挑战，我们利用一个通用的对象检测器在训练时，并提出了一个对比学习框架，占区域短语和图像句子匹配。我们的核心创新是学习区域短语得分函数，在此基础上进一步构建图像句子得分函数。重要的是，我们的区域-短语得分函数是通过从图像-句子对内检测到的对象名称和候选短语之间的软匹配得分中提取来学习的，而图像-句子得分函数是由地面实况图像-句子对监督的。这种评分函数的设计消除了在测试时进行目标检测的需要，从而显著降低了推理成本。在没有花里胡哨的情况下，我们的方法在视觉短语基础上实现了最先进的结果，超过了以前在测试时需要昂贵的对象检测器的方法。
2021-04-25 cs.CV cs.LG
ViCToR: Improving Visual Comprehension via Token Reconstruction for Pretraining LMMs
ViCToR提出了一种新型LMMs预训练框架，通过可学习的视觉token池、匈牙利匹配算法进行token替换，并结合视觉token重建损失与密集语义监督，有效缓解了模态表示鸿沟，在多个基准上取得SOTA表现。
2025-08-13 cs.CV
Improving Visual Reasoning with Iterative Evidence Refinement
本文提出SIEVE框架，利用模型内部信号直接支持图像 grounded 推理，通过强化学习指导视觉重访，提升多基准性能8%。
2026-03-14 cs.CV
Repaint: Improving the Generalization of Down-Stream Visual Tasks by Generating Multiple Instances of Training Examples
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
用于视觉任务的卷积神经网络（CNN）被认为在整个网络深度中学习低级纹理和高级对象属性。本文进一步研究了CNN中的“纹理偏差”。为此，我们重新生成多个实例的训练样本从每个原始图像，通过一个过程，我们称之为“重绘”。重新绘制的示例保留了场景中区域和对象的形状和结构，但使其纹理和颜色多样化。我们的方法可以在不同的日光，季节或天气条件下再生相同的图像，可以具有着色或脱色效果，甚至可以从黑色区域带回一些纹理信息。就地重绘允许我们进一步使用这些重绘的示例来改进CNN的泛化。通过一组广泛的实验，我们证明了重新绘制的示例在训练中的有用性，用于图像分类（ImageNet）和目标检测（COCO）的任务，在不同容量的几种最先进的网络架构中，以及在不同的数据可用性制度中。
2021-10-20 cs.AI cs.CV cs.LG
PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition
University of Edinburgh（爱丁堡大学）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
本研究提出面向视觉识别的非分层SSM架构PlainMamba，通过连续2D扫描与方向感知更新优化Mamba的选择性扫描，在多视觉任务上性能优于同类非分层模型，高分辨率任务下计算成本更低。
2024-08-15 cs.CV cs.LG
Focusing On Targets For Improving Weakly Supervised Visual Grounding
Toshiba Corporation（东芝公司）
弱监督视觉基础旨在预测图像中对应于特定语言查询的区域，其中目标对象和查询之间的映射在训练阶段是未知的。最先进的方法使用视觉语言预训练模型从Grad-CAM中获取热图，Grad-CAM将每个查询词与图像区域相匹配，并使用组合的热图对区域建议进行排名。在本文中，我们提出了两个简单而有效的方法来改善这种方法。首先，我们提出了一个目标感知裁剪方法，鼓励模型学习对象和场景级语义表示。其次，我们应用依存句法分析来提取与目标对象相关的词，然后在热图组合中强调这些词。我们的方法在RefCOCO、RefCOCO+和RefCOCOg上明显优于以前的SOTA方法。
2023-02-22 cs.CV
Improving Visual Storytelling with Multimodal Large Language Models
Henan Polytechnic University（河南理工大学）
本文提出结合LLMs与LVLMs并通过指令微调、监督学习和强化学习改进视觉叙事生成，实验表明其在连贯性、相关性、情感深度和整体质量上显著优于现有模型。
2024-07-02 cs.CV
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统，这是能够学习分离的声音，并将它们与屏幕上的对象，通过在野外的视频。我们确定了以前的工作的限制，视听屏幕上的声音分离，包括简单性和粗分辨率的时空注意力，和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题，这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系，并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法，通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力，只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练，我们从一个大型的野外视频数据库（YFCC 100m）中收集了屏幕上音频的人类注释。我们的研究结果表明，在屏幕上的分离性能显着改善，在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Improving Streaming Video Segmentation with Early and Mid-Level Visual Processing
University of California San Diego（加州大学圣地亚哥分校）；Korea Electronics Technology Institute（韩国电子技术研究院）；Cornell NYC Tech（康奈尔纽约科技学院）
尽管最近在视频分割方面取得了进展，但仍然有许多机会使用各种低级别和中等级别的视觉线索来改进它。我们提出了改进的领先的基于流图的分层视频分割（streamGBH）方法的基础上早期和中期的视觉处理。我们的方法的广泛的实验分析验证了改进的分层超体素表示，将运动和颜色与有效的过滤。我们还提出并阐明了一些开放的问题，对中级视频分析作为进一步扩展streamGBH。我们利用超体素作为对占主导地位的仿射运动区域的估计的初始化，然后合并这样的运动区域，以分层分割的视频在一个新的运动分割框架，其目的是在后续的应用程序，如前景识别。
2014-02-14 cs.CV
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性，而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此，我们开发了一种名为“vokenization”的技术，通过将语言标记映射到其相关图像（我们称之为“vokens”），将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的，然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练，我们的视觉监督语言模型在多个纯语言任务（如GLUE，SQuAD和SWAG）上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
University of Bonn（波恩大学）
姿态估计和地图构建是自主机器人的核心组成部分，通常依赖于传感器数据的配准。在本文中，我们研究了一种新的度量注册的图像，建立在光度误差的想法。我们的方法结合了梯度方向为基础的度量与幅度相关的缩放项。我们集成到立体声估计以及视觉里程计系统，并显示出明显的优势，典型的差距和直接图像配准任务时，使用我们提出的度量。我们的实验评估表明，我们的度量导致更强大，更准确的估计场景深度以及相机轨迹。因此，该度量提高了相机姿态估计，进而提高了移动机器人的映射能力。我们相信，一系列现有的视觉里程计和视觉SLAM系统可以受益于本文报道的研究结果。
2020-04-08 cs.CV
Improving Monocular Visual Odometry Using Learned Depth
The University of Adelaide（阿德莱德大学）；The University of Hong Kong（香港大学）；Northwest A&F University（西北农林科技大学）；CSIRO Data61（联邦科学与工业研究组织数据61研究所）；Zhejiang University（浙江大学）
单目视觉里程计（VO）是机器人学和计算机视觉中的一个重要课题。到目前为止，如何建立准确和强大的单目VO系统，可以很好地工作在不同的场景仍然在很大程度上没有解决。在本文中，我们提出了一个框架，利用单目深度估计，以改善VO。我们的框架的核心是一个单目深度估计模块，具有强大的泛化能力，为不同的场景。它由两个独立的工作模式组成，以协助定位和映射。利用单个单目图像输入，深度估计模块预测相对深度以帮助定位模块提高准确度。利用稀疏深度图和RGB图像输入，深度估计模块可以生成用于密集映射的精确的尺度一致深度。与现有的基于学习的VO方法相比，该方法对不同场景具有更强的泛化能力。更重要的是，我们的框架能够大幅提升现有基于几何的VO方法的性能。
2022-04-04 cs.CV
Improving Visual Recognition with Hyperbolical Visual Hierarchy Mapping
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
本文提出视觉层次映射器 Hi-Mapper，通过预定义概率密度层次树并在双曲空间中用层次对比损失学习视觉层次关系，从而增强预训练深度神经网络的场景结构化理解与识别性能。
2024-04-01 cs.CV
Improving Visual Recognition using Ambient Sound for Supervision
New York University（纽约大学）
我们的大脑将视觉和听觉结合起来，创造出对世界更精细的解释。当视觉输入不足时，丰富的声音可以用来描述我们的周围环境。由于每天有超过1，000小时的视频上传到互联网上，因此手动注释这些视频即使不是不可能，也是非常困难的。因此，将音频与没有注释的视觉数据结合起来，对于利用这种数据爆炸来识别和理解对象和场景至关重要。Owens等人提出，通过使用卷积神经网络来预测与给定视频帧相关联的声音纹理，可以学习物理世界的丰富表示。我们试图从他们的实验中复制这些声明，其中的代码是不可公开的。此外，我们提出了改进的借口任务，导致在其他下游计算机视觉任务的性能更好。
2019-12-25 cs.CV
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习（Zero-shot learning，简称ZRL）高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近，从大型文本语料库中预训练的分布式词嵌入（DWE）已成为绘制这种连接的流行选择。与人类定义的属性相比，DWE具有更好的可扩展性和更容易获得。然而，它们被设计为反映语义相似性而不是视觉相似性，因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异，这项工作提出了一个目标函数，通过学习神经网络将其映射到一个新的表示，称为视觉对齐的词嵌入（VAWE）的视觉信息重新对齐的分布式词嵌入。因此，VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意，在这项工作中，我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法，而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估，VAWE表现出一致的性能改善。
2017-07-18 cs.CV
AVA-VLA: Improving Vision-Language-Action models with Active Visual Attention
LiAuto Inc.（LiAuto公司）；Beijing University of Technology（北京理工大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对VLA模型忽视历史信息的问题，提出AVA-VLA框架，利用循环状态近似信念并引入主动视觉注意力动态重加权视觉令牌，在LIBERO和CALVIN等基准上取得最优性能。
2026-06-16 cs.CV cs.LG cs.RO
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
可视化对话是一项具有挑战性的视觉语言任务，因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解，但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT，分析了视觉对话中的跨模态理解问题，提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入（即拉取图像、问题或答案）来增强跨模态理解。此外，ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解，以处理多轮视觉接地对话。实验结果表明，该方法提高了可视化对话模型的跨模态理解能力，在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling
The Hong Kong University of Science and Technology（香港科技大学）
下采样被广泛采用，以实现视觉识别的准确性和延迟之间的良好权衡。不幸的是，通常使用的池化层没有学习，因此不能保留重要信息。作为另一种降维方法，自适应采样对与任务相关的区域进行加权和处理，从而能够更好地保留有用信息。然而，自适应采样的使用仅限于某些层。在本文中，我们证明了在深度神经网络的构建块中使用自适应采样可以提高其效率。特别是，我们提出了SSBNet，它是通过将采样层重复插入现有网络（如ResNet）来构建的。实验结果表明，该SSBNet在ImageNet和COCO数据集上均能实现具有竞争力的图像分类和目标检测性能.例如，SSB-ResNet-RS-200在ImageNet数据集上实现了82.6%的准确率，比基线ResNet-RS-152高出0.6%，具有类似的复杂性。可视化显示了SSBNet在允许不同层聚焦于不同位置方面的优势，消融研究进一步验证了自适应采样优于统一方法的优势。
2022-07-23 cs.AI cs.CV cs.LG
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Nanyang Technological University（南洋理工大学）；Rice University（莱斯大学）；Alibaba AI Labs（阿里巴巴人工智能实验室）
文本-视觉跨模态检索一直是计算机视觉和自然语言处理领域的研究热点。学习多模态数据的适当表示对于跨模态检索性能至关重要。与现有的图像-文本检索方法，嵌入图像-文本对作为单一的特征向量在一个共同的表示空间，我们建议将生成过程的跨模态特征嵌入，通过它，我们不仅能够学习的全球抽象功能，但也本地接地功能。实验结果表明，该框架能够很好地匹配内容复杂的图像和句子，并在MSCOCO数据集上取得了较好的跨模态检索效果。
2018-06-13 cs.CV
ReToken: Improving Long-Context VLMs with Visual Retrieval Token
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Google DeepMind（谷歌DeepMind）
该研究提出轻量级ReToken，通过选择视觉键值缓存中与查询相关的稀疏标记解决长视觉上下文的视觉检索难题，在多基准测试中提升Qwen3VL-8B等模型性能，且可在单H100运行。
2026-10-08 cs.AI cs.CV cs.LG
Improving Deep Visual Representation for Person Re-identification by Global and Local Image-language Association
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Xi’an Jiaotong University（西安交通大学）
人的再识别是一项重要的任务，需要学习区分不同的人的身份的区别性视觉特征。各种辅助信息已被用来改善视觉特征学习。在本文中，我们建议利用自然语言描述作为额外的训练监督有效的视觉功能。与其他辅助信息相比，语言可以从更紧凑、更语义化的视觉角度描述特定的人，是像素级图像数据的补充。我们的方法不仅学习更好的全局视觉特征的监督下的整体描述，但也强制执行本地视觉和语言特征之间的语义匹配，这是通过建立全球和本地图像语言协会。全局图像-语言关联是根据身份标签建立的，而局部关联是基于图像区域和名词短语之间的隐式对应关系。大量的实验证明了使用语言作为训练监督的有效性。我们的方法实现了最先进的性能，在测试过程中不使用任何辅助信息，并表现出更好的性能比其他联合嵌入方法的图像-语言的关联。
2018-08-05 cs.CV
Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；The Chinese University of Hong Kong（香港中文大学）
视觉基础是定位由自然语言表达指示的目标的任务。现有的方法将通用的目标检测框架扩展到这个问题。它们将视觉基础建立在预先生成的提案或锚点的特征上，并将这些特征与文本嵌入融合，以定位文本提到的目标。然而，从这些预定义的位置建模视觉特征可能无法充分利用文本查询中的视觉上下文和属性信息，这限制了它们的性能。在本文中，我们提出了一个基于transformer的框架，通过建立文本条件的歧视性特征和执行多阶段的跨模态推理准确的视觉接地。具体来说，我们开发了一个视觉语言验证模块，将视觉特征集中在与文本描述相关的区域，同时抑制不相关的区域。一个语言引导的特征编码器也被设计来聚合目标对象的视觉上下文，以提高对象的独特性。为了从编码的视觉特征中检索目标，我们进一步提出了一个多阶段的跨模态解码器，以迭代地推测图像和文本之间的相关性，以实现准确的目标定位。在五个广泛使用的数据集上进行的大量实验验证了我们提出的组件的有效性，并展示了最先进的性能。我们的代码在https://github.com/yangli18/VLTVG上公开。
2022-06-08 cs.CV
Visible to Thermal image Translation for improving visual task in low light conditions
University of Maryland, Baltimore County (UMBC)（马里兰大学巴尔的摩县分校）
针对低光照下RGB图像视觉任务难度高的问题，提出基于GAN的端到端可见光-热红外图像翻译框架，经无人机采集数据训练验证可行，能低成本快速生成热红外数据，可用于安保监控。
2023-11-09 cs.CV cs.LG eess.IV
Visual Text Matters: Improving Text-KVQA with Visual Text Entity Knowledge-aware Large Multimodal Assistant
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
针对 Text-KVQA，本文提出 VisTEL 视觉文本实体链接模块与 KaLMA 知识增强多模态助手，在三个划分上较此前最佳方法绝对提升 23.3%。
2024-10-24 cs.AI cs.CL cs.CV
Improving Monocular Visual-Inertial Initialization with Structureless Visual-Inertial Bundle Adjustment
University of Luxembourg（卢森堡大学）
针对单目VIO初始化中结构重建计算量大且无结构方法精度受限的问题，提出无结构视觉惯性光束法平差以优化初始解，在真实数据集上显著提升精度并保持实时性。
2025-02-23 cs.CV cs.RO
Improving Robot Localisation by Ignoring Visual Distraction
University of Surrey（萨里大学）
注意力是现代深度学习的重要组成部分。然而，很少有人强调它的反面：忽视分心。我们的日常生活要求我们明确地避免注意那些混淆我们试图完成的任务的显著视觉特征。这种视觉优先级使我们能够专注于重要的任务，而忽略视觉干扰。在这项工作中，我们引入了神经盲，它使代理能够完全忽略被视为干扰物的对象或类。更明确地说，我们的目标是使一个神经网络完全无法表示其潜在空间中的特定选择类。在一个非常真实的意义上，这使得网络对某些类“盲目”，允许代理专注于对给定任务重要的内容，并演示了如何使用它来改进本地化。
2021-07-25 cs.CV cs.RO
Improving One-stage Visual Grounding by Recursive Sub-query Construction
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）
我们通过解决目前对长时间和复杂查询的限制来改进一阶段视觉接地。现有的一阶段方法将整个语言查询编码为单个句子嵌入向量，例如，从BERT中获取嵌入或从LSTM中获取隐藏状态。这种单一的向量表示容易忽略查询中的详细描述。为了解决这一查询建模的不足，我们提出了一个递归的子查询构造框架，该框架在图像和查询之间进行多轮推理，并逐步减少引用歧义。我们展示了我们的新一阶段方法在ReferItGame，RefCOCO，RefCOCO+和RefCOCOg上分别获得了5.0%，4.5%，7.5%，12.8%的绝对改进。特别是，在更长和更复杂的查询上的卓越性能验证了我们的查询建模的有效性。
2020-08-03 cs.CV
Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；ByteDance Inc.（字节跳动公司）
本文提出 iPromptDiff，通过端到端视觉编码器将视觉上下文调制文本提示嵌入，并结合 ControlNet，提升扩散模型在新视觉任务上的上下文学习能力与鲁棒性。
2023-12-03 cs.CV
Improving Generalization in Visual Reinforcement Learning via Conflict-aware Gradient Agreement Augmentation
Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院）
本文针对视觉强化学习中数据增强导致的梯度冲突和方差问题，提出CG2A框架，通过梯度一致性求解器和软梯度手术策略自适应平衡梯度并缓解冲突，显著提升了算法的泛化性能与样本效率。
2023-08-02 cs.CV
Self-Improving Visual Odometry
Magic Leap, Inc.（Magic Leap公司）
我们提出了一个自监督学习框架，该框架使用未标记的单目视频序列来生成大规模的监督，用于训练视觉里程计（VO）前端，这是一种计算图像之间逐点数据关联的网络。我们的自我改进方法使VO前端能够随着时间的推移而学习，不像其他VO和SLAM系统需要耗时的手动调整或昂贵的数据汇集来适应新的环境。我们提出的前端在单目图像上操作，由一个多任务卷积神经网络组成，该网络输出2D关键点位置、关键点描述符和一个新的点稳定性得分。我们使用VO的输出来创建点对应的自监督数据集，以重新训练前端。当在ScanNet的250万张单目图像上使用VO进行大规模训练时，稳定性分类器会自动发现不太可能对VO有帮助的关键点的排名，例如深度不连续性的t型连接，阴影和高光特征以及动态对象，如人。由此产生的前端在ScanNet上的3D到2D姿态估计任务中优于传统方法（SIFT、ORB、AKAZE）和深度学习方法（SuperPoint和LF-Net）。
2018-12-08 cs.CV
CNN-SVO: Improving the Mapping in Semi-Direct Visual Odometry Using Single-Image Depth Prediction
University of Alberta（阿尔伯塔大学）；Universiti Putra Malaysia（马来西亚博特拉大学）
帧间可靠的特征对应是视觉里程计（VO）和视觉同时定位与地图构建（V-SLAM）算法的关键步骤。与现有的VO和V-SLAM算法相比，半直接视觉里程计（SVO）具有两个主要优点，导致最先进的帧速率相机运动估计：直接像素对应和概率映射方法的有效实现。本文根据单图像深度预测网络的深度预测，通过初始化特征位置处深度的均值和方差，改进了SVO映射。通过显著地减少初始化地图点的深度不确定性（即，以深度预测为中心的小方差），益处是双重的：视图之间的可靠特征对应以及快速收敛到真实深度以便创建新的映射点。我们用两个室外数据集：KITTI数据集和Oxford Robotcar数据集来评估我们的方法。实验结果表明，改进后的SVO映射方法提高了鲁棒性和摄像机跟踪精度。
2018-10-01 cs.CV
The Dialog Must Go On: Improving Visual Dialog via Generative Self-Training
Seoul National University（首尔国立大学）；AIIS（人工智能与信息科学研究所）；NAVER AI Lab（NAVER人工智能实验室）；NAVER Cloud CLOVA（NAVER云CLOVA）
可视化对话（VisDial）是一项使用对话历史作为上下文，回答基于图像的一系列问题的任务。先前的工作已经通过监督学习或利用相关视觉和语言数据集的预训练，仅在VisDial数据上训练对话代理。本文提出了一种半监督学习方法，称为生成式自训练（GST），利用未标记的图像在Web上的视觉接地对话。具体而言，GST首先检索域内图像通过分布外检测，并生成合成对话框的图像通过多模态条件文本生成。GST然后在合成和原始VisDial数据上训练对话代理。因此，GST将训练数据的量扩展到VisDial的数量级（1.2M到12.9M QA数据）。对于合成对话框的鲁棒训练，我们还提出了基于困惑的数据选择和多模态一致性正则化。对VisDial v1.0和v0.9数据集的评估表明，GST在两个数据集上都取得了最新的结果。我们进一步观察GST对视觉和文本对抗攻击的鲁棒性。最后，GST在低数据状态下产生了强劲的性能提升。代码可在https://github.com/gicheonkang/gst-visdial上获得。
2023-03-02 cs.CL cs.CV cs.LG
ViCE: Improving Dense Representation Learning by Superpixelization and Contrasting Cluster Assignment
Tier IV Inc.（Tier IV公司）
最近的自监督模型已经证明了与监督方法相同或更好的性能，为AI系统从几乎无限的数据中学习视觉表示打开了大门。然而，这些方法通常是基于分类的，因此对于学习保留精确空间信息的高分辨率特征图无效。这项工作引入超像素，以提高密集的语义丰富的视觉概念嵌入的自监督学习。将图像分解成一小组视觉上连贯的区域，在保留细节的同时，通过$\mathcal{O}(1000)$降低了计算复杂性。我们的实验表明，对比区域提高了对比学习方法的有效性，将其适用性扩展到高分辨率图像，提高过聚类性能，超像素优于网格，区域掩蔽提高了性能。通过改进Cityscapes上的SOTA无监督语义分割基准和COCO上的卷积模型，证明了我们密集嵌入的表现力。
2022-10-07 cs.CV cs.LG stat.ML
Seeing is Improving: Visual Feedback for Iterative Text Layout Refinement
University of Science and Technology of China（中国科学技术大学）；Shenzhen University（深圳大学）
本文提出VFLM模型，通过视觉反馈迭代优化文本布局，提升生成质量，实验表明其优于现有方法。
2026-03-23 cs.AI cs.CV
AutoVQA-G: Self-Improving Agentic Framework for Automated Visual Question Answering and Grounding Annotation
School of Artificial Intelligence（人工智能学院）
本文提出AutoVQA-G框架，通过迭代优化流程提升视觉问答接地标注的准确性，优于现有多模态LLM，为构建高质量数据促进更稳健的视觉语言模型训练提供新方法。
2026-04-19 cs.CV
OmniTaskonomy: When Does Visual Generation Improve Visual Understanding?
University of California, Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Elorian；Impossible Research
本研究通过OmniTaskonomy分类体系系统探究视觉生成监督对视觉理解的影响，发现特定生成任务能选择性提升对应理解能力，且梯度对齐程度与迁移增益正相关，为视觉理解训练提供指导。
2026-09-30 cs.CV
BRAVEn: Improving Self-Supervised Pre-training for Visual and Auditory Speech Recognition
Imperial College London（帝国理工学院）
本文提出 BRAVEn，通过扩展 RAVEn 并利用大规模未标注音视频数据进行自监督预训练，在仅 30 小时标注数据下于 LRS3 上取得 VSR 20.0%、ASR 1.7% 词错误率的最先进结果。
2024-04-02 cs.CV
A Look at Improving Robustness in Visual-inertial SLAM by Moment Matching
Aalto University（阿尔托大学）；Spectacular AI；FCAI（芬兰人工智能中心）
相机传感器和惯性数据的融合是自主和智能设备中自我运动跟踪的主要方法。依赖于非线性滤波的状态估计技术是用于解决相关信息融合任务的强范例。在这个空间中的事实上的推理方法是著名的扩展卡尔曼滤波器（EKF），它依赖于一阶线性化的动态和测量模型。本文采取了批判性的眼光在EKF的实际影响和限制，特别是在故障的视觉特征协会和存在强干扰噪声。作为一种替代方案，我们重新审视贝叶斯滤波的假设密度公式，并采用矩匹配（无迹卡尔曼滤波）的方法来进行视觉惯性里程计和视觉SLAM。我们的研究结果突出了在动态传播和视觉测量更新的鲁棒性方面的重要方面，并且我们在EuRoC MAV无人机数据基准上显示了最先进的结果。
2022-05-27 cs.CV cs.RO
Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference
KAIST（韩国科学技术院）
提出RESTORE框架，通过校准位置和注意力失真来改进视觉令牌减少，在保持效率的同时提升多模态大语言模型性能。
2026-06-18 cs.CV
Improving Video Compression With Deep Visual-Attention Models
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
深度学习的最新进展显着提高了视觉注意力建模的质量。在这项工作中，我们将这些进展应用到视频压缩。我们提出了一种压缩方法，使用显着性模型，自适应压缩帧区域根据其预测的显着性。我们选择了三个国家的最先进的显着性模型，适用于视频压缩，并分析他们的结果。分析包括模型的客观评价以及压缩视频的客观和主观评价。我们的方法，这是基于x264视频编解码器，可以产生视频与普通x264相同的视觉质量，但它减少了25%的比特率根据客观评价和17%根据主观的。此外，主观和客观的评估表明，显着性模型可以与凝视地图的一个单一的观察者。我们的方法可以扩展到大多数视频比特流格式，并可以提高视频压缩质量，而不需要切换到一个新的视频编码标准。
2019-03-19 cs.CV
Improving Medical Visual Representations via Radiology Report Generation
MIT Lincoln Laboratory（林肯实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；BIDMC（贝斯以色列女执事医疗中心）
本文提出面向放射学的CNN编码器-Transformer解码器模型RadTex，以双向报告生成作为MVLP策略，在CheXpert上达到89.4% macro-AUC，并能生成临床报告与交互式响应。
2025-01-10 cs.CV
NeoNav: Improving the Generalization of Visual Navigation via Generating Next Expected Observations
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The University of Maryland（马里兰大学）；National University of Defense Technology（国防科技大学）
我们建议通过学习一个智能体来提高视觉导航的跨目标和跨场景泛化能力，该智能体通过构思它期望看到的下一个观察结果来指导。这是通过学习变分贝叶斯模型（称为NeoNav）来实现的，该模型根据代理和目标视图的当前观察结果生成下一个预期观察结果（NEO）。我们的生成模型通过优化包含两个关键设计的变分目标来学习。首先，潜在分布是以当前观察和目标视图为条件的，从而导致基于模型的目标驱动的导航。第二，潜在空间用以当前观察和下一个最佳动作为条件的高斯混合模型建模。我们使用混合后验先验有效地解决了过度正则化潜在空间的问题，从而显着提高了新目标和新场景的模型泛化能力。此外，近地天体生成模拟了主体与环境相互作用的前向动态，这提高了近似推理的质量，从而有利于数据效率。我们对真实世界和合成基准进行了广泛的评估，并表明我们的模型在成功率，数据效率和泛化方面始终优于最先进的模型。
2022-01-10 cs.CV cs.LG cs.RO
Improving the Accuracy of Stereo Visual Odometry Using Visual Illumination Estimation
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）
在缺乏可靠、准确的GPS定位系统的情况下，视觉里程计（VO）已成为估计机器人自运动的一种有效手段。像任何航位推算技术一样，VO遭受漂移误差随时间的无限累积，但是这种累积可以通过结合来自例如太阳传感器的绝对取向信息来限制。在本文中，我们利用最近的工作对视觉户外照明估计表明，在立体VO管道的估计误差可以通过推断太阳的位置，从用于计算VO相同的图像流，从而获得太阳感应的好处，而不需要一个专用的太阳传感器或太阳是可见的相机。我们比较了基于手工制作的视觉线索和卷积神经网络（CNN）的太阳估计方法，并在流行的KITTI数据集的7.8公里城市驾驶上展示了我们的方法，与纯VO相比，平移平均均方根误差（ARMSE）降低了43%，最终平移漂移误差降低了59%。
2019-08-08 cs.CV cs.RO
CAE-AV: Improving Audio-Visual Learning via Cross-modal Interactive Enrichment
School of Information Science and Engineering, East China University of Science and Technology (ECUST)（信息科学与工程学院，东华大学）
CAE-AV通过跨模态交互增强框架，解决音频-视觉学习中的模态不对齐问题，提升表示质量和任务性能。
2026-02-09 cs.CV
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University（莫纳什大学）
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题，研究用前沿人体感知跟踪模型优化Pepper机器人视觉，通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
Point-RFT: Improving Multimodal Reasoning with Visually Grounded Reinforcement Finetuning
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft（微软公司）
Point-RFT提出视觉接地思维链与两阶段微调，在ChartQA上准确率达90.04%，超越纯文本CoT，并展现出跨基准的强泛化能力。
2025-05-26 cs.CV
Improving Automated Visual Fault Detection by Combining a Biologically Plausible Model of Visual Attention with Deep Learning
Chemnitz University of Technology（开姆尼茨工业大学）
将生物处理原理以及人类识别能力转移到机器视觉和工程系统中是一个长期目标。其中一个原则是视觉注意力，这是一个聪明的人类概念，它将处理集中在场景的一部分上。在这篇文章中，我们利用注意力来改进半导体制造领域中晶片缺陷模式的自动检测。该领域以前的工作通常使用经典的机器学习方法，如KNN，SVM或MLP，而一些已经使用现代方法，如深度神经网络（DNN）。然而，该领域中的一个问题是，故障通常非常小，并且必须在更大尺寸的芯片甚至晶片内检测。因此，必须在大量的图像数据中检测像素大小的小结构。人类大脑解决这个问题的一个有趣的原则是视觉注意力。因此，我们在这里采用一个生物学上合理的模型，自动视觉检查的视觉注意。我们提出了一个视觉注意和深度神经网络的混合系统。如所示，我们的系统实现了其他决定性的优势，准确性从81%提高到92%，检测故障的准确性从67%提高到88%。因此，对于检测芯片中的故障，出错率从19%降低到8%，特别是从33%降低到12%。这些结果表明，注意力可以大大提高视觉检测系统的性能。此外，我们进行了广泛的评估，确定生物注意力模型在此应用中的具体优势，并将标准深度学习方法作为有注意力和无注意力的替代方案。这项工作是在“IECON 2020”上发表的原始会议文章的扩展arXiv版本，该文章在视觉注意力方面进行了扩展。
2021-02-13 cs.AI cs.CV cs.LG
Improving Visual Feature Extraction in Glacial Environments
University of Arizona（亚利桑那大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
冰川科学可以从自主机器人中受益匪浅，但以前的冰川机器人在这些无色和无特征的环境中存在感知问题，特别是视觉特征提取。这意味着视觉里程计和视觉导航失败。冰川学家使用近红外图像来揭示雪和冰的潜在异质空间结构，我们的理论是，这种隐藏的近红外结构可以产生比可见光更多和更高质量的特征。我们带着一个定制的摄像机去了山上的冰屋洞。去圣海伦斯验证我们的理论。相机装备包含两个相同的机器视觉相机，其中一个配备了多个滤光片，只能看到近红外光。我们提取的功能，从短视频剪辑内的冰屋洞在山。St. Helens，使用三种流行的特征提取器（FAST，SIFT和SURF）。我们量化的视觉导航的功能和质量的数量，通过比较得到的方向估计地面真相。我们的主要贡献是使用近红外长通滤波器，以提高视觉功能的数量和质量在冰冷的地形，无论使用的特征提取器。
2019-11-30 cs.CV cs.RO
AVT2-DWF: Improving Deepfake Detection with Audio-Visual Fusion and Dynamic Weighting Strategies
针对多模态Deepfake检测挑战，提出AVT2-DWF框架，通过音视频双Transformer提取时空特征，并利用动态权重融合解决异构信息融合问题，在多个数据集上实现了最先进的检测性能。
2024-03-22 cs.CV
What Matters, When? Diagnosing and Improving Conditional Visual Grounding in Visuomotor Imitation Policies
Fraunhofer Institute for Production Systems and Design Technology IPK（弗劳恩霍夫生产系统与设计技术研究所IPK）；Technische Universität Berlin（柏林工业大学）
该研究针对视觉运动模仿策略在引入相似物体时的目标选择失效问题，以ACT为基础提出三类互补干预措施，在仿真和物理UR3e机器人上提升了鲁棒性，还验证了其在预训练视觉-语言-动作策略上的通用性。
2026-09-07 cs.AI cs.CV cs.RO
Visualizing and Improving Scattering Networks
University of Cambridge（剑桥大学）
由Mallat引入的散射变换（或散射网）是创建用于模式识别和图像分类任务的定义良好的特征提取器的一个有希望的开始。由于它们与卷积神经网络（CNN）的结构相似，它们特别令人感兴趣，同时不需要参数学习并且仍然表现得非常好（特别是在约束分类任务中）。在本文中，我们可视化了ScatterNet的深层对使用“DeScatterNet”敏感。我们发现，更高的订单ScatterNets是敏感的复杂的，边缘样的模式（棋盘和波纹边缘）。这些复杂的模式可能对纹理分类有用，但与卷积神经网络（CNN）的第二层和第三层中可视化的模式非常不同-当前最先进的图像分类器。我们认为这可能是ScatterNets和CNN之间当前性能差距的来源（ScatterNet+SVM与ResNet在CIFAR-10上的83%与93%）。然后，我们使用这些可视化工具对ScatterNet设计提出可能的增强，这表明它们有能力提取更接近CNN的特征，同时仍然定义良好，并具有ScatterNet的基本不变性。
2017-09-05 cs.CV
