Barycenters of Natural Images -- Constrained Wasserstein Barycenters for Image Morphing
Technion（以色列理工学院）
图像插值或图像变形是指两个（或更多）输入图像之间的视觉过渡。为了使这种过渡看起来在视觉上吸引人，其期望的特性是（i）平滑;（ii）在图像中应用最小的所需变化;以及（iii）看起来“真实”，避免过渡中的每个图像中的不自然伪影。为了获得平滑和直接的过渡，可以采用著名的Wasserstein重心问题（WBP）。虽然这种方法保证了Wasserstein度量下的最小变化，但结果图像可能看起来不自然。在这项工作中，我们提出了一种新的方法，图像变形，拥有所有三个所需的属性。为此，我们定义了一个受约束的变体的WBP，强制执行的中间图像，以满足图像先验。我们描述了一个算法，解决了这个问题，并证明它使用稀疏先验和生成对抗网络。
2019-12-24 cs.CV
TECCI: Tricky Edits of Collected and Curated Images
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
提出TECCI基准，包含7550对图像与编辑指令，通过人工与自动评估揭示现有图像编辑模型在指令遵循、最小编辑和视觉质量方面的不足。
2026-05-31 cs.AI cs.CL cs.CV
RelationAdapter: Learning and Transferring Visual Relation with Diffusion Transformers
Zhe Jiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出轻量级模块RelationAdapter和数据集Relation252K，使扩散Transformer能从源-目标图像对中学习并迁移视觉编辑关系，显著提升视觉提示驱动图像编辑的泛化能力与生成质量。
2025-06-03 cs.CV
VChain: Chain-of-Visual-Thought for Reasoning in Video Generation
eyeline-labs（Eyeline Labs）
本文提出VChain，一种在视频生成中引入多模态模型视觉推理信号的新型推理时间视觉思维链框架，通过生成关键帧来指导预训练视频生成器的稀疏推理时间视觉状态适应，从而提升视频生成质量。
2026-05-21 cs.CV
VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention
Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；University of Hong Kong（香港大学）；NUS（南洋理工大学）；University of Central Florida（佛罗里达大学）；Everlyn AI
针对现有视频生成模型多镜头叙事断裂、视觉不一致等问题，提出无需训练的VGoT框架，通过动态叙事建模、身份感知跨镜头传播和相邻潜空间转场，以极少人工实现高质量多镜头视频生成。
2025-10-02 cs.AI cs.CV
Concept-based Visual Counterfactual Explanations with Diffusion Models
Università della Svizzera italiana（瑞士意大利语区大学）
研究视觉反事实解释问题，提出C-VCE框架，通过概念瓶颈层将分类器融入生成模型，由概念引导反事实解释，在采样时可切换概念，添加正则化器和掩码控制编辑，在基准测试中表现良好，是实用工具且为模型理解和使用提供新思路。
2026-07-28 cs.AI cs.CV
Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images
Stanford University（斯坦福大学）
本文提出对称视觉对比优化S-VCO及最小视觉对比数据集MVC，通过强化细粒度视觉-文本对齐，显著减少VLM幻觉并提升视觉依赖任务性能。
2025-06-02 cs.AI cs.CL cs.CV
Minimal Interaction Separated Tuning: A New Paradigm for Visual Adaptation
National Key Laboratory for Novel Software Technology（国家新型软件技术重点实验室）；School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学）
提出最小交互分离调优（MIST）范式，通过利用预训练模型中间特征之和，实现低资源设备上的高效视觉适应，兼顾信息传输、参数、计算和内存效率，并在多个基准上取得竞争性结果。
2025-05-27 cs.CV
Mining Minimal Map-Segments for Visual Place Classifiers
University of Fukui（福井大学）
在视觉地点识别（VPR）中，地图分割（MS）是用于将给定视图序列地图划分为地点类（即，地图片段），使得每个类具有用于视觉地点分类器（VPC）的良好的地点特定的训练图像。MS的现有方法隐式地/显式地假设地图段具有特定大小，或者各个地图段在大小上是平衡的。然而，最近的VPR系统表明，非常小的重要地图段（最小地图段）通常足以用于VPC，并且地图的剩余大的不重要部分应该被丢弃以最小化地图维护成本。在这里，一个新的MS算法，可以从一个大的视图序列地图挖掘最小的地图段。为了解决固有的NP难问题，MS被制定为一个视频分割问题，并使用有效的点轨迹为基础的视频分割范例。所提出的地图表示实现了三种类型的VPC：深度卷积神经网络，袋的话，和对象类检测器，每一个被集成到一个蒙特卡洛定位算法（MCL）的拓扑VPR框架内。使用公开可用的NCLT数据集的实验彻底研究了MS在VPR性能方面的功效。
2019-09-15 cs.CV cs.RO
A Shortcut-aware Video-QA Benchmark for Physical Understanding via Minimal Video Pairs
FAIR at Meta（Meta旗下的FAIR）；McGill University（麦吉尔大学）
针对现有视频问答基准易因表层捷径导致分数虚高的问题，本文提出含5.5万样本的MVP基准，通过最小变化视频对评估模型物理理解能力，发现当前最优开源模型性能远低于人类。
2025-06-11 cs.CV cs.LG
Combining Texture and Shape Cues for Object Recognition With Minimal Supervision
Boston University（波士顿大学）
我们提出了一种新的方法，对象的分类和检测，需要最少的监督，并结合视觉纹理线索和形状信息从免费提供的未标记的网络搜索结果。网络上视觉数据的爆炸式增长可能使几乎任何对象的视觉示例都可以通过网络搜索轻松访问。以前的无监督方法利用来自网络的纹理线索的大规模来源，或来自诸如众包CAD模型的数据的形状信息。我们提出了一个双流深度学习框架，它结合了这些线索，其中一个流从图像搜索数据中学习视觉纹理线索，另一个流从3D CAD模型中学习丰富的形状信息。为了对新图像执行分类或检测，使用后期融合方案组合两个流的预测。我们目前的实验和可视化的标准基准PASCAL VOC 2007年的任务，以证明纹理和形状在我们的模型提供补充信息。我们的方法优于以前的基于Web图像的模型，基于3D CAD模型的方法和弱监督模型。
2016-09-14 cs.CV
A Distributional View for Visual Mechanistic Interpretability: KL-Minimal Soft-Constraint Principle
School of Mathematics and Statistics（数学与统计学学院）；Ministry of Education Key Lab of Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）
本文提出了一种基于分布的视觉机制可解释性方法，通过KL最小化优化问题来平衡可解释性和模型忠实性，利用能量引导的扩散后验采样实现，并在DINOv3模型上验证了其有效性。
2026-05-17 cs.AI cs.CV
Toward a reliable PWM-based light-emitting diode visual stimulus for improved SSVEP response with minimal visual fatigue
该研究通过自制LED硬件实现高占空比PWM视觉刺激，在10名受试者中验证了85%占空比可降低视觉疲劳并产生受试者无关的SSVEP峰值响应，为实际应用奠定基础。
2025-08-04 cs.CV cs.SE eess.SP
One Patch is All You Need: Joint Surface Material Reconstruction and Classification from Minimal Visual Cues
Department of Computer Science, The University of Alabama（计算机科学系，阿拉巴马大学）
SMARC通过单个补丁实现表面材料重建与分类，以应对稀疏视觉输入下的挑战，取得最佳性能。
2025-11-25 cs.CV
OPTIMUS-Prime: Minimal and Sufficient Concept Explanations for Deep Vision Models
Université de Lorraine（洛林大学）；CentraleSupélec Loria（中央超导Loria）；CNRS（国家科学研究中心）；Metz, France（法国梅斯）；Université de technologie de Compiègne UMR CNRS 7253 Heudiasyc（图卢兹技术大学UMR CNRS 7253 Heudiasyc）；France（法国）
提出OPTIMUS框架，基于主蕴含项理论生成视觉热图解释，满足充分性和最小性，提供形式化保证。
2026-06-05 cs.CV cs.LG
Efficient Minimal Solvers for Visual-Inertial Relative Pose Estimation in Multi-Camera Systems
Naval Aviation University（海军航空大学）；National University of Defense Technology（国防科技大学）
提出两种基于IMU先验的最小求解器，仅需4个点对应，将多相机相对位姿问题简化为单变量6次多项式，显著降低计算复杂度，在RANSAC框架中表现优异。
2026-06-08 cs.CV
MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal Multimodal Speech Tokens
Integrated Vision and Language Lab, KAIST, South Korea（集成视觉与语言实验室，韩国科学技术院）
本文提出MMS-LLaMA高效多模态语音LLM框架，通过早期音视频融合、动态令牌分配和语速预测器，在LRS3上以每秒仅3.5个令牌实现0.72% WER，令牌使用量减少86%，FLOPs降低35.7%。
2025-06-05 cs.CV cs.MM cs.SD
Visual Representations: Defining Properties and Deep Approximations
University of California, Los Angeles（加州大学洛杉矶分校）；Università di Padova（帕多瓦大学）
视觉表示定义的视觉数据的最小的足够的统计，一类任务，也是不变的滋扰变化。最小充分性保证了我们可以以最小的复杂度存储一个表示来代替原始数据，并且不会损失手头任务的性能。不变性保证统计量相对于数据的无信息转换是恒定的。我们推导出这种表示的解析表达式，并表明它们与计算机视觉中常用的特征描述符以及卷积神经网络有关。该链接强调了这些方法默认的假设和近似，并解释了经验实践，如箝位，池化和联合归一化。
2016-02-29 cs.CV
ZeroVO: Visual Odometry with Minimal Assumptions
Boston University（波士顿大学）
本文提出 ZeroVO 视觉里程计算法，通过无标定几何网络、语言先验和半监督自适应，在无需微调或标定的情况下实现跨相机与场景零样本泛化，并在多个自动驾驶基准上提升逾30%。
2025-06-09 cs.CV
AsgardBench -- Evaluating Visually Grounded Interactive Planning Under Minimal Feedback
Microsoft（微软）
AsgardBench旨在评估基于视觉的高阶动作序列生成和交互式规划，重点在于执行过程中基于视觉观察而非导航或低级操作的计划适应。通过限制代理输入为图像、动作历史和轻量级成功/失败信号，该基准测试强调条件分支和计划修复。
2026-03-18 cs.AI cs.CV cs.RO
Feedback-Driven Vision-Language Alignment with Minimal Human Supervision
Amazon（亚马逊）
针对视觉-语言模型依赖大量高质量图文训练数据的问题，提出无需人工图文对和偏好标注的SVP框架，通过少量筛选图像、自动字幕和预训练grounding模型反馈增强对齐，在多任务上实现显著性能提升。
2025-05-19 cs.AI cs.CL cs.CV
What can human minimal videos tell us about dynamic recognition models?
Massachusetts Institute of Technology（麻省理工学院）；GE Research（通用电气研究）；Weizmann Institute of Science（魏茨曼科学研究所）
在人类视觉中，物体及其部分可以从纯粹的空间或纯粹的时间信息中视觉识别，但整合空间和时间的机制却知之甚少。在这里，我们表明，人类的视觉识别的对象和动作，可以通过有效地结合空间和运动线索的配置中，每个源本身是不够的识别。这种分析是通过识别最小视频来实现的：这些视频是短而小的视频片段，其中的对象、部件和动作可以被可靠地识别，但空间或时间的任何减少都会使它们无法识别。用于动态视觉识别的最先进的深度网络无法在这些配置中复制人类行为。人类和机器之间的这种差距表明了当前模型中缺乏的人类动态视觉中的关键机制。
2021-04-19 cs.AI cs.CV q-bio.NC
Weakly-supervised Discovery of Visual Pattern Configurations
University of California, Berkeley（加州大学伯克利分校）
随着弱标记数据的日益突出，对能够应对最小监督的目标检测方法的需求不断增长。我们提出了一种方法，自动识别的视觉模式的特征是一个给定的对象类的歧视性配置。我们制定的问题作为一个受约束的子模块优化问题，并证明了发现的配置在纠正错误定位和寻找信息丰富的积极和消极的训练样本的好处。总之，这些导致了具有挑战性的PASCAL VOC数据集上最先进的弱监督检测结果。
2014-06-25 cs.CV cs.LG
Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction
IRIT, University of Toulouse（图卢兹大学IRIT研究所）；Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR））；CNRS, IRIT（法国国家科学研究中心（CNRS），IRIT研究所）
本文提出了一种通过关键时刻提取实现长视频多模态摘要的方法，利用轻量级模型和大型语言模型实现高效摘要生成。
2026-01-08 cs.CL cs.CV
Learning to Navigate with Minimal Parameters: Decomposing Visual Navigation Through Closed-Form Geometric Interfaces
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
研究视觉导航中单个任务族所需规模及替代结构，提出分解式导航模型，仅用少量可训练参数，在导航任务中接近最先进模型性能，还能用于无目标探索，故障模式可解析纠正。
2026-09-25 cs.CV cs.RO
A model for interpreting social interactions in local image regions
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Department of Computer Science, Weizmann Institute of Science（魏茨曼科学研究所计算机科学系）；Center for Brains Minds and Machines, Massachusetts Institute of Technology（麻省理工学院大脑、心智与机器中心）
理解社会互动（如“拥抱”或“战斗”）是人类视觉系统的一个基本和重要的能力，但建模仍然是一个具有挑战性的问题。在这项工作中，我们研究视觉识别的社会互动，基于小，但可识别的局部区域。该方法是基于两个新的关键组成部分：（i）一个给定的社会互动可以识别可靠的减少图像（称为“最小图像”）。(ii)社会互动的识别取决于识别最小图像中的组件和关系（称为“解释”）。我们展示了最小图像的心理物理学数据和用于解释的建模结果。我们讨论的最小配置的集成，在识别社会互动的详细，高分辨率的图像。
2017-12-26 cs.CV
Visual Scene Representations: Contrast, Scaling and Occlusion
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究的结构表示，定义为近似的最小的足够的统计量，是最大的不变量的滋扰因素，视觉数据的缩放和遮挡的视线。我们推导出这种表示的解析表达式，并表明，在某些限制性的假设下，它们与计算机视觉社区中常用的功能有关。这个链接强调了这些描述符默认的条件，并提出了改进和推广它们的方法。这种新的解释与经典的抽样理论、假设检验和群体不变性相联系。
2015-04-17 cs.CV
Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
提出RAPL框架，通过偏好反馈微调视觉编码器并在对齐表征空间构造稠密奖励，从而以少5倍的人类数据高效对齐视觉运动机器人策略。
2024-12-06 cs.AI cs.CV cs.LG
Diffusion Visual Counterfactual Explanations
University of Tübingen（图宾根大学）
视觉反事实推理（VCE）是理解图像分类器决策的重要工具。它们是改变分类器决策的图像的“小”但“现实”的语义变化。当前的VCE生成方法局限于对抗性强的模型，并且通常包含不真实的伪影，或者局限于具有很少类别的图像分类问题。在本文中，我们通过扩散过程为任意ImageNet分类器生成扩散视觉反事实推理（DVCE）来克服这一点。对扩散过程的两个修改对于我们的DVCE来说是关键的：首先，自适应参数化，其超参数在图像和模型之间泛化，再加上距离正则化和扩散过程的延迟开始，使我们能够生成对原始图像具有最小语义变化但不同分类的图像。其次，我们通过对抗性鲁棒模型进行的锥正则化确保了扩散过程不会收敛到微不足道的非语义变化，而是产生目标类的真实图像，这些图像通过分类器实现了高置信度。
2022-10-21 cs.CV cs.LG
Prompting Visual-Language Models for Efficient Video Understanding
Shanghai Jiao Tong University（上海交通大学）；University of Oxford（牛津大学）
基于图像的视觉语言（I-VL）预训练在从大规模网络数据中学习联合视觉-文本表示方面取得了巨大的成功，揭示了zero-shot泛化的显着能力。本文提出了一个简单但强大的基线，以有效地适应预训练的I-VL模型，并利用其强大的能力，资源饥饿的视频理解任务，以最少的训练。具体来说，我们建议优化一些随机向量，称为连续提示向量，将视频相关任务转换为与预训练目标相同的格式。此外，为了弥合静态图像和视频之间的差距，时间信息编码与轻量级的Transformers堆叠上的逐帧视觉功能。在实验上，我们进行了广泛的消融研究，以分析关键部件。在动作识别，动作定位和文本视频检索的10个公共基准测试中，在闭集，Few-Shot和zero-shot场景中，我们实现了与现有方法相比具有竞争力或最先进的性能，尽管优化了显着较少的参数。
2022-07-15 cs.CL cs.CV
Fewer Tokens, Greater Scaling: Self-Adaptive Visual Bases for Efficient and Expansive Representation Learning
Faculty of Computer Science and Control Engineering（计算机科学与控制工程学院）
本文提出自适应视觉基底方法，通过正交过滤减少标记数量，实现更高效的表示学习，并揭示了模型规模与标记数之间的扩展关系。
2025-11-24 cs.CV
FeudalNav: A Simple Framework for Visual Navigation
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）；Georgia State University（佐治亚州立大学）
本文提出FeudalNav框架，通过分层结构实现导航决策，利用视觉相似性构建隐空间记忆模块，无需地图即可在新环境中导航，并通过人机交互提升导航性能。
2026-04-24 cs.CV cs.RO
Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on Chest X-rays
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Google（谷歌）
医学图像报告自动生成由于其能够减轻放射科医生的工作量而受到越来越多的关注。现有的报告生成工作通常会训练编码器-解码器网络来生成完整的报告。然而，这些模型受到数据偏差的影响（例如，标签不平衡），并面临文本生成模型中固有的常见问题（例如~重复）。在这项工作中，我们专注于报告放射学图像上的异常发现;而不是在完整的放射学报告上进行训练，我们提出了一种方法，除了用无监督聚类和最小规则对它们进行分组之外，还可以从报告中识别异常发现。我们制定的任务为跨模态检索，并提出了条件视觉语义嵌入对齐图像和细粒度的异常发现在一个联合嵌入空间。我们证明了我们的方法能够检索异常结果，并在临床正确性和文本生成指标上优于现有的生成模型。
2020-10-06 cs.CL cs.CV
NinjaDesc: Content-Concealing Visual Descriptors via Adversarial Learning
Reality Labs, Meta（Meta现实实验室）；Imperial College London（帝国理工学院）
根据最近的分析隐私有关的场景启示视觉描述符，我们开发的描述符，隐藏输入图像内容。特别是，我们提出了一个对抗性学习框架，用于训练防止图像重建的视觉描述符，同时保持匹配精度。我们让特征编码网络和图像重建网络相互竞争，使得特征编码器试图用其生成的描述符来阻止图像重建，而重建器试图从描述符中恢复输入图像。实验结果表明，与我们的方法获得的视觉描述符显着恶化的图像重建质量与对应匹配和摄像机定位性能的影响最小。
2022-03-29 cs.CV
Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NVIDIA
本文研究了视觉标记修剪在复杂视觉推理任务中的失效原因，提出解码阶段感知标记修剪方法，有效缓解了修剪方法在复杂推理任务中的性能下降。
2026-04-15 cs.CV
Constrained Visual-Inertial Localization With Application And Benchmark in Laparoscopic Surgery
Technical University of Munich（慕尼黑工业大学）；Fraunhofer HHI（弗劳恩霍夫电信研究所）
我们提出了一种新的方法来解决约束摄像机运动的视觉惯性定位问题。我们使用来自不同模态的残差来联合优化全局成本函数。残差来自IMU测量、立体特征点和对SE（3）中可能的解决方案的约束。在动态干扰频繁的设置中，残差降低了问题的复杂性，并使定位可行。我们在合适的医疗用例中验证了我们方法的优势，并生成了一个捕获腹部微创手术的数据集。我们的新型临床数据集MITI与最先进的评估数据集相当，包含校准和同步，可在https://mediatum.ub.tum.de/1621941上获得。
2022-02-22 cs.CV
MiSCHiEF: A Benchmark in Minimal-Pairs of Safety and Culture for Holistic Evaluation of Fine-Grained Image-Caption Alignment
Algoverse AI Research（Algoverse AI研究院）；PocketFM
MiSCHiEF通过安全与文化最小对基准，评估细粒度图像-描述对齐的挑战，揭示当前VLMs在模态对齐上的持续问题。
2026-02-21 cs.AI cs.CV
Rotation Adaptive Visual Object Tracking with Motion Consistency
Indian Institute of Space Science and Technology（印度空间科学技术研究院）
视觉目标跟踪的研究在过去的几年里有了很大的发展。跟踪范式中的检测跟踪方法的出现在许多方面都相当成功。最近，深度卷积神经网络已被广泛用于大多数成功的跟踪器。然而，标准方法是基于相关性或特征选择，对运动一致性考虑最少。因此，仍然需要通过运动一致性来捕获各种物理约束，这将提高准确性、鲁棒性以及更重要的旋转适应性。因此，本文的一个主要方面是研究旋转自适应视觉目标跟踪的结果。在其他关键贡献中，该论文还包括各种不同的方法，这些方法在许多具有挑战性的序列中比当前最先进的方法非常有效。
2017-11-22 cs.CV
Understanding Neural Networks Through Deep Visualization
Cornell University（康奈尔大学）；University of Wyoming（怀俄明大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
近年来，在训练大型深度神经网络（DNN）方面取得了巨大进展，包括在训练卷积神经网络（convnets）以识别自然图像方面取得了显著成功。然而，我们对这些模型如何工作的理解，特别是它们在中间层执行的计算，已经落后了。通过开发更好的可视化和解释神经网络的工具，该领域的进展将进一步加速。我们在这里介绍两个这样的工具。第一个是一个工具，它可以可视化经过训练的convnet在处理图像或视频（例如实时网络摄像头流）时在每一层上产生的激活。我们发现，查看响应用户输入而变化的实时激活有助于建立有关convnet如何工作的宝贵直觉。第二个工具可以通过图像空间中的正则化优化来可视化DNN每层的特征。由于这种想法的以前版本产生的图像识别度较低，因此在这里我们引入了几种新的正则化方法，这些方法结合起来可以产生更清晰，更可解释的可视化效果。这两个工具都是开源的，并在预先训练的convnet上工作，只需最少的设置。
2015-06-22 cs.CV cs.LG cs.NE
Attention Tree: Learning Hierarchies of Visual Features for Large-Scale Image Recognition
机器学习的一个关键挑战是设计一个计算效率高的多类分类器，同时保持输出精度和性能。在本文中，我们提出了一个基于树的分类器：注意力树（ATree）的大规模图像分类，使用递归Adaboost训练来构建一个视觉注意力层次。所提出的注意力模型的灵感来自于生物学的“皮层视觉处理的选择性调谐机制”。我们利用数据集中图像之间的固有特征相似性来识别输入的可变性，并使用递归优化过程来确定每个节点处的数据划分，从而学习注意力层次。一组二进制分类器被组织在学习层次的顶部，以最小化整体测试时间复杂度。注意力模型最大限度地提高了最佳决策边界建模的二元分类器的边际，从而以最小的复杂度获得更好的性能。该框架已在Caltech-256和SUN数据集上进行了评估，并以显着降低的计算成本实现了最先进的基于树的方法的精度提高。
2016-08-01 cs.CV cs.LG cs.NE
VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning?
Imperial College London（伦敦帝国理工学院）
提出VisualFLIP基准，通过成对图像扰动测试多模态大模型是否真正依赖关键视觉证据，发现正确预测与证据依赖存在分离。
2026-06-05 cs.CV
Ukrainian Visual Word Sense Disambiguation Benchmark
本文提出一个评估乌克兰视觉词义消歧任务的基准，通过八种多语言大模型测试，发现乌克兰与英语在该任务上存在显著性能差距。
2026-03-24 cs.AI cs.CV
SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding
Kyung Hee University（庆熙大学）；University of Southern California（南加州大学）
SlotVTG通过引入轻量级槽适配器，使MLLMs在最小成本下实现对象中心的输入关联视觉推理，提升跨域鲁棒性的同时保持领域内性能。
2026-03-26 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology（瑞典皇家理工学院）
视觉关系检测是整体图像理解的基础。然而，定位和分类（主语，谓语，宾语）三元组仍然具有挑战性的任务，由于可能的关系，其长尾分布在自然图像中的组合爆炸，和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法，依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类，隐式地对成对关系的归纳偏差进行编码。然后，我们框架的关系检测作为这样的谓词分类器的解释，即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集：HICO-DET的人与对象的交互，视觉关系检测的通用对象到对象的关系，和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV
Visual Textualization for Image Prompted Object Detection
School of Biological Science and Medical Engineering, Beihang University（北京航空航天大学生物科学与医学工程学院）；ByteDance Inc.（字节跳动公司）
提出VisTex-OVLM方法，通过视觉文本化将视觉样本投影到文本特征空间，增强对象级视觉语言模型对罕见类别的少样本检测能力，同时保持预训练对齐和泛化能力，在PASCAL VOC和MSCOCO上取得SOTA。
2025-06-30 cs.CV
R-LLaVA: Improving Med-VQA Understanding through Visual Region of Interest
New York University（纽约大学）；Cornell University（康奈尔大学）；Columbia University（哥伦比亚大学）；Zhejiang University（浙江大学）
本文提出R-LLaVA，通过CLIP将医学标注的视觉感兴趣区域作为先验知识融入LLaVA训练，在四个Med-VQA数据集上超越现有最优方法，并验证了关注感兴趣区域对提升生物医学视觉问答理解的有效性。
2025-03-09 cs.AI cs.CV
VisChainBench: A Benchmark for Multi-Turn, Multi-Image Visual Reasoning Beyond Language Priors
VisChainBench是一个多轮多图视觉推理基准，通过多代理生成流水线构建，旨在评估LVLM在连续、相互依赖任务中进行多步骤视觉推理的能力。
2025-12-07 cs.AI cs.CV
Move2Hear: Active Audio-Visual Source Separation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook AI研究院）
我们引入了主动视听声源分离问题，其中代理必须智能地移动，以便更好地隔离来自其环境中感兴趣的对象的声音。代理同时听到多个音频源（例如，一个人在嘈杂的家庭中的大厅里说话），并且它必须使用它的眼睛和耳朵在有限的时间预算内自动分离出源自目标对象的声音。为了实现这一目标，我们引入了一种强化学习方法，该方法通过预测音频分离质量的改善来训练控制代理的摄像头和麦克风位置的运动策略。我们证明了我们的方法在场景中的动机都增强现实（系统已经与目标对象位于同一地点）和移动机器人（代理开始任意远离目标对象）。在3D环境中使用最先进的逼真的视听模拟，我们证明了我们的模型的能力，找到最小的运动序列与音频声源分离的最大回报。项目：http://vision.cs.utexas.edu/projects/move2hear。
2021-08-26 cs.CV cs.LG cs.RO
Visual Attention Never Fades: Selective Progressive Attention ReCalibration for Detailed Image Captioning in Multimodal Large Language Models
Seoul National University（首尔大学）
本文提出无需训练的 SPARC 方法，通过选择性渐进重校准视觉注意力，在极小计算开销下同时提升多模态大语言模型详细图像描述的精确率与召回率。
2025-06-04 cs.AI cs.CV
FCoT-VL:Advancing Text-oriented Large Vision-Language Models with Efficient Visual Token Compression
University of Science and Technology of China（中国科学技术大学）
本文提出FCoT-VL框架，通过轻量自蒸馏预训练和高质量后训练压缩视觉令牌，在保持性能的同时降低计算开销，并在面向文本基准上超越基线。
2025-02-22 cs.AI cs.CV
