Learning to Visually Connect Actions and their Effects
Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科技研究局，新加坡）
该研究引入视觉连接动作及其效果（CATE）概念，探索其动作选择和效果亲和力评估两方面，设计基线模型，发现模型在该任务中表现不佳，人类远超模型，还表明CATE可作为自监督任务学习视频表征。
2026-07-07 cs.AI cs.CV cs.LG
ID-VTG: Image-Disambiguated Video Temporal Grounding
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）
针对视频时间定位中视觉相似实体的消歧难题，本文提出ID-VTG任务与VGD-Agg框架，构建两个基准数据集，实现了该任务的当前最优性能。
2026-08-21 cs.CV
Towards Visually Explaining Statistical Tests with Applications in Biomedical Imaging
Digital Health-Machine Learning group, Hasso-Plattner Institute（数字健康-机器学习组，哈索-普拉特纳研究所）；Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute（人工智能系，弗劳恩霍夫海因里希·赫兹研究所）
本文提出了一种可解释的深度统计检验框架，通过样本级和特征级解释揭示组间差异驱动因素，应用于生物医学成像中实现可解释的无标签群体分析。
2026-02-05 cs.CV
Exploring Explainability in Video Action Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视频动作识别领域可解释性研究不足的问题，本文提出基于TCAV的Video-TCAV方法量化概念重要性，设计机器辅助概念生成方案，并验证时变概念的价值，构建了可定量测试动作识别假设的框架，推动该领域可解释性研究。
2024-04-13 cs.AI cs.CV
Adaptive occlusion sensitivity analysis for visually explaining video recognition networks
University of Tsukuba（筑波大学）；NEC corporation（日本电气公司）；Fujitsu Research of America（富士通美国研究院）
本文提出AOSA，利用结合光流时间连续性与空间共现的自适应三维遮挡掩码解释视频识别网络，并以一阶近似降低计算成本，在多个视频基准上验证有效性。
2023-08-17 cs.CV
Towards Visually Explaining Variational Autoencoders
Rensselaer Polytechnic Institute（伦斯勒理工学院）；United Imaging Intelligence（联影智能）；University of California Riverside（加州大学河滨分校）；Northeastern University（东北大学）
卷积神经网络（CNN）模型可解释性的最新进展导致了可视化和理解模型预测的令人印象深刻的进展。特别是，基于梯度的视觉注意力方法已经推动了最近的努力，使用视觉注意力地图作为视觉解释的手段。然而，一个关键问题是，这些方法是为分类和归类任务而设计的，并且它们扩展到解释生成模型，例如变分自编码器（VAE）并不是微不足道的。在这项工作中，我们迈出了一步，弥合这一关键的差距，提出了第一种技术，以视觉上解释VAE的梯度为基础的注意。我们提出了从学习的潜在空间产生视觉注意力的方法，并证明了这种注意力的解释不仅仅是解释VAE预测。我们展示了如何使用这些注意力地图来定位图像中的异常，展示了MVTec-AD数据集上最先进的性能。我们还展示了如何将它们注入模型训练，帮助引导VAE学习改进的潜在空间解纠缠，在Dsprites数据集上演示。
2020-04-14 cs.CV cs.LG
VideoWeave: A Data-Centric Approach for Efficient Video Understanding
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
VideoWeave通过重新组织训练数据提升视频语言模型的数据效率，无需修改模型架构，实现更高准确率。
2026-01-09 cs.AI cs.CV
DINet: Deformation Inpainting Network for Realistic Face Visually Dubbing on High Resolution Video
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Xiamen University（厦门大学）；Zhejiang University（浙江大学）
对于少样本学习来说，在高分辨率视频上实现逼真的人脸视觉配音仍然是一个严峻的挑战。以往的作品未能产生高保真的配音效果。针对上述问题，本文提出了一种用于高分辨率人脸视觉配音的变形修复网络（DINet）。与以往依赖多个上采样层直接从潜在嵌入生成像素的工作不同，DINet对参考图像的特征图进行空间变形，以更好地保留高频纹理细节。具体来说，DINet由一个变形部分和一个修复部分组成。在第一部分中，五个参考面部图像自适应地执行空间变形以创建在每帧处编码嘴形状的变形特征图，以便与输入驱动音频以及输入源图像的头部姿态对准。在第二部分中，为了产生面部视觉配音，特征解码器负责自适应地结合来自变形特征图的嘴部运动和其他属性（即，头部姿势和上面部表情）一起从源特征图中提取。最后，DINet实现了具有丰富纹理细节的人脸视觉配音。我们进行定性和定量比较，以验证我们的DINet在高分辨率视频。实验结果表明，我们的方法优于国家的最先进的作品。
2023-03-07 cs.CV
Towards Visually Explaining Similarity Models
United Imaging Intelligence（联影智能）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们考虑视觉上解释相似性模型的问题，即，解释了为什么模型预测两个图像除了产生标量分数之外是相似的。虽然视觉模型可解释性方面的最新工作主要集中在基于梯度的注意力上，但这些方法依赖于分类模块来生成视觉解释。因此，它们不能容易地解释不使用或不需要类似分类的损失函数（例如，用度量学习损失训练的相似性模型）。在这项工作中，我们弥合这一关键差距，提出了一种方法来生成基于梯度的视觉注意图像相似性预测。通过仅仅依赖于学习的特征嵌入，我们证明了我们的方法可以应用于任何一种基于CNN的相似性架构，这是迈向通用视觉可解释性的重要一步。我们表明，我们得到的注意力地图不仅仅是可解释性;它们可以通过新的可训练约束注入模型学习过程本身。我们表明，由此产生的相似性模型的性能，并可以在视觉上解释，比相应的基线模型训练没有这些约束。我们证明了我们的方法，使用广泛的实验上三种不同的任务：通用图像检索，人的重新识别，低杆语义分割。
2020-10-13 cs.AI cs.CV cs.LG
Beyond Source Prompts: Towards Visually Grounded AI-Generated Video Quality Assessment
University of Bristol（布里斯托大学）
针对AI生成视频质量评估中源提示与生成内容不符的问题，本文提出视觉接地的VGCap框架，引入全局与片段字幕，在LGVQ和FETV数据集上优于基线，验证了视觉接地字幕的有效性。
2026-10-16 cs.CV
EVOQUER: Enhancing Temporal Grounding with Video-Pivoted BackQuery Generation
Pennsylvania State University（宾夕法尼亚州立大学）；Kwai Inc（快手）
时间基础旨在预测对应于自然语言查询输入的视频剪辑的时间间隔。在这项工作中，我们提出了EVOQUER，一个时间接地框架，将现有的文本到视频接地模型和视频辅助查询生成网络。给定查询和未修剪的视频，时间基础模型预测目标间隔，并且通过生成输入查询的简化版本将预测的视频剪辑馈送到视频翻译任务中。EVOQUER通过将来自时间基础和查询生成的损失函数作为反馈来形成闭环学习。我们在两个广泛使用的数据集Charades-STA和ActivityNet上的实验表明，EVOQUER在R@0.7时实现了1.05和1.31的改进。我们还讨论了查询生成任务如何通过解释时间接地模型行为来促进错误分析。
2021-09-10 cs.AI cs.CL cs.CV
X-MAN: Explaining multiple sources of anomalies in video
University of Cambridge（剑桥大学）
我们的目标是检测视频中的异常，同时自动解释检测器响应背后的原因。从实际意义上讲，可解释性对于这项任务至关重要，因为对异常的必要反应取决于其性质和严重程度。然而，大多数领先的方法（基于深度神经网络）是不可解释的，并且将决策过程隐藏在不可解释的特征表示中。为了解决这一问题，我们作出了以下贡献：（1）我们展示了如何构建适合于检测具有最先进性能的异常的可解释的特征表示，（2）我们提出了一种可解释的概率异常检测器，其可以使用高级概念来描述其响应背后的原因，（3）我们是第一个直接考虑异常检测的对象交互的人，（4）我们提出了一个解释异常的新任务，并发布了一个大型数据集来评估这个任务的方法。我们的方法在公共数据集上与最先进的方法竞争得很好，同时还提供了基于对象及其交互的异常解释。
2021-06-16 cs.CV
Explaining First Impressions: Modeling, Recognizing, and Explaining Apparent Personality from Videos
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；UPSud/INRIA, Université Paris-Saclay（巴黎萨克雷大学巴黎南大学/法国国家信息与自动化研究所）；ChaLearn（ChaLearn挑战学习组织）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Microsoft Research（微软研究院）；Boğaziçi University（博阿齐奇大学）；INAOE（墨西哥国家天体物理光学与电子研究所）；Namık Kemal University（纳默克·凯马尔大学）；Nagoya University（名古屋大学）；Radboud University（拉德堡德大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
可解释性和可解释性是决策支持系统的两个重要方面。在计算机视觉中，它们在与人类行为分析相关的某些任务中至关重要，例如在医疗保健应用中。尽管它们很重要，但直到最近，研究人员才开始探索这些方面。本文介绍了在计算机视觉的背景下，以人为重点的任务的可解释性和可解释性。具体来说，我们审查和研究这些机制的第一印象分析的背景下。据我们所知，这是朝这个方向作出的第一次努力。此外，我们描述了一个挑战，我们组织的第一印象分析视频的可解释性。我们详细分析了新引入的数据集，评估协议，并总结了挑战的结果。最后，从我们的研究中，我们概述了研究机会，我们预见将是决定性的，在不久的将来，可解释的计算机视觉领域的发展。
2019-09-29 cs.CV
More than Words: In-the-Wild Visually-Driven Prosody for Text-to-Speech
Google Research（谷歌研究院）；DeepMind（深度思维）
在本文中，我们提出了VDTTS，视觉驱动的文本到语音模型。受配音的启发，VDTTS利用视频帧作为文本旁边的附加输入，并生成与视频信号匹配的语音。我们演示了如何使VDTTS，不像普通的TTS模型，生成的语音，不仅有韵律的变化，如自然的停顿和音高，但也同步到输入视频。在实验中，我们展示了我们的模型在几个具有挑战性的基准测试（包括VoxCeleb 2的“野外”内容）上产生了同步良好的输出，接近地面实况的视频-语音同步质量。补充演示视频，演示视频语音同步，鲁棒性扬声器ID交换，韵律，在项目页面。
2022-03-23 cs.CL cs.CV
Video-RAG: Visually-aligned Retrieval-Augmented Long Video Comprehension
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Nanjing University（南京大学）；University of Rochester（罗切斯特大学）
Video-RAG通过视觉对齐的辅助文本提升长视频理解性能，无需训练且兼容性强，显著优于专有模型。
2025-11-23 cs.AI cs.CV
Visually Robust Adversarial Imitation Learning from Videos with Contrastive Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
针对智能体与专家领域视觉不匹配的视频模仿学习问题，提出结合对比学习与数据增强的C-LAIfO算法，在机器人任务上表现优于基线方法并开源代码。
2024-09-14 cs.CV cs.LG
Back to the Feature: Explaining Video Classifiers with Video Counterfactual Explanations
Visual Understanding Research Group, Department of Informatics, King’s College London, UK（信息学院视觉理解研究组，伦敦国王学院，英国）；Department of Informatics, King’s College London, UK（信息学院，伦敦国王学院，英国）
提出BTTF优化框架，通过两阶段优化和渐进式去噪策略生成物理合理、时间连贯的视频反事实解释，揭示视频分类器的决策依据。
2026-05-31 cs.CV
Empowering Visually Impaired Individuals: A Novel Use of Apple Live Photos and Android Motion Photos
University of Delaware（特拉华大学）
针对视障人士拍摄图像质量欠佳的问题，本研究提倡使用Apple Live Photos和Android Motion Photos技术，实验证明其在物体分类和VideoQA任务中优于单帧图像。
2023-09-14 cs.CV
VG-TVP: Multimodal Procedural Planning via Visually Grounded Text-Video Prompting
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR)（新加坡科技研究局（A*STAR）信息通信研究院）
提出VG-TVP框架，利用LLM、视频字幕和扩散模型，通过FoC及双向桥接生成多模态程序计划，并在新数据集Daily-PP上超越单模态基线。
2024-12-16 cs.CV cs.MM
Look Before you Speak: Visually Contextualized Utterances
Google Research（谷歌研究院）
虽然大多数对话式人工智能系统只关注文本对话，但根据视觉上下文（当它可用时）调节话语可以导致更真实的对话。不幸的是，将视觉上下文纳入会话对话的一个主要挑战是缺乏大规模的标记数据集。我们提供了一个新的视觉条件未来话语预测任务的形式的解决方案。我们的任务包括预测视频中的下一个话语，使用视觉帧和转录的语音作为上下文。通过利用大量的在线教学视频，我们训练了一个模型来解决这个问题，而不需要手动注释。利用多模态学习的最新进展，我们的模型由一种新的共同注意多模态视频Transformer组成，当在文本和视觉上下文上进行训练时，其性能优于单独使用文本输入的基线。此外，我们证明了我们在未标记视频上为这项任务训练的模型在一些下游VideoQA基准测试中达到了最先进的性能，如MSRVTT-QA，MSVD-QA，ActivityNet-QA和How2 QA。
2021-03-29 cs.CV cs.HC
Automatic cinematography for 360 video
JOANNEUM RESEARCH - DIGITAL（约阿内姆研究数字研究所）
我们描述了我们的方法自动生成的视觉上有趣的相机路径（自动摄影）从360视频。基于场景对象的信息，对不同的镜头类型构造多个镜头假设，并绘制出最佳镜头假设。
2020-09-02 cs.CV
GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling
Fudan University（复旦大学）；Baidu（百度）
提出GroundShot框架，通过在线构建实体级视觉记忆并调度镜头生成顺序，无需训练即可提升多镜头视频中实体的一致性。
2026-07-21 cs.AI cs.CV
Straight to the Point: Fast-forwarding Videos via Reinforcement Learning Using Textual Data
Universidade Federal de Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学（UFMG））；Lancaster University（兰卡斯特大学）
发布的视觉数据量的快速增长和用户的有限时间带来了对处理未经修剪的视频以产生传达相同信息的较短版本的需求。尽管摘要方法已经取得了显着的进步，但大多数方法只能选择少数帧或略读，这会造成视觉间隙并破坏视频上下文。在本文中，我们提出了一种新的方法的基础上，强化学习配方，以加快教学视频。我们的方法可以自适应地选择不相关的帧来传达信息，而不会在最终视频中产生间隙。我们的代理是面向文本和视觉的，以选择要删除哪些帧来缩小输入视频。此外，我们提出了一种新的网络，称为视觉引导的文档注意力网络（VDAN），能够生成一个高度区分的嵌入空间来表示文本和视觉数据。我们的实验表明，我们的方法在F1分数和视频段级别的覆盖率方面取得了最好的性能。
2020-03-31 cs.CV
Seeing Through Noise: Visually Driven Speaker Separation and Enhancement
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
当视频在嘈杂的环境中拍摄时，隔离特定人的声音，同时过滤掉其他声音或背景噪音是一项挑战。我们提出了视听方法来隔离单个扬声器的声音，并消除不相关的声音。首先，在视频中捕获的面部运动被用来估计扬声器的声音，通过一个基于视频到语音的神经网络模型传递无声的视频帧。然后将语音预测作为滤波器应用于有噪声的输入音频。这种方法避免了在学习过程中使用声音的混合，因为这种可能的混合的数量是巨大的，并且不可避免地会使训练的模型产生偏差。我们在两个视听数据集，GRID和TCD-TIMIT上评估了我们的方法，并表明我们的方法在原始视频到语音的预测和一个著名的仅音频方法上获得了显着的SDR和PESQ改进。
2018-02-09 cs.CV cs.SD
AMAVA: Adaptive Motion-Aware Video-to-Audio Framework for Visually-Impaired Assistance
Department of Computer Science, San Francisco State University（计算机科学系，旧金山州立大学）；Department of Mathematics, San Francisco State University（数学系，旧金山州立大学）；Department of Computer Engineering, San Francisco State University（计算机工程系，旧金山州立大学）
AMAVA通过将移动设备视频转换为相关声音效果或语音描述，帮助视障人士更高效地感知环境，提升导航安全性和信心。
2026-04-26 cs.CV
Visually Guided Sound Source Separation using Cascaded Opponent Filter Network
Tampere University（坦佩雷大学）
本文的目的是恢复原始分量信号的混合音频与声源的视觉线索的帮助下。这样的任务通常被称为视觉引导的声音声源分离。提出的级联对手过滤器（COF）框架由多个阶段组成，这些阶段递归地细化声源分离。COF中的一个关键元素是一个新的对手过滤器模块，识别和重新定位源之间的残留成分。该系统是由源的外观和运动，并为此目的，我们研究了不同的表示基于视频帧，光流，动态图像，以及它们的组合。最后，我们提出了一种声源位置掩蔽（SSLM）技术，它与COF一起产生源位置的像素级掩模。整个系统使用大量未标记的视频进行端到端训练。我们将COF与最近的基线进行比较，并在三个具有挑战性的数据集（MUSIC，A-MUSIC和A-NATURAL）中获得最先进的性能。项目页面：https://ly-zhu.github.io/cof-net。
2020-07-14 cs.CV
Explaining Deepfake Detection by Analysing Image Matching
MEGVII Technology（旷视科技）
本文旨在解释deepfake检测模型如何在二进制标签监督下学习图像的伪影特征。为此，从图像匹配的角度提出三个假设如下。1. Deepfake检测模型基于既不与源相关也不与目标相关的视觉概念来指示真实/虚假图像，即，将此类视觉概念视为伪影相关。2.除了监督二进制标签外，deepfake检测模型还通过训练集中的FST匹配（即匹配的假图像、源图像和目标图像）隐式地学习与伪影相关的视觉概念。3.通过原始训练集中的FST匹配来隐含学习的伪影视觉概念易受视频压缩的影响。在实验中，上述假设在各种DNN之间得到了验证。此外，基于这种理解，我们提出了FST匹配深度伪造检测模型，以提高压缩视频的伪造检测性能。实验结果表明，我们的方法取得了很好的性能，特别是在高度压缩（如c40）的视频。
2022-07-20 cs.CV
VIABench: A Comprehensive Video Benchmark Collected from Blind Individuals for Visual Impairment Assistance
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对视障人士视觉信息获取难及多模态大语言模型在视障辅助中实用价值待探索的问题，引入VIABench视频基准测试，定义三个核心任务，提出严格测试流程，实验表明当前模型对视障人士支持不足，有望推动定制模型开发以改善其体验。
2026-07-17 cs.CV
PhyDetEx: Detecting and Explaining the Physical Plausibility of T2V Models
Zeqing Wang 1,3（王泽清 1,3）；Keze Wang 1（王凯泽 1）；Lei Zhang 2（张磊 2）
本文提出PhyDetEx，通过构建PID数据集和轻量级微调方法，评估T2V模型在生成物理合理视频方面的性能，并发现尽管模型在视频生成上有所进步，但理解并遵循物理定律仍存在挑战。
2026-05-18 cs.CV
Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
Huazhong University of Science and Technology（华中科技大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）
自然视频为自监督学习提供了丰富的视觉内容。然而，大多数现有的方法学习时空表示依赖于手动修剪的视频，导致有限的多样性的视觉模式和有限的性能增益。在这项工作中，我们的目标是通过利用未经修剪的视频中更丰富的信息来学习表示。为此，我们建议学习视频中的视频的层次结构，即，视觉一致性和主题一致性，分别对应于当被短时间间隔分开时倾向于视觉上相似的剪辑对和当被长时间间隔分开时共享相似主题的剪辑对。具体而言，分层一致性学习框架HiCo，其中视觉上一致的对被鼓励具有相同的表示通过对比学习，而主题一致的对耦合通过主题分类器，区分它们是否是主题相关的。此外，我们提出了一个渐进的采样算法的层次一致性学习，并证明了其理论上的优越性。从经验上讲，我们表明，不仅HiCo可以生成更强的表示未修剪的视频，它也提高了表示质量时，应用到修剪的视频。这与标准的对比学习形成对比，标准的对比学习不能从未经修剪的视频中学习适当的表示。
2022-04-06 cs.CV
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有视频生成基准仅关注表面忠实度的局限，本文提出VBench-2.0基准套件，从人类保真度等五维度评估内在忠实度，整合多模型并结合人类标注，推动视频生成模型向符合现实原理的“世界模型”发展。
2025-08-20 cs.CV
Detecting and Explaining Fake News Short Videos with Multimodal Content and Real-World Evidence
AI and Social Good Lab, AI Media Centre（AI媒体中心人工智能与社会公益实验室）；Southern University of Science and Technology（南方科技大学）；Beijing Normal University（北京师范大学）；Hong Kong Baptist University（香港浸会大学）
针对假新闻短视频检测与解释任务，提出NVKE-CEI统一系统，结合关键帧提取与双LLM事实核查器融合，实验证明优于现有方法。
2026-09-14 cs.CV cs.MM
Understanding Patch-Based Learning by Explaining Predictions
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
深度网络能够学习视频数据的高度预测模型。由于视频长度的原因，一个常见的策略是用小视频片段对他们进行训练。我们应用深度Taylor / LRP技术来理解深度网络的分类决策，并识别出“边界效应”：分类器主要关注输入的边界帧的趋势。这种效果与用于构建视频片段的步长有关，然后我们可以调整步长以提高分类器的准确性，而无需重新训练模型。据我们所知，这是第一个将深度Taylor / LRP技术应用于任何视频分析神经网络的工作。
2018-06-11 cs.CV cs.LG cs.NE
Beyond Domain Randomization: Event-Inspired Perception for Visually Robust Adversarial Imitation from Videos
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Technical University of Munich（慕尼黑技术大学）；Purdue University（普渡大学）；Space Robotics Research Group, SnT, University of Luxembourg（卢森堡大学空间机器人研究组）；Torc Robotics（Torc机器人公司）；Princeton University（普林斯顿大学）
本文提出事件启发的感知方法，将RGB视频转为稀疏事件表示以消除外观影响，实现视觉鲁棒的对抗模仿，在DeepMind控制套件和Adroit平台上验证了有效性。
2025-05-24 cs.CV cs.LG cs.RO
Video Diffusion Models Excel at Tracking Similar-Looking Objects Without Supervision
KAIST（韩国科学技术院）；Rutgers University（罗格斯大学）
本文提出利用预训练视频扩散模型的运动表示能力，实现无监督环境下对视觉相似对象的高效追踪，提升了追踪性能并克服了现有方法的局限。
2025-12-02 cs.AI cs.CV
Outside Knowledge Conversational Video (OKCV) Dataset -- Dialoguing over Videos
Georgia Institute of Technology（佐治亚理工学院）；Technical University of Munich（慕尼黑技术大学）
本研究将外部知识视觉问答拓展至视频对话场景，构建了含2017个视频、5986条标注对话的OKCV数据集，评估了多个基线模型并指出未来挑战，数据集已公开。
2025-06-11 cs.AI cs.CL cs.CV
Visually Guided Sound Source Separation and Localization using Self-Supervised Motion Representations
Tampere University（坦佩雷大学）
本文的目的是进行视听声声源分离，即~以基于声源的视频从混合物中分离分量音频。此外，我们的目标是查明输入视频序列中的源位置。最近的工作已经显示出令人印象深刻的视听分离结果时，使用源类型（例如人类演奏乐器）和预先训练的运动检测器（例如关键点或光流）的先验知识。然而，同时，这些模型也局限于某一特定的应用领域。在本文中，我们解决了这些限制，并作出以下贡献：i）我们提出了一个两阶段的架构，称为外观和运动网络（AMnet），其中的阶段专门用于外观和运动线索，分别。整个系统以自监督的方式进行训练：ii）引入音频-运动嵌入（AME）框架来显式地表示与声音相关的运动：iii）提出音频-运动Transformer结构，用于音频和运动特征的融合; iv）我们在两个具有挑战性的数据集上展示了最先进的性能（MUSIC-21和AVE），尽管我们不使用任何预先训练的关键点检测器或光流估计器。项目页面：https://ly-zhu.github.io/self-supervised-motion-representations
2021-04-17 cs.CV
This Looks Like That, Because ... Explaining Prototypes for Interpretable Image Recognition
University of Twente（特文特大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
具有原型的图像识别被认为是黑盒深度学习模型的可解释替代方案。分类取决于测试图像“看起来像”原型的程度。然而，人类的感知相似性可能与分类模型学习的相似性不同。因此，仅仅可视化原型可能不足以让用户理解原型到底代表什么，以及为什么模型认为原型和图像相似。我们解决这种模糊性，并认为原型应该解释。我们通过自动增强视觉原型的文本定量信息的视觉特征被认为是重要的分类模型，提高可解释性。具体而言，我们的方法通过量化色调，形状，纹理，对比度和饱和度的影响来阐明原型的含义，并且可以生成全局和局部解释。由于我们的方法的通用性，它可以提高任何基于相似性的方法的原型图像识别的可解释性。在我们的实验中，我们将我们的方法应用到现有的原型零件网络（ProtoPNet）。我们的分析证实，全球性的解释是概括性的，往往对应于原型的视觉可感知的属性。我们的解释特别适用于那些可能被错误解释的原型。通过解释这种“误导”的原型，我们提高了基于原型的分类模型的可解释性和可模拟性。我们还使用我们的方法来检查视觉上相似的原型是否有类似的解释，并能够发现冗余。代码可在https://github.com/M-Nauta/Explaining_Prototypes上获得。
2021-03-31 cs.AI cs.CV cs.LG
Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions
University of Maryland, College Park（马里兰大学帕克分校）
本文提出XINC框架，通过追踪每个神经元对输出像素的贡献来揭示隐式神经表示（INRs）的内部机制，发现其具有分布式表示、对颜色和边缘的偏好及运动主导的跨层聚类特征。
2024-07-16 cs.CV
CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation
Kim Jaechul Graduate School of AI, KAIST（金 Jaechul人工智能研究生院，韩国科学技术院）
提出CounterFlow，一种两阶段推理时采样方案，用于预训练的流匹配VT2A模型，以生成与视觉证据矛盾但时间同步的反事实视频拟音，并通过新指标评估替换质量。
2026-05-25 cs.AI cs.CV cs.MM
A gaze driven fast-forward method for first-person videos
Universidade Federal de Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学（UFMG））
日益增长的数据共享和生活日志文化正在推动未经编辑的第一人称视频数量的空前增长。在本文中，我们通过创建输入视频的加速版本并强调记录器的重要时刻来解决第一人称视频中访问相关信息的问题。我们的方法是基于一个注意力模型驱动的目光和视觉景物分析，提供了一个语义得分的输入视频的每一帧。我们对公开的第一人称视频数据集进行了几次实验评估。结果表明，我们的方法可以快进视频强调的时刻，当记录器与场景组件的视觉交互，而不包括单调的剪辑。
2020-06-10 cs.CV
Implementing Adaptive Separable Convolution for Video Frame Interpolation
KTH Royal Institute of Technology（瑞典皇家理工学院）
随着深度神经网络越来越受欢迎，人们的注意力越来越多地集中在计算机视觉问题上，而这些问题过去是用更传统的方法解决的。视频帧内插是其中一个挑战，已经看到了涉及深度学习中各种技术的新研究。在本文中，我们复制了Niklaus等人关于自适应可分离卷积的工作，该工作声称视频帧插值任务具有高质量的结果。我们应用在较小数据集上训练的相同网络结构，并使用各种不同的损失函数进行实验，以确定数据稀缺情况下的最佳方法。最好的结果模型仍然能够提供视觉上令人愉悦的视频，尽管获得了较低的评估分数。
2018-09-20 cs.CV
SportsGrounder: Proposal-Aided Interleaved Grounding for Dense Sports Video Reasoning
Zhejiang University（浙江大学）；Beijing Jiaotong University（北京交通大学）
针对LMMs难以处理密集体育视频细粒度推理的问题，提出SportsGrounder框架，结合IGF机制与AAS模块，在SoccerNet等数据集上实现最优准确率。
2026-08-21 cs.CV
Coherent Online Video Style Transfer
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
训练前馈网络的快速神经风格的图像传输被证明是成功的。然而，逐帧处理视频的幼稚扩展容易产生闪烁结果。我们提出了第一个用于在线视频风格传输的端到端网络，该网络近实时地生成时间上连贯的风格化视频序列。两个关键的想法包括一个有效的网络，通过纳入短期的一致性，并传播短期的一致性，以长期，这确保了在更长的时间内的一致性。我们的网络可以包含不同的图像风格化网络。我们表明，所提出的方法明显优于每帧基线定性和定量。此外，它可以实现与基于优化的视频风格传输在视觉上相当的一致性，但在运行时快三个数量级。
2017-03-28 cs.CV
Generating Visually Aligned Sound from Videos
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
针对自然视频生成声音易受无关声音干扰、对齐度低的问题，提出REGNET框架，通过音频前向正则化器增强训练监督，显著提升声音的时间与内容对齐效果，生成声音骗过人类的成功率达68.12%。
2020-07-14 cs.CV cs.SD eess.AS
Sherlock: Sparse Hierarchical Embeddings for Visually-aware One-class Collaborative Filtering
University of California, San Diego（加州大学圣地亚哥分校）
构建成功的推荐系统需要揭示描述项目属性以及用户对它们的偏好的潜在维度。在服装推荐等领域，解释用户的偏好需要对所讨论的物品的视觉外观进行建模。这使得推荐特别具有挑战性，因为人们的“视觉偏好”的复杂性和微妙性，以及所涉及的数据和特征的规模和维度。最终，一个成功的模型应该能够捕捉到不同类别和风格之间的相当大的差异，同时仍然对“全球”结构所解释的共性进行建模，以对抗真实世界数据集的稀疏性（例如冷启动），可变性和规模。在这里，我们通过构建这样的结构来应对这些挑战，以模拟不同产品类别的视觉维度。通过一种新颖的分层嵌入体系结构，我们的方法既考虑了高层次（色彩，黑暗等），和微妙的（例如，模糊性）视觉特性。
2016-04-20 cs.CV cs.IR
Analogical Reasoning for Visually Grounded Language Acquisition
Columbia University（哥伦比亚大学）
儿童通过观察周围的世界和听描述下意识地习得语言。即使没有明确的语言知识，他们也能发现单词的含义，并毫不费力地概括为新的作文。在本文中，我们通过研究视觉基础语言习得（VLA）的任务，将这种能力引入人工智能。我们提出了一个多模态的Transformer模型，增加了一个新的机制，类比推理，近似新的组合物，通过学习语义映射和推理操作，从以前看到的组合物。我们提出的方法，类比推理Transformer网络（ARTNet），训练的原始多媒体数据（视频帧和成绩单），并在观察一组组成，如“洗苹果”或“切胡萝卜”，它可以概括和识别新的视频帧，如“洗胡萝卜”或“切苹果”的新组成。为此，ARTNet参考训练数据中的相关实例，并使用其视觉特征和标题与查询图像建立类比。然后选择合适的动词和名词来创作一个新的作品，最好地描述新的形象。大量的教学视频数据集上的实验表明，该方法实现了显着更好的泛化能力和识别精度相比，国家的最先进的Transformer模型。
2020-07-22 cs.AI cs.CL cs.CV
Track4Gen: Teaching Video Diffusion Models to Track Points Improves Video Generation
Adobe Research（奥多比研究院）；KAIST（韩国科学技术院）；University College London（伦敦大学学院）
提出Track4Gen模型，通过将视频扩散损失与跨帧点追踪结合提供空间监督，有效减少外观漂移，实现时间稳定且视觉连贯的视频生成。
2025-04-07 cs.AI cs.CV cs.LG
Deep Video Inpainting
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
视频修复旨在用视频中的可信内容填充时空漏洞。尽管用于图像修补的深度神经网络取得了巨大的进展，但由于额外的时间维度，将这些方法扩展到视频域是具有挑战性的。在这项工作中，我们提出了一种用于快速视频修复的新型深度网络架构。建立在一个基于图像的编码器-解码器模型，我们的框架的目的是收集和完善信息，从邻居帧和合成仍然未知的地区。同时，通过一个循环反馈和一个时间记忆模块，使输出在时间上保持一致。与最先进的图像修补算法相比，我们的方法产生的视频是更语义正确和时间平滑。与依赖于耗时优化的先前视频完成方法相比，我们的方法在生成有竞争力的视频结果的同时近乎实时地运行。最后，我们将我们的框架应用于视频重定向任务，并获得了视觉上令人满意的结果。
2019-05-05 cs.CV
WalkVLM:Aid Visually Impaired People Walking by Vision Language Model
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）
本文提出首个用于视障行走辅助的大规模数据集（含12,000个视频-标注对）及WalkVLM模型，通过思维链分层规划和时间感知自适应预测生成简洁提醒，在流媒体视频处理基准上优于其他VLMs。
2025-03-04 cs.AI cs.CV
Learning Long-Term Style-Preserving Blind Video Temporal Consistency
L'Or\'eal Research
当试图独立地将图像训练算法应用于视频中的连续帧时，往往会出现有害的闪烁。最先进的后处理技术，旨在促进时间一致性，生成其他时间伪影，并在视觉上改变视频的风格。我们提出了一个后处理模型，不知道应用于视频的转换（例如，风格转移，使用GANs的图像操作等），以循环神经网络的形式。我们的模型使用乒乓过程及其相应的损失进行训练，最近引入了GAN视频生成，以及一种新颖的风格保留感知损失。前者改善了长期的时间一致性学习，而后者促进了风格的保持。我们在DAVIS和videvo.net数据集上评估了我们的模型，并表明我们的方法提供了关于闪烁去除的最先进的结果，并且比以前的方法更好地保持了视频的整体风格。
2021-03-12 cs.CV
"I Can See Forever!": Evaluating Real-time VideoLLMs for Assisting Individuals with Visual Impairments
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文评估了实时视频LLMs在帮助视障者日常生活中的有效性，发现GPT-4o在任务成功率方面最高，并提出SafeVid数据集提升风险识别准确率至76%
2025-12-04 cs.AI cs.CV cs.HC
Spatial-Temporal Residual Aggregation for High Resolution Video Inpainting
Huawei Technologies（华为技术有限公司）；Jilin University（吉林大学）
最近基于学习的修复算法在去除视频中不需要的对象后完成缺失区域方面取得了令人信服的结果。为了保持帧之间的时间一致性，3D空间和时间操作通常在深度网络中大量使用。然而，这些方法通常受到存储器限制，并且只能处理低分辨率视频。我们提出了STRA-Net，一种新的高分辨率视频修复的时空残差聚合框架。其关键思想是首先学习并在下采样的低分辨率视频上应用空间和时间修复网络。然后，我们通过将学习的空间和时间图像残差（细节）聚合到上采样的修复帧来细化低分辨率结果。定量和定性的评估表明，我们可以产生更多的时间连贯性和视觉吸引力的结果比国家的最先进的方法修复高分辨率视频。
2021-11-05 cs.CV
