Long-Term Ad Memorability: Understanding & Generating Memorable Ads
Adobe Media and Data Science Research（Adobe媒体与数据科学研究院）；State University of New York at Buffalo（纽约州立大学布法罗分校）；IIIT-Delhi（德里印度信息技术学院）；BITS Pilani, Goa（果阿 pilani Bits 学院）
针对广告长期记忆性缺乏大规模研究的问题，本文发布首个数据集LAMBDA，提出预测模型Henry和生成方法SEED，生成广告记忆性得分提升44%，并开源相关资源。
2024-11-30 cs.CL cs.CV cs.HC
GANalyze: Toward Visual Definitions of Cognitive Image Properties
MIT（麻省理工学院）；KU Leuven（鲁汶大学）
我们引入了一个框架，该框架使用生成对抗网络（GANs）来研究认知特性，如记忆力，美学和情感效价。这些属性很有趣，因为我们没有一个具体的视觉定义。一只狗看起来是什么样的，或多或少令人难忘？GANs使我们能够生成多种外观自然的图像，其视觉属性具有细粒度差异。通过在增加记忆力的方向上导航这个流形，我们可以可视化特定生成的图像变得或多或少令人难忘的样子。由此产生的"视觉定义”表面图像属性（如"对象大小”）可能是可记忆性的基础。通过行为实验，我们验证了我们的方法确实发现了因果关系影响人类记忆性能的图像操作。我们进一步证明，同样的框架可以用来分析图像美学和情感效价。访问GANalyze网站http://ganalyze.csail.mit.edu/。
2019-06-24 cs.CV
Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images
Vector Institute for Artificial Intelligence（向量人工智能研究所）；Western University（西安大略大学）
提出基于VGG16自编码器的计算建模方法，通过分析重建误差与潜在表示独特性预测图像记忆性，并利用IG识别关键视觉特征，揭示了易记图像的特性。
2025-04-02 cs.CV
Text-to-Image Generation for Vocabulary Learning Using the Keyword Method
University of Primorska（普里莫尔斯卡大学）；Université catholique de Louvain（鲁汶天主教大学）；Stellenbosch University（斯泰伦博斯大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织 Data61）；Coburg University of Applied Sciences and Arts（科堡应用科学与艺术大学）；University of Stuttgart（斯图加特大学）；University of Luxembourg（卢森堡大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Inria Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）；University of St Andrews（圣安德鲁斯大学）
本文将关键词法与文本到图像生成结合，经初步研究和多生成器比较后选用DALL-E2，实验证明外化的视觉联系图像可显著提升外语词汇记忆保持。
2025-01-28 cs.CV cs.GR cs.HC
Traces of Image Memorability in Vision Encoders: Activations, Attention Distributions and Autoencoder Losses
Institute for Language Sciences, Department of Languages, Literature and Communication, Utrecht University（乌特勒支大学语言科学研究所）；Department of Information and Computing Sciences, Utrecht University（乌特勒支大学信息与计算科学系）
该研究探究预训练视觉编码器中与图像记忆性相关的内部特征，验证了潜在激活、注意力分布等特征的相关性，并提出用稀疏自编码器损失作为记忆性代理指标，效果优于传统卷积神经网络方法。
2025-09-01 cs.CV
Controlling Memorability of Face Images
University of Western Ontario（西安大略大学）
每天，我们都被许多脸部照片轰炸，无论是在社交媒体，电视还是智能手机上。从进化的角度来看，面孔是为了被记住，主要是由于生存和个人相关性。然而，所有这些面孔并没有平等的机会留在我们的脑海里。它已被证明，记忆性是一个图像的内在特征，但它在很大程度上是未知的属性使图像更难忘。在这项工作中，我们的目标是解决这个问题，提出了一种快速的方法来修改和控制人脸图像的记忆性。在我们提出的方法中，我们首先在StyleGAN的潜在空间中找到一个超平面来分离高和低记忆图像。然后，我们修改了图像的可记忆性（同时保持身份和其他面部特征，如年龄，情绪等）。通过在超平面法向量的正或负方向上移动。我们进一步分析了StyleGAN增强潜在空间的不同层如何有助于人脸记忆。这些分析显示了每个人的面部属性如何使图像或多或少令人难忘。最重要的是，我们评估了我们提出的方法，真实和合成的人脸图像。该方法成功地修改和控制真实人脸以及非真实合成人脸的记忆性。我们提出的方法可以用于社交媒体，学习辅助工具或广告目的的照片编辑应用程序。
2022-02-24 cs.CV cs.LG
Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability
IIIT Hyderabad（印度信息技术与信息技术研究院海得拉巴分校）；Cognitive Science Lab（认知科学实验室）；CVIT（计算机视觉与图像处理中心）
本研究采用CNN+Transformer架构分析视频记忆性中的时空注意力，通过与人类眼动数据对比，发现模型注意力在空间模式、时间偏好及物体/背景分配上与人类注视高度相似。
2024-11-05 cs.CV
Unforgettable Lessons from Forgettable Images: Intra-Class Memorability Matters in Computer Vision
Nanyang Technological University（南洋理工大学）；Sichuan University（四川大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；University of Virginia（弗吉尼亚大学）
本文提出类内可记忆性概念及ICMscore度量，构建ICMD数据集，发现高可记忆性图像反而损害识别与持续学习性能，并利用扩散模型实现可记忆性编辑。
2025-09-26 cs.CV
From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images
Oxford University（牛津大学）；HKUST（香港科技大学）；University College London（伦敦大学学院）；New York University（纽约大学）
本文提出CogIP-Bench基准，通过后训练提升MLLMs对图像认知属性的对齐能力，并展示其在图像生成中的应用。
2025-11-27 cs.CV cs.LG cs.MM
Memorability: An image-computable measure of information utility
Adobe Research（Adobe研究院）；Brown University（布朗大学）；Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
图像中的像素，以及它们组成的对象，场景和动作，决定了图像是令人难忘还是令人难忘。虽然记忆力因图像而异，但它在很大程度上独立于个人观察者。观察者独立性使记忆性成为图像可计算的信息度量，并有资格进行自动预测。在本章中，我们将用计算镜头放大记忆力，详细介绍最先进的算法，这些算法可以准确预测图像相对于人类行为数据的记忆力，使用从原始像素到语义标签的不同尺度的图像特征。我们讨论了面部，对象和场景记忆性的算法和可视化的设计，以及超越静态场景推广到动作和视频的算法。我们涵盖了最先进的深度学习方法，这些方法是当前记忆预测领域的领跑者。除了预测，我们还展示了最近的人工智能。方法可以用于创建和修改视觉可记忆性。最后，我们预览了可记忆性所支持的计算应用程序，从过滤视觉流到增强增强现实界面。
2021-04-01 cs.CV cs.HC cs.MM
What is (missing or wrong) in the scene? A Hybrid Deep Boltzmann Machine For Contextualized Scene Modeling
Middle East Technical University（中东技术大学）
场景模型允许机器人推理场景中有什么，还有什么应该在它，什么不应该在it.In本文中，我们提出了一个混合玻尔兹曼机（BM）的场景建模对象之间的关系是集成的。为了能够做到这一点，我们扩展了BM，以包括可见（对象）节点之间的三向边，并使网络共享不同对象之间的关系。我们评估我们的方法对几个基线模型（深度玻尔兹曼机，限制玻尔兹曼机）的场景分类数据集，并表明它在几个场景推理任务中表现更好。
2018-08-20 cs.CV cs.RO
What Moves? Localized Motion Representations for Compositional Scene Control
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对现有视频表示缺乏局部运动捕捉的问题，提出可提示的局部运动表示，实现对象级运动迁移与多角色视频局部动作分类，提升可控性且优于对比方法。
2026-09-14 cs.AI cs.CV
Collision Replay: What Does Bumping Into Things Tell You About Scene Geometry?
University of Michigan（密歇根大学）
在场景中撞到物体会告诉你场景几何的什么？在本文中，我们研究了从碰撞中学习的想法。我们的方法的核心是碰撞重放的想法，我们使用碰撞的例子来监督过去一帧的观察。我们使用碰撞重放来训练卷积神经网络，以根据新图像预测碰撞时间的分布。该分布传达关于导航示能表示的信息（例如，走廊与开放空间），并且如我们所示，可以转换为场景几何体的距离函数。我们分析这种方法与代理，有噪音的驱动在逼真的模拟器。
2021-05-03 cs.CV
SceneBind: Binding What and Where Across Vision, Audio and Language
University of Washington（华盛顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Hankuk University of Foreign Studies（韩国外国语大学）
研究提出SceneBind全模态场景表示，结合全局语义与对象中心语义空间插槽解决空间结构缺失问题，还提出匹配方案。通过构建新数据集及训练协议进行训练评估，兼容预训练编码器，实现先进检索并能零样本转移到下游任务。
2026-07-17 cs.AI cs.CV cs.MM
What do We Learn by Semantic Scene Understanding for Remote Sensing imagery in CNN framework?
School of Geosciences and Info Physics, Central South University（中南大学地球科学与信息物理学院）
近年来，深度卷积神经网络（DCNN）在自然图像识别领域取得了越来越显著的成功并迅速发展。与自然图像相比，遥感图像的尺度更大，所代表的场景和目标更宏观。本研究探讨了遥感场景与自然场景识别是否存在差异，并提出了以下问题：遥感场景识别的关键因素是什么？以物体识别为核心的DCNN识别机制是否还适用于遥感场景理解的场景？我们进行了几个实验，从场景复杂度的角度探讨DCNN结构和遥感场景理解的规模的影响。我们的实验表明，理解一个复杂的场景取决于一个深入的网络和多尺度感知。采用可视化的方法，定性和定量地分析了复杂遥感场景中的识别机制，论证了多目标联合语义支持的重要性。
2017-05-19 cs.CV cs.LG
What Makes a Scene ? Scene Graph-based Evaluation and Feedback for Controllable Generation
The Hong Kong Polytechnic University（香港理工大学）；Institute of Automation, CAS（中国科学院自动化研究所）
针对场景图生成图像研究不足的问题，提出Scene-Bench基准、MegaSG数据集及SGScore指标，并构建反馈流程，有效提升生成图像的事实一致性。
2025-05-26 cs.CV
What Can I Do Around Here? Deep Functional Scene Understanding for Cognitive Robots
University of Maryland（马里兰大学）
对于具有通过其末端执行器与物理环境交互的能力的机器人，理解周围场景不仅仅是图像分类或对象识别的任务。为了执行实际任务，机器人对视觉场景有功能性的理解是至关重要的。在这里，我们解决了从任意室内场景中定位和识别功能区域的问题，制定为基于两阶段深度学习的检测管道。一个新的场景功能测试床，这是从两个公开的室内场景数据集编译，用于评估。我们的方法在新的数据集上进行了定量评估，证明了从任意室内场景中有效识别功能区域的能力。我们还证明，我们的检测模型可以推广到新的室内场景，通过交叉验证它与来自两个不同的数据集的图像。
2016-02-02 cs.CV cs.RO
Pixel-level Scene Understanding in One Token: Visual States Need What-is-Where Composition
Agency for Defense Development（国防发展机构）
本文提出CroBo框架，通过全局到局部重建目标，学习能捕捉场景元素语义身份和空间位置的视觉状态表示，以支持连续决策。
2026-03-25 cs.AI cs.CV cs.LG
Can you text what is happening? Integrating pre-trained language encoders into trajectory prediction models for autonomous driving
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）
研究提出基于文本的交通场景表示，结合栅格化图像与预训练语言编码器生成场景嵌入，在nuScenes数据集上显著优于基线，证实联合编码器的互补优势。
2023-09-13 cs.AI cs.CV cs.LG
What Matters for 3D Scene Flow Network
Shanghai Jiao Tong University（上海交通大学）；University of California, Berkeley（加州大学伯克利分校）
基于点云的三维场景流估计是计算机视觉中的一个底层三维运动感知任务。流嵌入是场景流估计中常用的一种技术，它对相邻帧之间的点运动进行编码。因此，流嵌入捕捉正确的运动总体方向是至关重要的。然而，以前的作品只搜索本地，以确定一个软对应，忽略了遥远的点，原来是实际的匹配。此外，估计的对应关系通常来自相邻点云的前向方向，并且可能与从后向方向获取的估计的对应关系不一致。为了解决这些问题，我们提出了一种新的全对全流嵌入层，在初始场景流估计过程中进行向后可靠性验证。此外，我们还研究和比较了三维场景流网络关键组件的几种设计选择，包括点相似度计算、预测器输入元素、预测器和细化级设计。在仔细选择了最有效的设计之后，我们能够呈现一个在FlyingThings3D和KITTI场景流数据集上实现最先进性能的模型。我们提出的模型在FlyingThings3D数据集上超过所有现有方法至少38.2%，在KITTI Scene Flow数据集上超过24.7%。我们在https://github.com/IRMVLab/3DFlow上发布代码。
2022-07-19 cs.CV
Choose What You Need: Disentangled Representation Learning for Scene Text Recognition, Removal and Editing
University of Science and Technology of China（中国科学技术大学）
针对场景文字多任务共享耦合特征的问题，本文提出DARLING框架，利用同风格异内容图像对及识别、对齐与重建监督解耦风格和内容表示，在识别、去除与编辑任务上达到SOTA。
2024-05-07 cs.CV
What If We Only Use Real Datasets for Scene Text Recognition? Toward Scene Text Recognition With Fewer Labels
The University of Tokyo（东京大学）
场景文本识别（STR）任务有一个共同的做法：所有最先进的STR模型都是在大型合成数据上训练的。与这种做法相反，当我们必须在没有合成数据的情况下训练STR模型时，只在较少的真实标签上训练STR模型（标签较少的STR）是很重要的：对于难以合成生成的手写或艺术文本，以及对于英语以外的语言，我们并不总是有合成数据。然而，有一个隐含的常识，即在真实数据上训练STR模型几乎是不可能的，因为真实数据是不够的。我们认为，这种常识阻碍了STR的研究与较少的标签。在这项工作中，我们希望通过反驳常识来重新激活具有更少标签的STR。我们巩固最近积累的公共真实数据，并表明，我们可以训练STR模型令人满意的只有真正的标记数据。随后，我们发现简单的数据增强，以充分利用真实数据。此外，我们通过收集未标记数据和引入半监督和自监督方法来改进模型。因此，我们得到了一个竞争模型的国家的最先进的方法。据我们所知，这是第一项研究，1）仅使用真实标签显示出足够的性能，2）将半监督和自监督方法引入标签较少的STR。我们的代码和数据可在以下网址获得：https://github.com/ku21fan/STR-Fewer-Labels
2021-06-05 cs.CV
What's Behind the Couch? Directed Ray Distance Functions (DRDF) for 3D Scene Reconstruction
University of Michigan（密歇根大学）
我们提出了一个完整的三维场景重建从一个单一的看不见的图像的方法。我们在场景的现实非防水扫描的数据集上进行训练。我们的方法预测的距离函数，因为这些已经显示出承诺在处理复杂的拓扑结构和大空间。我们确定并分析了两个关键的挑战，预测这样的图像条件的距离函数，阻止了他们的成功，真正的3D场景数据。首先，我们表明，从图像预测传统的场景距离需要推理在一个大的感受野。其次，我们分析表明，训练预测这些距离函数的网络的最佳输出并不遵守所有的距离函数属性。我们提出了一个替代的距离函数，定向射线距离函数（DRDF），解决这两个挑战。我们发现，经过训练以预测DRDF的深度网络在Matterport3D，3DFront和ScanNet上从单个图像进行3D重建的定量和定性方面优于所有其他方法。
2022-04-04 cs.CV cs.GR
What Synthesis is Missing: Depth Adaptation Integrated with Weak Supervision for Indoor Scene Parsing
National Taiwan University（台湾大学）
场景解析是使自主系统能够理解周围环境并与之交互的关键步骤。有监督的深度学习方法在解决场景解析问题方面取得了很大进展，然而，代价是费力的手动像素级注释。为了减轻这种努力，合成数据以及监管不力都进行了调查。尽管如此，综合生成的数据仍然遭受严重的域转移，而弱标签往往是不精确的。此外，大多数现有的弱监督场景解析工作仅限于显著的前景对象。因此，这项工作的目的是双重的：在可行的情况下利用合成数据，并在必要时整合薄弱的监督。更具体地说，我们通过利用深度作为传递域来实现这一目标，因为它的合成与真实的差异比颜色低得多。与此同时，我们执行弱本地化从容易获得的图像级标签和集成使用一种新的基于轮廓的计划。我们的方法被实现为一个教师-学生学习框架，通过生成伪地面真值来解决迁移学习问题。仅使用基于深度的自适应，该方法在流行的室内场景解析SUN RGB-D数据集上已经优于先前的迁移学习方法。与迁移学习中以前的最先进技术相比，我们提出的两阶段集成将完全监督方法的差距缩小了一半以上。
2019-03-23 cs.CV
What Happens Next? Next Scene Prediction with a Unified Video Model
Pennsylvania State University（宾夕法尼亚州立大学）；Amazon（亚马逊）
本文提出Next Scene Prediction任务，通过联合框架结合Qwen-VL和LTX，利用预训练、监督微调和强化学习提升视频模型的时间推理能力。
2025-12-15 cs.CV
What Makes a 3D Scene Editable? A Factorized Benchmark of Fidelity, Locality, Consistency, and Preservation
University of Delhi（德里大学）；Jadavpur University（贾达普大学）
本研究提出EditBench3D基准，从保真度、局部性、一致性和保持性四维度评估神经3D场景编辑，发现语义保真度与其他属性弱相关，且显式高斯编辑器整体平衡最佳。
2026-09-15 cs.CV
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University（清华大学）
最近的进展自动生成的图像字幕表明，它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中，我们提出了一个图像字幕系统，利用图像和句子之间的并行结构。在我们的模型中，生成下一个单词的过程，给定先前生成的单词，与视觉感知体验一致，其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动，编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息，从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试，并与几个流行数据集上发表的结果进行了对比。我们表明，使用基于区域的注意力或特定场景的背景下，改善系统没有这些组件。此外，结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
What Demands Attention in Urban Street Scenes? From Scene Understanding towards Road Safety: A Survey of Vision-driven Datasets and Studies
Australian Centre For Robotics (ACFR), The University of Sydney（澳大利亚机器人中心（ACFR）、悉尼大学）
本文通过系统分类交通场景中需要关注的关键元素，全面分析35个视觉驱动任务和73个数据集，提出统一分析框架，旨在促进道路安全研究。
2026-05-26 cs.CV
What Images Cannot Say: Language-Guided Olfactory Representation Learning
LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等理工学院，IP巴黎，CNRS）
研究图像与嗅觉对齐难题，提出SCENT多模态框架，利用视觉语言模型生成场景描述符，训练气味编码器，通过语言引导潜在分解分离特定对象气味与环境贡献，提升跨模态检索性能，产生可解释表征。
2026-07-08 cs.AI cs.CV cs.LG
Prompt What You Need: Enhancing Segmentation in Rainy Scenes with Anchor-based Prompting
Beijing Jiaotong University（北京交通大学）
针对雨天语义分割的挑战，提出结合半监督学习与预训练基础模型、利用熵锚点提示和掩码过滤融合的框架，在Rainy WCity数据集上取得最优性能并获ICME 2023一等奖。
2023-05-12 cs.CV
Generating 360° Video is What You Need For a 3D Scene
Yale University（耶鲁大学）；Adobe Research（Adobe研究）；Oregon State University（俄勒冈州立大学）
本文提出WorldPrompter，利用360°视频作为中间表示，从文本生成可遍历的3D场景，通过全景视频生成和快速重建实现高质量导航，优于现有方法。
2025-09-25 cs.CV cs.GR
Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions
University of Birmingham（伯明翰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CISPA Helmholtz Center i.G.（CISPA亥姆霍兹中心）
深入的场景描述和问答任务大大增加了当今场景理解的定义范围。虽然这些任务原则上是开放式的，但目前的提法主要侧重于描述所考虑的场景的当前状态。相比之下，在本文中，我们专注于未来的状态的场景，也有条件的行动。我们将此作为一个问答任务，其中必须给出关于未来场景状态的答案，给出对当前场景的观察，以及包括假设动作的问题。我们的解决方案是一个混合模型，它集成了一个物理引擎到一个问答架构，以预期未来的场景状态所造成的对象-对象交互的行动。我们展示了这个具有挑战性的新问题的初步结果，并与基线进行了比较，在基线上，我们的表现优于完全数据驱动的端到端学习方法。
2018-11-21 cs.CL cs.CV cs.LG
What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis
Clova AI Research, NAVER/LINE Corp.（NAVER/LINE公司Clova AI研究中心）；Kyoto University（京都大学）
近年来，出现了许多新的场景文本识别（STR）模型。虽然每个人都声称已经推动了技术的边界，但由于培训和评估数据集的选择不一致，该领域在很大程度上缺乏全面和公平的比较。本文解决了这一困难与三个主要贡献。首先，我们检查训练和评估数据集的不一致性，以及不一致性导致的性能差距。其次，我们介绍了一个统一的四阶段STR框架，大多数现有的STR模型适合。使用这个框架允许以前提出的STR模块和以前未开发的模块组合的发现进行广泛的评估。第三，我们分析了在一组一致的训练和评估数据集下，模块对准确性，速度和内存需求方面的性能贡献。这种分析清除了当前比较的障碍，以了解现有模块的性能增益。
2019-12-18 cs.CV
Where We Are and What We're Looking At: Query Based Worldwide Image Geo-localization Using Hierarchies and Scenes
University of Central Florida（中佛罗里达大学）
确定照片拍摄的确切纬度和经度是一项有用且广泛适用的任务，但尽管其他计算机视觉任务的加速进展，它仍然非常困难。大多数以前的方法都选择学习查询图像的单一表示，然后在不同的地理粒度级别进行分类。这些方法未能利用不同的视觉线索，为不同的层次结构提供背景，如国家，州和城市级别。为此，我们引入了一个端到端的变压器为基础的架构，利用不同的地理级别（我们称之为层次结构）和相应的视觉场景信息之间的关系，通过分层交叉关注的图像。我们通过学习每个地理层次结构和场景类型的查询来实现这一点。此外，我们学习了不同环境场景的单独表示，因为同一位置的不同场景通常由完全不同的视觉特征定义。我们在4个标准地理定位数据集上实现了最先进的街道级精度：Im 2GPS，Im 2GPS 3 k，YFCC 4k和YFCC 26 k，并定性地展示了我们的方法如何学习不同视觉层次和场景的不同表示，这在以前的方法中没有得到证明。这些以前的测试数据集大多由标志性地标或从社交媒体拍摄的图像组成，这使得它们要么是记忆任务，要么偏向于某些地方。为了解决这个问题，我们引入了一个更难的测试数据集Google-World-Streets-15 k，其中包括从Google Streetview拍摄的覆盖整个地球的图像和当前最先进的结果。我们的代码将在相机就绪版本中提供。
2023-03-07 cs.CV
What Is The Best 3D Scene Representation for Robotics? From Geometric to Foundation Models
本文探讨了机器人中最佳的3D场景表示方法，对比了传统和神经表示的优劣，并展望了基础模型在机器人应用中的潜力。
2026-01-10 cs.CV cs.RO
Gauss What You Need: Compact Gaussian Splatting Across Scene Scales
ETH Zürich（苏黎世联邦理工学院）
TangoGS结合捕获驱动的模型规模设定与训练质量引导的密度控制，自动确定高斯数量，在标准场景减少48%高斯且保持质量，在大场景以2.3倍高斯数提升PSNR 0.54 dB，实现跨尺度最优折衷。
2026-09-28 cs.CV
What Does CLIP Learn for Regional Geolocalization? Probing Visual Cues and Scene Configuration After Adaptation
University of Southern California（南加州大学）；USC IMSC（南加州大学综合媒体系统中心）；German Jordanian University（德国约旦大学）；Integrated Media Systems Center (IMSC)（综合媒体系统中心）
该研究针对大都市区区域地理定位问题，对比CLIP不同适配方法的性能，发现编码器适配可提升邻近区域区分能力，且对场景配置的敏感性更高。
2026-08-25 cs.AI cs.CE cs.CV
Have a Look at What I See
The University of Haifa（海法大学）；The Interdisciplinary Center（跨学科中心）
我们提出了一种方法，用于指导摄影师旋转她/他的智能手机相机，以获得与同一场景的另一个图像重叠的图像。另一张照片是由另一位摄影师从不同的角度拍摄的。我们的方法是适用的，即使当图像没有重叠的视野。我们的方法的简单应用包括出于社交目的分享对感兴趣区域的关注，或者添加缺失图像以改善运动结果的结构。我们的解决方案使用场景的其他图像，这些图像通常可用，因为许多人经常使用智能手机相机。这些图像可以从现场的其他摄影师那里在线获得。我们的方法避免了3D场景重建，而是依赖于一个新的表示，该表示由两个轴，x和y上的场景点的空间顺序。这种表示允许使用极线点转移有效地选择一系列点并投影到摄影师的图像上。将这些极线叠加在摄像机的实时预览上，可以产生一个方便的界面来指导用户。该方法在具有挑战性的图像数据集上进行了测试，并成功地将摄影师从一个视图引导到非重叠的目的地视图。
2015-05-19 cs.CV
Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；Brown University（布朗大学）
自动驾驶汽车必须感知和预测附近行动者的未来位置，以避免碰撞和安全驾驶。一个学习过的深度学习模块通常负责这项任务，需要大规模、高质量的训练数据集。由于数据汇集通常比在该领域中标记便宜得多，因此标记哪个示例子集的决定可能对模型性能产生深远的影响。主动学习技术利用当前模型的状态来迭代地选择用于标记的示例，为这个问题提供了一个有前途的解决方案。然而，尽管这种方法很有吸引力，但对于感知和预测（P&P）问题的主动学习方法却很少有科学分析。在这项工作中，我们研究了P&P的主动学习技术，发现传统的主动学习公式不适合P&P设置。因此，我们引入泛化，确保我们的方法是成本意识，并允许细粒度的选择的例子，通过部分标记的场景。我们在真实世界的大规模自动驾驶数据集上的实验表明，细粒度选择可以提高感知，预测和下游规划任务的性能。
2021-04-08 cs.AI cs.CV cs.LG
What You Can Learn by Staring at a Blank Wall
MIT（麻省理工学院）；NVIDIA（英伟达）；Technion - Israel Institute of Technology（以色列理工学院）
我们提出了一种被动的非视线的方法，推断的人数或活动的一个人从观察一个空白的墙壁在一个未知的房间。我们的技术分析了复杂的难以察觉的变化，间接照明的视频墙，揭示了一个信号，是相关的运动在隐藏的一部分场景。我们使用这个信号来分类零个，一个或两个移动的人，或者隐藏场景中的人的活动。我们使用从20个不同场景收集的数据来训练两个卷积神经网络，并在看不见的测试环境和实时在线设置中实现了$\approx94\%$的准确度。与其他被动非视线方法不同，该技术不依赖于已知的遮挡器或可控光源，并且可以推广到未知的房间，无需重新校准。我们用真实数据和合成数据分析了该方法的推广性和鲁棒性，并研究了场景参数对信号质量的影响。
2021-08-30 cs.CV
What is a salient object? A dataset and a baseline model for salient object detection
University of Wisconsin, Milwaukee（威斯康星大学密尔沃基分校）
与注视预测模型不同的显著目标检测或显著区域检测模型传统上一直在处理场景中最显著的对象或区域的定位和分割。虽然当场景中存在多个对象时，最显著对象的概念是合理的，但用于显著性检测方法评估的当前数据集通常具有仅具有一个单个对象的场景。我们在本文中介绍三个主要的贡献：首先，我们深入研究的问题，显着的目标检测，通过研究人们在场景中看，他们选择的最显着的对象，当他们被明确要求之间的关系。基于注视和显著性判断之间的一致性，我们认为最显著的物体是吸引最高分数注视的物体。其次，我们提供了两个新的偏差较小的基准数据集，其中包含挑战现有显着性模型的多个对象的场景。事实上，我们在我们的数据集上观察到8个最先进的模型的性能严重下降（40%至70%）。第三，我们提出了一个非常简单但功能强大的基于超像素的模型，用作模型评估和比较的基线。虽然与MSRA-5 K数据集上的最佳模型相当，但我们的模型在我们的数据上胜过其他模型，突出了现有模型的一个严重缺点，即定位最显著对象及其分割的过程复杂。我们还提供了一些标记的场景数据集，可用于评估显着的目标检测模型的审查和统计分析。我们相信，我们的工作可以极大地帮助弥补模型对现有有偏数据集的过度拟合，并为这个快速发展的领域的未来研究开辟新的途径。
2014-12-08 cs.CV
Generating metamers of human scene understanding
Stony Brook University（史泰文布魯克大學）；UC Berkeley（加州大學伯克利分校）
本文提出MetamerGen，一种结合外围和注视信息生成与人类场景理解一致的图像的潜在扩散模型，通过双流表示实现视网膜输入的图像合成，并通过行为实验验证其对潜在场景表示的感知一致性。
2026-02-24 cs.AI cs.CV
Common Objects Out of Context (COOCo): Investigating Multimodal Context and Semantic Scene Violations in Referential Communication
Utrecht University（乌特雷赫大学）；University of Trento（特伦托大学）
COOCo研究了VLMs在指代生成中如何利用场景上下文，发现模型根据语义相关性和噪声水平动态平衡局部与上下文信息。
2026-02-10 cs.CL cs.CV
What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
Indiana University（印第安纳大学）；National Yang-Ming Chiao-Tung University（国家阳明交通大学）；Atmanity Inc.（Atmanity公司）
本文提出利用LLM生成的状态改变描述及其模拟失败的反事实作为监督信号，学习过程感知视频表示，显著提升了时序动作分割、错误检测等多项任务的性能。
2025-08-12 cs.CV
EgoVIS@CVPR: What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
Indiana University（印第安纳大学）；National Yang-Ming Chiao-Tung University（国立阳明交通大学）；Atmanity Inc（Atmanity公司）
该研究利用 LLM 生成状态变化描述及模拟失败结果的反事实作为监督，训练程序感知视频表示，增强动作步骤因果理解，并在动作分割、错误检测等任务上显著提升性能。
2025-09-26 cs.CV
What's in Common? Multimodal Models Hallucinate When Reasoning Across Scenes
FAIR at Meta（Meta 的 FAIR）
本文提出 Common-O 基准，通过“共同之处何在”问题揭示多模态模型在跨场景推理中的幻觉问题，并发现多图像训练与模型规模可带来改进。
2025-11-05 cs.CV cs.LG
What and Where: A Context-based Recommendation System for Object Insertion
Tsinghua University（清华大学）；University of Bath（巴斯大学）
在这项工作中，我们提出了一个新的主题，包括两个双重任务：1）给定一个场景，推荐对象插入，2）给定一个对象类别，检索合适的背景场景。在这两个任务中预测插入对象的限界框，这有助于下游应用，如半自动广告和视频合成。主要的挑战在于，目标对象在测试时既不存在也不本地化，而可用的数据集只提供具有现有对象的场景。为了解决这个问题，我们建立了一个无监督的算法，基于对象级的上下文，明确模型的联合概率分布的对象类别和边界框与高斯混合模型。在我们新注释的测试集上的实验表明，我们的系统在所有子任务上都优于现有的基线，并且在统一的框架下这样做。我们的贡献承诺未来的扩展和应用。
2018-11-24 cs.CV
Comprehensive Literature Survey on Deep Learning used in Image Memorability Prediction and Modification
Indira Gandhi Delhi Technical University for Women（英迪拉·甘地德里女子技术大学）
作为人类，我们可以非常详细地记住某些视觉效果，有时甚至在看过一次之后。更有趣的是，人类倾向于记住和忘记相同的东西，这表明图像可能有一些一般的内部特征来编码和丢弃类似类型的信息。研究表明，有些图片往往比其他图片更容易记住。图像被不同的观看者记住的能力是其内在属性之一。在可视化和摄影中，创造令人难忘的图像是一项艰巨的任务。因此，为了解决这个问题，各种技术预测视觉记忆和操纵图像的记忆。我们提出了一个全面的文献调查，以评估用于预测和修改记忆力的深度学习技术。特别是，我们分析了使用卷积神经网络，递归神经网络和生成对抗网络的图像记忆预测和修改。
2023-01-18 cs.CV cs.LG
Memorize What Matters: Emergent Scene Decomposition from Multitraverse
NYU（纽约大学）；NVIDIA（英伟达）；USC（南加州大学）；Stanford University（斯坦福大学）
提出自监督离线建图框架3DGM，利用多次遍历视频的鲁棒可微渲染实现环境与短暂性物体的自动分解，在Mapverse基准上验证了其在自动驾驶与机器人领域的有效性。
2024-05-29 cs.AI cs.CV cs.RO
"What happens if..." Learning to Predict the Effect of Forces in Images
Allen Institute for AI（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
如果一个人把桌子上的杯子推向桌子的边缘会发生什么？把桌子推到墙上怎么样？在本文中，我们研究的问题，了解运动的对象作为一个结果，施加外力给他们。对于施加到图像中特定位置的给定力矢量，我们的目标是预测该力引起的长期连续运动。这样做需要推理场景几何体、对象、它们的属性以及控制对象移动的物理规则。我们设计了一个深度神经网络模型，该模型通过结合卷积和递归神经网络来学习对象运动的长期顺序依赖性，同时考虑场景的几何形状和外观。训练我们的模型需要一个由外力引起的物体运动的大规模数据集。为了构建场景中的力的数据集，我们在物理模拟器中重建了SUN RGB-D数据集中的所有图像，以估计由施加于它们的外力引起的物体的物理运动。我们的ForScene数据集包含10，335张图像，其中各种外力被施加到不同类型的对象上，从而产生了超过65，000个以3D表示的对象移动。我们的实验评估表明，预测物体对外力的反应的长期运动的挑战性任务是可能的，从一个单一的图像。
2016-03-17 cs.CV
Tell Me What You See: Text-Guided Real-World Image Denoising
Tel Aviv University（特拉维夫大学）
针对极低光照下真实图像去噪难题，本文提出将摄影师可提供的文本场景描述作为额外先验，并利用文本引导扩散模型显著提升合成与真实图像的去噪重建性能。
2025-03-16 cs.CV eess.IV
Scene-Intuitive Agent for Remote Embodied Visual Grounding
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Deepwise AI Lab（深度思考人工智能实验室）
人类从生活事件中学习，形成对视觉环境和语言的理解的直觉。设想你被一个高级指令所指示，“去主卧室的浴室，把左边墙上的蓝色毛巾换掉”，你会怎么做来完成这个任务？直觉上，我们理解了指令的语义，形成了浴室在哪里以及蓝色毛巾在脑海中的概述;然后，我们通过将脑海中的浴室外观与当前场景一致地匹配来导航到目标位置。在本文中，我们提出了一个代理，模仿这样的人类行为。具体来说，我们专注于远程的视觉引用表达在真实的室内环境中的任务，称为REVERIE，其中代理被要求正确地本地化由一个简洁的高级自然语言指令指定的远程目标对象，并提出了一个两阶段的训练管道。在第一阶段，我们用两个跨模态对齐子任务预训练智能体，即场景接地任务和对象接地任务。智能体分别学习在场景基础任务中停止的位置和在对象基础任务中关注的内容。然后，为了生成动作序列，我们提出了一个记忆增强的注意动作解码器，以顺利地融合预先训练的视觉和语言表示与代理的过去的记忆经验。实验结果表明，我们的方法明显优于以前的最先进的（SOTA），证明了我们的方法的有效性。
2021-03-24 cs.CV
FOMO: Forget the Concept, Don't Miss Out on the Scene in Selective Video Unlearning
Jagiellonian University（雅盖隆大学）；IDEAS Research Institute（IDEAS 研究所）
针对视频生成模型中的有害内容，提出首个基于训练的选择性视频遗忘方法FOMO，在移除目标概念（含运动概念）的同时优先保留原始场景，实现最佳权衡。
2026-10-01 cs.CV
Probabilistic Future Prediction for Video Scene Understanding
Wayve；University of Cambridge（剑桥大学）
我们提出了一种新的深度学习架构，用于从视频中进行概率未来预测。我们预测未来的语义，几何形状和复杂的现实世界的城市场景的运动，并使用这种表示来控制自动驾驶汽车。这项工作是第一个联合预测自我运动，静态场景，并以概率的方式，这使得采样一致，高度可能的未来从一个紧凑的潜在空间的动态代理的运动。我们的模型使用时空卷积模块从RGB视频中学习表示。除了作为学习的驾驶策略的输入之外，学习的表示还可以被显式地解码为未来的语义分割、深度和光流。为了模拟未来的随机性，我们引入了一种条件变分方法，该方法可以最大限度地减少当前分布（给定我们所看到的情况下可能发生的事情）和未来分布（我们所观察到的实际发生的事情）之间的差异。在推理过程中，通过从当前分布中采样来生成不同的未来。
2020-07-17 cs.CV cs.LG cs.RO
