Learning Spatially Adaptive Structural Coordination for Underwater Salient Object Detection
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学）；School of Robotics and Advanced Manufacture, Harbin Institute of Technology（机器人与先进制造学院，哈尔滨工业大学）；School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；College of Computer Science & Visual Computing and Intelligent Perception Lab, Nankai University（计算机科学与视觉计算学院及智能感知实验室，南开大学）；School of Cyber Science and Technology, Sun Yat-sen University（网络科学与技术学院，中山大学）；School of Automation, Southeast University（自动化学院，东南大学）
本文提出DSS-USOD方法，通过动态结构专业化解决水下图像退化导致的定位不准确、区域碎片化和边界预测粗的问题，提升边界精度与区域一致性。
2026-08-25 cs.CV
Physics-Aware Conditional SetGAN for Spatially Consistent Multi-User TR 38.901 Channel Generation
Institute of Telecommunications and Multimedia Applications (iTEAM), Universitat Polit\`ecnica de Val\`encia (UPV), Spain（电信与多媒体应用研究所）；Beihang Valencia Polytechnic Institute (BVPI), China（北京航空航天大学瓦大理工大学）；Huawei Technologies, France（华为技术）
研究能否用训练好的生成模型更快生成多用户TR 38.901信道且保持空间相关性，提出物理感知条件SetGAN，经训练可分离大尺度与小尺度衰落相关信息，在UMa/NLoS基准测试中大幅加速信道生成且保持空间一致性。
2026-07-14 cs.LG
Spatially Resolved Gene Expression Prediction from Histology via Multi-view Graph Contrastive Learning with HSIC-bottleneck Regularization
School of Computer Science（计算机学院）；Technology Nanjing University of Aeronautics（南京航空航天大学技术学院）
针对现有基于组织学图像的ST基因表达预测忽略斑点空间依赖、难提取跨模态共性信息的问题，提出带HSIC瓶颈正则化的多视图图对比学习框架ST-GCHB，学习共享表征以提升预测效果。
2024-06-18 cs.AI cs.LG
Weather2vec: Representation Learning for Causal Inference with Non-Local Confounding in Air Pollution and Climate Studies
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
估计空间变化干预对空间变化结果的因果效应可能会受到非局部混杂（NLC）的影响，当给定单元的治疗和结果部分由其他附近单元的协变量决定时，这种现象可能会使估计产生偏差。特别是，NLC对于评估环境政策和气候事件对空气污染暴露等健康相关结果的影响是一个挑战。本文首先使用潜在结果框架对NLC进行了形式化，并与相关的因果干扰现象进行了比较。然后，它提出了一个广泛适用的框架，称为“weather2vec”，它使用平衡分数的理论来学习非本地信息的表示为每个观测单元定义的标量或向量，随后用于调整与因果推理方法相结合的混淆。该框架进行了评估，在模拟研究和两个案例研究的空气污染的天气是一个（固有的区域）已知的混淆。
2022-12-11 cs.LG stat.AP stat.ML
Learning Spatially Collaged Fourier Bases for Implicit Neural Representation
The University of Hong Kong（香港大学）
提出可学习空间掩码将不同傅里叶基分配到局部区域，实现拼贴傅里叶补丁，提升隐式神经表示在图像、视频和3D形状任务中的重建质量。
2023-12-28 cs.CV cs.LG
Spatially Controllable Image Synthesis with Internal Representation Collaging
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks公司）
我们提出了一种新的基于CNN的图像编辑策略，该策略允许用户通过在训练好的GAN模型中操纵图像的特征空间表示来改变图像在任意区域上的语义信息。我们将介绍我们的策略的两种变体：（1）空间条件批量归一化（sCBN），一种具有用户可指定空间权重图的条件批量归一化，以及（2）特征混合，一种直接修改中间特征的方法。我们的方法可以用来编辑人工图像和真实图像，他们都可以与任何GAN与条件归一化层一起使用。我们将通过在不同数据集上训练的各种类型的GANs上的实验来证明我们方法的强大功能。代码将在https://github.com/pfnet-research/neural-collage上提供。
2019-04-09 cs.CV cs.LG
Automatic Spatially-aware Fashion Concept Discovery
University of Maryland（马里兰大学）；Snap Inc.（Snap公司）；Google Inc.（谷歌公司）
提出了一种基于购物网站弱标记图文数据的空间感知概念自动发现方法。我们首先通过在视觉语义嵌入空间中联合建模服装图像及其相应的描述来微调GoogleNet。然后，对于每个属性（词），我们通过将其语义词向量表示与从微调网络的卷积映射导出的空间表示相结合来生成其空间感知表示。所得到的空间感知表示还用于将属性聚类到多个组中以形成空间感知概念（例如，领口概念可以包括诸如V领、圆领等属性）。最后，我们将视觉语义嵌入空间分解成多个概念特定的子空间，这有利于结构化浏览和属性反馈产品检索，利用多模态语言学。我们在新收集的Fashion200K数据集上进行了广泛的实验，聚类质量评估和属性反馈产品检索任务的结果证明了我们自动发现的空间感知概念的有效性。
2017-08-03 cs.CV
Spatially and Spectrally Consistent Deep Functional Maps
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；École polytechnique（巴黎综合理工学院）
本文提出一种无监督深度函数映射方法，通过同时保证谱域和空间域的循环一致性，提升非刚性形状匹配的精度与泛化能力，并在多种数据集上达到最先进性能。
2023-09-05 cs.CV
CAM-loss: Towards Learning Spatially Discriminative Feature Representations
Tsinghua University（清华大学）
传统的CNN分类器的主干通常被认为是一个特征提取器，后面是一个执行分类的线性层。我们提出了一种新的损失函数，称为CAM损失，约束嵌入的特征图与类激活图（CAM），这表明空间歧视地区的图像特定类别。CAM-loss驱动主干表示目标类别的特征，抑制非目标类别或背景的特征，从而获得更具区分性的特征表示。它可以简单地应用于任何CNN结构，具有可忽略的附加参数和计算。实验结果表明，CAM-loss适用于多种网络结构，可以与主流正则化方法相结合，提高图像分类的性能。在迁移学习和少样本学习任务中验证了CAM-loss的泛化能力。基于CAM-loss，本文还提出了一种新的CAAM-CAM匹配知识蒸馏方法。该方法直接利用教师网络生成的CAM监督学生网络生成的CAAM，有效提高了学生网络的准确性和收敛速度。
2022-03-08 cs.CV
MLSL: Multi-Level Self-Supervised Learning for Domain Adaptation with Spatially Independent and Semantically Consistent Labeling
Information Technology University of Punjab（旁遮普信息技术大学）
大多数最近的深度语义分割算法遭受大的泛化误差，即使在基于卷积神经网络的强大的分层表示模型已经被采用。这可能是由于有限的训练数据和训练和测试域数据集中的大分布差距。本文提出了一种用于语义分割的领域自适应的多层次自监督学习模型。利用的想法，一个对象（和大多数的东西给定的上下文）应该被标记一致，无论其位置，我们生成空间独立和语义一致（SISC）的伪标签分割多个子图像使用基本模型和设计的聚合策略。图像级伪弱标记PWL，计算引导领域自适应通过捕获全局上下文相似性在潜在空间级的源和域。因此，即使与图像的其余部分相比，属于域类别的像素非常少（例如小对象），也可以帮助潜在空间学习表示。我们的多级自监督学习（MLSL）优于现有的最先进的（自我或对抗学习）算法。具体而言，保持所有设置相似并采用MLSL，与现有最先进的方法相比，我们在GTA-V到Cityscapes适配上获得了5：1%的mIoU增益，在SYNTHIA到Cityscapes适配上获得了4：3%的mIoU增益。
2019-09-30 cs.CV
Learning Part Motion of Articulated Objects Using Spatially Continuous Neural Implicit Representations
Peking University（北京大学）；School of Computer Science（计算机学院）
提出一种基于空间连续神经隐式表示的新框架，通过预测部件表面点的变换矩阵显式解耦铰接物体部件运动，能通用建模多种关节运动，实验证明其有效性。
2023-11-21 cs.CV
Towards Spatially Consistent Image Generation: On Incorporating Intrinsic Scene Properties into Diffusion Models
AI Institute, Seoul National University（首尔国立大学人工智能研究所）；Columbia University（哥伦比亚大学）
本文提出一种基于内在场景属性的图像生成方法，通过同时生成图像和其内在属性，提升生成图像的空间一致性和真实感。
2025-11-26 cs.CV
Splat4D: Diffusion-Enhanced 4D Gaussian Splatting for Temporally and Spatially Consistent Content Creation
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；Google DeepMind（谷歌DeepMind）
本文提出Splat4D框架，通过多视角渲染、不一致性识别、视频扩散模型和非对称U-Net细化，从单目视频生成高保真且时空一致的4D内容，在多项基准与应用中达到SOTA。
2025-08-11 cs.CV
A Point in the Right Direction: Vector Prediction for Spatially-aware Self-supervised Volumetric Representation Learning
University of Notre Dame（圣母大学）；First Affiliated Hospital of Anhui Medical University（安徽医科大学第一附属医院）
密集3D医学成像任务的高注释成本和有限标签最近激发了各种3D自监督预训练方法，这些方法可以提高迁移学习性能。然而，这些方法通常缺乏空间意识，尽管它在实现有效的3D图像分析中处于中心地位。更具体地说，位置、比例和方向不仅提供信息，而且在生成用于训练的图像裁剪时自动可用。然而，到目前为止，还没有工作提出了一个借口任务，提取所有关键的空间特征。为了满足这一需求，我们开发了一种新的自监督方法VectorPOSE，它通过两个新的借口任务来促进更好的空间理解：矢量预测（VP）和边界聚焦重建（BFR）。VP侧重于全局空间概念（即，3D补丁的属性），而BFR解决了最近重建方法的弱点，以学习更有效的局部表示。我们在三个3D医学图像分割任务上评估了VectorPOSE，结果表明它通常优于最先进的方法，特别是在有限的注释设置中。
2022-11-15 cs.CV
Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
本文提出解耦框架，分离记忆条件与生成过程，提升空间一致性并保持生成能力。通过轻量记忆分支和跨帧注意力机制，实现高效且高质量的长时视频生成。
2026-10-28 cs.CV
BlobGAN: Spatially Disentangled Scene Representations
UC Berkeley（加州大学伯克利分校）；Adobe Research（奥多比研究院）
我们提出了一个无监督的，中级表示的场景生成模型。该表示是中级的，因为它既不是逐像素的，也不是逐图像的;相反，场景被建模为空间的、按深度排序的“斑点”特征的集合。斑点被可区分地放置在特征网格上，该特征网格由生成对抗网络解码成图像。由于斑点的空间均匀性和卷积固有的局部性，我们的网络学会将不同的斑点与场景中的不同实体相关联，并排列这些斑点以捕获场景布局。我们通过展示这种紧急行为来证明，尽管在没有任何监督的情况下进行训练，但我们的方法能够实现诸如轻松操纵场景中的对象（例如，移动、移除和重新设计家具），在给定约束的情况下创建可行的场景（例如，在特定位置具有抽屉的合理房间），以及将真实世界图像解析成组成部分。在具有挑战性的室内场景多类别数据集上，BlobGAN在FID测量的图像质量方面优于StyleGAN 2。请参阅我们的项目页面以获取视频结果和互动演示：https://www.dave.ml/blobgan
2022-07-29 cs.CV
Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在这项工作中，我们解决的问题，共同估计的亮度，法线，深度和3D空间变化的照明从一个单一的图像。大多数现有的方法将任务制定为图像到图像的翻译，忽略了场景的3D属性。然而，室内场景包含复杂的3D光传输，其中2D表示是不够的。在本文中，我们提出了一个统一的，基于学习的逆渲染框架，制定三维空间变化的照明。受经典的体渲染技术的启发，我们提出了一种新的体球高斯表示的照明，参数化的三维场景表面上的体素网格的出射辐射。我们设计了一个基于物理的微分渲染器，利用我们的3D照明表示，并制定了节能的图像形成过程，使联合训练的所有内在属性与重新渲染约束。我们的模型确保了物理上正确的预测，并避免了对不易获得的地面真实HDR照明的需求。实验表明，我们的方法优于以前的作品定量和定性，并能够产生逼真的结果，如虚拟对象插入，即使是高度镜面反射的对象的AR应用。
2021-10-20 cs.CV
Spatially Adaptive Cloth Regression with Implicit Neural Representations
ETH Zürich（苏黎世联邦理工学院）；Disney Research|Studios（迪士尼研究工作室）
本文提出一种基于隐式神经表示的各向异性布料回归方法，通过无网格采样和对抗训练方案，在相同内存约束下实现对精细局部褶皱的高保真高效建模。
2023-11-27 cs.CV cs.GR
TSOG: A Format For Temporally And Spatially Ordered Gaussians
Xiaomi Technology Netherlands B.V（小米科技荷兰有限公司）
该研究提出TSOG格式，扩展SOG框架至时间域以高效表示4DGS内容，经评估其文件大小缩减超90%且质量下降极小，可实现动态4D内容的高效存储与传输。
2026-07-31 cs.CV cs.GR eess.IV
LightOctree: Lightweight 3D Spatially-Coherent Indoor Lighting Estimation
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）
针对单张 RGB 图像的室内 3D 光照估计，本文提出基于体素八叉树和可微锥追踪渲染层的 LightOctree 框架，在保持估计质量的同时显著降低内存与计算成本。
2024-04-05 cs.CV
ContextualStory: Consistent Visual Storytelling with Spatially-Enhanced and Storyline Context
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
ContextualStory提出空间增强时间注意力、情节线上下文器和故事流适配器，在PororoSV和FlintstonesSV数据集上显著优于SOTA，实现连贯视觉叙事与帧扩展。
2025-02-24 cs.AI cs.CV cs.MM
Consistent Human Image and Video Generation with Spatially Conditioned Diffusion
The University of Tokyo（东京大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出一种基于空间条件扩散的一致性人物图像与视频生成方法，通过将任务构建为空间条件修复问题，在统一去噪网络内利用因果特征交互框架，有效缓解域间隙并保持外观一致性，实现强泛化能力。
2024-12-19 cs.CV
Blind Image Super-Resolution via Contrastive Representation Learning
Nanyang Technological University（南洋理工大学）
近年来，随着卷积神经网络（CNN）的发展，图像超分辨率（SR）研究取得了令人瞩目的进展。然而，大多数现有的SR方法是非盲的，并且假设退化具有单个固定且已知的分布（例如，双三次的），其在处理通常遵循多模态、空间变化和未知分布的真实世界数据中的退化时挣扎。最近的盲SR研究通过退化估计解决了这个问题，但它们不能很好地推广到多源退化，并且不能处理空间变化的退化。我们设计了CRL-SR，一个对比表示学习网络，专注于多模态和空间变化分布的图像的盲SR。CRL-SR从两个方面解决了盲SR挑战。第一种是对比度解耦编码，它引入对比学习，在双向对比度损失的指导下提取分辨率不变的嵌入并丢弃分辨率变化的嵌入。第二种是对比特征细化，它在条件对比损失的指导下生成丢失或损坏的高频细节。在合成数据集和真实图像上的大量实验表明，所提出的CRL-SR方法能够有效地处理盲设置下的多模态和空间变化退化，并且在定性和定量上都优于现有的SR方法。
2021-07-01 cs.CV
SuperGaussians: Enhancing Gaussian Splatting Using Primitives with Spatially Varying Colors
The University of Hong Kong（香港大学）；Shenzhen Graduate School of Peking University（北京大学深圳研究生院）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科技大学）；Macau University of Science and Technology（澳门科技大学）；Shandong University（山东大学）；Texas A&M University（德克萨斯农工大学）
针对高斯溅射表示不够紧凑的问题，提出SuperGaussians方法，在单个高斯基元中引入空间变化的颜色和不透明度，实现双线性插值、可移动核等空间变化函数，实验表明其优于基线且可移动核在多数据集上性能更优。
2024-11-28 cs.CV cs.GR cs.MM
CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
CoInteract通过空间结构化共生成方法，在人-物体交互视频合成中提升结构稳定性与物理合理性，采用扩散变换器框架结合人类感知混合专家和双流训练策略，实现更真实的交互效果。
2026-04-21 cs.CV
What-and-Where to Match: Deep Spatially Multiplicative Integration Networks for Person Re-identification
The University of Queensland（昆士兰大学）；The University of New South Wales（新南威尔士大学）；The University of Sydney（悉尼大学）
在不相交的摄像机视图中匹配行人，称为人的重新识别（re-id），是一个具有挑战性的问题，对视觉识别和监控具有重要意义。大多数现有的方法利用空间操作中的局部区域来执行局部对应的匹配。然而，它们本质上从每个图像的预划分区域提取\emph{fixed}表示，并且随后基于所提取的表示执行匹配。对于这个管道中的模型，无法捕获对区分正对和负对至关重要的局部更精细的模式，从而使它们表现不佳。在本文中，我们提出了一种新的深度乘法积分门函数，它回答了有效人员re-id的\emph{what-and-where to match}问题。为了解决\emph{what}匹配问题，我们的深度网络通过以乘法方式学习联合表示来强调共同的局部模式。该网络包括两个卷积神经网络（CNN）来提取卷积激活，并生成用于行人匹配的相关描述符。因此，这导致成对图像的灵活表示。为了解决\emph{where}匹配问题，我们通过四方向递归神经网络执行空间递归池化来对抗空间未对准，以相对于整个图像在所有位置上施加空间依赖性。所提出的网络被设计为端到端可训练的，以空间对齐的方式表征局部成对特征交互。为了证明我们的方法的优越性，进行了广泛的实验在三个基准数据集：VIPeR，CUHK 03和Market-1501。
2017-10-14 cs.CV
Fast Spatially-Varying Indoor Lighting Estimation
Université Laval（拉瓦尔大学）；Adobe Research（奥多比研究院）
我们提出了一种实时的方法来估计从一个单一的RGB图像的空间变化的室内照明。给定图像和该图像中的2D位置，我们的CNN在笔记本电脑移动图形卡上在不到20 ms的时间内估计给定位置处的照明的5阶球谐表示。虽然现有的方法估计一个单一的，全球照明表示或需要深度作为输入，我们的方法的原因，局部照明，而不需要任何几何信息。我们证明，通过定量实验，包括用户研究，我们的结果实现了较低的照明估计误差和用户的首选超过国家的最先进的。我们的方法可以直接用于增强现实应用程序，其中一个虚拟对象是relit现实在场景中的任何位置在实时。
2019-06-10 cs.CV
Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；LIGM (UMR 8049), École des Ponts ParisTech（巴黎高科桥路学校LIGM实验室（UMR 8049））
我们在这篇论文中的目标是在大量的艺术品收藏中发现近似重复的模式。这比标准的实例挖掘更难，因为艺术媒介（油画、粉彩、绘画等）的差异以及复制过程中固有的缺陷。关键的技术见解是通过使用自监督学习对特定的艺术收藏进行微调，使标准的深度特征适应这项任务。更具体地，相邻特征匹配之间的空间一致性被用作监督微调信号。适应的特征导致更准确的风格不变匹配，并且可以与基于几何验证的标准发现方法一起使用，以识别数据集中的重复模式。该方法在几个不同的数据集上进行了评估，并显示出令人惊讶的良好的定性发现结果。为了定量评估该方法，我们在Jan Brueghel及其工作室的1587件艺术品的数据集中注释了273个几乎重复的细节。除了艺术品，我们还展示了在Oxford5K照片数据集上的本地化以及在大时滞位置（LTLL）数据集上的历史照片本地化的改进。
2019-03-08 cs.CV
Shape Generation using Spatially Partitioned Point Clouds
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一种方法来生成三维形状使用点云。给定一个3D形状的点云表示，我们的方法建立一个kd树空间分区的点。这使得它们在所有形状上都保持一致，从而在所有形状上都有相当好的对应关系。然后，我们使用PCA分析，以获得一个线性形状的基础上，在空间上划分的点，并通过迭代最小化PCA重建误差优化点排序。即使在空间排序的情况下，点云本身也是有噪声的，并且所得到的形状系数上的分布可能是高度多模态的。我们建议使用神经网络的表达能力，学习分布的形状系数在一个生成的对抗框架。与在体素表示上训练的3D形状生成模型相比，我们的基于点的方法更轻，可扩展性更强，质量损失很小。它还在定性和定量方面优于更简单的线性因子模型，如概率PCA，在ShapeNet数据集的许多类别上。此外，我们的方法可以很容易地将其他点属性，如正常和颜色信息，一个额外的优势，基于体素的表示。
2017-07-19 cs.CV cs.GR
SAViR-T: Spatially Attentive Visual Reasoning with Transformers
Rutgers University（罗格斯大学）
我们提出了一种新的计算模型，“SAViR-T”，在乌鸦的渐进矩阵（RPM）中体现的视觉推理问题的家庭。我们的模型考虑了拼图中每个图像内视觉元素的明确空间语义，编码为空间视觉令牌，并学习图像内以及图像间令牌依赖关系，与视觉推理任务高度相关。通过基于转换器的SAViR-T架构建模的令牌式关系通过利用组规则一致性来提取组（行或列）驱动的表示，并将其用作归纳偏置来提取RPM中每个令牌的前两行（或列）中的底层规则表示。我们使用这种关系表示来定位正确的选择图像，该图像完成RPM的最后一行或最后一列。在两个合成RPM基准测试（包括RAVEN、I-RAVEN、RAVEN-FAIR和PGM）以及基于自然图像的“V-PROM”上进行的广泛实验表明，SAViR-T为视觉推理提供了一个新的最先进的技术，大大超过了先前模型的性能。
2022-06-22 cs.CV
SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces
Shandong University China；City University of Hong Kong China；Hong Kong University of Science；The University of Hong Kong China；Texas A\&M University USA；Shandong University；City University of Hong Kong；The University of Hong Kong；Texas A\&M University
本文提出SAND框架，通过空间自适应网络深度提升隐式神经表示的推理速度，利用体积网络深度图和改进的MLP，优化计算资源分配，提高效率。
2026-04-15 cs.CV cs.GR eess.IV
TexSpot: 3D Texture Enhancement with Spatially-uniform Point Latent Representation
Shenzhen University（深圳大学）
TexSpot提出一种基于扩散的3D纹理增强框架，通过融合点与UV表示的Texlet方法，提升纹理生成的视觉保真度和几何一致性。
2026-02-14 cs.CV cs.GR
Automotive mmWave Spinning Radar Place Recognition with Spatially Gated Feature-Correlation Representation
CSIRO Robotics, CSIRO（CSIRO机器人部门，澳大利亚联邦科学与工业研究组织）；Queensland University of Technology（昆士兰理工大学）
针对旋转雷达位置识别中航向变化导致极坐标循环移位及全局聚合丢失特征关系的问题，提出SGCA-Net，结合旋转鲁棒特征提取与空间门控相关聚合，在MulRan和HeRCULES数据集上优于现有方法。
2026-09-24 cs.AI cs.CV cs.RO
SABER: Spatially Consistent 3D Universal Adversarial Objects for BEV Detectors
School of Electronics and Information, Northwestern Polytechnical University & Shaanxi Key Laboratory of Information Acquisition and Processing, Xi’an, China（电子工程学院，西北工业大学 & 陕西省信息采集与处理重点实验室，西安，中国）；School of Computing, Australian National University（计算学院，澳大利亚国立大学）
SABER提出了一种生成通用、非侵入式且3D一致的对抗对象的方法，以揭示BEV 3D目标检测器的漏洞，并提供评估自动驾驶系统鲁棒性的实用流程。
2026-03-03 cs.CV
SARL: Spatially-Aware Self-Supervised Representation Learning for Visuo-Tactile Perception
Department of Bioengineering, Imperial-X Initiative, Imperial College London（生物工程系、Imperial-X计划、帝国理工学院伦敦分校）
SARL通过引入三个地图级目标，提升视觉-触觉数据的自监督学习效果，实现更精确的机器人感知。
2025-12-01 cs.CV
Learning Spatially Decoupled Color Representations for Facial Image Colorization
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Transsion Co, Ltd.（上海传音控股有限公司）
针对人脸图像上色不自然、不均匀的问题，提出 FCNet，在人脸解析图引导下学习各面部组成部分的空间解耦颜色表示，并支持无、单及多参考场景。
2024-12-10 cs.CV
Rarity-Aware Discrete Diffusion with Spatially Consistent Decoding for Photo-Realistic Image Super-Resolution
针对图像超分辨率，提出DiMOO-SR框架。训练时用逆频率采样处理稀有令牌，推理时用空间一致性排名提高结构连贯性。实验表明该框架仅需少量并行解码步骤就能实现有竞争力的感知质量，凸显离散扩散在图像超分辨率中的潜力。
2026-07-23 cs.CV
Spatially Localized Image Degradation Embeddings for Image Quality Assessment
针对自监督学习对空间局部退化敏感度不足的问题，提出SLIDE-IQA方法，采用双分支Vision Transformer框架和阈值边界排除机制，在对比预训练中注入局部退化，提升对局部失真的敏感度并在NR-IQA基准上取得竞争性能。
2026-06-28 cs.CV eess.IV
SpaceMind++: Toward Allocentric Cognitive Maps for Spatially Grounded Video MLLMs
Fudan University（复旦大学）；Huawei（华为）；Shenzhen Loop Area Institute（深圳河套学院）
SpaceMind++通过构建体素化认知地图，实现空间一致性的视觉推理，提升视频多模态大语言模型在3D环境中的表现。
2026-05-10 cs.CV
GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection
Department of Computer Vision Technology(VIS), Baidu Inc.（百度公司计算机视觉技术部）；Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；Northwestern Polytechnical University（西北工业大学）
GenHOI通过时间平衡和空间选择性的对象注入方法，提升手-物体交互在现实场景中的生成一致性与保真度。
2026-03-06 cs.CV
Extreme Masking for Learning Instance and Distributed Visual Representations
Microsoft Research Asia（微软亚洲研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种可扩展的方法，学习空间分布的视觉表示在个人令牌和整体的实例表示同时进行。我们使用自我注意力块来表示空间分布的令牌，然后使用交叉注意力块来聚合整体图像实例。该方法的核心是使用极大的令牌屏蔽（75%-90%）作为数据增强的监督。我们的模型名为ExtreMA，遵循简单的BYOL方法，其中来自未屏蔽子集的实例表示被训练以从完整的输入中预测。该模型需要捕捉图像中的信息变化，而不是鼓励输入的不变性。本文有三个贡献：1）它提出了随机掩蔽作为一个强大的和计算效率高的数据增强连体表示学习。2)通过对每个实例进行多次采样，极端掩蔽可以大大加快学习速度，并提高更多数据的性能。3)ExtreMA获得了比屏蔽建模方法更强的线性探测性能，以及比先前的对比模型更好的传输性能。
2023-03-08 cs.CV
GPSToken: Gaussian Parameterized Spatially-adaptive Tokenization for Image Representation and Generation
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
本文提出GPSToken框架，利用参数化2D高斯实现空间自适应非均匀图像分词，解耦空间布局与纹理特征以支持两阶段生成，在128个分词下取得最先进的图像重建与生成性能。
2025-09-19 cs.CV
CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders
Carleton University（卡尔顿大学）
CROMA通过结合对比学习与掩码重建的自监督框架，并引入X-/2D-ALiBi空间偏置策略，在遥感多模态数据上学习到优于现有最优模型的单模态与多模态表示，在多个分类与分割基准上取得显著提升。
2023-11-01 cs.CV
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation（日本电信电话株式会社计算机与数据科学实验室）
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统，并且这种系统的代表性任务是视听场景感知对话（AVSD）。大多数传统的AVSD模型采用基于卷积神经网络（CNN）的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息，但全局信息对于提高视频理解也至关重要，因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中，我们应用了基于变换器的视频特征，该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外，我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到，基于transformer的视觉特征对AVSD任务是有益的，因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
MorphSeek: Fine-grained Latent Representation-Level Policy Optimization for Deformable Image Registration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Sun Yat-sen University（中山大学）；Fudan University（复旦大学）；Hebei Medical University（河北医科大学）
本文提出MorphSeek，一种在潜在特征空间中进行细粒度策略优化的方法，用于解决可变形图像配准中的高维变形空间和体素级监督稀缺问题，通过引入随机高斯策略头和组相对策略优化，实现了高效探索和粗到细的优化，提升了配准的Dice系数和标签效率。
2026-05-17 cs.CV
CityRAG: Stepping Into a City via Spatially-Grounded Video Generation
Google（谷歌）；Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
CityRAG通过利用地理注册数据的大型语料库，生成空间一致且可导航的真实环境视频，其核心方法是结合学习的先验知识和时空不一致训练数据，以实现复杂的运动和外观变化。
2026-11-06 cs.CV
Lighthouse: Predicting Lighting Volumes for Spatially-Coherent Illumination
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
我们提出了一种深度学习解决方案，用于从输入的窄基线立体图像对中估计场景内任何3D位置处的入射照明。用于从图像预测全局光照的先前方法或者仅预测整个场景的单个光照，或者单独地估计每个3D位置处的光照，而不强制预测与相同的3D场景一致。相反，我们提出了一种深度学习模型，该模型估计场景的3D体积RGBA模型，包括观察视野之外的内容，然后使用标准体渲染来估计该体积内任何3D位置处的入射照明。我们的模型在没有任何地面真实3D数据的情况下进行训练，并且只需要输入立体对附近的保持透视图和每个场景内拍摄的球形全景作为监督，而不是空间变化照明估计的现有方法，其需要地面真实场景几何进行训练。我们证明，我们的方法可以预测一致的空间变化的照明，这是令人信服的，足以合理地重新照明和插入高度镜面反射的虚拟对象到真实图像。
2020-05-13 cs.CV cs.GR
Multimodal 3D Fusion and In-Situ Learning for Spatially Aware AI
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本研究提出融合CLIP特征的多模态3D表示与原位学习方法，搭建快速重建流水线，在Magic Leap 2上实现自然语言空间搜索、智能库存两个AR应用，开源代码以推动空间感知AI发展。
2024-10-06 cs.AI cs.CV cs.HC
Spatially and color consistent environment lighting estimation using deep neural networks for mixed reality
Universidade Federal do ABC（ABC联邦大学）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
一致的混合现实（XR）环境的表示需要实时的真实和虚拟照明组合。估计真实场景的照明仍然是一个挑战。由于问题的不适定性质，经典的逆渲染技术解决了简单照明设置的问题。然而，这些假设不满足计算机图形和XR应用的当前最新技术水平。虽然最近的许多工作解决了这个问题，使用机器学习技术来估计环境光和场景的材料，其中大多数是有限的几何或以前的知识。本文提出了一种基于CNN的模型来估计混合现实环境中的复杂光照，而无需先前的场景信息。我们使用一组球谐函数（SH）环境照明，能够有效地表示区域照明的环境照明模型。我们提出了一种新的CNN架构，输入RGB图像，并实时识别环境照明。与以前的基于CNN的照明估计方法不同，我们提出使用高度优化的深度神经网络架构，具有减少的参数数量，可以从真实世界的高动态范围（HDR）环境图像中学习高度复杂的照明场景。我们在实验中表明，当比较SH照明系数时，CNN架构可以预测环境照明，平均均方误差（MSE）为\num{7.85e-04}。我们在各种混合现实场景中验证了我们的模型。此外，我们提出了定性的结果比较现实世界的场景。
2021-08-17 cs.CV cs.GR
On Equivariant and Invariant Learning of Object Landmark Representations
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
给定一组图像，人类能够通过对实例之间共享的几何结构进行建模来发现地标。这种几何等变性的思想已被广泛用于对象地标表示的无监督发现。在本文中，我们开发了一个简单而有效的方法，结合实例判别和空间判别对比学习。我们表明，当深度网络被训练为对几何和光度变换不变性时，其中间层中会出现对对象地标具有高度预测性的表示。将这些跨层堆叠在“超列”中并使用空间对比学习来投影它们，进一步提高了它们在匹配和Few-Shot地标回归任务上的性能。我们还提出了一个统一的观点，现有的等变和不变的表示学习方法，通过对比学习的镜头，阐明了学习的不变性的性质。在地标学习的标准基准上进行的实验，以及我们提出的一个新的具有挑战性的实验，表明所提出的方法超越了现有的最先进的方法。
2021-04-02 cs.CV
Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
我们提出了一个室内场景的深度逆绘制框架。从一个单一的RGB图像的任意室内场景，我们创建一个完整的场景重建，估计形状，空间变化的照明，和空间变化的，非朗伯表面反射。为了训练这个网络，我们用真实世界的材料来增强SUCG室内场景数据集，并使用快速，高质量，基于物理的GPU渲染器来渲染它们，以创建一个大规模的，逼真的室内数据集。我们的逆渲染网络结合了物理见解-包括空间变化的球形高斯照明表示，用于模拟场景外观的可微分渲染层，用于迭代优化预测的级联结构和用于优化的双边求解器-使我们能够共同推理形状，照明和反射率。实验表明，我们的框架优于以前的方法，估计个别场景组件，这也使各种新的应用增强现实，如照片级真实感的对象插入和材料编辑。代码和数据将公开提供。
2019-05-07 cs.CV
SurroundNEXO: Ego-Centric Metric Bridging for Spatially Consistent Geometry in Autonomous Driving
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Hello Inc.
提出SurroundNEXO框架，通过自车中心几何（Ego-Ray位置编码）和稀疏LiDAR度量锚点，解决多相机低重叠下的度量深度预测与空间一致性问题，在多个基准上显著提升性能。
2026-06-16 cs.CV
Restoring Spatially-Heterogeneous Distortions using Mixture of Experts Network
Ajou University（亚洲大学）
近年来，基于深度学习的方法已成功应用于图像失真恢复任务。然而，假设仅单个失真的场景可能不适合于许多现实世界的应用。为了处理这种情况，一些研究提出了顺序组合的失真数据集。从不同的角度来看，我们引入了一个空间异构的失真数据集，其中多个腐败被应用到每个图像的不同位置。此外，我们还提出了一种混合专家模型网络来有效地恢复多失真图像。受多任务学习的启发，我们将网络设计为具有多条路径，可以学习常见和特定于失真的表示。我们的模型是有效的恢复现实世界的失真，我们的实验验证，我们的方法优于其他模型设计管理单失真和多失真。
2020-09-30 cs.CV
Location-Aware Fine-Grained Representation Learning for Medical Vision Foundation Models
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究所）
本研究提出基于位置感知细粒度表示学习的医学视觉基础模型LoFi，构建大规模医学定位数据集MedG，在多项医学视觉任务中性能优于现有模型。
2026-08-04 cs.CV
