Enhancing Cross-View Geo-Localization Generalization via Global-Local Consistency and Geometric Equivariance
School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Department of Mathematics, University of California San Diego(加州大学圣地亚哥分校数学系)
本文提出EGS框架,通过E(2)-等变CNN和虚拟超级节点图实现全局-局部一致性,增强跨视角地理定位的跨域泛化,在University-1652和SUES-200上达到最先进性能。
2025-09-25 cs.CV
Fostering Generalization in Single-view 3D Reconstruction by Learning a Hierarchy of Local and Global Shape Priors
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
单视图3D对象重建已经取得了很大的进展,但方法仍然难以推广到训练过程中看不到的新形状。常见的方法主要依赖于学习的全局形状先验,因此,忽略详细的局部观察。在这项工作中,我们解决这个问题,通过学习的层次结构的先验知识在不同层次的地方从地面真实输入深度图。我们认为,利用当地的先验知识,使我们的方法,以有效地利用输入的意见,从而提高在可见区域的新形状的推广。同时,局部和全局先验的结合使未观察到的部分产生有意义的幻觉,从而产生一致的3D形状。我们表明,分层的方法比全球性的方法更好地推广。它不仅在类的不同实例之间进行泛化,而且还跨类和对象的不可见排列进行泛化。
2021-04-01 cs.CV
UAV-OVO: Out-of-Viewpoint Generalization in UAV Action Recognition
Wuhan University(武汉大学);Singapore University of Technology and Design(新加坡科技与设计大学)
针对无人机动作识别中训练与测试视点不一致导致的性能下降问题,提出UAV-OVO基准和LATER方法,通过视点隔离和LoRA锚定特征重中心化实现视点鲁棒泛化。
2026-05-25 cs.CV
Towards Domain Generalization for Multi-view 3D Object Detection in Bird-Eye-View
University of Adelaide(阿德莱德大学);University of Science and Technology of China(中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
多视角三维目标检测(MV 3D-Det)以其低成本、高效率的特点受到广泛关注。虽然已经不断提出了用于仅摄像机的3D目标检测的新算法,但是当输入图像的域与训练图像的域不同时,它们中的大多数可能会有性能急剧下降的风险。在本文中,我们首先分析了MV 3D-Det任务的域间隙的原因。基于协变量偏移假设,我们发现这种差距主要归因于BEV的特征分布,而BEV的特征分布由深度估计和二维图像特征表示的质量共同决定。为了获得一个强大的深度预测,我们建议解耦的深度估计的内部参数的相机(即焦距)通过转换的预测度量深度的尺度不变的深度和执行动态的透视增强,以增加外部参数(即相机姿态)的多样性,通过利用单应性。此外,我们修改焦距值以创建多个伪域,并构建对抗性训练损失,以鼓励特征表示更加领域不可知。在没有花里胡哨的情况下,我们的方法,即DG-BEV,成功地消除了看不见的目标域上的性能下降,而不会损害源域的准确性。在各种公共数据集(包括Waymo,nuScenes和Lyft)上进行的大量实验证明了我们方法的通用性和有效性。据我们所知,这是第一个系统的研究,探索领域泛化方法的MV 3D-Det。
2023-03-03 cs.CV
FoVA-Depth: Field-of-View Agnostic Depth Estimation for Cross-Dataset Generalization
University of Maryland(马里兰大学);NVIDIA(英伟达)
针对大视场相机缺乏深度真值的问题,本文提出 FoVA-Depth,通过将针孔训练数据规范化为大视场表示并进行畸变增强,实现立体深度模型向不同视场和跨数据集的泛化。
2024-01-24 cs.CV
Learning Dense Object Descriptors from Multiple Views for Low-shot Category Generalization
Georgia Institute of Technology(佐治亚理工学院)
计算机视觉深度学习时代的一个标志是成功使用大规模标记数据集来训练特征表示,以完成从对象识别和语义分割到光流估计和3D场景的新视图合成等任务。在这项工作中,我们的目标是在不需要任何类别标签的情况下,学习密集的有区别的对象表示,用于低镜头类别识别。为此,我们提出了深度对象补丁编码(DOPE),它可以从对象实例的多个视图进行训练,而无需任何类别或语义对象部分标签。为了训练DOPE,我们假设访问稀疏深度,前景掩模和已知相机,以获得对象的视图之间的像素级对应关系,并使用此来制定一个自监督学习任务,以学习有区别的对象补丁。我们发现,DOPE可以直接用于低镜头分类的新类别使用局部匹配,是有竞争力的,优于监督和自监督学习基线。代码和数据可在https://github.com/rehg-lab/dope_selfsup获得。
2022-11-28 cs.CV
Unified Domain Generalization and Adaptation for Multi-View 3D Object Detection
Korea University(高丽大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对多视图3D目标检测的域错位与标注资源受限问题,提出UDGA框架,通过多视图重叠深度约束与标签高效域自适应方法,在少标注下实现跨域稳定检测,性能超越现有最优方法。
2024-10-29 cs.CV
BEV-DG: Cross-Modal Learning under Bird's-Eye View for Domain Generalization of 3D Semantic Segmentation
Xiamen University(厦门大学);Northeastern University(东北大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
针对3D语义分割域泛化中无法访问目标域及2D-3D点像素错位问题,提出BEV-DG,通过BAF鸟瞰区域融合与BDCL域对比学习学习域无关表示,并在三种设置下大幅超越现有方法。
2023-08-12 cs.CV
Seeing the Unseen: Semantic-in-Gaussian for Sparse-View 3D Generalization
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Global Institute of Future Technology, Shanghai Jiao Tong University(上海交通大学全球未来技术研究院)
本文提出新型通用三维高斯溅射框架SeeU,通过跨视图熵感知模块与条件高斯变换器优化高斯估计,在稀疏视图场景下提升新视图合成的渲染质量与结构完整性,外推设置下PSNR较SOTA方法提升2.44 dB。
2026-08-25 cs.CV
GeoLink: A 3D-aware Framework to Improve Generalization for Cross-view Geo-localization
CUHK(SZ)(香港中文大学(深圳));XMU(厦门大学);UESTC(电子科技大学);Foshan University(佛山大学);Tongji University(同济大学)
本文提出GeoLink框架,通过3D感知的语义一致方法提升跨视角地理定位的泛化能力,实验表明其在多个基准测试中优于现有方法,能适应未见领域和多变天气。
2026-08-25 cs.CV cs.MM
View Generalization for Single Image Textured 3D Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Bilkent University(比尔肯特大学);NVIDIA(英伟达)
人类可以很容易地从单个2D图像中推断出物体的基本3D几何形状和纹理。目前的计算机视觉方法也可以做到这一点,但存在视图泛化问题-推断的模型往往对新视图中的外观预测不佳。至于机器学习中的泛化问题,困难在于平衡单视图准确性(cf.训练误差;偏差)与新颖的视图精度(参见,测试误差;方差)。我们描述了一类模型,其几何刚度很容易控制,以管理这种权衡。我们描述了一个周期一致性损失,提高了视图泛化(粗略地说,从生成的视图模型应该预测原始视图)。纹理的视图泛化要求模型共享纹理信息,因此从后面看到的汽车仍然有前灯,因为其他汽车有前灯。我们描述了一个周期的一致性损失,鼓励模型纹理对齐,以鼓励共享。我们比较我们的方法对国家的最先进的方法,并显示定性和定量的改进。
2021-06-10 cs.AI cs.CV cs.GR
Generalization Limits in Vehicle Re-Identification
Université Paris-Saclay, ENS Paris-Saclay, CNRS, Centre Borelli(巴黎-萨克雷大学、巴黎-萨克雷高等学院、国家科学研究中心、Borelli中心);HGH Infrared Systems(HGH红外系统公司);Institut Universitaire de France(法国国家科学院);Universidad Técnica Federico Santa María, Chile(智利费尔南多·圣马利亚技术大学)
针对车辆再识别任务中模型对未见车辆类型泛化能力差的问题,提出了一种新的评估方法,并通过视角分割分析揭示了现有方法在视角鲁棒性和细节关注上的局限性。
2026-06-01 cs.CV
Rotation-Constrained Cross-View Feature Fusion for Multi-View Appearance-based Gaze Estimation
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所)
提出一种利用相机间相对旋转矩阵约束的可旋转特征提取与跨视角融合方法,用于多视角外观式视线估计,显著提升对未见头部姿态的泛化性能。
2023-11-15 cs.CV
Single-view Neural Radiance Fields with Depth Teacher
Fudan University(复旦大学);University of Oxford(牛津大学)
提出一种结合平面与体积渲染并引入深度教师网络的单视图NeRF模型,仅用单张图像即可高质量合成新视角,PSNR提升5-20%,深度误差降低20-50%,且无需逐场景微调。
2023-05-11 cs.CV
Investigating the Nature of 3D Generalization in Deep Neural Networks
University of Cambridge(剑桥大学);NVIDIA Research(英伟达研究院)
本文通过有监督分类任务研究深度网络从二维视图泛化到新三维视图的机制,发现其泛化方式既非完整三维推断也非线性插值,但远优于纯二维匹配,为数据集设计提供指导。
2023-04-19 cs.AI cs.CV cs.LG
Probing Fine-Grained Action Understanding and Cross-View Generalization of Foundation Models
Institute for Artificial Intelligence, University of Stuttgart(斯图加特大学人工智能研究所);Institute for Anthropomatics and Robotics (IAR), KIT(卡尔斯鲁厄理工学院人形机器人与智能系统研究所)
本研究系统评估了基础模型在细粒度人类活动识别中面对视角变化的表现,比较了多种架构与时间融合策略,为未知视角下的模型选择提供指导。
2024-07-22 cs.CV
SynthGenNet: a self-supervised approach for test-time generalization using synthetic multi-source domain mixing of street view images
GeoAI4Cities Research Lab, Department of Data Science and Engineering, IISER Bhopal(GeoAI4Cities研究实验室,数据科学与工程系,IISER博帕尔)
针对城市场景理解的域泛化难题,提出自监督师生架构SynthGenNet,结合ClassMix++、GMC损失与PLGCL机制,利用合成多源街景图像实现鲁棒测试时泛化,在IDD数据集上mIoU达50%,超越单源最优方法。
2025-09-02 cs.CV
On the generalization of learning-based 3D reconstruction
Apple Inc.(苹果公司)
最先进的基于学习的单目3D重建方法学习训练集上的对象类别的先验知识,因此很难实现对训练期间看不到的对象类别的合理泛化。在本文中,我们研究了模型架构中编码的归纳偏差,这些偏差影响了基于学习的3D重建方法的推广。我们发现,3个感应偏差影响性能:编码器的空间范围,使用场景的底层几何形状来描述点特征,以及从多个视图聚合信息的机制。此外,我们提出了机制,以执行这些归纳偏见:一个点表示,是知道相机的位置,和方差成本聚合信息的意见。我们的模型在各种设置下在标准ShapeNet 3D重建基准上实现了最先进的结果。
2020-06-27 cs.CV
RetiGen: A Framework for Generalized Retinal Diagnosis Using Multi-View Fundus Images
University of Electronic Science and Technology of China(电子科技大学);King’s College London(伦敦国王学院)
本研究提出RetiGen框架,利用无标签多视角眼底图像,结合类别平衡、测试时适应和多视角优化策略,有效解决域偏移问题,显著提升了医学图像在真实临床环境中的泛化能力和诊断准确性。
2024-03-22 cs.CV
DG-MVP: 3D Domain Generalization via Multiple Views of Point Clouds for Classification
Syracuse University(雪城大学)
针对CAD模型与LiDAR点云间的域偏移问题,提出DG-MVP方法,通过3D点云的多2D投影缓解缺失点问题,结合卷积模型提取特征,在基准数据集上优于基线,提升跨域泛化能力。
2025-04-16 cs.CV
Towards Generalization Across Depth for Monocular 3D Object Detection
Mapillary Research(Mapillary研究);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
虽然昂贵的LiDAR和立体相机设备已经成功开发了3D目标检测方法,但单目RGB方法远远落后。这项工作通过引入MoVi-3D(一种用于单目3D目标检测的新颖的单级深度架构)来推进现有技术。MoVi-3D建立在一种新的方法之上,该方法利用几何信息在训练和测试时生成虚拟视图,其中对象外观相对于距离进行归一化。这些虚拟生成的视图有助于检测任务,因为它们显著降低了与放置在距相机不同距离处的对象相关联的视觉外观变化。因此,深度模型从学习深度特定的表示中解脱出来,并且可以显着降低其复杂性。特别是,在这项工作中,我们表明,由于我们的虚拟视图生成过程中,一个轻量级的,单级架构足以设置新的国家的最先进的结果流行的KITTI 3D基准。
2020-04-02 cs.CV
ACE-G: Improving Generalization of Scene Coordinate Regression Through Query Pre-Training
Niantic Spatial;KTH Royal Institute of Technology(瑞典皇家理工学院);University of Oxford(牛津大学);Third Dimension AI
本文提出ACE-G方法,通过将坐标回归器与地图表示分离,在数万个场景上预训练通用transformer,显著提升了场景坐标回归在视觉重定位中的泛化能力和鲁棒性,同时保持了较低的计算开销。
2025-10-13 cs.CV
Improving Sparse-View 3DGS Generalization via Flat Minima Optimization
Sungkyunkwan University(成均馆大学)
针对稀疏视角下3DGS过拟合问题,提出基于平坦极小值优化的轻量训练框架,通过各向异性高斯扰动和周期性重初始化提升泛化性能。
2026-07-02 cs.AI cs.CV
PhysicsNeRF: Physics-Guided 3D Reconstruction from Sparse Views
Department of Electrical and Computer Engineering, Texas A\&M University, Doha, Qatar(电气与计算机工程系,德克萨斯A&M大学,多哈,卡塔尔);College of Science and Engineering, Hamad Bin Khalifa University, Doha, Qatar(科学与工程学院,哈马德·本·卡伊夫大学,多哈,卡塔尔)
PhysicsNeRF提出物理引导的稀疏视图三维重建框架,通过四个约束和紧凑架构,在8视图下达到21.4 dB PSNR,并分析泛化差距,实现物理一致的可泛化表示。
2025-06-21 cs.CV
Learning Dense Feature Matching via Lifting Single 2D Image to 3D Space
Beijing Institute of Technology(北京理工大学);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Shanghai Al Laboratory(上海阿尔实验室)
本文提出L2M两阶段框架,通过将单张2D图像提升到3D空间,利用3D感知编码器和新视角渲染解码器学习鲁棒特征匹配,在零样本基准上实现优越泛化。
2025-07-05 cs.CV
Fair Domain Generalization: An Information-Theoretic View
本文提出PAFDG框架,通过信息论视角解决公平领域泛化问题,实现效用与公平性的帕累托优化。
2026-01-01 cs.CV cs.LG
MoVie: Visual Model-Based Policy Adaptation for View Generalization
Shanghai Qi Zhi Institute(上海期智研究院);University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室)
本文提出 MoVie,一种测试时、无奖励的视觉模型策略适配方法,以解决强化学习中的视角泛化问题,并在 DMControl、xArm 和 Adroit 的 18 项任务上取得显著提升。
2023-09-27 cs.CV cs.LG cs.RO
Free3D: Consistent Novel View Synthesis without 3D Representation
University of Oxford(牛津大学)
Free3D提出一种无需显式3D表示的单目新视角合成方法,通过射线条件归一化层编码相机位姿,并结合多视图注意力与共享噪声提升一致性,在Objaverse上训练并在多个数据集上展现优异泛化能力。
2024-03-30 cs.CV
A causal view of compositional zero-shot recognition
NVIDIA Research(英伟达研究院);Bar-Ilan University(巴伊兰大学);Technion - Israel Institute of Technology(以色列理工学院)
人们很容易识别新的视觉类别,这些类别是已知组件的新组合。这种组合泛化能力对于视觉和语言等现实世界领域的学习至关重要,因为新组合的长尾主导了分布。不幸的是,学习系统在合成泛化方面遇到了困难,因为它们通常建立在与类标签相关的特征上,即使这些特征对类来说不是“必要的”。这会导致来自新分布的样本的一致错误分类,如已知成分的新组合。在这里,我们描述了一种基于因果思想的合成泛化方法。首先,我们从因果关系的角度描述了组合零样本学习,并建议将zero-shot推理视为寻找“哪种干预导致了图像?".第二,我们提出了一个启发式的嵌入模型,学习相关(混淆)训练数据的视觉对象的基本组件的解纠缠表示。我们在两个数据集上评估了这种方法,用于预测属性-对象对的新组合:一个控制良好的合成图像数据集和一个由细粒度类型的鞋子组成的真实数据集。与强基线相比,我们显示出了改进。
2020-11-01 cs.CV
AlignPose: Generalizable 6D Pose Estimation via Multi-view Feature-metric Alignment
Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与控制学研究院);Czech Technical University in Prague(布拉格捷克技术大学)
本文提出AlignPose,一种无需特定对象训练或对称标注的多视角6D位姿估计方法,通过多视角特征-度量细化优化单一一致的世界坐标系位姿,实验表明其在六个数据集上优于其他方法,尤其在工业数据集上表现突出。
2026-05-21 cs.CV
Domain Generalization for Mammography Detection via Multi-style and Multi-view Contrastive Learning
Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学);Yale University(耶鲁大学);ShanghaiTech University(上海科技大学)
病灶检测是乳腺X线摄影计算机辅助诊断中的一个基本问题。深度学习技术的进步已经为这项任务取得了显着的进展,前提是训练数据很大,并且在图像风格和质量方面足够多样化。特别是,图像风格的多样性可能主要归因于供应商因素。然而,尽可能多地从供应商那里收集乳房X线照片是非常昂贵的,有时对于实验室规模的研究来说是不切实际的。因此,为了进一步增强深度学习模型对资源有限的各种供应商的泛化能力,开发了一种新的对比学习方案。具体地说,主干网首先训练与多风格和多视图的无监督自学习方案的不变特征嵌入到各种供应商的风格。之后,主干网然后被重新校准到具有特定监督学习的病变检测的下游任务。所提出的方法进行了评估与乳房X线照片从四个供应商和一个看不见的公共数据集。实验结果表明,我们的方法可以有效地提高检测性能的可见和不可见的领域,并优于许多国家的最先进的(SOTA)推广方法。
2021-11-21 cs.CV eess.IV
NVS-Adapter: Plug-and-Play Novel View Synthesis from a Single Image
POSTECH(浦项科技大学);Cinamon Runway
本文提出即插即用模块NVS-Adapter,通过视图一致性交叉注意力和全局语义条件化,在不全量微调T2I模型的情况下实现单图几何一致的多视角合成。
2024-08-10 cs.CV
Diffusion-Based Action Recognition Generalizes to Untrained Domains
California Institute of Technology(加州理工学院)
本文提出利用视觉扩散模型生成特征并经Transformer聚合,通过早期时间步条件突出语义信息,在跨物种、跨视角和跨情境三个动作识别泛化基准上均取得最优结果。
2025-09-22 cs.CV
Federated Out-of-Distribution Generalization: A Causal Augmentation View
School of Software, Shandong University(山东大学软件学院);AIM Lab, Faculty of IT, Monash University(莫纳什大学信息技术学院人工智能实验室)
本文提出联邦因果增强方法 FedCAug,通过因果区域定位和反事实样本生成打破属性与类别的虚假相关性,在保护隐私的同时显著提升了模型的分布外泛化能力。
2025-04-28 cs.CV
FSViewFusion: Few-Shots View Generation of Novel Objects
University of Central Florida(中佛罗里达大学);University of Maryland(马里兰大学)
本文提出FSViewFusion方法,利用预训练稳定扩散模型和Dreambooth,通过少量样本实现新物体的视图生成,无需3D先验,实验证明其高效可靠。
2024-03-13 cs.CV
On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning?
UCLouvain(天主教鲁汶大学);UMons(蒙斯大学);ÉTS Montréal(蒙特利尔工程学院)
本文提出测试时增强方法MTA,通过内点得分与均值漂移联合优化,无需提示学习即可超越基于提示的方法,在15个数据集上验证了其优越性和计算效率。
2024-05-03 cs.CV
SparseRecon: Neural Implicit Surface Reconstruction from Sparse Views with Feature and Depth Consistencies
School of Software, Tsinghua University(清华大学软件学院);Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);China Telecom(中国电信);Kuaishou Technology(快手科技);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
针对稀疏视图曲面重建中现有方法泛化性差或几何线索不足的问题,提出SparseRecon方法,通过跨视图特征一致性损失和不确定性引导深度约束提升重建质量,在小重叠视图场景下性能优于现有最优方法。
2025-08-01 cs.CV
IMDPrompter: Adapting SAM to Image Manipulation Detection by Cross-View Automated Prompt Learning
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
本文提出基于SAM的跨视图自动提示学习范式IMDPrompter,通过设计跨视图特征感知、最优提示选择等组件实现自动化检测与定位,有效解决了SAM在图像篡改检测中依赖手动提示和跨数据集泛化难的问题。
2025-04-30 cs.CV
Multi-View Spatial-Temporal Graph Convolutional Networks with Domain Generalization for Sleep Stage Classification
Beijing Jiaotong University(北京交通大学);Massachusetts Institute of Technology(麻省理工学院)
睡眠阶段分类对于睡眠评估和疾病诊断至关重要。尽管先前对睡眠阶段进行分类的尝试已经实现了高分类性能,但仍存在若干挑战:1)如何有效地利用来自多通道脑信号的时变空间和时间特征仍然具有挑战性。以往的工作还没有能够充分利用大脑区域之间的空间拓扑信息。2)由于个体生物信号中存在许多差异,如何克服受试者的差异并提高深度神经网络的泛化能力非常重要。3)大多数深度学习方法忽略了模型对大脑的可解释性。为了解决上述挑战,我们提出了一个多视图时空图卷积网络(MSTGCN)与域泛化的睡眠阶段分类。具体来说,我们构建了两个大脑视图图MSTGCN的基础上的功能连接和物理距离接近的大脑区域。MSTGCN由用于提取空间特征的图卷积和用于捕获睡眠阶段之间的过渡规则的时间卷积组成。此外,注意机制被用于捕获最相关的时空信息用于睡眠阶段分类。最后,域泛化和MSTGCN集成到一个统一的框架,以提取主题不变的睡眠特征。在两个公共数据集上的实验表明,该模型优于最先进的基线。
2021-09-04 cs.AI cs.CV cs.LG
A Fuzzy View on k-Means Based Signal Quantization with Application in Iris Segmentation
本文表明,k-means量化的信号可以被解释为一个清晰的指标函数,并作为一个模糊的隶属度分配描述模糊聚类和模糊边界。组合清晰和模糊指示函数在这里被定义为普通清晰和模糊指示函数的自然推广,分别。最后给出了一个虹膜分割的应用程序。
2011-07-13 cs.CV
SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学)
本文提出SC-NeRF,通过基于多头注意力机制的几何校正和外观校正模块,解决仅用物体级数据训练泛化到户外场景时的分布偏移和视角变化导致的渲染伪影问题,在四个数据集上显著提升了PSNR和SSIM等指标。
2023-09-10 cs.CV
SegLocNet: Multimodal Localization Network for Autonomous Driving via Bird's-Eye-View Segmentation
Beijing Institute of Technology(北京理工大学)
提出SegLocNet,一种基于BEV语义分割的多模态无GNSS定位网络,通过统一地图表示适用于HD和SD地图,在nuScenes和Argoverse上超越现有方法,实现高精度、高泛化的自车位姿估计。
2025-02-28 cs.CV
Few-Shot Generalization for Single-Image 3D Reconstruction via Priors
Cornell University(康奈尔大学)
最近的工作单视图三维重建显示了令人印象深刻的结果,但已被限制在几个固定的类别,广泛的训练数据是可用的。将这些模型推广到具有有限训练数据的新类的问题在很大程度上是开放的。为了解决这个问题,我们提出了一种新的模型架构,重新构建单视图三维重建的学习,类别不可知的细化提供的,特定类别的先验。为新类别提供的先验形状可以从来自该类别的少至一个3D形状获得。我们的模型可以使用此先验知识从新类别开始重建对象,而无需看到此类的任何训练图像,也无需进行任何重新训练。我们的模型优于与类别无关的基线,并且与更复杂的基线保持竞争力,这些基线对新类别进行微调。此外,我们的网络能够改善多视图的重建,尽管没有经过多视图重建任务的训练。
2019-09-03 cs.CV cs.LG stat.ML
Towards Full-scene Domain Generalization in Multi-agent Collaborative Bird's Eye View Segmentation for Connected and Autonomous Driving
City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学);Lingnan University(岭南大学)
本文针对网联自动驾驶协作感知中的域偏移问题,提出统一域泛化框架,通过幅度增强、元一致性训练和系统内域对齐提升多智能体协作鸟瞰图分割的跨域泛化能力。
2024-11-24 cs.AI cs.CV
Improving the generalization of network based relative pose regression: dimension reduction as a regularizer
Zhejiang University(浙江大学)
视觉定位在增强现实、机器人技术、三维重建等领域占有重要地位。最先进的视觉定位方法在RANSAC框架内使用基于几何的求解器来执行姿态估计。然而,这些方法需要在高图像分辨率下精确的像素级匹配,这在外观、动态或视角的显著变化下难以满足。基于端到端学习的回归网络提供了一种解决方案来规避对精确像素级对应的要求,但在跨场景泛化方面表现不佳。在本文中,我们在网络中显式地添加了一个可学习的匹配层,以将姿态回归求解器与绝对图像特征值隔离开来,并在相关特征通道和图像尺度上应用维度正则化,以进一步提高泛化和大视角变化的性能。我们在一个基于两层金字塔的框架内实现了这种维度正则化策略,以将定位结果从粗到细进行回归。此外,深度信息被融合用于绝对平移尺度恢复。通过在真实世界RGBD数据集上的实验,我们验证了我们的设计在提高泛化性能和对视点变化的鲁棒性方面的有效性,并且还显示了基于回归的视觉定位网络对基于几何的视觉定位方法难以实现的具有挑战性的场合的潜力。
2020-10-24 cs.CV cs.RO
Enhancing Semi-Supervised Multi-View Graph Convolutional Networks via Supervised Contrastive Learning and Self-Training
University of the Basque Country(巴斯克大学);IKERBASQUE;North China University of Water Resources and Electric Power(华北水利水电大学)
MV-SupGCN通过监督对比学习和自训练方法提升多视图图卷积网络的半监督性能。
2025-12-15 cs.CV cs.LG
FACE: Few-shot Adapter with Cross-view Fusion for Cross-subject EEG Emotion Recognition
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室)
针对跨被试脑电情绪识别中被试差异大和过拟合问题,提出少样本适配器与跨视角融合方法FACE,通过动态多视角融合和元学习增强适配器,在三个基准上取得领先泛化性能。
2026-11-13 cs.AI cs.CV eess.IV
ActionXPose: A Novel 2D Multi-view Pose-based Algorithm for Real-time Human Action Recognition
我们提出了一种新的基于姿态的二维人体动作识别(HAR)算法--XPose。该方法利用OpenPose检测器从RGB视频中提供的2D人体姿势。XPose旨在处理姿势数据,以提供给长短期记忆神经网络和一维卷积神经网络,从而解决分类问题。XPose是最早利用2D人体姿势进行HAR的算法之一。该算法具有实时性,对摄像机运动、被摄体邻近度变化、视点变化、被摄体外观变化等具有较强的鲁棒性,泛化能力强。事实上,大量的模拟表明,可以使用不同的数据集一次成功地训练XPose。最先进的性能流行的数据集上的姿势相关的HAR问题(i3 DPost,KTH),并与其他方法获得的结果进行比较,包括选定的XPose基线。此外,我们还提出了两个新的数据集,称为MPOSE和ISLD,记录在我们的智能传感实验室,以显示XPose的泛化性能。
2018-10-29 cs.CV eess.IV
RAIN: Robotic Task Generalization with Region-Aware Interaction Networks
LG AI Research(LG AI研究院);Huawei Technologies Ltd.(华为技术有限公司);Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对现有VLA模型记忆训练轨迹导致泛化能力受限的问题,提出RAIN模型,通过区域感知交互网络结合TCE、PlanDiT、过渡头及RRS策略,在LIBERO-Analogy基准和真实任务上实现更稳健的机器人任务泛化。
2026-10-14 cs.CV cs.RO
OG-VLA: Orthographic Image Generation for 3D-Aware Vision-Language Action Model
University of Southern California(美国南加州大学);NVIDIA(英伟达)
针对3D感知策略泛化差、VLA对姿态敏感的问题,提出OG-VLA架构,通过反投影点云、规范正交渲染等改进泛化,在Arnold和Colosseum基准上未见过环境泛化相对提升超40%,还具备真实世界适应性。
2025-11-18 cs.AI cs.CV cs.RO
Multi-Camera View Scaling for Data-Efficient Robot Imitation Learning
UC Berkeley(加州大学伯克利分校);Lambda, Inc(Lambda公司);MIT(麻省理工学院)
本文提出一种利用场景多样性提升机器人模仿学习数据效率的方法,通过摄像头视角缩放生成伪演示,增强视觉表示的视角不变性,并在仿真和现实任务中验证了其有效性。
2026-04-01 cs.CV cs.LG cs.RO
NeoNav: Improving the Generalization of Visual Navigation via Generating Next Expected Observations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The University of Maryland(马里兰大学);National University of Defense Technology(国防科技大学)
我们建议通过学习一个智能体来提高视觉导航的跨目标和跨场景泛化能力,该智能体通过构思它期望看到的下一个观察结果来指导。这是通过学习变分贝叶斯模型(称为NeoNav)来实现的,该模型根据代理和目标视图的当前观察结果生成下一个预期观察结果(NEO)。我们的生成模型通过优化包含两个关键设计的变分目标来学习。首先,潜在分布是以当前观察和目标视图为条件的,从而导致基于模型的目标驱动的导航。第二,潜在空间用以当前观察和下一个最佳动作为条件的高斯混合模型建模。我们使用混合后验先验有效地解决了过度正则化潜在空间的问题,从而显着提高了新目标和新场景的模型泛化能力。此外,近地天体生成模拟了主体与环境相互作用的前向动态,这提高了近似推理的质量,从而有利于数据效率。我们对真实世界和合成基准进行了广泛的评估,并表明我们的模型在成功率,数据效率和泛化方面始终优于最先进的模型。
2022-01-10 cs.CV cs.LG cs.RO
Minimal Sufficient Views: A DNN model making predictions with more evidence has higher accuracy
Toyota Central R&D Labs., Inc.(丰田中央研究实验室有限公司);DENSO CORPORATION(电装株式会社)
本研究提出最小充分视图(MSVs)来量化DNN发现的证据,发现证据数量与模型泛化性能强相关,并基于此提出无需标签的可靠模型选择指标。
2025-05-29 cs.AI cs.CV cs.LG