Self-Supervised Discriminative Feature Learning for Deep Multi-View Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（信息与通信工程学院，电子科技大学）；Department of Computer Science, University of Illinois at Chicago（计算机科学系，伊利诺伊大学芝加哥分校）；Department of Computer Science and Engineering, Lehigh University（计算机科学与工程系，莱斯大学）
SDMVC通过自监督判别特征学习提升多视图聚类性能，利用深度自编码器和统一目标分布实现特征学习与聚类一致性。
2025-11-20 cs.CV cs.LG
Uncertainty-Aware Global-View Reconstruction for Multi-View Multi-Label Feature Selection
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）；Department of Computer Science, Portland State University（波特兰州立大学计算机科学系）
针对多视图多标签学习中特征选择的噪声与样本不确定性问题，提出基于全局视图重构的统一模型，通过样本图结构、置信度和视图关系重构视图并建立标签映射，提升了特征选择性能与可靠性。
2025-03-18 cs.CV cs.LG
View Confusion Feature Learning for Person Re-identification
Chongqing University（重庆大学）
人物重新识别是视频监控中的一项重要任务，其目的是将不同位置和时间的摄像机视图中的人物关联起来。视图可变性一直是一个具有挑战性的问题，严重降低了人的重新识别性能。现有的方法大多集中在如何学习视图不变特征或如何组合视图特征。在本文中，我们主要关注如何学习视图不变的功能，摆脱了特定的信息，通过视图混淆学习机制。具体来说，我们提出了一个端到端的可训练框架，称为视图混淆特征学习（VCFL），用于跨摄像机的人员Re-ID。据我们所知，VCFL最初被提出来学习视图不变的身份方式的功能，它是一种视图通用和视图特定的方法相结合。分类器和特征中心被用来实现视图混淆。此外，我们使用词袋模型提取筛选引导特征，以帮助监督深度网络的训练，并增强特征的视图不变性。在CUHK 01、CUHK 03和MARKET 1501三个基准数据集上的实验结果表明，该方法优于现有的几种方法
2019-10-09 cs.CV
Partial Multi-View Clustering via Meta-Learning and Contrastive Feature Alignment
针对部分视图缺失导致聚类性能欠佳的问题，提出基于对比学习的双优化框架，结合微调Vision Transformer、KNN填补缺失视图并利用自监督与元学习动态调整权重，在BDGP和HW数据集上优于现有方法。
2024-11-14 cs.CV cs.LG
Multi-view Feature Extraction based on Dual Contrastive Head
China Agricultural University（中国农业大学）
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法，近年来引起了广泛的关注。大多数基于CL的方法仅从样本水平构建。本文提出了一种新的基于双对比度头的多视角特征提取方法。结构级CL使潜在子空间结构在任意两个交叉视图中保持一致，从而有助于样本级CL更有效地提取区分性特征。进一步证明了结构级CL与互信息、概率内散射和概率间散射之间的关系，为该算法的优良性能提供了理论支持。最后，在六个真实数据集上的数值实验表明，该方法与现有方法相比具有更好的性能.
2023-02-08 cs.CV cs.LG
3D-Assisted Image Feature Synthesis for Novel Views of an Object
Stanford University（斯坦福大学）
由于视觉特征在大视角变化下的不稳定性，以视点不变的方式比较两幅图像一直是计算机视觉中的一个挑战性问题。在本文中，给定一个对象的单个输入图像，我们合成新的功能，为同一对象的其他视图。为了实现这一点，我们引入了一组对齐的3D模型，与输入对象图像在同一类中。每个3D模型由一组视图表示，我们研究不同视图之间的图像补丁的相关性，寻求我们所谓的代理-补丁在一个视图中的特征内容预测以及补丁在另一个视图中的特征。特别是，对于新的期望视图中的每个补丁，我们从给定图像的观察视图中寻找代理。对于一个给定的代理，我们预测代理使用的3D模型视图的相应补丁的线性组合，学习的系数，然后转移这些系数的基础上，每个补丁的新视图中的补丁合成的功能。通过这种方式，我们可以为潜在对象的所有视图创建特征集，为我们提供对象的多视图表示。视图不变的对象比较简单地通过计算相应视图的特征之间的$L^2$距离来实现。我们提供的特征合成过程的理论和实证分析，并评估所提出的视图不可知距离（VAD）在细粒度图像检索（100个对象类）和分类任务。实验结果表明，我们的合成功能，使图像之间的视图无关的比较，并在这方面的表现显着优于传统的图像特征。
2014-11-26 cs.CV
VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single and Multi-view 3D Reconstruction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍了一个统一的单视图和多视图神经隐式三维重建框架VPFusion。VPFusion使用3D特征量来捕获3D结构感知上下文，并使用像素对齐的图像特征来捕获精细的局部细节，从而实现高质量的重建。现有的方法使用RNN，特征池或在每个视图中独立计算的注意力进行多视图融合。RNN遭受长期记忆损失和置换方差，而特征池或独立计算的注意力导致每个视图中的表示在最终池化步骤之前不知道其他视图。相比之下，我们通过建立基于变换的成对视图关联来改进多视图特征融合。特别是，我们提出了一种新的交错三维推理和成对视图关联架构的特征量融合在不同的意见。使用这种结构感知和多视图感知的特征量，我们表现出改进的3D重建性能相比，现有的方法。VPFusion还通过结合像素对齐的局部图像特征来捕获精细细节，从而进一步提高了重建质量。我们在ShapeNet和ModelNet数据集上验证了VPFusion的有效性，在这些数据集上，我们的性能优于或优于最先进的单视图和多视图3D形状重建方法。
2022-07-16 cs.CV
S^2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering
University of Electronic Science & Technology of China（电子科技大学）
针对现有基于锚点的大规模多视图聚类方法仅探索全局相关性的局限，提出S^2MVTC方法，通过构建嵌入特征张量、设计TLFA算子及施加一致性约束学习视图内和跨视图相关性，在六个数据集上的聚类性能和运行效率均优于现有最优算法。
2024-04-11 cs.CV cs.LG
Hierarchical View Predictor: Unsupervised 3D Global Feature Learning through Hierarchical Prediction among Unordered Views
Tsinghua University（清华大学）；Wayne State University（韦恩州立大学）；University of Maryland（马里兰大学）
三维形状分析的全局特征的无监督学习是一个重要的研究挑战，因为它避免了人工收集监督信息的努力。在本文中，我们提出了一种基于视图的深度学习模型，称为分层视图预测器（HVP），以无监督的方式从无序视图中学习3D形状特征。为了从无序视图中挖掘出具有高度鉴别力的信息，HVP在视图对上执行一种新的分层视图预测，并将从所有视图对中的预测中学习到的知识聚合成一个全局特征。在一个视图对，我们提出分层视图预测的任务，分层预测的一组图像补丁在当前视图中，从其互补的补丁集，此外，完成当前视图和它的相反的任何一个两组补丁。在块到块、块到视图和视图到视图中的分层预测有助于HVP从同一视图中的块之间的相关性和一对互补视图之间的相关性有效地学习3D形状的结构。此外，所采用的隐式聚集在所有的视图对，使HVP学习全局功能从无序的意见。我们的研究结果表明，HVP可以优于国家的最先进的方法在大规模的三维形状基准的形状分类和检索。
2021-08-08 cs.CV
Self-supervised Modal and View Invariant Feature Learning
The City University of New York（纽约市立大学）；Northwestern Polytechnical University（西北工业大学）
现有的3D数据的自监督特征学习方法大多是从点云数据或多视图图像中学习3D特征。通过探索3D对象固有的多模态属性，在本文中，我们提出了联合学习模态不变和视图不变的功能，从不同的模态，包括图像，点云，网格与异构网络的3D数据。为了学习模态和视图不变特征，我们提出了两种约束：跨模态不变约束和跨视图不变约束。跨模态不变性约束迫使网络最大化来自相同对象的不同模态的特征的一致性，而跨视图不变性约束迫使网络最大化来自相同对象的图像的不同视图的特征的一致性。已在不同的下游任务上测试了学习特征的质量，这些任务具有三种数据模式，包括点云，多视图图像和网格。通过跨模态检索任务，对不同模态和视图间的不变性进行了评估。广泛的评估结果表明，学习的功能是强大的，在不同的任务有很强的泛化能力。
2020-05-28 cs.CV
PVRNet: Point-View Relation Neural Network for 3D Shape Recognition
Tsinghua University（清华大学）；Xiamen University（厦门大学）；University of Maryland, College Park（马里兰大学帕克分校）
三维（3D）形状识别在计算机视觉领域引起了广泛的研究关注。深度学习的进步鼓励了用于3D特征表示的各种深度模型。针对点云和多视图数据这两种常用的三维数据形态，提出了不同的模型，并取得了显著的效果。然而，点云和视图之间的关系却很少被研究。在本文中，我们介绍了点视图关系网络（PVRNet），一个有效的网络设计，很好地融合了视图功能和点云功能与建议的关系评分模块。更具体地，基于关系得分模块，首先通过融合点云特征和具有点单视图关系的每个单视图特征来提取点单视图融合特征，然后通过融合点云特征和具有点多视图关系的不同数目的视图的特征来提取点多视图融合特征。最后，将点-单视图融合特征和点-多视图融合特征进一步结合起来，实现了三维形状的统一表示。我们提出的PVRNet已经在ModelNet 40数据集上进行了评估，用于3D形状分类和检索。实验结果表明，我们的模型可以实现显着的性能改善相比，国家的最先进的模型。
2018-12-02 cs.CV
DealMVC: Dual Contrastive Calibration for Multi-view Clustering
National University of Defense Technology（国防科技大学）；Intelligent Game and Decision Lab（智能博弈与决策实验室）
针对现有多视图对比聚类忽略跨视图相似但不同样本的问题，提出双对比校准网络DealMVC，通过全局与局部对比校准损失联合优化跨视图特征，在8个基准数据集上取得优于现有方法的聚类效果。
2023-11-07 cs.CV cs.LG
Learning Canonical View Representation for 3D Shape Recognition with Arbitrary Views
Tencent Youtu Lab（腾讯优图实验室）
在本文中，我们专注于从任意视图中识别3D形状，即，任意数量和位置的观点。这是一个具有挑战性和现实的设置为基于视图的三维形状识别。我们提出了一个规范的视图表示来应对这一挑战。我们首先将任意视图的原始特征转换为固定数量的视图特征，称为规范视图表示，通过将任意视图特征对齐到一组使用最佳传输的可学习参考视图特征。以这种方式，具有任意视图的每个3D形状由固定数量的规范视图特征表示，这些特征被进一步聚合以生成用于形状识别的丰富且鲁棒的3D形状表示。我们还提出了一个规范的视图特征分离约束，强制规范视图表示中的视图特征可以嵌入到欧氏空间中的散乱点。在ModelNet40、ScanObjectNN和RGBD数据集上的实验表明，该方法在固定视点设置下取得了有竞争力的结果，在任意视点设置下显著优于现有方法.
2021-08-17 cs.AI cs.CV
MSMVD: Exploiting Multi-scale Image Features via Multi-scale BEV Features for Multi-view Pedestrian Detection
NTT Human Informatics Laboratories（NTT人机信息实验室）；NTT Corporation（NTT公司）
本文提出 MSMVD，通过将各视角多尺度图像特征逐尺度投影为多尺度 BEV 特征并以特征金字塔融合，解决多视角行人尺度一致或差异过大的检测难题，在 GMVD 上将 MODA 提升 4.5 点。
2025-08-28 cs.CV
Parkour Spot ID: Feature Matching in Satellite and Street view images using Deep Learning
Arizona State University（亚利桑那州立大学）
如何找到谷歌地图没有索引的地方？我们提出了一个直观的方法和框架来定位的地方，根据其独特的空间特征。该方法使用机器视觉方法中的卫星和街景图像来对位置进行分类。如果我们可以对位置进行分类，我们只需要对感兴趣区域中的非重叠位置重复。我们评估所提出的系统在寻找跑酷点在亚利桑那州立大学的校园。结果非常令人满意，发现了超过25个新的跑酷点，真阳性率超过60%。
2022-01-02 cs.CV cs.LG
Anchor-based Multi-view Subspace Clustering with Hierarchical Feature Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Intelligent Game and Decision Lab（智能游戏与决策实验室）；College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）
针对多视图特征对齐困难及谱聚类方法三次方复杂度问题，提出MVSC-HFD，通过层次特征下降、统一采样和锚点子空间聚类实现线性时间高效聚类，并在基准数据集上优于现有方法。
2024-04-09 cs.CV cs.LG
Person Re-Identification by Camera Correlation Aware Feature Augmentation
Sun Yat-sen University（中山大学）；National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong（香港中文大学）；Queen Mary University of London（伦敦玛丽女王大学）
人物重新识别（re-id）的挑战是匹配由不同非重叠相机视图捕获的同一个人的各个图像，以对抗显著和未知的交叉视图特征失真。虽然已经为re-id开发了大量的距离度量/子空间学习模型，但是他们学习的跨视图变换是视图通用的，因此在量化每个相机视图固有的特征失真方面可能不太有效。学习用于re-id的视图特定特征变换（即，视图特定的RE-ID），一种研究不足的方法，成为该问题的替代手段。在这项工作中，我们制定了一个新的特定于视图的人重新识别框架，从功能增强的角度来看，被称为相机coRrelation感知功能增强（CRAFT）。具体而言，CRAFT执行跨视图自适应自动测量相机相关性从跨视图视觉数据分布和自适应进行特征增强，将原始功能转换到一个新的自适应空间。通过我们的增强框架，视图通用学习算法可以很容易地推广到学习和优化视图特定的子模型，同时建模视图通用的歧视信息。因此，我们的框架不仅继承了视图通用模型学习的优势，而且还提供了一种有效的方法来考虑视图的特定特征。我们的CRAFT框架可以扩展到在一个具有两个以上摄像头的大型网络中共同学习针对人员re-id的视图特定特征转换，这是一个基本上未被研究但现实的re-id设置。此外，我们提出了一个域通用的深的人的外观表示，特别是被设计为朝向视图不变，以促进跨视图适应的手工艺。
2017-03-26 cs.CV
ODMTCNet: An Interpretable Multi-view Deep Neural Network Architecture for Image Feature Representation
Ryerson University（瑞尔森大学）
通过将统计机器学习（SML）原理与深度神经网络（DNN）架构相结合，提出了一种可解释的多视图深度神经网络架构，即最优判别多视图张量卷积网络（ODMTCNet）。
2021-10-28 cs.CV
Multi-view Feature Extraction based on Triple Contrastive Heads
China Agricultural University（中国农业大学）
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法，近年来引起了广泛的关注。在这项研究中，我们提出了一种新的多视图特征提取方法的基础上的三重对比头，它结合了样本，恢复，和特征级对比损失，以提取足够的，但最小的子空间判别信息，符合信息瓶颈原则。在MFETCH中，我们构造了特征级对比损失，它去除了一致性信息中的冗余信息，以实现子空间鉴别信息的最小化。此外，在MFETCH中还构造了恢复级对比度损失，该损失捕获了视点特有的鉴别信息，以实现子空间鉴别信息的充分性，数值实验表明，该方法在多视点特征提取中具有很强的优势.
2023-03-22 cs.CV
DDMS: Discriminative Distillation of Multi-view Foundational Features into Single-view Models
University of British Columbia（不列颠哥伦比亚大学）；Sony Semiconductor Solutions Corporation（索尼半导体解决方案公司）；Sony Corporation（索尼公司）
本研究提出DDMS方法，通过判别式蒸馏将多视图模型的3D几何知识迁移到单视图模型，获得兼具3D一致性、局部判别性与语义迁移性的基础特征，在多维度实验中效果显著。
2026-10-06 cs.CV
ManifoldNeRF: View-dependent Image Feature Supervision for Few-shot Neural Radiance Fields
Graduate School of Life Science and Systems Engineering（生命科学与系统工程研究生院）；Kyushu Institute of Technology（九州工业大学）；Guardian Robot Project（守护机器人项目）；RIKEN（理化学研究所）；Research Center for Neuromorphic AI Hardware（神经形态人工智能硬件研究中心）
针对DietNeRF在少样本新视角合成中因视角不变特征假设损害训练的问题，提出ManifoldNeRF，利用相邻已知视角的插值特征监督未知视角，在复杂场景中取得更优表现。
2023-10-20 cs.AI cs.CV cs.GR
3D-CVF: Generating Joint Camera and LiDAR Features Using Cross-View Spatial Feature Fusion for 3D Object Detection
Hanyang University（汉阳大学）
在本文中，我们提出了一种新的深度架构，用于融合相机和LiDAR传感器进行3D目标检测。由于相机和LiDAR传感器信号具有不同的特性和分布，因此融合这两种模态有望提高3D目标检测的准确性和鲁棒性。相机和激光雷达的融合所带来的挑战之一是，从每种模态获得的空间特征图由相机和世界坐标中的显著不同的视图表示;因此，在不丢失信息的情况下组合两个异构特征图并不是一件容易的任务。为了解决这个问题，我们提出了一种称为3D-CVF的方法，该方法使用跨视图空间特征融合策略将相机和LiDAR特征相结合。首先，该方法采用自动校准投影，将2D相机特征转换为与鸟瞰图（BEV）域中的LiDAR特征具有最高对应性的平滑空间特征图。然后，应用门控特征融合网络，使用空间注意力图来根据区域适当地混合相机和LiDAR特征。接下来，相机-LiDAR特征融合也在随后的建议细化阶段实现。摄像机功能通过3D RoI网格池从2D摄像机视图域使用，并与BEV功能融合以进行提案细化。在KITTI和nuScenes 3D目标检测数据集上进行的评估表明，相机-LiDAR融合在单一模态上提供了显着的性能增益，并且所提出的3D-CVF在KITTI基准中实现了最先进的性能。
2020-07-21 cs.CV cs.LG eess.IV
Learnable Graph Convolutional Network and Feature Fusion for Multi-view Learning
Fuzhou University（福州大学）；University of Vienna（维也纳大学）
在实际应用中，从不同角度描述目标的多视图数据有助于提高学习算法的精度。然而，给定多视图数据，通过图卷积网络同时学习判别节点关系和图信息的工作是有限的，近年来引起了相当多的研究人员的注意。现有的方法大多只考虑邻接矩阵的加权和，而将特征和图融合的联合神经网络还没有被研究。为了解决这些问题，本文提出了一种联合深度学习框架，称为可学习的图卷积网络和特征融合（LGCN-FF），包括两个阶段：特征融合网络和可学习的图卷积网络。前者旨在从异构视图中学习底层特征表示，而后者通过可学习的权重和被称为微分收缩激活（DSA）函数的参数激活函数探索更具鉴别力的图融合。在多视图半监督分类中，所提出的LGCN-FF被验证为优于各种最先进的方法。
2022-11-16 cs.AI cs.CV cs.LG
ShapeCodes: Self-Supervised Feature Learning by Lifting Views to Viewgrids
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们引入了一种无监督的特征学习方法，将3D形状信息嵌入到单视图图像表示中。其主要思想是一个自我监督的训练目标，只给定一个2D图像，要求对象的所有不可见视图都可以从学习的特征中预测。我们实现这个想法作为一个编码器-解码器卷积神经网络。该网络将未知类别和未知视点的输入图像映射到潜在空间，解卷积解码器可以从该潜在空间最好地将图像“提升”到其完整的视图网格，从所有视角显示对象。我们的类不可知的训练过程鼓励代表捕捉基本的形状原语和语义的数据驱动的方式-没有手动语义标签。我们在两个广泛使用的形状数据集上的结果表明：1）我们的方法成功地学习执行“心理旋转”，即使是在训练过程中看不到的对象; 2）学习的潜在空间是对象识别的强大表示，优于几种现有的无监督特征学习方法。
2018-07-31 cs.CV
ViewSynth: Learning Local Features from Depth using View Synthesis
Siemens Corporate Technology（西门子企业技术中心）；Rutgers University（罗格斯大学）
廉价商品深度传感器的快速发展使得深度图像模态中的关键点检测和匹配成为计算机视觉中的重要问题。尽管最近的RGB局部特征学习方法有了很大的改进，但直接在深度模态中调整它们会导致性能不令人满意。这些方法中的大多数都没有明确地推理图像中的可见像素之外的内容。为了解决这些方法的局限性，我们提出了一个框架ViewSynth，以共同学习：（1）使用所提出的对比匹配损失从深度图像中获得视点不变的关键点描述符，以及（2）使用所提出的视图合成模块和视图合成损失从不同视点合成深度图像。通过学习视图合成，我们明确地鼓励特征提取器不仅对可见的信息进行编码，而且还对场景的遮挡部分进行编码。我们证明，在深度模态，ViewSynth优于国家的最先进的深度和RGB本地特征提取技术在3D关键点匹配和摄像机定位任务的RGB-D数据集7-场景，TUM RGBD和CoRBS在大多数情况下。我们还展示了ViewSynth在不同数据集的3D关键点匹配中的通用性。
2020-09-01 cs.CV
VoxelFormer: Bird's-Eye-View Feature Generation based on Dual-view Attention for Multi-view 3D Object Detection
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Meta AI；MIT（麻省理工学院）；Xiamen University（厦门大学）
针对BEVFormer在多视图3D目标检测中注意力权重生成和特征聚合的局限，提出双视图注意力机制构建VoxelFormer，在nuScenes上显著优于基线。
2023-04-03 cs.CV
3DViewGraph: Learning Global Features for 3D Shapes from A Graph of Unordered Views with Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心（BNRist））；University of Maryland, College Park（马里兰大学帕克分校）；University of Macau（澳门大学）
通过在多个视图上聚合信息来学习全局特征已被证明对于3D形状分析是有效的。对于深度学习模型中的视图聚合，池化已被广泛应用。然而，池化导致视图内的内容和视图之间的空间关系的丢失，这限制了学习特征的可辨别性。我们提出了3DViewGraph来解决这个问题，它通过更有效地聚集无序视图来学习3D全局特征。具体地，围绕形状获取的无序视图被视为视图图上的视图节点。3DViewGraph首先学习一种新的潜在语义映射，将低层视图特征投影到由潜在语义模式跨越的低维空间中有意义的潜在语义嵌入中。然后，每对视图节点的内容和空间信息编码的一种新的空间模式的相关性，其中的相关性计算之间的潜在语义模式。最后，所有的空间模式的相关性与注意力权重学习一种新的注意力机制。这通过突出具有独特特征的无序视图节点并抑制具有外观模糊性的视图节点来进一步增加学习特征的可辨别性。我们证明了3DViewGraph在三个大规模基准测试中的表现优于最先进的方法。
2019-05-17 cs.CV
Deep Contrastive Multi-view Clustering under Semantic Feature Guidance
Beijing Institute of technology（北京理工大学）
针对多视图聚类中对比学习正负样本构建忽略语义一致性导致假负对的问题，提出DCMCS框架，通过学习语义特征加权对比损失弱化假负对影响，性能优于现有最优方法。
2024-03-09 cs.CV cs.MM
Multi-view analysis of unregistered medical images using cross-view transformers
Data Science Group, Faculty of Science Radboud University, Nijmegen, the Netherlands（拉德堡德大学理学院数据科学组）
多视角医学图像分析往往依赖于多个视角信息的组合。然而，视角的差异或其他形式的未对准可能会使有效地组合视图变得困难，因为配准并不总是可能的。在没有配准的情况下，视图只能通过在全局池化之后加入特征向量来在全局特征级别进行组合。我们提出了一种新的跨视图Transformer方法，在空间特征图的水平上在未注册的视图之间传递信息。我们在多视图乳腺摄影和胸部X射线数据集上证明了这种方法。在这两个数据集上，我们发现一个连接空间特征图的跨视图Transformer可以优于一个在全局池化后连接特征向量的基线模型。
2021-09-23 cs.CV
GlowGS: Generative Semantic Feature Learning for 3D Gaussian Splatting in Nighttime Glow Scenes
National University of Singapore（新加坡国立大学）
针对夜间发光场景中3D高斯溅射因缺乏纹理和边缘等结构特征而难以渲染高质量新视图的问题，提出GlowGS方法，利用扩散模型和视觉基础模型生成语义特征作为隐式结构线索，并通过新视图语义学习实现无真实标签的优化，显著提升渲染质量。
2026-05-22 cs.CV
Stable View Synthesis
Intel Labs（英特尔实验室）
我们提出了稳定视图合成（SVS）。给定一组从自由分布的视点描绘场景的源图像，SVS合成场景的新视图。该方法在通过运动恢复结构和多视图立体视觉计算的几何支架上操作。该3D支架上的每个点与视图射线和对应的特征向量相关联，该特征向量对输入图像中该点的外观进行编码。SVS的核心是视图相关的表面特征聚合，其中处理每个3D点处的方向特征向量以产生用于将该点映射到新目标视图的射线的新特征向量。然后，目标视图由卷积网络从以这种方式为所有像素合成的特征张量渲染。该方法由可微模块组成，并进行端到端训练。它支持空间变化的视图相关的重要性加权和源图像在每个点的特征变换;由于表面特征聚合对目标视图的平滑依赖性而具有空间和时间稳定性;以及合成视图相关的效果，如镜面反射。实验结果表明，SVS优于国家的最先进的视图合成方法在三个不同的现实世界的数据集上的定量和定性，实现了前所未有的现实主义水平的自由视点视频的挑战性大规模的场景。代码可在https://github.com/intel-isl/StableViewSynthesis上获得
2021-05-02 cs.CV
Multi-view Clustering via Bi-level Decoupling and Consistency Learning
School of Computer Science（计算机科学学院）；Nanjing University of Information Science（信息科学与技术大学）；The State Key Laboratory of Tibetan Intelligence（藏族智能国家重点实验室）；Qinghai Normal University（青海师范大学）；Technology（技术）；Zhejiang Normal University（浙江师范大学）
本文提出BDCL框架，通过多视图实例学习、特征与簇的双层解耦以及聚类分配一致性学习，增强多视图聚类中特征的簇间判别性和簇内紧凑性，在五个基准数据集上优于SOTA方法。
2025-08-19 cs.CV cs.LG
GCFAgg: Global and Cross-view Feature Aggregation for Multi-view Clustering
Yantai University（烟台大学）；Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）；China University of Geosciences（中国地质大学）
本文提出GCFAggMVC网络，通过跨样本和跨视图特征聚合及结构引导对比学习，解决多视图聚类中忽略样本结构关系的问题，在完整和不完整多视图聚类任务中表现优异。
2023-05-11 cs.CV
MLOD: A multi-view 3D object detection based on robust feature fusion method
University of Waterloo（滑铁卢大学）
本文提出了一种多视图标记目标检测器（MLOD）。该检测器采用RGB图像和LIDAR点云作为输入，并遵循两阶段目标检测框架。区域建议网络（RPN）在点云的鸟瞰图（BEV）投影中生成3D建议。第二阶段将3D建议边界框投影到图像和BEV特征图，并将相应的图裁剪发送到检测头以进行分类和边界框回归。与其他基于多视图的方法不同，裁剪的图像特征不直接馈送到检测头，而是被深度信息掩蔽以过滤掉3D边界框之外的部分。图像和BEV特征的融合具有挑战性，因为它们来自不同的视角。我们引入了一种新的检测头，它提供的检测结果不仅从融合层，但也从每个传感器通道。因此，可以在不同视图中标记的数据上训练对象检测器，以避免特征提取器的退化。MLOD在KITTI 3D目标检测基准测试中达到了最先进的性能。最重要的是，评估表明，新的头架构是有效的，在防止图像特征提取退化。
2019-09-09 cs.CV cs.LG cs.RO
Long Short View Feature Decomposition via Contrastive Video Representation Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
自监督视频表示方法通常关注视频中时间属性的表示。然而，固定属性与非固定属性的作用很少被探索：固定特征在整个视频中保持相似，可以预测视频级别的动作类。表示随时间变化的属性的非平稳特征对于涉及更细粒度的时间理解的下游任务（例如动作分割）更有益。我们认为，一个单一的表示来捕捉这两种类型的功能是次优的，并建议分解的表示空间为固定和非固定的功能，通过对比学习从长和短的意见，即长视频序列和较短的子序列。固定特征在短视图和长视图之间共享，而非固定特征聚合短视图以匹配对应的长视图。为了实证验证我们的方法，我们证明了我们的固定特征在动作识别下游任务中的工作效果特别好，而我们的非固定特征在动作分割上的表现更好。此外，我们分析了学习的表示，并发现静态特征捕获更多的时间稳定，静态属性，而非静态特征包含更多的时间变化。
2021-09-23 cs.CV
SA-BEV: Generating Semantic-Aware Bird's-Eye-View Feature for Multi-view 3D Object Detection
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
针对多视图3D检测中BEV特征易被背景淹没的问题，提出SA-BEV框架，通过语义感知池化、BEV-Paste增强和多尺度跨任务头提升特征质量，在nuScenes上取得SOTA性能。
2023-07-21 cs.CV
Feature Splatting for Better Novel View Synthesis with Low Overlap
I3A（I3A研究所）；University of Zaragoza（萨拉戈萨大学）
本文提出FeatSplat，用逐高斯特征向量替代球谐函数编码颜色，并通过小型MLP结合相机嵌入解码RGB，显著提升低重叠新视角合成质量，同时支持逐像素语义标签生成。
2024-09-30 cs.CV
Cross-View-Prediction: Exploring Contrastive Feature for Hyperspectral Image Classification
Soochow University（苏州大学）；Imperial College London（帝国理工学院）；Zhejiang University（浙江大学）
针对高光谱图像分类，本文提出Cross-View-Prediction自监督方法，通过跨通道预测构建双视图并以对比学习优化互信息与条件熵，结合SVM达到无监督分类最先进性能。
2024-12-04 cs.CV
Sequential Clustering based Facial Feature Extraction Method for Automatic Creation of Facial Models from Orthogonal Views
多视点三维人脸建模技术近年来受到越来越多的关注，并已成为未来视频系统的潜在途径之一。我们的目标是使更可靠和强大的自动特征提取和自然的三维特征建设从一对正面和侧面视图人脸图像上检测到的二维特征。我们提出了几种启发式算法，以尽量减少可能的错误引入普遍的非完美正交条件和非相干亮度。在我们的方法中，我们首先提取在两个视图中对两个相机可见的2D特征。然后，我们估计的基础上，在两个正交视图中提取的可见特征的隐藏的轮廓视图中的特征的坐标。最后，基于提取的特征的坐标，我们变形的3D通用模型执行所需的3D克隆建模。目前的研究证明了范围的实际应用，如人脸识别和面部动画的面部模型。
2009-12-03 cs.CV
Parts4Feature: Learning 3D Global Features from Generally Semantic Parts in Multiple Views
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；University of Maryland, College Park（马里兰大学帕克分校）
深度学习通过在多个视图上从像素级学习全局形状特征，在3D形状分析中取得了显著的成果。然而，以前的方法，计算低级别的功能，整个视图不考虑部分级别的信息。相比之下，我们提出了一种称为Parts4Feature的深度神经网络，用于从多个视图中的部件级信息中学习3D全局特征。我们引入了一种新的定义，一般语义部分，Parts4Feature学习从不同的3D形状分割基准检测多个视图。我们的架构的一个关键思想是，它转移了在多个视图中检测语义上有意义的部分的能力，以学习3D全局特征。Parts4Feature通过将局部部件检测分支和全局特征学习分支与共享区域建议模块相结合来实现这一点。全局特征学习分支通过一种新颖的多注意力机制将检测到的零件聚集在学习到的零件模式上，而区域建议模块则使局部和全局的判别信息相互促进。我们证明了Parts4Feature在三个大规模3D形状基准下的表现优于最先进的技术。
2019-05-18 cs.CV
Multi-View Optimization of Local Feature Geometry
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
在这项工作中，我们解决的问题，细化的几何形状的局部图像特征，从多个视图，没有已知的场景或相机的几何形状。当前的局部特征检测方法在关键点定位精度方面固有地受到限制，因为它们仅在单个视图上操作。这一限制对下游任务（如运动恢复结构）有负面影响，其中关键点不准确会导致三角测量和摄像机定位出现较大误差。我们提出的方法自然补充了传统的特征提取和匹配范例。我们首先估计试探性匹配之间的局部几何变换，然后根据非线性最小二乘公式联合优化多个视图上的关键点位置。在各种实验中，我们表明，我们的方法始终提高了手工制作和学习的本地功能的三角测量和相机定位性能。
2020-07-22 cs.CV
Optimal Feature Transport for Cross-View Image Geo-Localization
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Motovis Australia Pty Ltd（澳大利亚魔视智能私人有限公司）
本文解决了跨视图图像地理定位的问题，其中地面街景查询图像的地理位置通过将其与大比例尺航空地图（例如，高分辨率卫星图像）。最先进的基于深度学习的方法解决了这个问题，作为深度度量学习，其目的是学习由两个不同视图看到的场景的全局特征表示。尽管通过这种深度度量学习方法获得了有希望的结果，但是它们未能利用与定位相关的关键线索，即局部特征的空间布局。此外，很少有人注意到明显的领域差距（鸟瞰图和地面视图之间）的背景下，跨视图定位。本文提出了一种新的跨视图特征传输（CVFT）技术，明确建立跨视图域传输，有利于地面和航空图像之间的特征对齐。具体来说，我们实现了CVFT作为网络层，它将特征从一个域传输到另一个域，从而进行更有意义的特征相似性比较。我们的模型是可区分的，可以端到端学习。大规模数据集上的实验表明，我们的方法显着提高了最先进的跨视图定位性能，例如，在CVUSA数据集上，前1名的召回率从40.79%显著提高到61.43%，前10名的召回率从76.36%显著提高到90.49%。我们期待这篇论文的关键见解（即，通过域传输明确地处理域差异）也将被证明对计算机视觉中的其它类似问题有用。
2019-11-27 cs.CV
DiFT: Differentiable Differential Feature Transform for Multi-View Stereo
Zhejiang University（浙江大学）
我们提出了一个新的框架，自动学习转换的差分线索从一堆图像密集捕获的旋转运动到空间歧视和视图不变的每像素功能，在每个视图。这些低级特征可以被直接馈送到任何现有的多视图立体视觉技术以用于增强的3D重建。采集期间的照明条件也可以以可区分的方式联合优化。我们从十几个预扫描的物体中取样，这些物体具有各种各样的几何形状和反射率，以合成大量高质量的训练数据。我们的功能的有效性证明了一些具有挑战性的对象与lightstage收购，比较有利的国家的最先进的技术。最后，我们探讨了几何细节可视化和复杂外观的计算风格化的其他应用。
2022-03-16 cs.CV
CVFNet: Real-time 3D Object Detection by Learning Cross View Features
Zhejiang University（浙江大学）；China North Vehicle Research Institute（中国北方车辆研究所）
近年来，由于深度学习技术的发展，LiDAR点云三维目标检测取得了很大的进展。虽然基于体素或点的方法在3D目标检测中很流行，但它们通常涉及耗时的操作，例如体素上的3D卷积或点之间的球查询，使得所得网络不适合时间关键型应用。另一方面，基于2D视图的方法具有高计算效率，但通常获得比基于体素或点的方法差的性能。在这项工作中，我们提出了一个实时的【形】基于视图的单级三维物体检测器，即CVFNet来完成这项任务。为了在满足效率要求的情况下加强跨视图特征学习，该框架采用高效的渐进方式提取不同视图的特征并进行融合。首先，我们提出了一种新的点-距离特征融合模块，在多个阶段，深度集成点和距离视图功能。然后，设计了一种特殊的切片柱，在将获得的深点视图特征转换为鸟瞰视图时，很好地保持了3D几何形状。为了更好地平衡样本比例，提出了一种稀疏柱检测头，将检测集中在非空网格上。我们在流行的KITTI和NuScenes基准上进行实验，在准确性和速度方面都达到了最先进的性能。
2022-07-15 cs.CV
Modulate-and-Map: Crossmodal Feature Mapping with Cross-View Modulation for 3D Anomaly Detection
CVLab, University of Bologna（博洛尼亚大学CVLab）；Ca’ Foscari University of Venice（威尼斯大学）
ModMap提出一种多视图多模态框架，通过跨模态特征映射和视图依赖关系建模，实现3D异常检测与分割，采用跨视图训练策略提升异常评分。
2026-04-02 cs.CV
Multi-view feature High-order Fusion for Space Weak Object Detection and Segmentation
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间应用工程与技术中心）；Key Laboratory of Space Utilization, Chinese Academy of Sciences（中国科学院空间应用重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
针对空间弱目标检测与分割，提出多视角特征高阶融合方法（MHF），通过高阶特征感知和递归任务贡献门控选择，有效聚合弱目标的准确丰富特征，作为即插即用模块显著提升多种视觉模型性能。
2026-06-16 cs.CV
Improving Cross-view Object Geo-localization: A Dual Attention Approach with Cross-view Interaction and Multi-Scale Spatial Features
针对跨视角目标地理定位中信息传递不足及边缘噪声干扰问题，提出结合跨视角交叉注意力模块（CVCAM）与多头空间注意力模块（MHSAM）的方法，并构建新数据集 G2D，实验证明其定位精度超越现有最先进水平。
2025-10-31 cs.CV
Balanced Multi-view Clustering
City University of Macau（澳门城市大学）；National University of Defense Technology（国防科技大学）；China University of Geosciences（中国地质大学）；Zhejiang Normal University（浙江师范大学）；Research Institute of Ningbo Cixing Co. Ltd（宁波慈星股份有限公司研究院）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Shandong Computer Science Center (National Supercomputer Center in Jinan)（山东省计算中心（国家超级计算济南中心））；Shandong Fundamental Research Center for Computer Science（山东省计算机科学基础研究中心）
本文针对多视图聚类联合训练中视图优化不平衡问题，提出平衡多视图聚类方法BMvC，通过视图特定对比正则化VCR自适应调节各视图梯度，在八个基准数据集上验证了其优越性。
2025-02-04 cs.AI cs.CV cs.LG
Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences
City University of New York（纽约城市大学）；Northwestern Polytechnical University（西北工业大学）
监督学习的成功需要大规模的地面实况标签，这是非常昂贵的，耗时的，或者可能需要特殊的技能来注释。为了解决这个问题，开发了许多自我或无监督的方法。与大多数现有的仅学习2D图像特征或仅学习3D点云特征的自监督学习方法不同，本文提出了一种新颖有效的自监督学习方法，通过利用跨模态和跨视图对应关系来联合学习2D图像特征和3D点云特征，而不使用任何人工标注标签。具体地，通过2D卷积神经网络提取来自不同视角的渲染图像的2D图像特征，并且通过图卷积神经网络提取3D点云特征。两种类型的特征被送入一个两层全连接神经网络来估计跨模态对应关系。通过验证不同模态的两个采样数据是否属于同一对象来联合训练三个网络（即交叉模态），同时，通过最小化对象内距离同时最大化不同视图（即交叉视图）中渲染图像的对象间距离来额外优化2D卷积神经网络。学习的2D和3D功能的有效性进行评估，通过将它们转移到五个不同的任务，包括多视图2D形状识别，3D形状识别，多视图2D形状检索，3D形状检索和3D部分分割。对不同数据集上所有五个不同任务的广泛评估表明，所提出的自监督方法对所学习的2D和3D特征具有很强的泛化能力和有效性。
2020-04-13 cs.CV
3M3D: Multi-view, Multi-path, Multi-representation for 3D Object Detection
Motional（Motional公司）
提出3M3D方法，通过多视图轴自注意力、ROI窗口自注意力更新多视图特征，并结合稀疏浮动查询与密集BEV查询的多表示，提升了自动驾驶3D目标检测性能。
2023-07-28 cs.AI cs.CV
Parameter-free entropy-regularized multi-view clustering with hierarchical feature selection
针对多视图聚类中参数调整和高维特征问题，提出无参数熵正则化框架AMVFCM-U和AAMVFCM-U，通过信噪比正则化和层次降维，在五个基准上优于15种方法，效率提升97%。
2025-08-07 cs.CV cs.LG math.ST
A Novel Patch Convolutional Neural Network for View-based 3D Model Retrieval
Shandong Artifical Intelligence Institute（山东人工智能研究院）；QiLu University of Technology（齐鲁工业大学）；Monash University（莫纳什大学）；Shandong Jianzhu University（山东建筑大学）；Shandong AI Institute（山东人工智能研究院）；Tianjin University of Technology（天津理工大学）
近年来，许多基于视图的三维模型检索方法被提出，并取得了最先进的性能。这些方法大多集中在提取更具鉴别力的视图级特征和有效地聚合3D模型的多视图图像，但这些多视图图像之间的潜在关系没有得到充分的探索。因此，我们从利用补丁功能之间的关系来捕捉多视图图像之间的远程关联的角度来解决这个问题。为了捕捉视图之间的关联，在这项工作中，我们提出了一种新的补丁卷积神经网络（PCNN）基于视图的三维模型检索。具体来说，我们首先采用CNN来分别提取每个视图图像的补丁特征。其次，一个新的神经网络模块PatchConv的设计，利用特征空间中的相邻补丁之间的内在关系，捕捉多视图图像之间的远程关联。然后，自适应加权视图层被进一步嵌入到PCNN自动分配的权重，根据每个视图之间的相似性和视图池功能。最后，利用融合分类器和特定分类器产生的softmax损失值，构造判别损失函数，提取具有判别性的三维模型特征。在两个公开的3D模型检索基准（即ModelNet40和ModelNet10）上的广泛实验结果表明，我们提出的PCNN可以优于最先进的方法，mAP值分别为93.67%和96.23%。
2021-09-25 cs.CV
Multi-view Feature Augmentation with Adaptive Class Activation Mapping
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Research Center on Fictitious Economy and Data Science, Chinese Academy of Sciences（中国科学院虚拟经济与数据科学研究中心）；Key Laboratory of Big Data Mining and Knowledge Management, Chinese Academy of Sciences（中国科学院大数据挖掘与知识管理重点实验室）
提出一种端到端多视图特征增强模块，通过辅助分类器头和AdaCAM采样集成多视图局部特征，替代单一全局平均池化，显著提升了图像分类性能与鲁棒性。
2024-02-18 cs.CV
SGANet: Semantic and Geometric Alignment for Multimodal Multi-view Anomaly Detection
Smart Manufacturing Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）智能制造学域）；College of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与运载工程学院）；The Hong Kong University of Science and Technology（香港科技大学）
SGANet通过语义与几何对齐方法，提升多模态多视角异常检测的性能，实验表明其在SiM3D和Eyecandies数据集上达到最先进的效果。
2026-04-07 cs.CV
