Unsupervised Domain Adaptation has been an efficient approach to transferring the semantic segmentation model across data distributions. Meanwhile, the recent Open-vocabulary Semantic Scene understanding based on large-scale vision language models is effective in open-set settings because it can learn diverse concepts and categories. However, these prior methods fail to generalize across different camera views due to the lack of cross-view geometric modeling. At present, there are limited studies analyzing cross-view learning. To address this problem, we introduce a novel Unsupervised Cross-view Adaptation Learning approach to modeling the geometric structural change across views in Semantic Scene Understanding. First, we introduce a novel Cross-view Geometric Constraint on Unpaired Data to model structural changes in images and segmentation masks across cameras. Second, we present a new Geodesic Flow-based Correlation Metric to efficiently measure the geometric structural changes across camera views. Third, we introduce a novel view-condition prompting mechanism to enhance the view-information modeling of the open-vocabulary segmentation network in cross-view adaptation learning. The experiments on different cross-view adaptation benchmarks have shown the effectiveness of our approach in cross-view modeling, demonstrating that we achieve State-of-the-Art (SOTA) performance compared to prior unsupervised domain adaptation and open-vocabulary semantic segmentation methods.
Adaptive Multi-view and Temporal Fusing Transformer for 3D Human Pose Estimation
Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出了一种统一的框架称为多视图和时间融合Transformer（MTF-Transformer），以适应不同的视图数和视频长度，而无需摄像机校准的三维人体姿态估计（HPE）。它由特征提取器、多视图融合Transformer（MFT）和时间融合Transformer（TFT）组成。特征提取器从每个图像中估计2D姿态，并根据置信度融合预测。它提供了以姿势为中心的特征嵌入，并使后续模块在计算上轻量化。MFT融合了不同数量的视图与一个新的相对注意力块的功能。它自适应地测量每对视图之间的隐式相对关系，并重建更多的信息特征。TFT聚合整个序列的特征并通过Transformer预测3D姿态。它自适应地处理任意长度的视频，并充分利用时间信息。Transformers的迁移使我们的模型能够更好地学习空间几何，并为不同的应用场景保持鲁棒性。我们报告了Human3.6M、TotalCapture和KTH Multiview Football II的定量和定性结果。与相机参数的最先进的方法相比，MTF变压器获得了有竞争力的结果，并推广到动态捕捉与任意数量的不可见的意见。
Boosting Multi-View Indoor 3D Object Detection via Adaptive 3D Volume Construction
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）；Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心）；NingboTech University（宁波科技学院）；City University of Hong Kong（香港城市大学）
A Geometric-Transformation Feature-Adaptive Manifold Restoration Method for Open-Vocabulary Semantic Segmentation of Remote Sensing Images
School of Remote Sensing and Geomatics Engineering, Nanjing University of Information Science and Technology（南京信息工程大学遥感与测绘工程学院）；Nanjing Center, China Geological Survey（中国地质调查局南京中心）；School of Automation, Southeast University（东南大学自动化学院）
UniDA3D: A Unified Domain-Adaptive Framework for Multi-View 3D Object Detection
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
EAGLE: Elevating Geometric Reasoning through LLM-empowered Visual Instruction Tuning
Department of Computer Science, Western University（计算机科学系，西部大学）；Meituan Inc.（美团公司）；Department of Automation, Tsinghua University（自动化系，清华大学）；School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，东华大学）
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data
Microsoft Research Asia（微软亚洲研究院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
本文提出了一种基于长短期记忆（LSTM）的自适应聚合递归多视图立体视觉网络，即AA-RMVSNet。我们首先引入了一个视图内聚合模块，通过使用上下文感知卷积和多尺度聚合自适应地提取图像特征，有效地提高了具有挑战性的区域，如薄的物体和大的低纹理表面的性能。为了克服复杂场景中变化遮挡的困难，我们提出了一个视图间成本体积聚合模块，用于自适应像素视图聚合，该模块能够在所有视图之间保持更好的匹配对。提出的两个自适应聚合模块是轻量级的，有效的和互补的提高三维重建的准确性和完整性。代替传统的3D CNN，我们利用具有递归结构的混合网络进行成本体积正则化，这允许高分辨率重建和更精细的假设平面扫描。所提出的网络是端到端训练的，在各种数据集上都取得了优异的性能。该算法在Tanks and Temples基准测试中对$1^{st}$进行了排序，并在DTU数据集上取得了较好的结果，具有较强的泛化能力和鲁棒性。我们的方法的实现可在https://github.com/QT-Zhu/AA-RMVSNet上获得。
Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation
PKU（北京大学）；HKU（香港大学）；Tencent（腾讯）；Kwai Inc.（快手）
本文提出了一种高效的金字塔多视图立体视觉（MVS）网络，该网络具有自适应视图聚合功能，能够实现稠密点云的精确、完整重建。与以往基于深度学习的MVS方法中使用均方方差来生成成本体积不同，我们的\textbf{VA-MVSNet}通过引入两种新的自适应视图聚合：像素视图聚合和体素视图聚合，以较小的额外内存消耗来合并不同视图中的成本方差。为了进一步提高三维点云重建的鲁棒性和完整性，我们扩展了VA-MVSNet与金字塔多尺度图像输入为\textbf{PVA-MVSNet}，其中多度量约束被利用来聚合可靠的深度估计在较粗的尺度，以填充在较细的尺度不匹配的区域。实验结果表明，我们的方法建立了一个新的国家的最先进的\textsl{\textbf{DTU}}数据集的完整性和整体质量的显着改善，并通过实现与国家的最先进的方法在\textsl{\textbf{Tanks and Temples}}基准相当的性能具有很强的泛化能力。我们的代码库位于\hyperlink{https://github.com/yhw-yhw/PVAMVSNet}{https://github.com/yhw-yhw/PVAMVSNet}
Joint Adaptive Neighbours and Metric Learning for Multi-view Subspace Clustering
School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）
Probabilistically Aligned View-unaligned Clustering with Adaptive Template Selection
School of Science, Jiangnan University（江南大学理学院）；School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
FrustumFormer: Adaptive Instance-aware Resampling for Multi-view 3D Detection
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；HKISI_CAS（香港创新研究院（中国科学院））
Multi-view Feature Augmentation with Adaptive Class Activation Mapping
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Research Center on Fictitious Economy and Data Science, Chinese Academy of Sciences（中国科学院虚拟经济与数据科学研究中心）；Key Laboratory of Big Data Mining and Knowledge Management, Chinese Academy of Sciences（中国科学院大数据挖掘与知识管理重点实验室）
Pose Adaptive Dual Mixup for Few-Shot Single-View 3D Reconstruction
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Department of Computer Science, National Tsing Hua University（国立清华大学计算机科学系）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
Learning Multi-view Anomaly Detection with Efficient Adaptive Selection
State Key Laboratory of Industrial Control Technology（工业控制技术国家重点实验室）；Zhejiang University（浙江大学）；Ningbo Innovation Center（宁波创新中心）；YouTu Lab（你图实验室）；Tencent（腾讯）
Multi-View Adaptive Fusion Network for 3D Object Detection
Jilin University（吉林大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-Sen University（中山大学）；University of Waterloo（滑铁卢大学）
MAGE: View-guided Point Cloud Completion with Efficient Modality Alignment and Adaptive Geometry Enhancement
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS研究室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；GIPSA-lab, Univ. Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔大学GIPSA实验室，法国国家科学研究中心，格勒诺布尔国立综合理工学院）
SeCap: Self-Calibrating and Adaptive Prompts for Cross-view Person Re-Identification in Aerial-Ground Networks
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Ningbo Institute, Northwestern Polytechnical University（西北工业大学宁波研究院）；Shenzhen Research Institute, Northwestern Polytechnical University（西北工业大学深圳研究院）；National Engineering Laboratory for integrated Aero-Space-Ground-Ocean（空天地一体化综合业务网国家工程实验室）
Multi-view Contrastive Learning with Additive Margin for Adaptive Nasopharyngeal Carcinoma Radiotherapy Prediction
The Hong Kong Polytechnic University（香港理工大学）；Research Institute for Smart Ageing, The Hong Kong Polytechnic University（香港理工大学智慧老龄研究学院）；Nantong University（南通大学）
DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
