Unsupervised Multiview Contrastive Language-Image Joint Learning with Pseudo-Labeled Prompts Via Vision-Language Model for 3D/4D Facial Expression Recognition
提出 MultiviewVLM,通过伪标签文本提示、联合嵌入、稳定正负采样和梯度友好损失实现3D/4D面部表情的无监督多视图对比学习,性能超过现有方法。
2025-05-14 cs.CV
Multiview Regenerative Morphing with Dual Flows
National Tsing Hua University(台湾清华大学);ASUS AICS(华硕人工智能云端事业部);Aeolus Robotics(风睿机器人)
本文的目的是解决一个新的任务下的多视图设置的图像变形,它需要两组多视图图像作为输入,并生成中间渲染,不仅表现出两个输入集之间的平滑过渡,但也确保在任何过渡状态下的不同视图的视觉一致性。为了实现这一目标,我们提出了一种新的方法,称为多视图再生变形,制定变形过程作为一个优化解决刚性变换和最佳运输插值。给定源和目标场景的多视图输入图像,我们首先学习体积表示,该体积表示对每个场景的几何形状和外观进行建模,以实现新颖视图的渲染。然后,通过求解Wasserstein度量中两个体表示之间的最优传输来获得两个场景之间的变形。我们的方法不依赖于用户指定的对应关系或2D/3D输入网格,我们不假设任何预定义的类别的源和目标场景。所提出的视图一致的插值方案直接对多视图图像产生一个新的和视觉上合理的效果的多视图自由形态变形。
2022-08-02 cs.CV
Contrastive Multiview Coding with Electro-optics for SAR Semantic Segmentation
SI-Analytics
在深度学习模型的训练中,如何初始化模型参数极大地影响了模型性能、样本效率和收敛速度。用于模型初始化的表示学习是近年来遥感领域的一个研究热点。特别是合成孔径雷达(SAR)传感器获取的图像的外观特征与一般的光电(EO)图像有很大的不同,因此表示学习在遥感领域显得尤为重要。从对比多视图编码的启发,我们提出了多模态表示学习SAR语义分割。与以前的研究不同,我们的方法联合使用EO图像,SAR图像和标签掩模。实验结果表明,该方法在模型性能、样本效率和收敛速度等方面均优于现有方法。
2021-08-31 cs.CV
Generative Lifting of Multiview to 3D from Unknown Pose: Wrapping NeRF inside Diffusion
University of Chicago(芝加哥大学)
本文提出将未知姿态的多视图重建建模为生成问题,通过把姿态预测网络和NeRF嵌入去噪扩散模型进行端到端训练,在无需姿态标注的情况下同时学习3D场景表示和相机外参预测,成功重建具有挑战性的场景并支持新视角生成。
2024-06-11 cs.CV cs.LG
FROMAT: Multiview Material Appearance Transfer via Few-Shot Self-Attention Adaptation
Trinity College Dublin(都柏林三一学院);Arcade AI;AMD
FROMAT通过少样本自注意力适应实现多视图材料外观迁移,提供了一种简单有效的生成方法,提升多视图内容创作的外观多样性。
2025-12-10 cs.CV
Instant3dit: Multiview Inpainting for Fast Editing of 3D Objects
Tel Aviv University(特拉维夫大学);Adobe Research(奥多比研究院);Université de Montréal(蒙特利尔大学)
本文提出Instant3dit,将3D编辑建模为多视图图像修复,并通过统一diffusion model的微调与多种掩码策略,实现约3秒的高质量3D对象编辑。
2024-11-30 cs.CV cs.GR
What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment
Department of CSE IIT Roorkee(印度理工学院鲁尔基分校计算机科学与工程系);Department of CSE IIT (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校计算机科学与工程系)
提出多视角EEG表示学习框架,联合建模时域、频域和空间结构,通过对比学习对齐视觉语义,在THINGS-EEG基准上实现SOTA零样本分类。
2026-07-07 cs.CV
Self-Supervised Learning of Remote Sensing Scene Representations Using Contrastive Multiview Coding
University of Banja Luka(巴尼亚卢卡大学)
近年来,自监督学习已成为无监督表示学习的一个有前途的候选者。在视觉领域,其应用主要是在自然场景图像的背景下研究的。然而,它的适用性在特定领域特别有趣,如遥感和医学,在这些领域很难获得大量的标记数据。本文对自监督学习在遥感图像分类中的应用进行了深入的分析。我们分析了用于自监督预训练的图像的数量和域对下游任务性能的影响。我们表明,对于遥感图像分类的下游任务,使用自监督的遥感图像预训练可以得到更好的结果比使用监督的预训练的图像的自然场景。此外,我们还表明,自我监督的预训练可以很容易地扩展到多光谱图像,在我们的下游任务中产生更好的结果。
2021-06-03 cs.CV
Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models
HKUST(香港科技大学);Dartmouth College(达特茅斯学院)
本文提出Inpaint4DNeRF框架,利用稳定扩散模型生成种子图像及3D几何代理,解决静态与动态NeRF场景中的时空修复与多视角一致性问题。
2023-12-30 cs.CV
Multiview Representation Learning from Crowdsourced Triplet Comparisons
Kyoto University(京都大学);University of Yamanashi(山梨大学)
众包已被用于在许多领域大规模收集数据。三元组相似性比较是一种众包任务,其中众包工作者被问到这样一个问题:“在三个给定的对象中,哪两个更相似?””这对人类来说是很容易回答的。然而,该比较有时可以基于多个视图,即,不同的独立属性,如颜色和形状。对于相同的三个对象,每个视图可能导致不同的结果。尽管在之前的工作中提出了一种生成多视图嵌入的算法,但它至少涉及两个问题:(1)现有算法无法独立预测新样本的多视图嵌入,以及(2)不同的人可能喜欢不同的视图。在这项研究中,我们提出了一个端到端的归纳深度学习框架来解决多视图表示学习问题。实验结果表明,该方法可以得到任意对象的多视图嵌入,其中每个视图对应于对象的一个独立属性。我们从一个众包平台收集了两个数据集,实验研究我们提出的方法与传统基线方法相比的性能。
2023-02-08 cs.CV cs.HC
Multiview Detection with Cardboard Human Modeling
CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61);Australian National University(澳大利亚国立大学)
多视角检测使用多个具有重叠视野的校准摄像机来定位被遮挡的行人。在这一领域,现有的方法通常采用“人类建模-聚合”策略。为了找到鲁棒的行人表示,一些直观地结合每个帧的2D感知结果,而另一些则使用投影到地平面的整个帧特征。然而,前者没有考虑人的外表,导致许多歧义,后者遭受投影误差,由于缺乏准确的高度的人体躯干和头部。本文提出了一种基于人体点云建模的行人表示方法。具体来说,使用光线追踪的整体人类深度估计,我们的模型直立,薄纸板点云在地面上的行人。然后,我们在多个视图中聚合行人纸板的点云,以做出最终决定。与现有的表示相比,所提出的方法明确地利用人类的外观,并通过相对准确的高度估计显着减少投影误差。在四个标准的评估基准,所提出的方法取得了非常有竞争力的结果。我们的代码和数据将在https://github.com/ZichengDuan/MvCHM上发布。
2023-01-06 cs.CV
Kernelized Multiview Projection
Northumbria University(诺森比亚大学)
传统的视觉算法采用单一类型的特征或多个特征的简单串联,这总是在高维空间中表示。在本文中,我们提出了一种新的无监督光谱嵌入算法称为核多视图投影(KMP),以更好地融合和嵌入不同的特征表示。KMP从不同的特征/视图计算核矩阵,可以用相应的权重对它们进行编码,以实现低维和语义有意义的子空间,其中每个视图的分布足够平滑和有区别。更重要的是,KMP对于再生核希尔伯特空间(RKHS)是线性的,并且解决了样本外问题,这使得它能够胜任各种实际应用。在三个流行的图像数据集上的实验证明了我们的多视图嵌入算法的有效性。
2015-08-04 cs.CV
SurfaceNet: An End-to-end 3D Neural Network for Multiview Stereopsis
Hong Kong University of Science and Technology(香港科技大学);University of Bonn(波恩大学);Tsinghua University(清华大学)
本文提出了一个端到端的多视点立体视觉学习框架。我们称之为SurfaceNet网络。它将一组图像及其相应的相机参数作为输入,并直接推断3D模型。该框架的主要优点是,无论是照片的一致性,以及表面结构的几何关系,可以直接学习的目的,在一个端到端的方式的多视图立体视觉。SurfaceNet是一个完全3D卷积网络,它通过将相机参数与图像一起编码为3D体素表示来实现。我们在大规模DTU基准上评估SurfaceNet。
2017-08-05 cs.CV
Local Manifold Augmentation for Multiview Semantic Consistency
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
多视图自监督表示学习源于探索复杂类内变化数据的语义一致性。这种变化不能直接获得,因此通过数据增强进行模拟。然而,通常采用的增强是手工制作的,仅限于简单的几何和颜色变化,无法覆盖丰富的类内变化。在本文中,我们提出了从数据集中提取潜在的数据变化,并构造了一种新的增广算子,称为局部流形增广(LMA)。LMA通过训练一个实例条件生成器来拟合数据局部流形上的分布,并使用它对多视图数据进行采样。LMA显示出创建无限数量的数据视图的能力,保持语义,并模拟物体姿态,视点,光照条件,背景等的复杂变化。实验表明,与LMA集成,自监督学习方法(如MoCov 2和SimSiam)在CIFAR 10、CIFAR 100、STL 10、ImageNet 100和ImageNet等主流基准测试中获得了一致的改进。此外,LMA导致表示获得对视点、对象姿态和照明变化的更显著的不变性,以及对由ImageNet-V2、ImageNet-R、ImageNet Sketch等反映的各种真实分布偏移的更强鲁棒性。
2022-11-05 cs.CV
RelightFormer: Feed-forward Generative Transformer for Multiview Object Relighting
Shenzhen Research Institute, The Hong Kong Polytechnic University(香港理工大学深圳研究院)
提出前馈生成式Transformer RelightFormer,通过潜在照明模块和置换不变编码实现单/多视图物体重照明,并构建大规模LOD数据集,达到最先进效果与零样本泛化。
2026-09-09 cs.AI cs.CV cs.GR
Multiview Transformer: Rethinking Spatial Information in Hyperspectral Image Classification
University of Macau(澳门大学);China University of Geosciences Wuhan(中国地质大学(武汉))
针对高光谱图像分类中的空间过拟合问题,提出多视图Transformer,通过多视图主成分分析、光谱编码器-解码器和空间池化标记化Transformer提取鲁棒特征,在三个数据集上优于现有方法。
2023-10-11 cs.AI cs.CV
The Surfacing of Multiview 3D Drawings via Lofting and Occlusion Reasoning
SRI International(SRI国际);Polytechnic Institute – Rio de Janeiro State University(里约热内卢州立大学理工学院);Brown University(布朗大学)
近年来,从多个视图进行场景的三维重建已经取得了令人印象深刻的进步,主要是通过关联孤立特征点、强度或曲线结构的方法。在一般情况下,即,在不需要受控采集、有限数量的对象、对象上的丰富图案或遵循特定模型的对象曲线的情况下,这些方法中的大多数产生重构场景的无组织的点云、网格或体素表示,除了一些例外,产生作为曲线网络的3D绘图。许多应用,例如,然而,机器人技术、城市规划、工业设计和硬表面建模需要结构化表示,其产生明确的3D曲线、表面和它们的空间关系。重建表面表示现在可以通过3D绘图来约束,该3D绘图像脚手架一样悬挂在计算表示上,从而提高重建的鲁棒性和质量。本文提出了一种方法来完成这样的三维图纸与表面重建,探索通过放样算法的遮挡推理。
2017-07-13 cs.CV
Disentangled Variational Information Bottleneck for Multiview Representation Learning
University of California, San Francisco(加利福尼亚大学旧金山分校)
多视图数据包含来自多个模态的信息,并且有潜力为不同的机器学习任务提供更全面的特征。多视图分析中的一个基本问题是附加视图带来的附加信息是什么,并能够定量地识别这些附加信息。在这项工作中,我们试图通过将纠缠的多视图特征分解为共享的潜在表示来应对这一挑战,这些表示在所有视图中都是共同的,而私有表示则是特定于每个视图的。在信息瓶颈的框架下,提出了解纠缠变分信息瓶颈(DVIB)。DVIB使用来自互信息的约束来显式地定义共享和私有表示的属性。通过推导互信息项的变分上下界,有效地优化了表示。我们证明了DVIB学习的共享和私有表示很好地保留了两个视图之间共享的公共标签和对应于每个视图的唯一标签。DVIB也显示出相当的性能在分类任务的图像与腐败。DVIB实现可在https://github.com/feng-bao-ucsf/DVIB上获得。
2021-05-17 cs.CV cs.IT cs.LG
Multiview Point Cloud Registration via Optimization in an Autoencoder Latent Space
本文提出POLAR方法,通过将多视角点云配准问题转换到预训练自编码器的潜空间中,设计考虑退化的损失函数并采用多起点优化策略,有效处理大量视角、高退化和大初始角度,在合成与真实数据上显著优于现有方法。
2025-04-30 cs.CV
Neural apparent BRDF fields for multiview photometric stereo
University of York(约克大学)
我们建议使用扩展的神经辐射场(NeRFs),光源方向的条件下,解决多视图光度立体问题。我们的神经表征的几何部分预测表面法线方向,使我们能够推理局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射函数(BRDF),作为拟合过程的一部分学习,以及阴影预测网络(以光源方向为条件),允许我们对表观BRDF进行建模。这种基于物理图像形成模型的学习组件与归纳偏差的平衡使我们能够从训练期间观察到的光源和观察者方向进行推断。我们证明了我们的方法在多视图光度立体基准,并表明竞争力的表现,可以获得神经密度表示的NeRF。
2022-07-14 cs.CV cs.GR
Multiview Compressive Coding for 3D Reconstruction
FAIR, Meta AI(元人工智能公司FAIR实验室)
视觉识别的核心目标是从单个图像中理解对象和场景。由于大规模学习和通用表示,2D识别已经取得了巨大的进展。相比之下,3D提出了新的挑战,源于图像中未描绘的遮挡。先前的工作试图通过从多个视图推断或依赖于稀缺的CAD模型和类别特定的先验来克服这些问题,这些先验阻碍了扩展到新的设置。在这项工作中,我们探索单视图三维重建学习的启发,在自监督学习的进步概括表示。我们介绍了一个简单的框架,该框架在单个对象或整个场景的3D点上操作,再加上来自不同RGB-D视频的类别不可知的大规模训练。我们的模型,多视图压缩编码(MCC),学习压缩输入的外观和几何形状,通过查询3D感知解码器来预测3D结构。MCC的通用性和效率使其能够从大规模和多样化的数据源中学习,并对DALL $\cdot$ E 2想象的新对象或用iPhone在野外捕获的新对象具有很强的泛化能力。
2023-01-19 cs.CV
Navigation domain representation for interactive multiview imaging
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);National Institute of Informatics(国立信息学研究所)
使用户能够交互式地导航通过静态场景的不同视点是3D流式传输系统中的新的有趣功能。虽然它打开了令人兴奋的前景丰富的多媒体应用程序,它需要设计新的表示和编码技术,以解决交互式导航带来的新挑战。交互性显然带来了新的设计约束:编码器不知道确切的解码过程,而解码器必须从不完整的数据子集中重建信息,因为服务器通常无法传输所有可能视点的图像。在本文中,我们提出了一种新的多视点数据表示,允许满足带宽和存储约束的交互式多视点流媒体系统。特别地,我们将多视图导航域划分为段,每个段由参考图像和一些辅助信息描述。辅助信息使得客户端能够经由视图合成来重新创建导航段中的任何视点。然后,解码器能够在段中自由导航,而无需向服务器请求进一步的数据;它仅在移动到不同的段时请求额外的数据。我们讨论了这种新的表示在交互式导航系统中的好处,并进一步提出了一种方法来优化分割的导航域成独立的部分,带宽和存储的限制。实验结果证实了所提出的表示的潜力,即,我们的系统导致类似的压缩性能作为经典的视图间编码,同时它提供了高水平的灵活性,需要交互式流。因此,我们的新框架是一个很有前途的解决方案,在新的交互式多媒体服务的三维数据表示。
2013-06-17 cs.CV cs.MM
Learning Subspace-Preserving Sparse Attention Graphs from Heterogeneous Multiview Data
College of Computer Science(计算机科学学院);School of Economics and Management(经济管理学院);China University of Petroleum (Beijing)(中国石油大学(北京));School of Artificial Intelligence(人工智能学院)
本文提出了一种稀疏注意力图学习方法SAGL,通过学习异构多视图数据的子空间保持稀疏注意力图,以实现跨异构视图的语义对齐,核心方法是引入双线性注意力因子分解和动态稀疏门控机制,结合α-entmax生成稀疏注意力图,并通过理论分析和实验验证其有效性。
2026-05-18 cs.CV
Multiview Scene Graph
New York University(纽约大学)
本文提出从未标定位姿图像构建多视角场景图(MSG),以拓扑方式联合表示场所与目标,并设计了数据集、评估指标及基于Transformer解码器的基线方法,实验证明其优于现有相关方法。
2024-11-20 cs.CV
Constrained Multiview Representation for Self-supervised Contrastive Learning
University of Pittsburgh(匹兹堡大学);University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德河谷分校)
提出基于表示距离的互信息最大化方法,结合频域多视图与MI重排序,以优化自监督对比学习中的视图选择与表示解缠,提升医学图像分割性能。
2024-02-05 cs.CV
Illusion3D: 3D Multiview Illusion with 2D Diffusion Priors
University of Maryland, College Park(马里兰大学大学公园分校);Kuwait University(科威特大学)
本文提出Illusion3D方法,利用预训练2D扩散模型通过可微渲染优化神经3D表示的纹理与几何,实现基于文本或图像提示的多视角3D视错觉生成。
2025-06-05 cs.CV
GaussVideoDreamer: 3D Scene Generation with Video Diffusion and Inconsistency-Aware Gaussian Splatting
Peking University(北京大学)
针对单图像3D场景重建的不适定性和现有方法的泛化或一致性问题,提出GaussVideoDreamer,通过渐进式视频补绘和不一致感知高斯溅射,实现更高质量、更快速度的3D场景生成,性能优于现有方法。
2025-04-16 cs.CV
PSHuman: Photorealistic Single-image 3D Human Reconstruction using Cross-Scale Multiview Diffusion and Explicit Remeshing
HKUST(香港科技大学);Southeast University(东南大学);Tsinghua University(清华大学);VAST
提出PSHuman框架,通过跨尺度多视图扩散和SMPL-X条件生成,解决单视图人体重建中的几何失真和自遮挡问题,实现高保真几何与纹理重建。
2026-07-01 cs.CV
Geometry-Aware Diffusion Models for Multiview Scene Inpainting
York University(约克大学);Vector Institute for AI(Vector人工智能研究院);Samsung AI Centre Toronto(三星多伦多人工智能中心);Google DeepMind(谷歌DeepMind)
本文提出一种几何感知条件生成模型,通过学习空间中的跨视角信息融合实现多视角一致的三维场景修复,尤其在少视角条件下优于现有基于辐射场的方法。
2025-03-10 cs.CV
Bolt3D: Generating 3D Scenes in Seconds
Google Research(谷歌研究);VGG – University of Oxford(视觉感知集团 – 欧洲大学);Google DeepMind(谷歌DeepMind)
Bolt3D提出一种潜在扩散模型,利用现有2D扩散架构和稠密重建数据集,实现单GPU上数秒内生成高保真3D场景,推理成本较先前方法降低300倍。
2025-10-16 cs.CV
SatDreamer360: Multiview-Consistent Generation of Ground-Level Scenes from Satellite Imagery
Nanjing University of Science and Technology(南京理工大学);ShanghaiTech University(上海科技大学)
提出SatDreamer360框架,通过三平面表示、基于射线的像素注意力及全景对极约束注意力模块,从单张卫星图像生成几何一致的多视角地面全景图,并构建VIGOR++数据集,在多视角一致性和对齐效果上优于现有方法。
2025-10-11 cs.CV
Fake It To Make It: Virtual Multiviews to Enhance Monocular Indoor Semantic Scene Completion
LG Electronics(LG电子)
本文提出GenFuSE框架,通过虚拟多视图合成与多视图融合适配器增强单目室内语义场景补全,在NYUv2上最高提升4.9%的语义IoU。
2025-03-07 cs.CV cs.LG
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)(脸书人工智能研究院)
我们提出了一个多视图伪标记的方法来视频学习,一个新的框架,使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签,以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图,但它仍然训练了一个跨外观和运动输入共享的模型,因此,通过设计,在推理时不会产生额外的计算开销。在多个视频识别数据集上,我们的方法大大优于其监督对应,并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Multiview Rectification of Folded Documents
National ICT Australia (NICTA)(澳大利亚国家信息与通信技术研究院(NICTA));Australian National University(澳大利亚国立大学);Osaka University(大阪大学);Microsoft Research Redmond(微软雷德蒙德研究院);Microsoft, Japan(微软(日本));Microsoft Research Asia(微软亚洲研究院)
纸张图像的数字展开对于精确的文档扫描和文本识别至关重要。本文提出了一种从多个视点拍摄的少量图像中自动校正弯曲或折叠纸张的方法。现有方法要么需要昂贵的3D扫描仪,要么使用过于简化的参数表示来对可变形表面进行建模。相比之下,我们的方法使用常规图像,并基于一般的可展表面模型,可以代表各种各样的纸张变形。我们的主要贡献是一个新的强大的整流方法的基础上的脊意识的3D重建的纸张和展开重建的表面使用的可展曲面通过$\ell_1$保角映射的属性。我们目前的结果几个例子,包括书页,折叠的信件和购物收据。
2016-06-01 cs.CV
Multiview Aggregation for Learning Category-Specific Shape Reconstruction
Stanford University(斯坦福大学);Google Inc.(谷歌公司);Facebook AI Research(脸书人工智能研究院)
我们研究的问题,学习特定类别的3D形状重建从一个可变数量的RGB视图以前未观察到的对象实例。大多数多视图形状重建方法都是在稀疏形状表示上操作,或者假设固定数量的视图。我们提出了一种方法,可以估计密集的3D形状,并在多个和不同数量的输入视图的聚合形状。给定一个对象实例的单个输入视图,我们提出了一种表示,该表示对可见对象表面的密集形状以及被可见表面遮挡的视线后面的表面进行编码。当多个输入视图可用时,形状表示被设计为使用廉价的联合操作聚合成单个3D形状。我们训练一个2D CNN来学习从可变数量的视图(1个或更多)预测这种表示。我们进一步聚合多视图信息,通过使用置换等变层,促进顺序不可知的视图信息交换的特征级别。实验表明,我们的方法是能够产生密集的三维重建的对象,提高质量,因为更多的意见被添加。
2019-12-08 cs.CV cs.LG eess.IV
CHROME: Clothed Human Reconstruction with Occlusion-Resilience and Multiview-Consistency from a Single Image
University of California, Riverside(加州大学河滨分校);United Imaging Intelligence(联合影像智能)
针对单张遮挡图像重建穿衣人体时存在的多视角不一致和碎片化问题,提出CHROME流程,利用多视角扩散模型合成无遮挡视图并结合三维高斯重建,无需几何先验,显著提升新视角合成与几何重建质量。
2025-10-17 cs.CV
Contrastive Multiview Coding
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
人类通过许多感官渠道来观察世界,例如,左眼看到的长波长光通道,或者右耳听到的高频振动通道。每个视图都是嘈杂的和不完整的,但是重要的因素,例如物理、几何和语义,往往在所有视图之间共享(例如,“狗”可以被看到、听到和感觉到)。我们调查的经典假设,一个强大的代表性是一个模型的观点不变的因素。我们研究这一假设的框架下,多视图对比学习,在那里我们学习的表示,旨在最大限度地提高互信息之间的不同意见,同一场景,但在其他方面是紧凑的。我们的方法可以扩展到任何数量的视图,并且是视图不可知的。我们分析的方法,使其工作的关键属性,发现对比损失优于一个流行的替代方案的基础上跨视图预测,和更多的意见,我们从学习,更好地得到的表示捕捉底层场景语义。我们的方法在图像和视频无监督学习基准测试中取得了最先进的结果。代码发布于:http://github.com/HobbitLong/CMC/。
2020-12-18 cs.CV cs.LG
A Joint Sparse Self-Representation Learning Method for Multiview Clustering
School of Mathematics and Statistics(数学与统计学学院);Xidian University(西安电子科技大学);Chongqing Key Laboratory of Nonlinear Circuits and Intelligent Information Processing(重庆非线性电路与智能信息处理重点实验室);College of Electronic and Information Engineering(电子与信息工程学院);Southwest University(西南大学)
提出一种用于多视图聚类的联合稀疏自表示学习模型,通过基数约束提取局部信息并利用低秩约束揭示全局结构,并开发了具有全局收敛性的交替二次惩罚(AQP)方法求解非凸非光滑模型,实验证明其优于八种先进算法。
2025-08-09 cs.CV cs.DS
MEAT: Multiview Diffusion Model for Human Generation on Megapixels with Mesh Attention
S-Lab, Nanyang Technological University(新加坡南洋理工大学S-Lab);WICT, Peking University(北京大学WICT);UCLA(加利福尼亚大学洛杉矶分校)
本文提出MEAT模型,通过网格注意力机制在1024x1024分辨率下训练人体多视角扩散模型,利用人体网格建立跨视角对应关系以降低注意力复杂度,并结合关键点条件与运动视频数据,在百万像素级实现高质量多视角人体图像生成。
2025-03-11 cs.AI cs.CV
Consistency Enhancement-Based Deep Multiview Clustering via Contrastive Learning
提出基于对比学习的一致性增强深度多视图聚类方法CCEC,通过引入语义连接块和谱聚类提升多视图特征与聚类表示的一致性,在五个数据集上优于SOTA方法。
2024-03-21 cs.CV cs.LG
NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction
Wuhan University(武汉大学);Huawei(华为);Anhui University(安徽大学)
我们提出了一种新的神经表面重建方法NeuralRoom,用于直接从一组2D图像重建房间大小的室内场景。近年来,隐式神经表征由于其高质量的结果和简单性而成为从多视图图像重建表面的一种很有前途的方法。然而,隐式神经表征通常不能很好地重建室内场景,因为它们遭受严重的形状-辐射模糊。我们假设室内场景由纹理丰富和平坦纹理较少的区域组成。在纹理丰富的区域,多视点立体可以获得准确的结果。在平坦区域,正态估计网络通常可以获得较好的正态估计。基于上述观察,我们通过可靠的几何先验来减少隐式神经表面可能的空间变化范围,以减轻形状-辐射模糊。具体来说,我们使用多视图立体结果来限制NeuralRoom优化空间,然后使用可靠的几何先验来指导NeuralRoom训练。然后,NeuralRoom将产生一个神经场景表示,可以渲染与输入训练图像一致的图像。此外,我们提出了一种称为扰动残差约束的平滑方法,以提高平坦区域的准确性和完整性,该方法假设局部表面中的采样点应具有相同的法线和到观察中心的相似距离。在ScanNet数据集上的实验表明,该方法能够在保持细节准确性的前提下重建出室内场景的无纹理区域。我们还将NeuralRoom应用于更先进的多视图重建算法,并显着提高其重建质量。
2022-11-28 cs.CV
SVM-based Multiview Face Recognition by Generalization of Discriminant Analysis
Dr. B. C. Roy Engineering College(Dr. B. C. Roy 工程学院);National Institute of Technology Rourkela(鲁尔克拉国家理工学院);Jadavpur University(jadavpur 大学);Indian Institute of Technology Kanpur(坎普尔印度理工学院)
利用多视角人脸进行身份认证是机器视觉中一个很有价值的问题。由于特征空间中的非线性表示,多视图面具有困难。本文说明了LDA的推广的典型协变量的形式,人脸识别多视角人脸的可用性。在所提出的工作中,Gabor滤波器组被用来提取人脸特征,其特征在于空间频率,空间位置和方向。Gabor人脸表示捕捉了由于光照、姿态和面部表情变化而经常发生的大量人脸实例的变化。卷积的Gabor滤波器组旋转的轮廓视图的人脸图像产生的Gabor面与高维特征向量。然后对Gabor面采用典型协变量,将高维特征空间降维为低维子空间。最后,支持向量机的训练与规范的子空间,包含减少的功能集和执行识别任务。该系统与UMIST人脸数据库进行了评估。实验结果表明,该系统具有较高的识别率和鲁棒性。
2010-01-23 cs.CV cs.LG
Multiview Hessian regularized logistic regression for action recognition
China University of Petroleum (East China)(中国石油大学(华东))
随着社会化媒体共享的快速发展,人们经常需要管理日益增长的多媒体数据,如大规模的视频分类和注释,特别是对那些包含人类活动的视频进行组织。最近,流形正则化半监督学习(SSL),探索内在的数据概率分布,然后提高泛化能力,只有少量的标记数据,已成为一个有前途的范例半自动视频分类。此外,人类动作视频通常具有多模态内容和不同的表示。为了解决上述问题,在本文中,我们提出了多视图Hessian正则化逻辑回归(merging)的人体动作识别。与现有的工作相比,merging的优点在于:(1)merging结合了多个Hessian正则化,每个Hessian正则化都是从实例的特定表示中获得的,以利用局部几何的探索;(2)merging自然地处理具有多个表示的多视图实例;(3)merging使用平滑的损失函数,然后可以有效地优化。我们仔细进行了广泛的实验上的非结构化社会活动属性(USAA)数据集和实验结果表明,提出的多视图Hessian正则化逻辑回归的有效性,人类动作识别。
2014-03-03 cs.CV cs.LG stat.ML
Information Recovery-Driven Deep Incomplete Multiview Clustering Network
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室)
针对不完整多视图聚类中视图缺失问题,本文提出 RecFormer,通过自注意力两阶段自编码器恢复缺失数据,并以循环图重建增强表示学习,实验表明其性能优于顶尖方法。
2024-01-18 cs.CV
Mitigating Hallucinations on Object Attributes using Multiview Images and Negative Instructions
Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对大视觉语言模型的对象属性幻觉问题,提出结合多视图图像视觉提示、多视图属性感知器子模块与负指令的MIAVLM方法,有效提升细粒度属性判断准确性。
2025-01-17 cs.AI cs.CV
CoordRefer: Coordinate-Aware 3D Visual Grounding from Multiview Images
本文提出CoordRefer框架,解耦坐标帧选择与坐标条件三维定位,在ScanRefer数据集上实现定位精度提升,性能优于坐标不可知基线及部分显式三维输入方法。
2026-08-07 cs.CV
Learning from Multiview Correlations in Open-Domain Videos
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);Imperial College London(伦敦帝国理工学院)
越来越多的数据集包含多个视图,如视频、声音和自动字幕。表示学习的一个基本挑战是如何利用多个视图来学习更好的表示。这是进一步复杂化的潜在对齐视图之间的存在,如语音和它的转录,并通过众多的选择学习目标。我们探索了一种先进的,基于相关性的表示学习方法的4路并行,多模态数据集,并评估质量的学习表示检索为基础的任务。我们表明,所提出的方法产生了丰富的表示,捕获跨视图共享的大部分信息。我们最好的语音和文本模态模型在开放域,用户生成的教学视频上实现了70.7%至96.9%的检索率。这表明可以在不同的、不对齐的和有噪声的模态中学习可靠的表示,并鼓励在更大的数据集上使用所提出的方法。
2019-03-01 cs.AI cs.CV cs.LG
FLEX: A Largescale Multimodal, Multiview Dataset for Learning Structured Representations for Fitness Action Quality Assessment
School of Biomedical Engineering (Suzhou), USTC(中国科学技术大学苏州生物医学工程学院);Suzhou Institute of Biomedical Engineering and Technology, CAS(中国科学院苏州生物医学工程技术研究所);Institute of High-Performance Computing, A*STAR, Singapore(新加坡科技研究局高性能计算研究所);School of Psychology, Beijing Sports University(北京体育大学心理学院);School of Competitive Sports, Beijing Sports University(北京体育大学竞技体育学院);Department of Robotics, University of Michigan(密歇根大学机器人系)
FLEX数据集通过多模态融合和结构化知识图谱提升健身动作质量评估的准确性与解释性,支持跨模态预测和生物力学导向的表示学习。
2026-04-03 cs.AI cs.CV
A Source-Free Approach for Domain Adaptation via Multiview Image Transformation and Latent Space Consistency
Department of Computer Science and Engineering, United International University(计算机科学与工程系,国际大学);Faculty of Science and Information Technology, Charles Darwin University(科学与信息技术学院,查尔斯达尔文大学);Faculty of Science and Technology, Charles Darwin University(科学与技术学院,查尔斯达尔文大学)
本文提出了一种无源域适应方法,通过多视图图像变换和潜在空间一致性技术,直接从目标域学习域不变特征,提升分类准确率。
2026-01-28 cs.CV
EpiDiff: Enhancing Multi-View Synthesis via Localized Epipolar-Constrained Diffusion
Beihang University(北京航空航天大学);Shanghai AI Laboratory(上海人工智能实验室);VAST
EpiDiff 通过在冻结扩散模型中插入轻量级极线注意力模块,利用极线约束实现相邻视图特征交互,在 12 秒内生成 16 张高质量多视图图像,并在多项质量指标上超越现有方法。
2024-04-02 cs.CV
Feature Selection By KDDA For SVM-Based MultiView Face Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学)
处理高维数据的人脸识别等应用需要一种映射技术,该技术引入了具有增强的区分能力的低维特征的表示和能够对这些复杂特征进行分类的适当分类器。传统的线性判别分析方法的最优性准则与所得到的特征表示的分类能力没有直接关系。此外,他们的分类精度受到“小样本量”的问题,这是经常遇到的FR任务。在这篇简短的论文中,我们结合了非线性核映射的数据称为KDDA与支持向量机分类器,以有效和成本效益的方式来处理这两个缺点。这里提出的方法进行比较,在分类精度方面,其他常用的FR方法UMIST人脸数据库。结果表明,该方法的性能总体上优于传统的FR方法,如特征脸,费舍尔脸,D-LDA方法和传统的线性分类器。
2008-12-13 cs.CV cs.LG
Two Views Are Better than One: Monocular 3D Pose Estimation with Multiview Consistency
Visual Computing, Technical University of Denmark(技术大学丹麦视觉计算中心);TrackMan A/S, Denmark(丹麦TrackMan公司)
本文提出一种多视图一致性损失函数,仅在训练时利用同步双视图数据,无需3D真值和相机标定,即可显著提升单目3D人体姿态估计模型的微调与半监督训练性能。
2025-05-08 cs.CV
Multiview Manifold Evidential Fusion for PolSAR Image Classification
Department of Computer Science and Technology, Shaanxi Key Laboratory for Network Computing and Security Technology, Xi’an University of Technology(计算机科学与技术系、网络计算与安全技术陕西省重点实验室、西安理工大学);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院、南洋理工大学)
针对PolSAR图像分类中协方差矩阵与多特征位于不同流形且现有融合方法忽略视图重要性与不确定性的问题,提出多视图流形证据融合网络(MMEFnet),在HPD与Grassmann流形上分别建模并融合证据,显著提升了分类准确率、鲁棒性和可解释性。
2025-10-13 cs.CV
RotationNet: Joint Object Categorization and Pose Estimation Using Multiviews from Unsupervised Viewpoints
National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST));Graduate School of Information Science and Technology, Osaka University(大阪大学信息科学与技术研究生院)
我们提出了一种基于卷积神经网络(CNN)的模型“RotationNet”,该模型将对象的多视图图像作为输入,并联合估计其姿态和对象类别。与以前使用已知视点标签进行训练的方法不同,我们的方法将视点标签视为潜在变量,这些潜在变量在使用未对齐的对象数据集进行训练期间以无监督的方式学习。RotationNet设计为仅使用部分多视图图像集进行推理,此属性使其在只有部分视图可用的实际场景中非常有用。此外,我们的姿态对齐策略,使人们能够获得跨类共享的视图特定的功能表示,这是很重要的,以保持高精度的对象分类和姿态估计。RotationNet的有效性通过其在10类和40类ModelNet数据集上的最先进的3D对象分类方法的卓越性能得到了证明。我们还表明,即使在没有已知姿势的情况下训练RotationNet,也可以在对象姿势估计数据集上实现最先进的性能。代码可在https://github.com/kanezaki/rotationnet上获得
2018-03-23 cs.CV