Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta 基础人工智能研究院）
针对自我中心与外部中心视角差异大且缺乏配对同步数据的问题，提出自监督方法AE2，通过以对象为中心的编码器和基于对比的时间对齐目标，从非配对视频中学习细粒度视角不变表示，并在四个数据集上取得优异效果。
2023-11-25 cs.CV
Fresco++: Frequency-Guided and Canonical-Consistent Optimization for Fine-Grained Head Avatar Modeling
Monash University（莫纳什大学）；College of Computer Science, Chongqing University（重庆大学计算机学院）
Fresco++是一种用于细粒度头部化身重建的统一优化框架，通过频率课程与规范共识解决逐视图监督导致的细节不稳定和跨视图不一致问题，在NeRSemble上验证了其重建质量与一致性的提升及通用性。
2026-11-03 cs.CV
EscherNet++: Simultaneous Amodal Completion and Scalable View Synthesis through Masked Fine-Tuning and Enhanced Feed-Forward 3D Reconstruction
Georgia Institute of Technology（佐治亚理工学院）；Toyota Research Institute（丰田研究机构）
提出EscherNet++，通过输入级和特征级掩码微调扩散模型，实现零样本同步非模态补全与新视图合成，无需额外训练集成前馈模型使重建时间减少95%，并在遮挡任务上取得SOTA表现。
2025-07-10 cs.CV
BFA: Best-Feature-Aware Fusion for Multi-View Fine-grained Manipulation
MEGVII Technology（MEGVII技术公司）；Waseda University（早稻田大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Beihang University（北航大学）
本文提出即插即用的最佳特征感知（BFA）融合策略，通过轻量级网络预测多视角重要性分数并融合特征，解决细粒度操作中的视觉冗余问题，成功率较基线提升22-46%。
2025-06-28 cs.CV cs.RO
Coarse-Fine View Attention Alignment-Based GAN for CT Reconstruction from Biplanar X-Rays
Beijing United Imaging Research Institute of Intelligent Imaging（北京联影智能影像研究院）；United Imaging Intelligence Beijing（联影智能（北京））；Peking University Third Hospital（北京大学第三医院）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对CT成像不可用的场景，提出一种带注意力的粗细跨视图融合GAN，通过双平面X射线重建3D CT，性能优于现有最优方法。
2024-08-19 cs.CV eess.IV
Fine-grained Hand Gesture Recognition in Multi-viewpoint Hand Hygiene
Willogy；AIOZ；Blood Transfusion Hematology Hospital（输血血液病医院）
本文提供了一个新的高质量的数据集，手卫生系统中的手势识别，命名为“MFH”。一般来说，目前的数据集并不集中在：（i）细粒度的动作;（ii）不同视点之间的数据不匹配，这是在现实的设置下可用。为了解决上述问题，建议MFH数据集包含由6个非重叠位置中的不同相机视图获得的总共731147个样本。此外，每个样本都属于世界卫生组织（WHO）提出的七个步骤之一。作为一个小小的贡献，受到细粒度图像识别和分布自适应的启发，本文建议使用自监督学习方法来处理这些问题。在基准MFH数据集上的大量实验表明，所介绍的方法在准确性和宏F1分数方面都具有竞争力的性能。代码和MFH数据集可在https://github.com/willogy-team/hand-gesture-recognition-smc2021上获得。
2021-09-07 cs.CV
Learning Fine-Grained Geometry for Sparse-View Splatting via Cascade Depth Loss
School of Computer Science The University of Sydney Sydney, Australia；School of Computer Science University of Bristol Bristol, United Kingdom；School of Science Edith Cowan University Perth, Australia
本文提出HDGS框架，通过级联Pearson相关损失提升稀疏视角下几何重建的结构精度，实验表明在LLFF和DTU数据集上取得最佳性能。
2026-04-02 cs.CV
M$^3$Net: Multi-view Encoding, Matching, and Fusion for Few-shot Fine-grained Action Recognition
Nanjing University of Science and Technology（南京理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanjing University（南京大学）
本文提出M$^3$Net框架，通过多视图编码、匹配与融合解决小样本细粒度动作识别中细节捕捉不足和有限数据学习困难的问题，并在多个基准上取得最优性能。
2023-08-06 cs.CV cs.MM
Bootstrap Your Own Views: Masked Ego-Exo Modeling for Fine-grained View-invariant Video Representations
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）；NAVER AI Lab（NAVER AI实验室）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
本文提出BYOV方法，通过掩码自我-外部建模同时学习因果时间动态和跨视角对齐，从不成对视频中提取细粒度视角不变表示，在四个下游任务中显著优于现有方法。
2025-03-31 cs.AI cs.CV
Two-View Fine-grained Classification of Plant Species
Pontifical Catholic University of Paraná（巴拉那州天主教大学）；State University of Ponta Grossa（蓬塔格罗萨州立大学）；Federal University of Paraná（巴拉那联邦大学）
植物自动分类是一个具有挑战性的问题，由于广泛的生物多样性，现有的植物物种在细粒度的情况下。强大的深度学习架构已被用于提高此类细粒度问题的分类性能，但通常构建高度依赖于大型训练数据集且不可扩展的模型。在本文中，我们提出了一种新的方法的基础上，两个视图的叶片图像表示和层次分类策略的细粒度识别的植物物种。它使用植物分类学作为基础，采用由粗到细的策略来识别植物属和种。双视图表示提供了互补的全局和局部特征的叶片图像。使用基于Siamese卷积神经网络的深度度量来减少对大量训练样本的依赖，并使该方法可扩展到新的植物物种。在LifeCLEF 2015和LeafSnap两个具有挑战性的细粒度树叶图像数据集上的实验结果表明了该方法的有效性，其识别准确率分别达到0.87和0.96。
2021-10-04 cs.CV cs.LG
CityPulse: Fine-Grained Assessment of Urban Change with Street View Time Series
Stanford University（斯坦福大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
针对传统城市变化测量时空粒度受限的问题，提出基于街景时间序列的端到端变化检测模型，并构建迄今最大数据集，实现大规模、细粒度且准确的城市物理变化评估。
2024-01-03 cs.CV
Multi-View Active Fine-Grained Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
随着细粒度视觉分类（FGVC）的发展，相关的研究工作已经揭示了一个关键的方向--发现有区别的局部区域，揭示细微的差异。然而，与识别静态图像内的视觉内容不同，对于识别真实物理世界中的对象，区分信息不仅存在于可见的局部区域内，而且隐藏在其他不可见的视角中。换句话说，除了关注与整体有区别的部分之外，为了高效准确地识别，还需要通过几眼来推断关键视角，例如，人们可能一眼就能认出一辆“奔驰AMG GT”，再看看它的排气管就能知道它是哪一年的车型。本文回到现实，提出了主动细粒度识别（AFGR）问题，并分三步完成了这项研究：（i）收集了一个分层的、多视角的、细粒度的车辆数据集作为测试床;（ii）设计了一个简单的实验来验证不同视角对FGVC的贡献不同，不同类别具有不同的区分视角，（iii）采用基于策略梯度的框架来实现具有主动视图选择的高效识别。综合实验表明，该方法提供了一个更好的性能效率的权衡比以前的FGVC方法和先进的神经网络。
2022-06-02 cs.CV
Seeing Through Multiple Views: Parameter-Efficient Fine-Tuning via Selective Neurons for Consistent Radiology Report Generation
MedVisAI Lab（MedVisAI实验室）；Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore（新加坡南洋理工大学李光前医学院）；Centre of AI in Medicine, Singapore（新加坡人工智能医学中心）；The Chinese University of Hong Kong, Sha Tin, New Territories, Hong Kong（香港中文大学）；National Heart Centre Singapore (NHCS), Singapore（新加坡国家心脏中心）
提出View-PNDF框架，通过检测和微调视图特定神经元，从神经元层面实现多视图X光报告的一致性生成，仅更新少量参数即可提升视图特定报告质量并保持通用性能。
2026-07-01 cs.AI cs.CV
Fine-detailed Neural Indoor Scene Reconstruction using multi-level importance sampling and multi-view consistency
Tsinghua University（清华大学）；ByteDance（字节跳动）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
提出FD-NeuS神经隐式表面重建方法，通过多级重要性采样策略和多视图一致性方法解决室内场景重建过度平滑和优化时间长的问题，实现精细3D模型重建。
2024-10-10 cs.CV
Probing Fine-Grained Action Understanding and Cross-View Generalization of Foundation Models
Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究所）；Institute for Anthropomatics and Robotics (IAR), KIT（卡尔斯鲁厄理工学院人形机器人与智能系统研究所）
本研究系统评估了基础模型在细粒度人类活动识别中面对视角变化的表现，比较了多种架构与时间融合策略，为未知视角下的模型选择提供指导。
2024-07-22 cs.CV
NormalGAN: Learning Detailed 3D Human from a Single RGB-D Image
Tsinghua University（清华大学）
我们提出了NormalGAN，这是一种基于快速对抗学习的方法，可以从单个RGB-D图像重建完整和详细的3D人体。给定单个前视图RGB-D图像，NormalGAN执行两个步骤：前视图RGB-D校正和后视图RGBD推断。然后通过简单地组合前视图和后视图RGB-D信息来生成最终模型。然而，推断具有高质量几何细节和合理纹理的后视图RGB-D图像并不是微不足道的。我们的主要观察结果是：法线贴图通常比RGB和深度图像编码更多的3D表面细节信息。因此，从法线映射学习几何细节优于其他表示。在NormalGAN中，引入了一个以法线映射为条件的对抗性学习框架，该框架不仅用于提高前视图深度去噪性能，而且还可以推断具有惊人几何细节的后视图深度图像。此外，对于纹理恢复，我们从前视图RGB图像的基础上细化法线映射，这进一步提高了后视图颜色推断的质量去除阴影信息。在测试数据集和实际捕获数据集上的实验结果表明了该方法的优越性能。对于消费级RGB-D传感器，NormalGAN可以在20 fps的速度内生成完整而详细的3D人体重建结果，从而进一步实现远程呈现、AR/VR和游戏场景中的便捷交互体验。
2020-07-30 cs.CV
DetailCLIP: Detail-Oriented CLIP for Fine-Grained Tasks
The Ohio State University（俄亥俄州立大学）；University of Central Florida（中佛罗里达大学）
本文提出DetailCLIP框架，通过自蒸馏patch级比较、像素级重建损失和注意力token移除机制，解决了CLIP在细粒度分割任务中难以捕捉细节的问题，显著提升了分割精度和跨数据集泛化能力。
2025-03-31 cs.CV
MoDeRNN: Towards Fine-grained Motion Details for Spatiotemporal Predictive Learning
Peng Cheng Laboratory（鹏城实验室）
时空预测学习（ST-PL）旨在通过有限的观测序列预测后续帧，在现实世界中有着广泛的应用。然而，学习代表性的时空特征进行预测是具有挑战性的。此外，连续帧之间的混沌不确定性加剧了长期预测的难度。本文致力于通过增强先前上下文与当前状态之间的对应关系来提高预测质量。我们精心设计了细节上下文块（DCB），以提取细粒度的细节，并改善上层上下文状态和当前输入状态之间的隔离相关性。我们将DCB与标准ConvLSTM集成，并引入运动细节RNN（MoDeRNN）来捕获细粒度的时空特征，并改进RNN潜在状态的表达，以实现显著的质量。移动MNIST和台风数据集上的实验证明了该方法的有效性。MoDeRNN在定性和定量上优于现有的最先进技术，计算负载较低。
2022-02-12 cs.CV
Gaussian Garments: Reconstructing Simulation-Ready Clothing with Photorealistic Appearance from Multi-View Video
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
该研究提出Gaussian Garments方法，结合3D网格与高斯纹理从多视角视频重建可仿真的衣物资产，能解耦反照率与光照，还可微调预训练GNN复现衣物真实行为，支持多衣组合与动画生成。
2024-09-12 cs.CV cs.GR
FaceVerse: a Fine-grained and Detail-controllable 3D Face Morphable Model from a Hybrid Dataset
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）
我们提出了FaceVerse，一个细粒度的3D神经人脸模型，它是由包含60 K融合RGB-D图像和2K高保真3D头部扫描模型的混合东亚人脸数据集构建的。提出了一种新的由粗到细的结构，以更好地利用我们的混合数据集。在粗模块中，我们从大规模RGB-D图像中生成基本参数模型，该模型能够预测不同性别，年龄等的精确粗糙3D人脸模型。然后在精细模块中，引入了用高保真扫描模型训练的条件StyleGAN架构，以丰富精细的面部几何和纹理细节。注意，与以前的方法不同，我们的基本和详细的模块都是可变的，这使得一个创新的应用程序，调整的基本属性和面部细节的三维人脸模型。此外，我们提出了一个单一的图像拟合框架的基础上微分渲染。大量的实验表明，我们的方法优于国家的最先进的方法。
2022-05-27 cs.CV
Recovering Fine Details for Neural Implicit Surface Reconstruction
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）；HU Berlin（柏林洪堡大学）
最近的工作内隐神经表征取得了重大进展。使用体渲染学习隐式神经表面在无3D监督的多视图重建中得到了普及。然而，由于几何和外观表示的潜在模糊性，精确地恢复精细细节仍然是具有挑战性的。在本文中，我们提出了D-NeuS，一个体渲染基神经隐式表面重建方法能够恢复精细的几何细节，扩展NeuS的两个额外的损失函数，以提高重建质量。首先，我们鼓励从阿尔法合成渲染的表面点有符号的距离值为零，减轻几何偏差所产生的转换SDF的密度体渲染。其次，我们施加多视图功能的一致性的表面上的点，通过插值SDF零交叉从采样点沿射线。大量的定量和定性结果表明，我们的方法重建高精度的表面细节，并优于最先进的。
2022-11-21 cs.CV
Adapting Fine-Grained Cross-View Localization to Areas without Fine Ground Truth
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；ShanghaiTech University（上海科技大学）；Australian National University（澳大利亚国立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出基于知识自蒸馏的弱监督学习方法，利用含噪声真值的目标区域图像生成并过滤伪真值，显著提升了细粒度跨视角定位模型在新区域的精度。
2024-06-01 cs.CV
Adversarial Learning for Fine-grained Image Search
University of Washington（华盛顿大学）；eBay Inc.（eBay公司）
细粒度的图像搜索仍然是一个具有挑战性的问题，由于在捕捉细微的差异，无论姿态变化的对象从细粒度的类别。在实践中，具有新的细粒度类别的动态库存为这一挑战增加了另一个维度。在这项工作中，我们提出了一个端到端的网络，称为FGGAN，通过隐式地学习从多视图图像的几何变换来学习区分表示，以进行细粒度图像搜索。我们集成了一个生成对抗网络（GAN），它可以自动处理复杂的视图和姿势变化，通过将它们转换为规范视图，而无需任何预定义的转换。此外，在开集场景中，我们的网络能够更好地匹配来自不可见和未知细粒度类别的图像。在两个公共数据集和一个新收集的数据集上进行的广泛实验表明，所提出的FGGAN在闭集和开集场景中都具有出色的鲁棒性能，与基线相比，相对提高了10%。
2018-07-06 cs.CV
Scene-SAM3D: Multi-View Scene Asset Generation Without Fine-Tuning
The University of Queensland（昆士兰大学）；East China Normal University（华东师范大学）；Shanghai AI Laboratory（上海人工智能实验室）
研究针对现实场景中3D生成难题，提出无需训练的Scene-SAM3D框架，通过选互补视图、潜在速度融合及高斯优化，实现多视图场景资产生成，实验证明其在减少场景级CD和降低计算成本上有显著成效。
2026-07-21 cs.CV
Deep Deformation Detail Synthesis for Thin Shell Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
在基于物理的布料动画中，丰富的褶皱和详细的褶皱是以昂贵的计算资源和巨大的劳动调整为代价的。数据驱动技术致力于通过数据库显著减少计算。一种类型的方法依赖于人的姿势来合成不能应用于普通布料的合身服装。另一种类型的方法在没有这种限制的情况下向粗网格添加细节。然而，现有的工作通常使用基于坐标的表示，不能应付大规模的变形，并要求密集的粗和细网格之间的顶点对应。此外，由于这些方法仅添加细节，因此它们需要粗网格接近细网格，这可能是不可能的，或者在生成细网格时需要不切实际的约束。为了解决这些挑战，我们开发了一个时间和空间上尽可能一致的变形表示（称为TS-ACAP）和DeformTransformer网络来学习从低分辨率网格到详细网格的映射。此TS-ACAP表示旨在确保布料动画连续大规模变形的空间和时间一致性。通过这种表示，我们的DeformTransformer网络首先使用两个基于网格的编码器来分别提取粗特征和细特征。为了将粗略特征转换为精细特征，我们利用由帧级注意力机制组成的Transformer网络来确保预测的时间一致性。实验结果表明，该方法能够在高帧速率下，在不同的数据集上生成可靠的真实感动画，比基于物理的模拟快10 ~ 35倍，并且具有比现有方法更好的细节合成能力.
2021-02-23 cs.CV cs.GR
Beyond Geo-localization: Fine-grained Orientation of Street-view Images by Cross-view Matching with Satellite Imagery with Supplementary Materials
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Grab Chronos S.R.L.（Grab Chronos有限责任公司）；Grabtaxi Holdings Pte. Ltd.（Grab出租车控股私人有限公司）
本文针对众包街景图像缺失位置与朝向信息的问题，提出两种细粒度朝向估计方法，并通过与卫星图像跨视角匹配显著提升角度精度及地理定位召回率。
2023-07-13 cs.CV
Towards Enhancing Fine-grained Details for Image Matting
Nanyang Technological University（南洋理工大学）
近年来，通过将高级上下文特征提取到模型中，深度自然图像抠图得到了快速发展。然而，目前大多数方法仍然难以处理微小的细节，如头发或毛皮。在本文中，我们认为，恢复这些微观细节依赖于低层次，但高清晰度的纹理特征。然而，{在当前基于编码器-解码器的模型中，这些特征在非常早期的阶段被下采样，导致微观细节的丢失}。为了解决这个问题，我们设计了一个深度图像抠图模型{来增强细粒度的细节。我们的模型由两条并行路径组成：一条传统的编码器-解码器语义路径和一条独立的无下采样纹理补偿路径（TCP）。提出了TCP算法，提取原始图像中的线条、边缘等细粒度细节，大大提高了预测精度。同时，为了充分利用高层上下文的优势，我们提出了一个特征融合单元（FFU），用于融合语义路径中的多尺度特征，并将其注入TCP。此外，我们已经观察到，注释不佳的trimap严重影响模型的性能。因此，我们进一步提出了一个新的损失函数和trimap生成方法，以提高我们的模型的鲁棒性的trimap。实验表明，我们的方法优于以前的最先进的方法上的Composition-1 k数据集。
2021-01-22 cs.CV
Boosting Few-Shot Classification with View-Learnable Contrastive Learning
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Lab（鹏城实验室）
Few-Shot分类的目标是在每个类别中使用很少的标记示例对新类别进行分类。目前，基于度量的元学习方法在处理Few-Shot分类问题上表现出了优异的性能。然而，在没有细粒度标签的嵌入空间中，以往的方法很难区分细粒度的子类别。这可能导致对细粒度子类别的概括不令人满意，从而影响模型解释。为了解决这个问题，我们将对比度损失引入到Few-Shot分类中，以学习嵌入空间中潜在的细粒度结构。此外，为了克服当前对比学习中使用的随机图像变换在产生噪声和不准确的图像对（即，视图），我们开发了一个学习到学习的算法来自动生成同一图像的不同视图。在标准少样本学习基准上的大量实验证明了我们方法的优越性。
2021-07-30 cs.CV
See In Detail: Enhancing Sparse-view 3D Gaussian Splatting with Local Depth and Semantic Regularization
The Hong Kong Polytechnic University（香港理工大学）
针对稀疏视角3DGS渲染质量下降问题，提出结合DINO-ViT语义正则化与局部深度正则化的方法，在LLFF数据集上PSNR提升0.4dB，减少扭曲并增强细节。
2025-01-20 cs.CV
Detailed Facial Geometry Recovery from Multi-View Images by Learning an Implicit Function
Nanjing University（南京大学）；iQIYI Inc（爱奇艺公司）
从一组校准的多视图图像中恢复详细的面部几何形状具有广泛的应用价值。传统的多视图立体视觉（MVS）方法采用基于优化的方法来正则化匹配代价。近年来，基于学习的方法将所有这些集成到一个端到端的神经网络中，并显示出效率的优越性。在本文中，我们提出了一种新的架构，在几十秒内恢复非常详细的3D人脸。与以前通过3D CNN正则化成本量的基于学习的方法不同，我们建议学习一个隐式函数来回归匹配成本。通过对多视点图像进行三维形变模型拟合，提取多幅图像的特征，并在网格连接的UV空间中进行聚合，使得隐函数在恢复人脸细节形状时更加有效。在FaceScape数据集上，我们的方法在准确性上大大优于基于SOTA学习的MVS。代码和数据发布在https://github.com/zhuhao-nju/mvfr上。
2022-05-05 cs.CV
SplatCo: Structure-View Collaborative Gaussian Splatting for Detail-Preserving Rendering of Large-Scale Unbounded Scenes
SplatCo通过结构-视图协作机制，实现大规模无界场景的高保真渲染，结合全局与局部特征融合、视图修剪和共学模块，提升渲染质量和存储效率。
2025-12-11 cs.CV
Efficient Multi-View 3D Object Detection by Dynamic Token Selection and Fine-Tuning
Group Innovation, Volkswagen AG（大众集团创新集团）；Institute for Communications Technology, Technische Universität Braunschweig（通讯技术研究所， Braunschweig技术大学）
本文提出一种结合图像令牌补偿器的令牌选择方法，用于加速多视图3D目标检测，通过动态层间令牌选择和参数高效微调策略，降低计算复杂度和推理延迟，同时提升检测精度。
2026-04-15 cs.CV
A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds
University of Technology Sydney（悉尼科技大学）；Nokia Technologies（诺基亚科技）；Tsinghua University（清华大学）
随着众多三维传感技术的发展，跨源点云上的目标配准问题引起了研究者的兴趣。当从不同类型的传感器捕获点云时，存在大的且不同种类的变化。在这项研究中，我们解决了一个更具挑战性的情况下，不同来源的点云是从一个真正的街景。一个是直接产生的激光雷达系统，另一个是通过使用VSFM软件从RGB相机捕获的图像序列生成的。面对大规模点云数据时，以往的方法大多集中在点到点的水平配准上，存在很多局限性，原因在于最小平均误差策略在配准大变量跨源点云数据时表现不佳。与以往基于ICP的点云检测方法不同，本文从统计学角度出发，提出了一种有效的粗到精算法，用于在大规模Lidar点云中检测和配准小规模SFM点云。从实验结果来看，该模型可以成功地在LiDAR和SFM点云上运行，因此它可以为许多应用做出贡献，例如机器人和智慧城市的发展。
2016-10-24 cs.CV
Empowering Vector Graphics with Consistently Arbitrary Viewing and View-dependent Visibility
School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
本研究提出Dream3DVG，一种文本到矢量图形生成方法，通过双分支优化框架结合3D Gaussian Splatting和3D矢量图形优化，实现任意视角观察、渐进式细节控制和依赖视角的遮挡感知。
2025-05-27 cs.CV
DEIG: Detail-Enhanced Instance Generation with Fine-Grained Semantic Control
DEIG通过细粒度语义控制生成多实例场景，提升空间一致性与语义准确性。
2026-02-20 cs.CV
DetailFlow: 1D Coarse-to-Fine Autoregressive Image Generation via Next-Detail Prediction
ByteDance Inc.（字节跳动公司）
针对图像生成问题，提出DetailFlow方法，通过1D从粗到精自回归模型与下一细节预测策略，用更少标记实现高质量生成，还提出并行推理机制提升速度，在ImageNet基准上优于VAR等方法，兼具质量与效率优势。
2025-11-11 cs.CV
Exploring Localization for Self-supervised Fine-grained Contrastive Learning
Westlake University（西湖大学）；Zhejiang University（浙江大学）
自监督对比学习在学习视觉表征方面表现出巨大的潜力。尽管它们在诸如图像分类和目标检测等各种下游任务中取得了成功，但用于细粒度场景的自监督预训练尚未得到充分探索。我们指出，目前的对比方法是容易记忆的背景/前景纹理，因此有一个局限性，在定位前景物体。分析表明，学习提取有区别的纹理信息和定位对于细粒度的自监督预训练同样重要。基于我们的研究结果，我们介绍了跨视图显着性对齐（CVSA），一个对比学习框架，首先作物和交换显着区域的图像作为一个新的视图生成，然后引导模型本地化前景对象通过跨视图对齐损失。在小规模和大规模细粒度分类基准上的大量实验表明，CVSA显着提高了学习的表示。
2022-10-11 cs.CV
Detailed 3D Human Body Reconstruction from Multi-view Images Combining Voxel Super-Resolution and Learned Implicit Representation
由于人体的高度自由度，从图像重建详细的三维人体模型的任务在计算机视觉中是有趣但具有挑战性的。为了解决这一问题，本文提出了一种基于隐式表示学习的结合体素超分辨率的由粗到精的多视点图像三维人体重建方法。首先，通过学习基于多尺度特征的隐式表示来估计粗3D模型，所述多尺度特征由多级沙漏网络从多视图图像中提取。然后，以粗三维模型生成的低分辨率体素网格为输入，通过多级三维卷积神经网络学习基于隐式表示的体素超分辨率。最后，利用体素超分辨率技术生成精细的三维人体模型，该方法可以有效地保留粗糙模型的细节信息，减少虚假重建。由于隐式表示的优点，该方法的训练过程具有很好的记忆效率，并且从多视点图像中生成的三维人体细节是具有高分辨率几何的连续决策边界。此外，基于体素超分辨率的由粗到细的方法可以在去除虚假重建的同时保留最终重建的外观细节。在实验中，我们的方法定量和定性地实现了有竞争力的三维人体重建图像与各种姿态和形状的真实和合成数据集。
2020-12-11 cs.CV
SuperMVS: Non-Uniform Cost Volume For High-Resolution Multi-View Stereo
SOTA算法不同于大多数现有的深度采样算法，它采用静态均匀采样的方法，通过大量的假设平面来获得精细的深度采样。本文提出了一种在大深度范围内动态非均匀采样的自由移动假设平面方法来构建成本体积，该方法不仅大大减少了平面数量，而且细化了采样，既降低了计算成本，又提高了精度，称为非均匀成本体积。我们提出了SuperMVS网络来实现非均匀代价体积的多视图立体视觉。SuperMVS是一个由粗到细的框架，有四个级联阶段。它可以输出更高分辨率和准确的深度图。我们的SuperMVS在DTU数据集和Tanks \& Temples数据集上以低内存、低运行时间和较少的平面实现了SOTA结果。
2022-03-29 cs.CV
DAGE: Dual-Stream Architecture for Efficient and Fine-Grained Geometry Estimation
UMass Amherst（马萨诸塞大学阿姆赫斯特分校）；Adobe Research（Adobe研究）；TU Crete（希腊技术大学）
DAGE提出双流变压器架构，通过分离全局一致性与细节，实现高效且细粒度的几何估计与相机姿态估计，支持高分辨率和长序列输入。
2026-03-22 cs.CV
A Study of Finetuning Video Transformers for Multi-view Geometry Tasks
本文通过微调视频基础模型，提出了一种简单有效的方法，实现了多视角几何任务如光流估计的高性能表现。
2025-12-21 cs.CV
ReFu: Refine and Fuse the Unobserved View for Detail-Preserving Single-Image 3D Human Reconstruction
Korea Advanced Institute of Science and Technology（韩国科学技术院）
单图像三维人体重建的目的是重建三维纹理表面的人体给定的一个单一的图像。虽然隐式函数为基础的方法最近取得了合理的重建性能，他们仍然承担的限制，从一个未观察到的视图显示质量下降的表面几何形状和纹理。作为回应，要生成一个逼真的纹理表面，我们提出了ReFu，一个粗到细的方法，细化投影的背面视图图像，并融合细化的图像来预测最终的人体。为了抑制扩散占用，导致投影图像和重建网格中的噪声，我们提出了训练占用概率，同时利用2D和3D的监督与基于占用的体渲染。我们还介绍了一个细化架构，产生细节保留的背面视图图像与前后翘曲。大量的实验表明，我们的方法实现了最先进的性能，从一个单一的图像在3D人体重建，从一个未观察到的视图显示增强的几何和纹理质量。
2022-11-09 cs.CV
Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）
学习微妙但有区别的特征（例如，鸟的喙和眼睛）在细粒度图像识别中起着重要作用。现有的基于注意力的方法定位和放大重要的部分，以学习细粒度的细节，这往往受到有限的部分和沉重的计算成本。在本文中，我们提出了学习这样的细粒度功能，从数百个部分的建议三线性注意抽样网络（TASN）在一个有效的师生的方式。具体来说，TASN包括1）三线性注意模块，它通过建模通道间关系生成注意力地图，2）基于注意力的采样器，以高分辨率突出关注的部分，和3）特征提取器，通过权重共享和特征保留策略将部分特征提取为全局特征。大量的实验验证了TASN在iNaturalist-2017、CUB-Bird和Stanford-Cars数据集中，在相同的设置下，使用最具竞争力的方法，可以产生最佳的性能。
2019-06-11 cs.CV
Vision-Driven 2D Supervised Fine-Tuning Framework for Bird's Eye View Perception
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与 Mobility学院）；State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（清华大学智能绿色车辆与交通全国重点实验室）
针对BEV感知依赖昂贵LiDAR真值的问题，提出基于视觉2D语义感知的网络微调框架，并在nuScenes与Waymo上验证其有效性。
2024-09-09 cs.CV
Carve3D: Improving Multi-view Reconstruction Consistency for Diffusion Models with RL Finetuning
Stony Brook University（石溪大学）；TTIC（芝加哥丰田技术学院）；Adobe Research（奥多比研究院）；Kiel University（基尔大学）
本文提出 Carve3D，通过结合强化学习微调与多视图重建一致性指标，优化多视图扩散模型，显著提升 NeRF 重建质量与跨视图一致性。
2024-04-09 cs.CV cs.LG
Detail-aware multi-view stereo network for depth estimation
School of Automation, Southeast University（东南大学自动化学院）
提出细节感知多视图立体网络DA-MVSNet，利用几何深度线索和图像合成损失增强边界与细节深度恢复，并采用自适应深度区间调整策略提升重建精度，在DTU和Tanks & Temples数据集上取得有竞争力的结果。
2025-03-31 cs.CV
Drawing Attention to Detail: Pose Alignment through Self-Attention for Fine-Grained Object Classification
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
开放世界中的类内差异导致分类任务面临各种挑战。为了克服这些挑战，引入了细粒度分类，并提出了许多方法。一些依赖于定位和使用图像中可区分的局部部分，以实现对视点变化、类内差异和局部部分变形的不变性。我们的方法，这是P2P-Net的启发，提供了一个端到端的可训练的基于注意力的部件对齐模块，在那里我们取代了图形匹配组件中使用的自我注意力机制。注意力模块能够在导致全局损失之前，在相互注意的同时学习部件的最佳布置。
2023-02-09 cs.CV
MoGe-3: Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement
Tsinghua University（清华大学）；USTC（中国科学技术大学）；Microsoft Research（微软研究院）
针对单目几何估计在局部3D结构精细细节上的失真问题，提出基于自引导稀疏体细化的方法，将建模从2D提升到3D空间，通过稀疏卷积避免特征混合，实验证明该方法在恢复精细3D几何方面显著优于现有方法。
2026-07-22 cs.CV
Multi-View Priors for Learning Detectors from Sparse Viewpoint Data
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Stanford University（斯坦福大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
虽然今天的大多数对象类模型只提供2D边界框，但需要更丰富的输出假设，包括视点，细粒度类别和3D几何估计。然而，被训练以提供更丰富的输出的模型需要更大量的训练数据，优选地很好地覆盖相关方面，诸如视点和细粒度类别。在本文中，我们从迁移学习的角度来解决这个问题，并设计了一个对象类模型，明确利用视觉特征之间的相关性。具体来说，我们的模型表示先验分布在允许的多视图检测器在参数化的方式-先验知识从源对象类的训练数据中学习一次，并且可以稍后用于促进目标类的检测器的学习。正如我们在实验中所展示的，这种转移不仅有利于基于基本级别类别表示的检测器，而且还可以实现以更细的粒度级别表示类的检测器的鲁棒学习，其中训练数据通常更稀缺且更不平衡。因此，我们报告了在最近的具有挑战性的街道场景数据集上同时进行2D对象定位和视点估计的性能大大提高。
2014-02-16 cs.CV
Proto-FG3D: Prototype-based Interpretable Fine-Grained 3D Shape Classification
School of Information Science and Engineering（信息科学与工程学院）；University of Jinan（济南大学）；School of Control Science and Engineering（控制科学与工程学院）；Shandong University（山东大学）；Department of Computing and Decision Sciences（计算与决策科学系）；Lingnan University（岭南大学）；College of Computer Science（计算机科学学院）；Nankai University（南开大学）
针对细粒度三维形状分类中判别信息有限、类别不平衡及可解释性不足的问题，提出首个基于原型的框架Proto-FG3D，通过原型关联、在线聚类和原型引导监督学习实现非参数化原型学习，在FG3D和ModelNet40上超越现有方法。
2025-05-23 cs.CV
Super-NeRF: View-consistent Detail Generation for NeRF super-resolution
Tsinghua University（清华大学）
本文提出 Super-NeRF，通过一致性控制模块和逐视图可优化潜码，仅利用多视图低分辨率输入生成视图一致的高分辨率 NeRF，并在多类数据集上达到最先进性能。
2023-04-26 cs.CV
PanoFree: Tuning-Free Holistic Multi-view Image Generation with Cross-view Self-Guidance
OPPO US Research Center（OPPO美国研究中心）；Boston University（波士顿大学）
本文提出免训练多视图全景生成方法 PanoFree，通过迭代变形修复、跨视图自引导、风险区域处理与双向回环生成，在一致性、质量、多样性及效率上显著优于现有方法。
2024-08-04 cs.CV
Fine-grained Video Attractiveness Prediction Using Multimodal Deep Learning on a Large Real-world Dataset
Wuhan University（武汉大学）；Tencent AI Lab（腾讯人工智能实验室）；National University of Singapore（新加坡国立大学）；University of Rochester（罗切斯特大学）
如今，有数十亿的视频在网上随时可以观看和分享。在数量庞大的视频中，一些流行的视频被在线用户广泛观看，而大多数视频却很少受到关注。此外，在每个视频内，不同的片段可以吸引显著不同数量的观看。这种现象导致了一个具有挑战性的重要问题，即细粒度的视频吸引力预测。然而，这样一个具有挑战性的问题的一个主要障碍是，目前没有合适的基准数据集存在。为此，我们构建了第一个细粒度的视频吸引力数据集，它是从世界上最流行的视频网站之一收集的。整体而言，已建成的FVAD包括1，019集剧集，780. 6小时，涵盖不同类别及多种视频内容。除了大量的视频之外，还包括观看视频期间的数亿用户行为，例如“观看次数”、“快进”、“快退”等，其中“观看次数”反映视频吸引力，而其他参与度捕获观看者与视频之间的交互。首先，我们证明了视频吸引力和不同的参与呈现不同的关系。其次，FVAD为我们提供了一个研究细粒度视频吸引力预测问题的机会。我们设计了不同的序列模型来执行视频吸引力预测，仅依赖于视频内容。顺序模型利用不同层次的视频内容的视觉和音频分量之间的多模态关系。实验结果表明，我们提出的顺序模型具有不同的视觉和听觉表示的有效性，将这两种方式的必要性，以及顺序预测模型在不同层次上的互补行为。
2018-04-07 cs.CV
Detail-preserving and Content-aware Variational Multi-view Stereo Reconstruction
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）；Xi’an Jiaotong University（西安交通大学）
从标定后的二维多视点图像中精确恢复三维几何表面是计算机视觉中一个基本而又活跃的研究领域。尽管多视图立体视觉重建技术取得了长足的进步，但现有的方法在抑制噪声的同时，仍难以恢复细节和尖锐特征，而且在纹理较少的区域重建时可能会失败。为了解决这些问题，本文提出了一种细节保持和内容感知的变分（DCV）多视图立体视觉方法，该方法通过重投影误差最小化和网格去噪之间的交替来重建3D表面。在重投影误差最小化中，我们提出了一种新的图像间相似性度量，该度量有效地保留了重建表面的精细尺度细节，并在引导图像滤波和图像配准之间建立了联系。在网格去噪中，我们提出了一个内容感知的$\ell_{p}$ -最小化算法，通过自适应估计$p$值和正则化参数的基础上，当前的输入。与传统的各向同性网格光顺算法相比，该算法在抑制噪声的同时更能保持网格的尖锐特征。在基准数据集上的实验结果表明，我们的DCV方法能够恢复更多的表面细节，并获得更干净，更准确的重建比国家的最先进的方法。特别是，我们的方法在Middlebury dino环和dino稀疏环数据集上的完整性和准确性方面都取得了最好的结果。
2015-05-03 cs.CV
