Geometry-Aware Representation Denoising for Robust Multi-view 3D Reconstruction
KAIST AI（韩国国立科学技术院人工智能研究所）；Samsung Electronics（三星电子）
提出几何感知表示去噪（GARD）框架，在前馈3D重建模型的特征空间中执行扩散式多视角恢复，同时恢复场景几何与高质量RGB图像，在DA3基准上验证有效性。
2026-05-25 cs.CV
RemixFusion: Residual-based Mixed Representation for Large-scale Online RGB-D Reconstruction
National Key Laboratory of Parallel and Distributed Computing（平行与分布式计算国家重点实验室）；National University of Defense Technology（国防科技大学）；Peking University（北京大学）；Xiangjiang Laboratory（湘江实验室）
RemixFusion提出基于残差的混合表示，结合显式TSDF网格与隐式神经模块，在有限资源下实现高质量大规模在线RGB-D重建，并通过优化位姿变化和自适应梯度放大提升相机跟踪精度。
2025-09-15 cs.CV
Gradient-SDF: A Semi-Implicit Surface Representation for 3D Reconstruction
Technical University of Munich（慕尼黑工业大学）
我们提出了一种新的三维几何表示，结合了隐式和显式表示的优点。通过存储在每个体素的有符号的距离场，以及其梯度向量场，我们提高了隐式表示的能力与方法最初制定明确的表面。作为具体的例子，我们表明：（1）连续SDF允许我们从深度图像执行直接SDF跟踪，使用有效的存储方案，如散列图，以及（2）连续SDF表示使我们能够直接在体素表示中执行光度束平差（无需转换为点云或网格），自然是对几何体和相机姿势的全隐式优化，以及轻松的几何体上采样。实验结果证实，这导致显着更清晰的重建。由于总体SDF体素结构仍然受到尊重，因此所提出的并行SDF与相关方法同样适合于（GPU）并行化。
2021-11-26 cs.CV
Hybrid-CSR: Coupling Explicit and Implicit Shape Representation for Cortical Surface Reconstruction
University of California, Irvine（加州大学欧文分校）；Yale University（耶鲁大学）；Meta
本研究提出混合几何深度学习模型Hybrid-CSR，结合显式隐式表示实现皮层表面重建，搭配拓扑校正流水线，在三个脑数据集上的准确性等指标优于现有方法。
2023-07-23 cs.CV
HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
Waseda University（早稻田大学）；Preferred Networks, Inc.（Preferred Networks公司）
HiMoR 提出基于树结构的层次运动表示，用浅层节点建模粗粒度运动、深层节点捕捉精细运动，并结合共享运动基实现结构化形变，从而提升单目动态三维重建与新视角合成质量。
2025-04-08 cs.CV
SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
提出SHaDe框架，结合三平面形变、SH注意力渲染和潜在扩散先验，实现紧凑一致的动态三维重建，在合成基准上超越HexPlane和4D高斯溅射。
2025-05-22 cs.CV
CGHair: Compact Gaussian Hair Reconstruction with Card Clustering
Carnegie Mellon University（卡内基梅隆大学）；ShanghaiTech University（上海科技大学）
本文提出一种紧凑的高保真发丝重建方法，通过卡聚类减少存储和渲染成本，同时保持视觉质量。
2026-04-04 cs.CV cs.GR
AMB3R: Accurate Feed-forward Metric-scale 3D Reconstruction with Backend
Department of Computer Science, University College London（计算机科学系，伦敦大学学院）
AMB3R通过稀疏体素表示实现高精度度量尺度3D重建，可扩展至视觉里程计和大尺度结构从运动，超越传统SLAM和SfM方法。
2025-11-25 cs.CV
Generalizable Neural Reconstruction of High-Fidelity Surfaces via Sparse Volumetric Representations
Computer Vision Laboratory, EPFL, Switzerland（苏黎世联邦理工学院计算机视觉实验室）
针对通用神经曲面重建中稠密体素导致的内存与分辨率瓶颈，提出SVRecon框架，利用占用率驱动的稀疏体素和两阶段架构，在32GB硬件上实现高达512³分辨率的高保真重建，在稀疏视图下表现更优。
2026-09-17 cs.CV
PointForward: Feedforward Driving Reconstruction through Point-Aligned Representations
Xiaomi EV（小米电动车）；Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）
PointForward通过点对齐表示实现驾驶场景重建，采用空间时间融合提升多视角一致性，引入场景图处理动态实例，实现高精度驾驶场景重建。
2026-11-10 cs.CV
Plenodium: UnderWater 3D Scene Reconstruction with Plenoptic Medium Representation
Nanjing University of Science and Technology（南京理工大学）
提出Plenodium全光介质3D表示框架，通过球谐编码结合方向与位置信息实现高精度水下场景重建，并利用伪深度高斯补充和深度排序正则化损失优化初始化与几何，显著提升3D重建效果。
2025-05-27 cs.CV
UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）
本文提出 UniSDF，通过在三维空间显式混合相机视角与反射视角颜色表示，并结合由粗到细的多分辨率网格，实现带反射复杂大场景的高保真快速三维重建。
2024-12-09 cs.CV
NeReF: Neural Refractive Field for Fluid Surface Reconstruction and Implicit Representation
ShanghaiTech University（上海科技大学）；Huazhong University of Science and Technology（华中科技大学）；Shanghai Advanced Research Institute（上海高等研究院）
现有的神经重建方案，如神经辐射场（NeRF）主要集中在建模不透明的对象。提出了一种新的神经折射场（NeReF），通过同时估计流体波前的表面位置和法线来恢复透明流体的波前。与将重建目标视为表面的单层的现有技术不同，NeReF被具体地制定为恢复具有其对应密度场的体积法向场。NeReF根据查询光线的累积折射点和法线对查询光线进行折射，利用折射光线的对应性和唯一性进行NeReF优化。我们表明，NeReF，作为一个全局优化方案，可以更强大地解决折射失真不利于传统的对应匹配方法。此外，波前的连续NeReF表示使得能够进行视图合成以及正常积分。我们验证了我们的方法在合成和真实数据，并表明它是特别适合于稀疏多视图采集。因此，我们建立了一个小的光场阵列和实验上的各种表面形状，以证明高保真NeReF重建。
2022-03-08 cs.CV
Omni-Scene: Omni-Gaussian Representation for Ego-Centric Sparse-View Scene Reconstruction
School of Engineering, Westlake University（西湖大学工学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Omni-Gaussian表示及定制网络，用于自动驾驶中以自我为中心的稀疏视角重建，显著超越pixelSplat和MVSplat，同时保持场景中心重建性能。
2025-02-27 cs.CV cs.GR
Scalable and High-Quality Neural Implicit Representation for 3D Reconstruction
School of Mathematical Sciences, University of Science and Technology of China（中国科学技术大学数学科学学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
针对现有基于SDF的神经隐式曲面重建方法精度不足、规模受限的问题，本文提出融合分治策略的多局部神经SDF表示方法，通过三步构建流程实现高保真可扩展的三维重建，实验验证了其有效性与实用性。
2025-01-15 cs.CV cs.GR
FRI-Net: Floorplan Reconstruction via Room-wise Implicit Representation
Shenzhen University（深圳大学）
针对现有平面图重建方法忽略房间全局形状的问题，提出带结构正则化的房间级隐式表示方法FRI-Net，融入几何先验提升规则性，在两个基准数据集上性能优于现有最优方法。
2024-07-15 cs.CV cs.GR
CAPRI-Net: Learning Compact CAD Shapes with Adaptive Primitive Assembly
Simon Fraser University（西蒙弗雷泽大学）；Autodesk Research（欧特克研究院）
我们介绍CAPRI网络，一个神经网络学习紧凑和可解释的隐式表示的三维计算机辅助设计（CAD）模型，在自适应原始组件的形式。我们的网络需要一个输入的3D形状，可以作为一个点云或体素网格提供，并通过一个紧凑的组装二次曲面图元通过建设性的立体几何（CSG）操作重建它。该网络是自监督的，具有重建损失，导致具有尖锐边缘和合理CSG树的忠实3D重建，而没有任何地面真实形状组件。虽然CAD模型的参数化性质确实使它们在局部更具可预测性，但在形状层面上，存在大量的结构和拓扑变化，这对最先进的3D形状神经模型提出了重大的可推广性挑战。我们的网络通过对每个测试形状进行自适应训练来应对这一挑战，我们通过这些训练来微调在模型集合上预先训练的网络。我们在ShapeNet和ABC上评估了我们的学习框架，这是迄今为止最大和最多样化的CAD数据集，在重建质量，形状边缘，紧凑性和可解释性方面，以证明优于当前适用于神经CAD重建的替代方案。
2021-04-12 cs.CV cs.GR cs.LG
Representation Paradigms in AI-based 3D Radiological Image Reconstruction: A Systematic Review
Biomedical Data Analysis and Visualisation (BDAV) Lab, School of Computer Science（生物医学数据与可视化实验室，计算机科学学院）；Anhui Provincial International Joint Research Center for Advanced Technology in Medical Imaging, School of Artificial Intelligence（安徽省国际联合先进医学影像技术研究中心，人工智能学院）；Institute of Translational Medicine, Shanghai Jiao Tong University（转化医学研究院，上海交通大学）
本文综述了基于人工智能的3D放射学图像重建算法，按重建目标参数化方式分为四类表示方法，并讨论了当前发展、挑战及未来方向。
2026-04-28 cs.AI cs.CV cs.GR
OpenOcc: Open Vocabulary 3D Scene Reconstruction via Occupancy Representation
Fudan University（复旦大学）
本文提出OpenOcc框架，结合神经辐射场与占据表示，并通过体渲染蒸馏开放词汇模型，实现零样本3D场景重建与理解。
2024-08-09 cs.CV cs.RO
Discretized Gaussian Representation for Tomographic Reconstruction
Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）；Yale University（耶鲁大学）；Suzhou Xiangcheng People’s Hospital（苏州相城人民医院）
针对CT重建中质量与效率难以平衡的问题，提出离散化高斯表示框架，结合高度并行化的快速容积重建技术，在多类场景中实现了更优的重建效果与运行性能。
2025-10-22 cs.CV eess.IV
3DGR-CAR: Coronary artery reconstruction from ultra-sparse 2D X-ray views with a 3D Gaussians representation
School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China (USTC)（中国科学技术大学生命科学与医学部生物医学工程学院）；Center for Medical Imaging, Robotics, Analytic Computing & Learning (MIRACLE), Suzhou Institute for Advance Research, USTC（中国科学技术大学苏州研究院医学影像、机器人、分析计算与学习中心）
本文提出3DGR-CAR方法，利用三维高斯表示和高斯中心预测器，仅用2个超稀疏X射线视图即可实现快速准确的冠状动脉三维重建，在体素精度和视觉质量上显著优于现有方法。
2024-10-01 cs.CV eess.IV
Unifi3D: A Study on 3D Representations for Generation and Reconstruction in a Common Framework
Intel Corporation（英特尔公司）
针对3D表示碎片化的问题，提出Unifi3D统一评估框架，从多维度对比各类3D表示在生成与重建中的表现，总结流水线最佳实践，证明联合评估的必要性，为3D模型选型提供参考。
2025-09-02 cs.CV cs.GR cs.LG
Demosaicing and Superresolution for Color Filter Array via Residual Image Reconstruction and Sparse Representation
提出了一种基于残差图像重构和稀疏表示的彩色滤光片阵列（CFA）去马赛克和超分辨率实现框架，给定经过一定去马赛克和插值技术产生的中间图像，利用稀疏表示重构出最终重构图像和中间图像之间的残差图像，最终重构图像比中间图像具有更丰富的边缘和细节。具体地，从由中间数据和残余数据组成的复合训练数据的大集合学习通用字典。学习的字典意味着两个数据之间的映射。此后学习适应于输入CFA的特定字典。利用自适应字典计算中间数据的稀疏系数，并进行变换以预测残差图像。将残差图像加回到中间图像中以获得最终重建图像。实验结果表明，国家的最先进的性能方面的峰值信噪比和主观视觉感知。
2013-07-04 cs.CV
Learning Global Motion with Compact Gaussians for Feed-Forward 4D Reconstruction
KAIST AI（韩国科学技术院人工智能研究所）；ETH Zürich, ETH AI Center（苏黎世联邦理工学院，ETH人工智能中心）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
提出C4G框架，通过紧凑的可学习高斯查询令牌和视频扩散模型增强渲染，实现无需相机位姿的前馈式4D动态场景重建，显著减少高斯数量并提升运动建模鲁棒性。
2026-05-29 cs.CV
Diffusion Transformer Model With Compact Prior for Low-dose PET Reconstruction
Nanchang University（南昌大学）
本文提出一种由联合紧凑先验引导的扩散Transformer模型（DTM），融合扩散模型的分布映射能力与Transformer的长程依赖捕获能力，并引入病灶细化模块和PWLS，有效提升低剂量PET重建质量与临床信息保留。
2024-07-01 cs.CV
Deep disentangled representations for volumetric reconstruction
Radboud University（拉德堡德大学）；Microsoft Research（微软研究院）
我们介绍了一个卷积神经网络推断一个紧凑的解纠缠的图形描述的对象从2D图像，可用于体积重建。该网络包括一个编码器和一个双尾解码器。编码器生成解纠缠的图形代码。第一解码器生成体积，并且第二解码器使用新颖的训练机制来重建输入图像，该训练机制允许图形代码学习3D对象的单独表示以及其照明和姿态条件的描述。我们证明了这种方法，从图像和视频的脸和椅子生成量和解开图形描述。
2016-10-12 cs.CV
A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
受3DMM低维表征能力的限制，基于3DMM的人脸重建方法大多无法恢复人脸的高频细节，如皱纹、酒窝等，有些人试图通过引入细节图或非线性运算来解决这一问题，但结果仍然不够逼真。为此，我们在本文中提出了一种新的分层表示网络（HRN），以实现准确和详细的人脸重建从一个单一的图像。具体来说，我们实现了几何解纠缠，并引入层次表示来实现详细的人脸建模。同时，三维先验的面部细节被纳入，以提高重建结果的准确性和真实性。我们还提出了一个去修饰模块，以实现更好的解耦的几何和外观。值得注意的是，我们的框架可以扩展到一个多视图的方式，通过考虑细节的一致性，不同的意见。在两个单视图和两个多视图FR基准上的大量实验表明，该方法在重建精度和视觉效果方面都优于现有方法。最后，我们介绍了一个高质量的三维人脸数据集FaceHD-100，以推动高保真人脸重建的研究。该项目的主页是https://younglbw.github.io/HRN-homepage/。
2023-03-28 cs.CV
Medical Scene Reconstruction and Segmentation based on 3D Gaussian Representation
Nanchang Hangkong University（南昌航空大学）；Guilin University Of Electronic Technology（桂林电子科技大学）
本文提出基于3D高斯和三平面表示的医学图像重建方法，解决传统方法在稀疏切片中的结构不连续和细节丢失问题，提升重建效率和图像质量。
2025-12-28 cs.CV
Disentanglement Then Reconstruction: Learning Compact Features for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China（电子科技大学）；Sichuan University（四川大学）；The University of Queensland（昆士兰大学）
目前领域自适应的研究主要是通过学习领域不变特征来消除源域和目标域之间的差异。分类信息没有得到充分利用，导致学习到的域不变特征没有足够的区分力。提出了一种新的基于原型构造的领域自适应方法，该方法类似于数据聚类中心的捕获。具体而言，它包括两个部分：解缠和重建。首先，从原始特征中分离出领域特定特征和领域不变特征。同时，对两个领域的领域原型和类原型进行了估计。然后，通过从解纠缠的域不变特征和域特定特征重构原始特征来训练重构器。通过这个重构器，我们可以相应地使用类原型和域原型来构造原始特征的原型。最后，特征提取网络被迫提取接近这些原型的特征。我们的贡献在于重建器的技术使用，以获得原始的功能原型，这有助于学习紧凑和判别功能。据我们所知，这一想法是首次提出。在多个公共数据集上的实验结果证实了该方法的先进性能。
2020-05-28 cs.CV
Discriminative Multi-level Reconstruction under Compact Latent Space for One-Class Novelty Detection
Yonsei University（延世大学）
在单类新颖性检测中，模型只在类内数据上学习，以挑出类外实例。自动编码器（AE）变体旨在对类内数据进行复杂建模以专门重建它，从而通过重建误差区分类内和类外。然而，紧凑的建模在一个不适当的方式可能会崩溃的类内数据的潜在表示，从而他们的重建，这将导致性能恶化。此外，为了正确地测量高维数据的重建误差，需要捕获数据的高级语义的度量。为此，我们提出了判别式紧凑AE（DCAE），它学习类内数据的紧凑和无冗余的潜在表示，从而精细地和专门地重建它们。在DCAE中，（a）我们通过生成对抗网络的内部判别层来重建类内数据，从而强制一个紧凑的潜在空间来双射表示类内数据。(b)基于深度编码器对开集风险的脆弱性，类外实例被编码到相同的紧凑潜在空间中，并且在不牺牲类内数据重建质量的情况下重建得很差。(c)在推理中，重建误差由一种新的度量来测量，该度量基于内部查询捕获的类语义来计算查询与其重建之间的相异性。在公共图像数据集上进行的大量实验验证了我们提出的模型在新颖性和对抗性示例检测方面的有效性，提供了最先进的性能。
2021-02-17 cs.CV cs.LG stat.ML
Towards Generalising Neural Implicit Representations
University of Oxford（牛津大学）
与传统格式相比，神经隐式表示在有效存储3D数据方面已经显示出实质性的改进。然而，现有工作的重点主要是储存和随后的重建。在这项工作中，我们表明，与传统任务一起训练重建任务的神经表示可以产生更通用的编码，使重建质量与单任务训练相同，同时与单任务编码相比，传统任务的结果有所改善。我们重新制定的语义分割任务，创建一个更有代表性的任务，隐式表示上下文，并通过多任务实验重建，分类和分割，显示我们的方法学习功能丰富的编码，承认每个任务的同等性能。
2022-10-17 cs.CV
Representation learning of vertex heatmaps for 3D human mesh reconstruction from multi-view images
NCSOFT（NCSoft公司）
针对多视图图像3D人体网格重建问题，提出顶点热图自编码器VHA学习人体先验，结合身体代码预测器BCP，在Human3.6M和LightStage上达到SOTA。
2023-06-29 cs.CV
Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beijing Institute of Technology（北京理工大学）
现有的光谱重建方法通常学习从RGB图像到多个光谱带的离散映射。然而，这种建模策略忽略了光谱特征的连续性。在本文中，我们提出了神经谱重建（NeSR），以解除这一限制，通过引入一种新的连续谱表示。为此，我们拥抱隐函数的概念，并实现一个参数化的实施例与神经网络。具体来说，我们首先采用骨干网络提取RGB输入的空间特征。在此基础上，我们设计了光谱轮廓插值（SPI）模块和神经注意力映射（NAM）模块来丰富深层特征，其中空间-光谱相关性参与了更好的表示。然后，我们把采样的光谱波段数看作连续隐函数的坐标，从而学习从深层特征到光谱强度的投影。大量的实验表明，NeSR在重建精度上优于基线方法。此外，NeSR扩展了频谱重建的灵活性，使任意数量的光谱带作为目标输出。
2022-08-31 cs.CV
PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction
Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究院）
从一幅图像中准确、鲁棒地建立三维人体模型是一个非常具有挑战性的问题，而解决这类不适定问题的关键是人体模型的三维表示。为了克服常规3D表示的局限性，我们提出了参数化模型条件隐式表示（PaMIR），它将参数化身体模型与自由形式的深度隐式函数相结合。在基于PaMIR的重构框架中，提出了一种新的深度神经网络，利用参数化模型的语义特征对自由形式的深度隐函数进行正则化，提高了在具有挑战性的姿势和各种服装拓扑场景下的泛化能力。此外，一个新的深度模糊意识训练损失进一步整合，以解决深度模糊，并使成功的表面细节重建与不完美的身体参考。最后，我们提出了一种体参考优化方法，以提高参数模型的估计精度，并增强参数模型和隐函数之间的一致性。与PaMIR表示，我们的框架可以很容易地扩展到多图像输入的情况下，而不需要多摄像机校准和姿态同步。实验结果表明，我们的方法达到了最先进的性能，基于图像的三维人体重建的情况下，具有挑战性的姿态和服装类型。
2020-12-15 cs.CV
Hybrid Mesh-neural Representation for 3D Transparent Object Reconstruction
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的方法来重建的3D形状的透明物体在自然光条件下使用手持捕获的图像。它结合了显式网格和多层感知器（MLP）网络的优点，一种混合表示，以简化最近的贡献中使用的捕获设置。在通过多视点轮廓获得初始形状后，我们引入基于表面的局部MLP来编码顶点位移场（VDF）以重建表面细节。局部MLP的设计允许使用两层MLP网络以分段方式表示VDF，这有利于优化算法。在表面而不是体积上定义局部MLP也减少了搜索空间。这种混合表示使我们能够放松光线像素对应关系，代表我们设计的光线单元对应关系的光路约束，这显着简化了单图像为基础的环境抠图算法的实现。我们评估我们的表示和重建算法的几个透明的对象与地面真实模型。我们的实验表明，我们的方法可以产生高质量的重建结果优于国家的最先进的方法，使用简化的数据采集设置。
2023-03-29 cs.CV
Adversarial Reconstruction Feedback for Robust Fine-grained Generalization
College of Computer and Engineering, Shandong University of Science and Technology（山东科技大学计算机与工程学院）；School of Software, Dalian University of Technology（大连理工大学软件学院）
针对现有细粒度图像检索方法依赖预定义类别监督、泛化性差的问题，提出AdvRF对抗重构反馈框架，通过检索与重构模型的协同迭代学习类别无关差异表征，经知识蒸馏部署后在多类数据集上取得优异性能。
2025-07-29 cs.CV
Detailed 3D Human Body Reconstruction from Multi-view Images Combining Voxel Super-Resolution and Learned Implicit Representation
由于人体的高度自由度，从图像重建详细的三维人体模型的任务在计算机视觉中是有趣但具有挑战性的。为了解决这一问题，本文提出了一种基于隐式表示学习的结合体素超分辨率的由粗到精的多视点图像三维人体重建方法。首先，通过学习基于多尺度特征的隐式表示来估计粗3D模型，所述多尺度特征由多级沙漏网络从多视图图像中提取。然后，以粗三维模型生成的低分辨率体素网格为输入，通过多级三维卷积神经网络学习基于隐式表示的体素超分辨率。最后，利用体素超分辨率技术生成精细的三维人体模型，该方法可以有效地保留粗糙模型的细节信息，减少虚假重建。由于隐式表示的优点，该方法的训练过程具有很好的记忆效率，并且从多视点图像中生成的三维人体细节是具有高分辨率几何的连续决策边界。此外，基于体素超分辨率的由粗到细的方法可以在去除虚假重建的同时保留最终重建的外观细节。在实验中，我们的方法定量和定性地实现了有竞争力的三维人体重建图像与各种姿态和形状的真实和合成数据集。
2020-12-11 cs.CV
Sur2f: A Hybrid Representation for High-Quality and Efficient Surface Reconstruction from Multi-view Images
South China University of Technology（华南理工大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
提出混合表示Sur2f，结合隐式符号距离场与显式代理网格，通过统一神经着色器和表面引导体采样，实现高质量且高效的多视图表面重建。
2024-01-08 cs.CV
Contextualising Implicit Representations for Semantic Tasks
University of Oxford（牛津大学）
提出一种上下文化模块，将仅用于重构的隐式表示编码转化为可用于语义分割等下游任务的语义信息，在保持重构性能的同时提升分割效果，并支持未来基础模型在未见任务上的微调。
2023-05-22 cs.CV
A Causal Diffusion Model for Video Reconstruction from Ultra-Low-Bitrate Representations
Chair of Media Technology（媒体技术系）；Chair of Communication Networks（通信网络系）；Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与智能机械研究所）；School of Computation Information and Technology, Technical University of Munich（计算信息与技术学院，慕尼黑技术大学）
本文提出一种因果扩散模型，用于从超低比特率语义和高度压缩帧中重建视频，通过联合建模互补信息，提升重建质量，优于传统、神经、生成和语义基线方法。
2026-05-07 cs.CV
Morphology-Aware Multimodal Representation Learning for Insect Phylogenetic Reconstruction
Rural Development Academy, Zhejiang University（浙江大学农村发展学院）
提出形态感知多模态对齐框架，结合标本图像与形态描述，通过视觉Transformer微调和对比学习对齐图像-文本，学习连续性状用于贝叶斯系统发育重建，在Rove-Tree-11数据集上提升拓扑一致性。
2026-06-23 cs.CV
VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Kolors Team, Kuaishou Technology（快手科技Kolors团队）
VQRAE通过统一的分词器生成连续语义特征和离散标记，提升多模态理解、生成和重建的性能。
2025-11-28 cs.CV
DecQ: Detail-Condensing Queries for Enhanced Reconstruction and Generation in Representation Autoencoders
Zhejiang University（浙江大学）；Shanghai Innovation Institute（上海创新研究院）；Fudan University（复旦大学）；Westlake University（西湖大学）
本文提出DecQ框架，通过引入轻量级细节压缩查询，有效缓解了表示自编码器中重建与生成之间的权衡问题，提升了重建质量和生成性能。
2026-05-21 cs.CV
Group-based Sparse Representation for Image Compressive Sensing Reconstruction with Non-Convex Regularization
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）
基于块的稀疏表示建模在图像压缩感知（CS）重建中显示出巨大的潜力。然而，该模型通常受到一些限制，如字典学习具有很大的计算复杂性，忽略了相似补丁之间的关系。提出了一种基于组的非凸正则化稀疏表示方法（GSR-NCR）用于图像CS重建。在GSR-NCR中，图像的局部稀疏性和非局部自相似性被同时考虑在一个统一的框架。与以往的基于稀疏性提升的凸正则化方法不同，本文将非凸加权Lp（0 < p < 1）罚函数扩展到数据矩阵的组稀疏系数上，而不是传统的基于L1的正则化方法。为了降低计算复杂性，而不是学习字典与高计算复杂性从自然图像，我们学习的主成分分析（PCA）为每组的字典。此外，为了使所提出的计划易于处理和强大的，我们已经开发了一个有效的迭代收缩/阈值算法来解决非凸优化问题。实验结果表明，所提出的方法优于许多国家的最先进的图像CS重建技术。
2017-08-17 cs.CV
AuViRe: Audio-visual Speech Representation Reconstruction for Deepfake Temporal Localization
AuViRe 通过音频视觉语音表示重建技术，提升深度伪造时间定位的准确性，实验结果显示在多个数据集上均优于现有方法。
2025-11-24 cs.CV
Y^2Seq2Seq: Cross-Modal Representation Learning for 3D Shape and Text by Joint Reconstruction and Prediction of View and Word Sequences
Tsinghua University（清华大学）；University of Maryland（马里兰大学）
最近的方法采用3D体素来表示3D形状，但由于3D体素的立方复杂性导致的计算成本，这将该方法限制为低分辨率。因此，该方法缺乏详细的几何形状。为了解决这个问题，我们提出了Y^2Seq2Seq，一个基于视图的模型，通过联合重建和预测视图和单词序列来学习跨模态表示。具体地，Y^2Seq2Seq的网络架构通过两个耦合的“Y”样序列到序列（Seq2Seq）结构桥接嵌入在两个模态中的语义含义。此外，我们的新的层次约束进一步增加了歧视性的跨模态表示，采用更详细的歧视性信息。在跨模态检索和三维形状字幕上的实验结果表明，Y^2Seq2Seq的检索性能优于现有的方法。
2018-11-07 cs.CV
Physics-Informed Representation Alignment for Sparse Radio-Map Reconstruction
Shandong University（山东大学）；Griffith University（格里菲斯大学）；Tongji University（同济大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Institute of Deep Perception Technology（感知技术研究院）
本文提出PhyRMDM框架，通过物理信息神经网络与表示对齐机制融合亥姆霍兹方程约束和深度特征，在稀疏采样下显著提升无线电地图重建精度。
2025-09-18 cs.CV
Self-supervised Deep Unrolled Model with Implicit Neural Representation Regularization for Accelerating MRI Reconstruction
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院生物医学成像中心）
本文提出零样本自监督MRI重建方法UnrollINR，将物理引导的深度展开架构与隐式神经表示正则化相结合，无需外部训练数据即可在高加速倍率下实现优于监督和自监督方法的扫描特定重建性能。
2025-11-07 cs.CV
Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing
The University of Hong Kong（香港大学）；Adobe Research（Adobe研究）
本文提出一种框架，通过语义-像素重建目标正则化潜在空间，使编码器特征更适用于生成任务，实现高质量图像生成和编辑。
2025-12-19 cs.CV
Raw Image Reconstruction with Learned Compact Metadata
Nanyang Technological University（南洋理工大学）；Peng Cheng Lab（鹏城实验室）；The Hong Kong Polytechnic University（香港理工大学）
虽然原始图像表现出优于sRGB图像的优点（例如，线性度和细粒度量化级），但是由于大的存储需求，它们没有被普通用户广泛使用。最近的工作提出通过在原始图像像素空间中设计采样掩码来压缩原始图像，导致次优图像表示和冗余元数据。在本文中，我们提出了一个新的框架，学习一个紧凑的表示在潜在的空间作为元数据在一个端到端的方式。此外，我们提出了一种新的sRGB引导的上下文模型与改进的熵估计策略，这导致更好的重建质量，更小的元数据的大小，和更快的速度。我们说明了如何建议的原始图像压缩方案可以自适应地分配更多的位，从全球的角度来看，是重要的图像区域。实验结果表明，该方法在未压缩的sRGB图像和JPEG图像上都能以较小的元数据获得较好的原始图像重建效果。
2023-02-28 cs.CV eess.IV
NTR: Neural Token Reconstruction for Scene Token Bottleneck in End-to-End Driving
National University of Singapore（新加坡国立大学）；Black Sesame Technologies（黑 sesame 技术公司）
针对端到端驾驶中场景令牌瓶颈缺乏视觉监督的问题，提出神经令牌重建（NTR）框架，通过自蒸馏掩码潜在重建约束场景令牌保留更丰富的视觉表示，实现最先进的驾驶性能。
2026-10-30 cs.CV cs.RO
DeCo-VAE: Learning Compact Latents for Video Reconstruction via Decoupled Representation
University of Science and Technology of China（中国科学技术大学）；Li Auto Inc.（力汽车公司）
针对现有视频VAEs因忽略帧内容相似性导致潜变量建模冗余的问题，本文提出DeCo-VAE，通过显式解耦视频内容为关键帧、运动和残差并学习专用潜变量，结合专用编码器、共享3D解码器及解耦适配策略，实现更优视频重建性能。
2025-11-18 cs.CV cs.LG cs.MM
R$^3$Net:Relation-embedded Representation Reconstruction Network for Change Captioning
Kunming University of Science and Technology（昆明理工大学）；Hangzhou Dianzi University（杭州电子科技大学）
改变字幕是用一个自然语言句子来描述两个相似图像之间细粒度的不一致。视点变化是这一任务中最典型的干扰物，因为它改变了物体的尺度和位置，并使真实变化的表征变得模糊。在本文中，我们提出了一个嵌入式表示重建网络（R $^3$ Net），明确区分真正的变化，从大量的杂波和不相关的变化。具体来说，首先设计了一个关系嵌入模块，以探索大量的杂波中潜在的变化对象。然后，基于两幅图像中对应位置的语义相似性，设计了一个表征重构模块（RRM），用于学习重构表征，并进一步对差异表征进行建模。此外，我们引入了一个句法骨架预测器（SSP），以增强变化定位和字幕生成之间的语义交互。实验结果表明，该方法在两个公开数据集上取得了较好的效果。
2021-10-20 cs.CL cs.CV
ACR-Pose: Adversarial Canonical Representation Reconstruction Network for Category Level 6D Object Pose Estimation
最近，类别级的6D对象姿态估计已经取得了显着的改进与重建规范的3D表示的发展。然而，现有方法的重建质量仍然远远不够好。在本文中，我们提出了一种新的对抗规范表示重建网络ACR-Pose。ACR-Pose由一个Reconstructor和一个Discriminator组成。重构器主要由两个新的子模块组成：姿势无关模块（PIM）和关系重构模块（RRM）。PIM倾向于学习规范相关的特征，使重建器对旋转和平移不敏感，而RRM探索不同输入模态之间的基本关系信息，以生成高质量的特征。随后，一个鉴别器被用来指导重建器生成真实的规范表示。重构器和鉴别器通过对抗训练学习优化。在流行的NOCS-CAMERA和NOCS-REAL数据集上的实验结果表明，我们的方法达到了最先进的性能。
2021-11-20 cs.AI cs.CV
