VolSplat: Rethinking Feed-Forward 3D Gaussian Splatting with Voxel-Aligned Prediction
Zhejiang University（浙江大学）；GigaAI（极佳科技）；University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；The University of Adelaide（阿德莱德大学）；Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）
针对前馈式3D高斯泼溅中像素对齐预测的局限性，提出体素对齐的VolSplat方法，通过从预测的3D体素网格直接预测高斯，实现鲁棒的多视图一致性和更优的几何与渲染质量。
2026-06-25 cs.CV
InfiniSplat: Implicit Gaussian Decoding for Large-Baseline Monocular View Synthesis
Zhejiang University（浙江大学）；Shenzhen University（深圳大学）
InfiniSplat是一种前馈单图像3DGS框架，通过几何引导采样和查询条件隐式解码器实现表面对齐表示，在跨数据集NVS任务中达SOTA，且具零样本泛化能力。
2026-08-05 cs.CV
VoxelTTO: Voxel-Aligned Feed-Forward 3D Gaussian Splatting with Test-Time Optimization
East China University of Science and Technology（华东理工大学）；Shanghai Open University（上海开放大学）
VoxelTTO提出体素对齐的前馈3DGS框架，通过全局体素表示、测试时优化和实体体积渲染，提升新视角合成与相机姿态估计精度。
2026-09-21 cs.CV
PointForward: Feedforward Driving Reconstruction through Point-Aligned Representations
Xiaomi EV（小米电动车）；Huazhong University of Science and Technology（华中科技大学）；Zhejiang University（浙江大学）
PointForward通过点对齐表示实现驾驶场景重建，采用空间时间融合提升多视角一致性，引入场景图处理动态实例，实现高精度驾驶场景重建。
2026-05-12 cs.CV
Vector Quantized Feature Fields for Fast 3D Semantic Lifting
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
本文提出向量量化特征场，通过轻量级按需检索像素对齐相关性掩码实现语义提升，在复杂室内外场景中验证有效性，并展示了其在文本驱动局部场景编辑和具身问答效率提升中的应用。
2025-03-09 cs.CV
Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene Reconstruction
The University of Hong Kong（香港大学）；VAST
Mira-Scene提出用密集有界的规范坐标图（CCM）替代稀疏姿态回归，结合多模态扩散Transformer，实现高精度的组合式3D场景重建，显著提升布局准确性。
2026-09-23 cs.CV cs.GR
G3T Up! Gravity Aligned Coordinate Frames Simplify Pointmap Processing
Cornell University（康奈尔大学）
提出G3T模型，通过预测重力对齐的点图而非相机中心点图，利用场景结构先验减少旋转自由度，提升3D重建精度。
2026-05-26 cs.CV
AnchorSplat: Feed-Forward 3D Gaussian Splatting with 3D Geometric Priors
Huawei Technologies Ltd.（华为技术有限公司）
本文提出AnchorSplat，一种基于3D几何先验的馈送式3D高斯点描绘方法，通过直接在3D空间中表示场景，减少高斯数量，提升重建精度和计算效率。
2026-04-09 cs.CV
FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出FlowCam，利用可微渲染将光流提升为像素对齐3D场景流并加权拟合SE(3)位姿，实现无需SfM位姿、端到端自监督训练可泛化3D辐射场。
2023-05-31 cs.AI cs.CV cs.GR
DrivingDepth: Sparse-Prompted Pixel-wise Scale Correction for Driving Depth Estimation
Baidu Inc.（百度公司）
针对自动驾驶深度估计中几何与尺度的冲突，提出DrivingDepth方法，利用稀疏LiDAR作为几何提示，通过残差像素级尺度校正校准冻结的深度基础模型，在保持密集视觉几何的同时实现度量精度与几何一致性。
2026-07-01 cs.CV
Learning Efficient Fuse-and-Refine for Feed-Forward 3D Gaussian Splatting
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）
本文提出了一种高效的融合与细化模块，通过混合Splat-Voxel表示减少冗余并适应动态场景，实现高效且实时的3D场景重建。
2025-11-24 cs.CV
GlobalSplat: Efficient Feed-Forward 3D Gaussian Splatting via Global Scene Tokens
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Westlake University（西拉丘盘大学）
GlobalSplat通过全局场景标记实现高效的前馈3D高斯点绘，解决了传统方法在空间分配上的局限性，实现紧凑且一致的重建。
2026-04-17 cs.CV
Anchor3DGS: Feed-Forward 3D Gaussian Splatting with Compact Anchor-Based Representation
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；Inclusion AI
Anchor3DGS是一种无姿态前馈3DGS框架，采用基于锚点的紧凑表示，在信息熵引导下优化锚点分布，经遮挡感知聚合与特征增强后，以更少高斯基元实现了更优的新视图合成质量。
2026-10-16 cs.CV
Pixel-aligned RGB-NIR Stereo Imaging and Dataset for Robot Vision
POSTECH（浦项科技大学）
本文构建像素对齐RGB-NIR立体相机与LiDAR的机器人成像系统及多光照数据集，并提出图像融合与特征融合两种方法，验证其对机器人视觉的增强效果。
2024-12-02 cs.CV
F3D-Gaus: Feed-forward 3D-aware Generation on ImageNet with Cycle-Aggregative Gaussian Splatting
Monash University（莫纳什大学）
本文提出F3D-Gaus前馈流水线，通过循环聚合约束和视频模型先验增强像素对齐高斯泼溅，在ImageNet等单目数据集上实现高质量、多视角一致的3D感知生成，并提升训练与推理效率。
2025-03-11 cs.CV
VGGTFace: Topologically Consistent Facial Geometry Reconstruction in the Wild
Xin Ming, Yuxuan Han, Tianyu Huang, Feng Xu（作者）
VGGTFace通过引入VGGT和Pixel3DMM实现高效拓扑一致的面部几何重建，适用于真实世界多视角图像。
2025-11-26 cs.CV
Pixel-Aligned Recurrent Queries for Multi-View 3D Object Detection
Northeastern University（东北大学）；California Institute of Technology（加州理工学院）；Meta Reality Labs Research（Meta现实实验室）
该研究提出名为PARQ的多视图3D目标检测器，采用外观增强的像素对齐循环查询与循环交叉注意力更新3D位置，在多个数据集上实现性能、速度与鲁棒性提升，且支持灵活调整推理计算量。
2023-10-02 cs.CV
Gaussian Graph Network: Learning Efficient and Generalizable Gaussian Representations from Multi-view Images
Tsinghua University（清华大学）
针对现有前馈多视图高斯表示方法存在的伪影、内存开销高及未充分捕捉跨视图高斯关联的问题，提出高斯图网络GGN，通过高斯图建模、重构图操作与高斯池化实现高效泛化的表示，在基准数据集上以更少高斯、更快速度取得更优渲染质量。
2025-03-20 cs.CV
AniPixel: Towards Animatable Pixel-Aligned Human Avatar
The University of Sydney（悉尼大学）
AniPixel提出一种利用像素对齐特征和双向神经蒙皮场的可动画、可泛化人体化身重建方法，实现新视角渲染和新姿态动画的先进性能。
2023-10-17 cs.CV
EcoSplat: Efficiency-controllable Feed-forward 3D Gaussian Splatting from Multi-view Images
KAIST（韩国科学技术院）；Flawless AI；Department of Imaging Science, GSAIM, Chung-Ang University（Chung-Ang 大学影像科学系）
EcoSplat是一种可控制效率的前馈3D高斯点云生成框架，通过两阶段优化过程实现自适应的3D表示生成，适用于灵活的下游渲染任务。
2025-12-21 cs.CV
OpenNeRF: Open Set 3D Neural Scene Segmentation with Pixel-Wise Features and Rendered Novel Views
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Microsoft（微软公司）；TU Munich（慕尼黑工业大学）
本文提出OpenNeRF，将像素级VLM特征直接编码进NeRF并利用渲染新视角，实现开放集3D场景分割，在Replica上较LERF和OpenScene至少提升4.9 mIoU。
2024-04-04 cs.CV
SurfelSplat: Learning Efficient and Generalizable Gaussian Surfel Representations for Sparse-View Surface Reconstruction
Tsinghua University（清华大学）
本文提出SurfelSplat框架，通过稀疏视图图像生成高效且可泛化的高斯Surfel表示，利用Nyquist采样定理解决传统方法在几何属性恢复中的不足，实验表明其在DTU基准上表现优异且速度提升显著。
2026-04-09 cs.CV
GRIP: Gaussian Rendering as a Cross-Modal Bridge for Image-to-Point Cloud Registration
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；IRISA（法国雷恩信息与系统研究所）
GRIP通过高斯特征溅射将3D点特征渲染到图像网格，融合视觉与几何信息，实现图像到点云的精确配准，在RGB-D Scenes V2和7 Scenes上达到先进水平。
2026-09-23 cs.CV
IntegratedPIFu: Integrated Pixel Aligned Implicit Function for Single-view Human Reconstruction
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（新加坡南洋理工大学）
提出IntegratedPIFu，一种基于PIFuHD的像素对齐隐式模型，通过预测深度和人体解析信息、引入深度导向采样及新架构，在减少参数的同时提升单视图人体重建的结构正确性，显著优于现有方法。
2024-11-11 cs.AI cs.CV
Pixel Aligned Language Models
Google Research（谷歌研究院）；UC San Diego（加州大学圣地亚哥分校）
针对大语言模型难以处理视觉定位任务的问题，提出像素对齐语言模型，支持位置输入输出，在多位置感知视觉任务上取得SOTA性能。
2023-12-14 cs.CV
Off The Grid: Detection of Primitives for Feed-Forward 3D Gaussian Splatting
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出了一种前馈架构，通过子像素级检测3D高斯原始形，替代传统网格，提升质量和效率。结合预训练的3D重建模型，无需3D标注即可生成逼真3DGS场景，实现最先进的视图合成。
2026-03-30 cs.CV
SHERF: Generalizable Human NeRF from a Single Image
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
本文提出 SHERF，首个从单张图像恢复可动画三维人体的可泛化 Human NeRF，通过三维感知分层特征与融合 transformer 实现先进的新视角和新姿态合成。
2023-08-16 cs.CV
PEOD: A Pixel-Aligned Event-RGB Benchmark for Object Detection under Challenging Conditions
针对现有Event-RGB数据集极端条件覆盖稀疏、分辨率低的局限，提出首个大规模像素对齐高分辨率（1280×720）目标检测基准PEOD，含130+序列、34万标注框，57%数据来自极端场景，基准测试揭示不同条件下各模型性能差异，为多模态感知研究提供支撑。
2025-11-11 cs.CV
Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）；Adobe Research（Adobe 研究院）
在本文中，我们的目标是合成一个自由视点视频的任意人的表现，使用稀疏的多视角相机。最近，一些工作已经解决了这个问题，通过学习人特定的神经辐射场（NeRF）捕捉一个特定的人的外观。同时，一些工作提出使用像素对齐的特征来将辐射场推广到任意新的场景和对象。然而，由于身体部位的严重闭塞和动态关节，将这种泛化方法应用于人类是非常具有挑战性的。为了解决这个问题，我们提出了神经人类表演者，一种新的方法，学习广义的神经辐射场的基础上，参数化的人体模型的鲁棒性能捕获。具体来说，我们首先介绍了一个时间Transformer，聚合跟踪的视觉功能的基础上，随着时间的推移的骨骼身体运动。此外，多视图Transformer被提出来在每个时间步执行时间融合特征和像素对齐特征之间的交叉注意，以整合来自多个视图的动态观察。在ZJU-MoCap和AIST数据集上的实验表明，我们的方法在看不见的身份和姿态上显着优于最近的可推广的NeRF方法。视频结果和代码可在https://youngjoongunc.github.io/nhp上获得。
2021-09-15 cs.CV cs.GR
Reliable Multi-modal Medical Image-to-image Translation Independent of Pixel-wise Aligned Data
Southeast University（东南大学）
针对多模态医学图像转换中像素级对齐数据获取困难且无监督方法可靠性不足的问题，提出独立于对齐数据的MITIA模型，通过先验提取网络构建正则化项约束无监督GAN优化，在未对齐和对齐数据上均取得优于现有方法的性能。
2024-08-26 cs.CV eess.IV
PLAF: Pixel-wise Language-Aligned Feature Extraction for Efficient 3D Scene Understanding
Pengcheng Laboratory（鹏城实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
PLAF通过像素级语言对齐特征提取，实现2D场景中密集且准确的语义对齐，同时提升3D场景理解的开放词汇表达能力与效率。
2026-04-23 cs.CV cs.RO
Code-Aligned Autoencoders for Unsupervised Change Detection in Multimodal Remote Sensing Images
UiT The Arctic University of Norway（北极挪威特罗姆瑟大学）；NORCE Norwegian Research Center（NORCE挪威研究中心）；University of Genoa（热那亚大学）
图像翻译与卷积自动编码器最近被用来作为一种方法，在双时相卫星图像的多模态变化检测。一个主要的挑战是通过减少改变像素对翻译函数的学习的贡献来对齐代码空间。许多现有的方法训练网络利用监督信息的变化领域，这是，然而，并不总是可用的。我们建议在输入端提取由特定于域的亲和矩阵捕获的关系像素信息，并使用此信息来执行代码空间的对齐，并减少变化像素对学习目标的影响。一个变化的先验是在一个无监督的方式从像素对的亲和力，跨域可比。为了实现代码空间对齐，我们强制输入域中具有相似亲和关系的像素在代码空间中也应该相关。我们证明了这个过程的实用性结合周期的一致性。将所提出的方法与最先进的深度学习算法进行比较。在四个真实数据集上进行的实验表明了该方法的有效性。
2020-04-15 cs.CV
Pixel-Aligned Non-parametric Hand Mesh Reconstruction
Zhejiang University（浙江大学）；Google（谷歌）；OPPO
非参数网格重建最近在3D手部和身体应用中显示出显著的进展。在这些方法中，网格顶点和边缘对于神经网络是可见的，使得能够在2D图像像素和3D网格顶点之间建立直接映射。在本文中，我们试图建立和利用这种映射一个简单而紧凑的架构。该网络的设计考虑了以下因素：1）聚合来自编码器的局部2D图像特征和在网格解码器中捕获的3D几何特征; 2）沿着解码层对从粗到细的网格进行解码，以充分利用分层多尺度信息。具体来说，我们提出了一个端到端的流水线手网格恢复任务，其中包括三个阶段：一个2D特征提取器构建多尺度特征地图，一个特征映射模块通过3D到2D投影将局部2D图像特征转换为3D顶点特征，以及一个网格解码器结合图卷积和自注意力来重建网格。解码器聚合像素中的局部图像特征和顶点中的几何特征。它还以由粗到细的方式回归网格顶点，这可以利用多尺度信息。通过利用局部连接和设计网格解码器，我们的方法实现了最先进的手网格重建的公共FreiHAND数据集。
2022-10-17 cs.CV
World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible
World Labs；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出世界追踪（World Tracing），一种生成式像素对齐几何表示，通过扩散变压器预测有序点栈，同时重建可见表面和生成遮挡几何，在多个基准上超越深度预测和图像到3D方法。
2026-06-12 cs.CV cs.GR
Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors
CUHKSZ（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）；Tencent America（腾讯美国）
本研究提出Get3DHuman 3D人体生成框架，通过先验网络桥接StyleGAN-Human隐空间与像素对齐3D重建器的特征体，结合定制损失，仅用少量3D真实数据就提升了生成质量，性能优于现有方法且支持多种应用。
2023-07-24 cs.CV
Fine Structure-Aware Sampling: A New Sampling Training Scheme for Pixel-Aligned Implicit Models in Single-View Human Reconstruction
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
针对单视图人体重建中像素对齐隐式模型采样训练无法捕捉薄表面或产生噪声伪影的问题，提出细结构感知采样（FSS）方案，通过适应表面厚度与复杂性、利用法线信息及网格厚度损失信号显著提升了重建效果。
2024-11-11 cs.AI cs.CV cs.LG
PaCo-FR: Patch-Pixel Aligned End-to-End Codebook Learning for Facial Representation Pre-training
GlintLab；National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）；Imperial College London（伦敦帝国理工学院）
本文提出PaCo-FR，通过结合掩码图像建模与补丁-像素对齐，解决面部表示预训练中特征捕捉、空间结构和数据利用效率的问题，实现高效且鲁棒的面部分析性能。
2026-04-07 cs.CV
AdR-Gaussian: Accelerating Gaussian Splatting with Adaptive Radius
Shanghai Jiao Tong University（上海交通大学）
针对3DGS光栅化管线的串行剔除开销与负载不均问题，提出AdR-Gaussian方法，通过自适应半径提前剔除、轴对齐包围盒剔除及像素线程负载均衡，在保证渲染质量的同时将速度提升至310%。
2024-09-13 cs.CV cs.GR
PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization
University of Southern California（南加州大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Waseda University（早稻田大学）；University of California, Berkeley（加州大学伯克利分校）；Pinscreen
我们引入像素对齐隐式函数（PIFu），这是一种高效的隐式表示，它将2D图像的像素与其对应的3D对象的全局上下文局部对齐。使用PIFU，我们提出了一种端到端的深度学习方法，用于数字化高度详细的穿着人类，可以从单个图像和可选的多个输入图像中推断出3D表面和纹理。高度复杂的形状，如发型，服装，以及它们的变化和变形可以以统一的方式数字化。与用于3D深度学习的现有表示相比，PIFu可以生成高分辨率的表面，包括大部分不可见的区域，例如人的背部。特别是，它是内存效率不同的体素表示，可以处理任意的拓扑结构，并得到的表面与输入图像在空间上对齐。此外，虽然先前的技术被设计为处理单个图像或多个视图，但PIFu自然地扩展到任意数量的视图。我们展示了来自DeepFashion数据集的真实世界图像的高分辨率和鲁棒性重建，该数据集包含各种具有挑战性的服装类型。我们的方法在公共基准上实现了最先进的性能，并且优于先前从单个图像中进行穿着人体数字化的工作。
2019-12-03 cs.CV cs.GR
Novel View Synthesis via Depth-guided Skip Connections
Aalto University（阿尔托大学）
我们介绍了一个原则性的方法，用于合成一个场景的新的意见，给出了一个单一的源图像。用于新视图合成的先前方法可以分为基于图像的渲染方法（例如，流预测）或像素生成方法。流预测使目标视图能够直接重用像素，但很容易导致结果失真。直接回归像素可以产生结构上一致的结果，但通常缺乏低级别的细节。在本文中，我们利用一个编码器-解码器架构回归像素的目标视图。为了保持细节，我们将解码器对齐的特征图与跳过连接耦合，其中对齐由目标视图的预测深度图指导。我们的实验结果表明，我们的方法不会受到扭曲，并成功地保留纹理细节对齐跳过连接。
2021-01-05 cs.CV
Style-Driven Data Synthesis and Degradation-Aware Enhancement for Ultrasound Image Restoration
National Yang Ming Chiao Tung University（国立阳明交通大学）；Ho Chi Minh City University of Technology and Engineering（胡志明市理工大学）
针对手持超声图像复合退化问题，提出两阶段框架：先通过循环一致风格迁移生成像素对齐数据，再用DDG-LoRA微调增强模型，在USenhance2023上FID提升16.7%。
2026-09-29 cs.CV
Neural Correspondence Field for Object Pose Estimation
University at Buffalo（布法罗大学）；Reality Labs at Meta（Meta现实实验室）
我们提出了一种方法，用于从单个RGB图像中估计具有可用3D模型的刚性对象的6DoF姿态。与经典的基于对应关系的方法预测输入图像的像素处的3D对象坐标不同，所提出的方法预测相机截头体中采样的3D查询点处的3D对象坐标。从像素到3D点的移动受到最近用于3D重建的PIFu风格方法的启发，能够推理整个对象，包括其（自）遮挡部分。对于与像素对齐的图像特征相关联的3D查询点，我们训练全连接的神经网络来预测：（i）相应的3D对象坐标，以及（ii）到对象表面的带符号距离，其中第一个仅针对表面附近的查询点定义。我们把这种网络实现的映射称为神经对应场。然后通过Kabsch-RANSAC算法从预测的3D-3D对应关系中鲁棒地估计对象姿态。该方法在三个BOP数据集上实现了最先进的结果，特别是在具有遮挡的挑战性情况下表现出优越性。该项目的网址是：linhuang17.github.io/NCF。
2022-07-30 cs.AI cs.CV cs.LG
FaPN: Feature-aligned Pyramid Network for Dense Image Prediction
Southern University of Science and Technology（南方科技大学）
深度神经网络的最新进展在密集图像预测方面取得了显着的飞跃。然而，特征对齐的问题仍然被大多数现有的简单方法所忽视。上采样和局部特征之间的直接像素添加导致具有未对齐上下文的特征图，这反过来又转化为预测中的错误分类，特别是在对象边界上。在本文中，我们提出了一个特征对齐模块，学习像素的变换偏移，以根据上下文对齐上采样的高级特征;另一个特征选择模块，以强调具有丰富空间细节的低级特征。然后，我们将这两个模块集成在一个自上而下的金字塔架构，并提出了一个面向服务器的金字塔网络（FaPN）。对四个密集预测任务和四个数据集的广泛实验评估证明了FaPN的有效性，当与Faster / Mask R-CNN配对时，AP / mIoU比FPN整体提高了1.2 - 2.6分。特别是，我们的FaPN在集成到Mask-Former中时，在ADE 20 K上实现了最先进的56.7% mIoU。代码可从https://github.com/EMI-Group/FaPN获得。
2021-08-17 cs.CV
Free-Range Gaussians: Non-Grid-Aligned Generative 3D Gaussian Reconstruction
Meta Reality Labs（Meta现实实验室）；Simon Fraser University（西蒙菲莎大学）；University of Oxford（牛津大学）；University of Toronto（多伦多大学）
本文提出Free-Range Gaussians方法，通过高斯参数流匹配从四张图像预测非像素非体素对齐的3D高斯，提升重建质量并减少冗余。
2026-04-06 cs.CV
PEAR: Pixel-aligned Expressive humAn mesh Recovery
International Digital Economy Academy（国际数字经济学院）
PEAR提出一种快速稳健的框架，通过像素对齐和细粒度监督提升3D人体网格重建精度，实现100fps以上的实时推理。
2026-02-05 cs.AI cs.CV
Non-Aligned Reference Image Quality Assessment for Novel View Synthesis
Sony Interactive Entertainment（索尼互动娱乐）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对新视角合成（NVS）图像缺乏像素对齐真实参考时的质量评估难题，提出非对齐参考（NAR-IQA）框架，构建含时间感兴趣区域（TROI）合成失真的数据集，基于对比学习融合LoRA增强的DINOv2嵌入，仅用合成失真训练提升泛化能力，性能优于现有方法且与人类主观评分高度相关。
2025-11-11 cs.CV
Pixel-Aligned Multi-View Generation with Depth Guided Decoder
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Snap Inc.（Snap公司）；University of Toronto（多伦多大学）
提出一种深度引导的VAE解码器方法，通过深度截断极线注意力实现跨视图交互，解决了多视图生成中的像素错位问题并提升了3D重建效果。
2024-08-26 cs.AI cs.CV
Geo-PIFu: Geometry and Pixel Aligned Implicit Functions for Single-view Human Reconstruction
Adobe Research（Adobe研究院）；University of Surrey（萨里大学）
我们提出了地理PIFU，一种方法来恢复从一个穿着衣服的人的单眼彩色图像的三维网格。我们的方法是基于一个深隐式的基于函数的表示学习潜在的体素功能，使用结构感知的3D U-网，约束模型在两个方面：第一，解决查询点编码中的特征模糊性，第二，作为一个粗略的人类形状代理，以规范化高分辨率网格，并鼓励全球形状规则。我们表明，通过编码查询点和约束全局形状使用潜在的体素功能，我们获得的重建穿着人体网格具有更少的形状失真和改进的表面细节相比，竞争的方法。我们评估Geo-PIFu最近的人类网格公共数据集是$10 \times$大于PIFu和以前的衍生工作中使用的私人商业数据集。平均而言，我们通过倒角和点到表面距离的$42.7\%$减少以及法向估计误差的$19.4\%$减少超过了最新技术水平。
2020-12-07 cs.CV cs.GR cs.LG
Human-Aligned Evaluation of a Pixel-wise DNN Color Constancy Model
Giessen University（吉森大学）
本文提出了一种基于ResNet的U-Net模型，通过人类实验任务评估其在颜色恒常性中的表现，展示了模型与人类行为的一致性。
2026-02-14 cs.CV q-bio.NC
PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization
University of Southern California（南加州大学）；Facebook AI Research（Facebook人工智能研究院）；Facebook Reality Labs（Facebook现实实验室）
基于图像的3D人体形状估计的最新进展是由深度神经网络提供的表示能力的显著改进驱动的。虽然目前的方法已经证明了在现实世界中的设置的潜力，他们仍然无法产生重建的详细程度往往存在于输入图像。我们认为，这种限制主要源于两个相互冲突的要求;准确的预测需要大的背景，但精确的预测需要高分辨率。由于当前硬件中的存储器限制，先前的方法倾向于将低分辨率图像作为输入以覆盖大空间上下文，并且因此产生不太精确（或低分辨率）的3D估计。我们通过制定一个端到端可训练的多层架构来解决这个限制。粗层次以较低的分辨率观察整个图像，并专注于整体推理。这提供了通过观察更高分辨率的图像来估计高度详细的几何形状的精细水平的上下文。我们证明，我们的方法显着优于现有的最先进的技术，通过充分利用1 k分辨率的输入图像的单图像人体形状重建。
2020-04-01 cs.CV cs.GR
Global Attention-Fused Image Cropping with Attention-Guided and Global-Aligned Crop Evaluator
Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；Shenzhen University of Advanced Technology（深圳理工大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；The Hong Kong Polytechnic University（香港理工大学）；Nantes Université（南特大学）；Ecole Centrale Nantes（南特中央理工学院）；CAPACITES SAS（CAPACITES SAS公司）；CNRS（法国国家科学研究中心）；LS2N, UMR 6004（LS2N实验室（UMR 6004））
该研究提出GAFIC图像裁剪方法，通过AGFF与GACE模块结合多尺度排序损失，在GAIC、CPC数据集上性能优于现有方法，适用于需保证像素完整性与高效批量处理的场景。
2026-08-06 cs.CV
Learning Dual-Pixel Alignment for Defocus Deblurring
Harbin Institute of Technology（哈尔滨工业大学）
在现实应用中，从单个散焦模糊图像恢复清晰图像是一项具有挑战性的任务。在许多现代相机上，双像素（DP）传感器创建两个图像视图，基于此，可以利用立体信息来帮助散焦去模糊。尽管现有的DP散焦去模糊方法取得了令人印象深刻的结果，DP图像视图之间的未对准仍然没有研究，为改善DP散焦去模糊留下了空间。在这项工作中，我们提出了一个双像素对齐网络（DPANet）的散焦去模糊。DPANet是一种具有跳跃连接的编解码器，采用编码器中具有共享参数的两个分支从左右视图中提取和对齐深度特征，并采用一个解码器融合对齐的特征，以预测清晰图像。由于DP视图遭受不同的模糊量，因此对准左视图和右视图并非微不足道。为此，我们提出了新的编码器对齐模块（EAM）和解码器对齐模块（DAM）。特别地，在EAM中建议相关层来测量DP视图之间的视差，然后可以使用可变形卷积来相应地对准DP视图的深度特征。DAM可以进一步增强来自编码器的跳跃连接特征和解码器中的深度特征的对齐。通过引入多个EAM和DAM，DPANet中的DP视图可以很好地对齐，以更好地预测潜在的清晰图像。在真实世界数据集上的实验结果表明，我们的DPANet在减少散焦模糊，同时恢复视觉上合理的尖锐结构和纹理方面明显优于最先进的去模糊方法。
2023-02-20 cs.CV eess.IV
AlignSeg: Feature-Aligned Segmentation Networks
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；AAII, University of Technology Sydney（悉尼科技大学人工智能高级研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）；Picsart AI Research（Picsart人工智能研究院）
根据不同的卷积块或上下文嵌入来聚合特征已被证明是加强用于语义分割的特征表示的有效方式。然而，目前流行的网络架构往往忽略了在特征聚合过程中由1）逐步下采样操作和2）不加选择的上下文信息融合引起的失准问题。在本文中，我们探讨了解决这些特征不对齐问题的原则，并创造性地提出了一种基于特征对齐的分割网络（AlignSeg）。AlignSeg由两个主要模块组成，即，Aligned Feature Aggregation（AlignFA）模块和Aligned Context Modeling（AlignCM）模块。首先，AlignFA采用一种简单的可学习的插值策略来学习像素的变换偏移量，可以有效地缓解多分辨率特征聚合引起的特征错位问题。其次，有了上下文嵌入，AlignCM使每个像素能够以自适应的方式选择私人自定义上下文信息，使上下文嵌入更好地对齐，以提供适当的指导。我们通过在Cityscapes和ADE 20K上进行的广泛实验验证了AlignSeg网络的有效性，分别获得了82.6%和45.95%的最新mIoU分数。我们的源代码将提供。
2021-03-02 cs.CV eess.IV
HDhuman: High-quality Human Novel-view Rendering from Sparse Views
Tianjin University（天津大学）；Tsinghua University（清华大学）
提出HDhuman框架，通过像素对齐空间变换器和几何引导像素级特征集成，解决稀疏视角下复杂纹理人体新视角渲染问题，实现2k分辨率高质量渲染并泛化到新主体。
2023-10-21 cs.CV
