HeadLighter: Disentangling Illumination in Generative 3D Gaussian Heads via Lightstage Captures
Shanghai Jiao Tong University(上海交通大学);AntGroup Research(蚂蚁集团研究)
HeadLighter通过Lightstage捕获提出了一种新的监督框架,用于解耦生成3D头部模型中的光照与外观,实现高质量生成和实时渲染,同时支持光照和视角编辑。
2026-01-26 cs.CV
Appearance Decomposition Gaussian Splatting for Multi-Traversal Reconstruction
Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, State Key Laboratory of Avionics Integration and Aviation System-of-Systems Synthesis, Shanghai Jiao Tong University(上海交通大学自动化系,系统控制与信息处理教育部重点实验室,航空电子集成与航空系统综合国家重点实验室)
本文提出ADM-GS框架,通过显式分解静态背景的外观,缓解多遍重建中的外观纠缠问题,采用神经光场和频率分离编码策略提升多遍一致性,实验证明在Argoverse 2和Waymo Open数据集上效果显著。
2026-04-07 cs.CV
Deep Dynamic Cloud Lighting
Birmingham City University(伯明翰城市大学);The University of Warwick(华威大学)
本文首次提出多时间尺度天空外观模型,实现全天域动态云层合成,为静态阴天光照方法增添动态性。
2023-04-18 cs.CV cs.GR cs.LG
Beyond a Single Light: A Large-Scale Aerial Dataset for Urban Scene Reconstruction Under Varying Illumination
HKUST(GZ)(香港科技大学(广州));University of Liverpool(利物浦大学);The Ohio State University(俄亥俄州立大学)
针对多时相航拍数据光照不一致导致的重建伪影问题,提出SkyLume大规模真实航拍数据集,包含10个城区超10万张高分辨率图像(四个倾斜视角和天底视角),每个区域在三个时段采集以隔离光照变化,并提供LiDAR扫描和3D真值,以及用于评估逆渲染鲁棒性的时间一致性系数(TCC)。
2026-06-24 cs.CV
Under One Sun: Multi-Object Generative Perception of Materials and Illumination
Kyoto University(京都大学);Harvard University(哈佛大学)
提出MultiGP生成式逆渲染方法,利用同一场景物体共享光照的共识,从单张图像中随机采样反射率、纹理和光照,通过级联架构、协调调度、轴向注意力和纹理提取控制网络实现解耦。
2026-07-03 cs.CV
Sill-Net: Feature Augmentation with Separated Illumination Representation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technologies(北京信息科学与技术国家研究中心)
对于视觉对象识别任务,照明变化可能导致对象外观的明显变化,从而混淆基于深度神经网络的识别模型。特别是对于一些罕见的光照条件,收集足够的训练样本可能是耗时和昂贵的。为了解决这个问题,在本文中,我们提出了一种新的神经网络结构称为分离照明网络(Sill-Net)。Sill-Net学习从图像中分离照明特征,然后在训练过程中,我们在特征空间中使用这些分离的照明特征来增强训练样本。实验结果表明,我们的方法优于当前国家的最先进的方法在几个对象分类基准。
2022-10-06 cs.CV
Real-Time Global Illumination Decomposition of Videos
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google(谷歌);Stanford University(斯坦福大学);University of Bath(巴斯大学)
我们提出了第一种方法,用于将单目彩色视频实时的分解为直接和间接照明分量。我们检索,在单独的层,由场景反射率,光源和从各个相干场景区域的反射到另一个场景外观的贡献。反转全局光传输的现有技术需要在多路复用的受控照明下的图像捕获,或者仅使得能够以慢的离线帧速率分解单个图像。相比之下,我们的方法适用于常规视频,并以实时的帧速率产生时间相干的分解层。在我们的方法的核心是几个稀疏先验,使每像素的直接和间接照明层的估计的基础上,一小组联合估计的基本反射颜色。由此产生的变分分解问题使用了一个新的配方的基础上稀疏和密集的非线性方程组,我们有效地解决使用一种新的交替数据并行优化策略。我们评估我们的方法定性和定量,并显示在这一领域的最先进的改进,在质量和运行时间。此外,我们展示了各种实时的外观编辑应用程序的视频一致的照明。
2021-06-10 cs.CV
Ctrl-X: Controlling Structure and Appearance for Text-To-Image Generation Without Guidance
University of California, Los Angeles(加州大学洛杉矶分校);NVIDIA(英伟达公司)
针对现有无辅助模块的T2I可控生成方法步骤多、耗时长的问题,提出Ctrl-X框架,通过前馈结构控制和语义感知外观迁移实现无引导控制,性能更优且支持即插即用。
2024-12-11 cs.CV cs.LG
Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance
Graduate School of Informatics, Kyoto University(京都大学情报学研究科)
提出首个基于扩散模型的单图像随机逆向渲染方法 DRMNet,通过反射率图联合估计光照衰减频谱与物体反射率,在合成数据上训练并泛化至真实图像,达到最先进精度。
2024-03-26 cs.CV
Robust Depth-based Person Re-identification
Sun Yat-sen University(中山大学);National University of Defense Technology(国防科技大学)
人员重新识别(re-id)旨在匹配非重叠摄像机视图中的人员。到目前为止,基于RGB的外观在大多数现有作品中被广泛使用。然而,当人们出现在极端照明或改变衣服,基于RGB外观的re-id方法往往会失败。为了克服这个问题,我们建议利用深度信息提供更多的不变的身体形状和骨架信息,而不管照明和颜色的变化。更具体地说,我们利用深度体素协方差描述符,并进一步提出了一个局部旋转不变的深度形状描述符称为特征深度特征来描述行人的身体形状。我们证明了黎曼流形上任意两个协方差矩阵之间的距离等价于相应特征深度特征之间的欧氏距离。此外,我们提出了一个核化的隐式特征转移方案,估计特征深度特征时,深度信息是不可用的RGB图像隐式。我们发现,将估计的深度特征与基于RGB的外观特征相结合,有时可以帮助更好地减少由照明和相似的衣服引起的外观特征的视觉模糊性。我们的模型的有效性进行了验证,在公开的深度行人数据集相比,相关的方法进行人员重新识别。
2017-03-28 cs.CV
Physically Inspired Gaussian Splatting for HDR Novel View Synthesis
Department of Electrical and Computer Engineering, Northeastern University(东北大学电气与计算机工程系);Khoury College of Computer Science, Northeastern University(东北大学Khoury计算机科学学院)
本文提出PhysHDR-GS框架,通过建模内在反射率和可调环境光照,改进HDR-NVS在动态细节重建和光照依赖外观捕捉中的性能,实验表明在真实和合成数据集上具有更高的PSNR和实时渲染速度。
2026-03-30 cs.CV
Eclipse: Disambiguating Illumination and Materials using Unintended Shadows
Google Research(谷歌研究院);Harvard University(哈佛大学)
针对漫反射物体材质与光照分解的病态、不适定难题,提出基于可微分蒙特卡洛光线追踪的Eclipse方法,利用拍摄者等产生的非预期阴影作为信号,联合恢复空间变化材质、环境光照及不可见遮光体形状。
2023-12-14 cs.CV cs.GR
IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation
University of Oxford(牛津大学);UC Merced(加州大学默塞德分校);NEC Labs America(NEC美国实验室);Atmanity Inc.(Atmanity公司);Google DeepMind Project(谷歌DeepMind项目)
IllumiCraft提出统一扩散框架,融合HDR视频图、合成重光照帧和3D点轨迹三类输入,实现背景或文本条件下的时间连贯可控视频重光照,保真度优于现有方法。
2025-06-03 cs.AI cs.CV cs.LG
BRIC-Net: Boundary-Reliable Illumination-Color Interaction for Remote Sensing Image Deshadowing
针对遥感图像去阴影的不适定问题,提出BRIC-Net网络,通过LRP、BAGM、SCMM模块实现光照与色度解耦,在多个数据集上取得优于现有方法的去阴影效果。
2026-08-04 cs.CV
Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所)
传统的基于特征和基于模型的凝视估计方法已经证明在具有受控照明和专用相机的设置中表现良好。然而,在不受约束的现实世界的设置,这样的方法是超越最近的外观为基础的方法,由于建模因素,如照明变化和其他视觉伪影的困难。我们提出了一种新的基于学习的方法,使传统的方法是最新的外观为基础的方法具有竞争力的眼睛区域的地标定位。尽管专门针对合成数据进行了训练,但我们的方法在真实图像上的虹膜定位和眼睛形状配准方面超过了现有技术。然后,我们使用检测到的地标作为迭代模型拟合和基于轻量级学习的凝视估计方法的输入。我们的方法优于现有的模型拟合和外观为基础的方法在人的独立和个性化的凝视估计的背景下。
2018-05-12 cs.CV
EgoRelight: Egocentric Human Capture and Illumination Recovery for Relightable and Photoreal Avatar Rendering
MPI for Informatic, SIC \& VIA Research Center Saarbr \"u cken Germany;Google Mountain View USA;Google Z \"u rich Switzerland;MPI for Informatic \& VIA Research Center Saarbr \"u cken Germany;MPI for Informatic, SIC \& VIA Research Center;Google;MPI for Informatic \& VIA Research Center
提出EgoRelight框架,通过头戴显示器上的立体下视相机提取深度图驱动网格化身,并利用神经外观模型分别合成视角相关镜面反射和视角无关漫反射,结合测试时逆渲染恢复HDR环境图,实现从单一HMD进行全身性能捕捉、逼真可重光照外观合成和环境光照估计。
2026-05-27 cs.CV
SplatBright: Generalizable Low-Light Scene Reconstruction from Sparse Views via Physically-Guided Gaussian Enhancement
Shanghai Jiao Tong University(上海交通大学);China DXR Technology CO.,Ltd(中国DXR技术有限公司)
SplatBright通过物理引导的照明建模和几何-外观解耦,实现了从稀疏视角进行低光照场景重建的通用3D高斯框架。
2025-12-21 cs.CV
Toward Guaranteed Illumination Models for Non-Convex Objects
Columbia University(哥伦比亚大学)
光照变化仍然是目标检测和识别中的核心挑战。现有的照明变化的分析通常涉及凸,朗伯对象,并保证在平均情况下的近似质量。我们表明,它是可能的V(顶点)描述凸锥模型与最坏情况下的性能保证,非凸朗伯对象。也就是说,基于与所构造的圆锥体的角度的自然验证测试保证接受在某个可容许的照明条件下由对象的图像充分良好地近似的任何图像,并且保证拒绝不具有充分良好近似的任何图像。锥模型是由采样点照明足够的密度,这是从一个新的扰动界点图像的朗伯模型。由于保证验证所需的点图像数量可能很大,我们引入了一种新的锥保持降维公式,该公式利用稀疏和低秩分解的工具来降低复杂度,同时控制相对于原始锥的近似误差。
2013-07-04 cs.CV
Improving Shadow Suppression for Illumination Robust Face Recognition
Ecole Centrale de Lyon(里昂中央理工学院);Université Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
2D人脸分析技术,如人脸地标,人脸识别和人脸验证,是合理地依赖于照明条件,通常是不受控制的和不可预测的,在现实世界中。因此,照明鲁棒的预处理方法仍然是可靠的人脸分析的一个重大挑战。本文提出了一种改进光照归一化的新方法,通过建立反映皮肤表面、光源和摄像机传感器之间相互作用的反射率模型,详细阐述了人脸颜色外观的形成过程。具体地,所提出的照明处理流水线使得能够在对数色度空间中生成色度本征图像(CII),其对照明变化是鲁棒的。此外,作为最流行的方法的优点,照片逼真的彩色人脸图像随后重建,消除了各种各样的阴影,同时保留的颜色信息和身份的细节。在不同场景和不同人脸数据库下的实验结果表明,该方法在处理光照变化(包括软硬阴影)的人脸识别中是有效的。
2017-10-13 cs.CV
A novel illumination condition varied image dataset-Food Vision Dataset (FVD) for fair and reliable consumer acceptability predictions from food
University of Arkansas(阿肯色大学)
人工智能的最新进展促进了计算机视觉在许多不同领域的广泛应用。充当人眼的数码相机可以感知基本对象属性,诸如形状和颜色,并且可以进一步用于进行高级任务,诸如图像分类和目标检测。人类感知已被广泛认为是训练和评估计算机视觉模型的基础事实。然而,在某些情况下,人类可能会被他们所看到的所欺骗。良好的人类视觉依赖于稳定的外部照明,而不自然的照明会影响人类对商品本质特征的感知。为了评估照明对人类和计算机感知的影响,该小组提出了一个新的数据集,即食品视觉数据集(FVD),以创建一个评估基准来量化照明效果,并推动照明估计方法的发展,以便从食品外观中公平可靠地预测消费者的可接受性。FVD由在3种不同功率和5种不同温度设置下每隔一天拍摄的675张图像组成,共拍摄5天。
2022-09-14 cs.CV
Cascading Convolutional Color Constancy
South China University of Technology(华南理工大学);Tampere University(坦佩雷大学);Chinese Academy of Sciences(中国科学院)
在计算颜色恒常性时,通常采用从物体外观的表示回归场景的光照。然而,由于未知光源、材料的不同反射特性和外部成像因素(如不同的相机传感器)导致的内在外观和标签模糊性,这仍然是具有挑战性的。在本文中,我们引入了一种新的算法级联卷积颜色恒定(简称C4),以提高回归学习的鲁棒性,并在一个独特的框架中实现跨数据集(不同相机和场景)的稳定泛化能力。C4方法通过引入一个加权的乘-累积损失函数,从每个级联阶段集成了一系列相关的光照假设,该函数可以内在地捕获不同的光照模式,并显式地执行从粗到细的网络优化。实验结果表明,与现有的方法相比,该算法具有更好的性能,特别是对于更困难的场景。
2019-12-24 cs.CV
Relightable Gaussian Splatting for Virtual Production Using Image-Based Illumination
University of Bristol, UK(英国布里斯托大学);Lux Aeterna, Bristol, UK(卢克斯艾特纳,布里斯托,英国)
本文提出一种针对虚拟制作的3D重建与重照明框架,利用高斯点散布技术,通过已知背景图像条件重照明过程,避免使用环境映射,提高3D重建质量和可控性,方法高效且支持多种输出变量。
2026-05-09 cs.CV cs.GR cs.MM
ORGB: Offset Correction in RGB Color Space for Illumination-Robust Image Processing
Peking University(北京大学);Dalian University of Technology(大连理工大学)
单一材质的颜色在RGB空间中形成直线。然而,在严重阴影的情况下,这些线并不与原点相交,这与大多数文献的描述不一致。本文主要研究交点到原点的偏移量的检测与校正。首先,我们通过光学成像模型分析了形成这种偏移的原因。其次,我们提出了一种简单有效的方法来检测和消除偏移。所得到的图像,命名为ORGB,具有几乎相同的外观作为原始的RGB图像,而更光照鲁棒的颜色空间转换。此外,使用ORGB而不是RGB进行的图像处理不受阴影的干扰。最后,将提出的偏移校正方法应用于道路检测任务,提高了定量和定性评价的性能。
2017-08-03 cs.CV
Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images
Drexel University(德雷塞尔大学)
恢复场景的辐射特性(即,反射率、照明和几何形状)是计算机视觉长期寻求的能力,其可以为广泛的应用提供宝贵的信息。从真实世界场景的外观中破译辐射成分,而不是单个孤立的对象,是特别具有挑战性的,因为它通常由具有不同材料成分的各种对象组成,这些对象表现出复杂的反射率和光相互作用,这些也是照明的一部分。我们介绍的第一种方法辐射场景分解,处理这些错综复杂的。我们使用RGB-D图像引导几何恢复,同时恢复复杂的反射率和自然光照,同时细化噪声的初始几何形状和分割成不同的材料区域的场景。最重要的是,我们处理真实世界的场景,包括多个对象的未知材料,这需要建模的空间变化复杂的反射率,自然光照,纹理,相互反射和阴影。我们系统地评估了我们的方法在合成场景中的有效性,并展示了其在现实世界场景中的应用。结果表明,丰富的辐射信息可以恢复从RGB-D图像和展示一个新的角色RGB-D传感器可以发挥一般场景理解任务。
2016-04-05 cs.CV
Object-based Illumination Estimation with Rendering-aware Neural Networks
Microsoft Research Asia(微软亚洲研究院)
我们提出了一个方案,快速环境光估计从RGBD外观的个别对象和他们的局部图像区域。传统的逆渲染对于实时应用来说计算量太大,并且纯粹基于学习的技术的性能可能受到来自各个对象的微薄输入数据的限制。为了解决这些问题,我们提出了一种方法,利用逆渲染的物理原理来约束解决方案,同时还利用神经网络来加快其处理的计算成本更高的部分,以增加对噪声输入数据的鲁棒性,以及提高时间和空间的稳定性。这导致渲染感知系统以高精度和实时的估计对象处的局部照明分布。通过估计的光照,虚拟对象可以在AR场景中渲染,其阴影与真实场景一致,从而提高真实感。
2020-08-06 cs.CV
Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance
State Key Lab of CAD&CG(CAD与CG国家重点实验室);Hangzhou Research Institute of Holographic and AI Technology(杭州全息与人工智能技术研究院)
本文提出一种可微框架,通过统一的空间-角结构光和单相机,高效获取物体形状和反光的高质联合数据,采用基于直方图的像素级概率模型减少深度不确定性。
2026-05-07 cs.CV
IDM-Net: A Lightweight Illumination-Decoupled Modulation Network for Low-Light Image Enhancement
National Taiwan University of Science and Technology(国立台湾科技大学)
IDM-Net提出一种轻量级光照解耦调制网络,通过双编码器提取光照先验并注入解码器,实现低光图像增强中亮度恢复与色彩保真的平衡,在多个基准上取得竞争力性能。
2026-09-28 cs.CV
Person Re-identification Based on Color Histogram and Spatial Configuration of Dominant Color Regions
KIM IL SUNG University(金日成大学)
需要确定是否已经通过视频监控系统中的摄像机网络观察到给定的感兴趣的人。由于光照、姿态和视点、摄像机参数的不同,在一个摄像机中获得的人的外观通常不同于在另一个摄像机中获得的人的外观。与基于外观的身份重新识别方法相关,提出了一种基于人体部位主色直方图和主色区域空间结构的身份重新识别方法。基于主色描述符(DCD)的主色直方图和主色区域的空间配置可以被认为对光照和姿态、视点变化具有鲁棒性。该方法使用基准视频数据集进行评估。使用累积匹配特征(CMC)曲线的实验结果表明,我们的方法的有效性的人重新识别。
2014-11-13 cs.CV
Edge-Aware Image Color Appearance and Difference Modeling
UT Austin(德克萨斯大学奥斯汀分校)
本文研究复杂图像刺激下的色彩外观与差异建模,通过边缘感知方式应用对比敏感度函数和局部适应规则,提升图像差异预测性能。
2023-04-20 cs.CV eess.IV
RelitLRM: Generative Relightable Radiance for Large Reconstruction Models
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学);Cornell University(康奈尔大学);Adobe Research(奥多比研究机构)
RelitLRM 是一种大型重建模型,通过结合几何重建器和基于扩散的可重新照明外观生成器,从稀疏图像生成高质量3D物体表示,有效分解几何与外观,实现快速且高质量的重新照明效果。
2024-10-10 cs.CV cs.GR cs.LG
Neural-PBIR Reconstruction of Shape, Material, and Illumination
Meta RLR;University of California, Irvine(加州大学欧文分校);University of Maryland, College Park(马里兰大学学院公园分校);National Tsing Hua University(国立清华大学)
针对从2D图像重建物体形状、材质及周围光照的难题,提出结合神经重建与PBIR的三阶段流水线,经神经SDF形状重建、神经材质光照蒸馏、PBIR优化,实现质量与性能均显著优于现有方法的重建效果。
2024-02-01 cs.CV
LightHarmony3D: Harmonizing Illumination and Shadows for Object Insertion in 3D Gaussian Splatting
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学)
本文提出LightHarmony3D框架,通过生成模块预测HDR环境映射,实现光照一致的物体插入,提升3D高斯散射场景的光照和阴影真实性。
2026-03-31 cs.CV
CcHarmony: Color-checker based Image Harmonization Dataset
Shanghai Jiao Tong University(上海交通大学)
图像协调的目的是调整合成图像中的前景,使其与背景相协调,产生更加真实、和谐的图像。训练深度图像协调网络需要丰富的训练数据,但是获取合成图像和地面真实协调图像的训练对是极其困难的。因此,现有的工作转向调整真实图像中的前景外观以创建合成的合成图像。然而,这样的调整可能不能如实地反映前景的自然光照变化。在这项工作中,我们探索了一种新的传递方式来构建图像协调数据集。具体来说,基于现有的已记录光照信息的数据集,我们首先将真实图像中的前景转换为标准光照条件,然后将其转换为另一种光照条件,并与原始背景结合形成合成的复合图像。通过这种方式,我们构建了一个名为ccHarmony的图像协调数据集,该数据集以颜色检查器(cc)命名。该数据集可在https://github.com/bcmi/Image-Harmonization-Dataset-ccHarmony上获得。
2022-06-01 cs.CV
LatentKeypointGAN: Controlling Images via Latent Keypoints -- Extended Abstract
University of British Columbia(不列颠哥伦比亚大学)
该研究提出两阶段自监督GAN模型LatentKeypointGAN,通过潜在关键点及外观嵌入实现图像内容的可控生成与编辑,无需标签即可解耦图像的空间与外观因素,适用于多领域图像生成任务。
2022-05-17 cs.CV
Detailed Geometry and Appearance from Opportunistic Motion
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
本文提出利用物体偶然运动获取更多准确的3D几何与外观,通过联合姿态与形状优化和新型外观模型提升重建精度。
2026-03-27 cs.CV
The joint role of geometry and illumination on material recognition
Universidad de Zaragoza(萨拉戈萨大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
观察和识别材料是我们日常生活的基本组成部分。在典型的观看条件下,我们能够毫不费力地识别我们周围的物体,并识别它们的材料。然而,理解发生以准确辨别物体的视觉特性的潜在感知过程是一个长期存在的问题。在这项工作中,我们进行了全面和系统的分析,几何形状,照明,以及它们的空间频率的相互作用如何影响人类的性能上的材料识别任务。我们进行了大规模的行为实验,参与者被要求识别不同的参考材料之间的候选样本池。在不同的实验中,我们仔细地在刺激的频域中采样信息。从我们的分析,我们发现显着的一阶之间的相互作用的几何形状和照明,参考和候选人。此外,我们观察到,简单的图像统计和高阶图像直方图不与人类的表现。因此,我们通过在材料识别任务上训练深度神经网络来执行高度非线性统计的高级比较。我们的研究结果表明,这样的模型可以准确地分类材料,这表明他们能够定义一个有意义的表示材料的外观从标记的近端图像数据。最后,我们发现初步证据表明,这些高度非线性模型和人类可能使用类似的高层次因素进行材料识别任务。
2021-02-04 cs.AI cs.CV cs.GR
LatentKeypointGAN: Controlling Images via Latent Keypoints
University of British Columbia(不列颠哥伦比亚大学)
本文提出 LatentKeypointGAN,一种两阶段 GAN,通过内部条件化空间关键点及其外观嵌入,在无领域知识和监督下实现图像空间与外观因子的解耦,提供可解释的潜在空间以控制图像内容,并支持无监督关键点检测。
2024-10-13 cs.CV
LightFuse: Relightable Interactive Gaussian Scene Reconstruction via Multi-Scan Fusion and 2D Gaussian Ray Tracing
ZJU-UIUC Institute, Zhejiang University(浙江大学ZJU-UIUC学院);College of Mathematics, Sichuan University(四川大学数学学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Chengdu Minto Tech(成都敏途科技)
LightFuse是基于2D高斯框架的交互式场景重建方法,通过多扫描融合、几何细化与材质-光照分解,实现可重光照的可编辑场景,在合成场景上重光照质量优于现有基线。
2026-09-01 cs.CV
Modeling Colors of Single Attribute Variations with Application to Food Appearance
University of Maryland, College Park(马里兰大学帕克分校)
本文认为,图像内的颜色空间的对象或场景时,这些都受到一个占主导地位的单一来源的变化。变化源可以是内在的或外在的(即,成像条件)。我们观察到,这些对象的量化颜色通常位于RGB的平面子空间上,并且在某些情况下,该平面上的线性或多项式曲线在捕获这些颜色变化方面是有效的。我们还观察到,只要不涉及剧烈的光照变化,图像间颜色子空间是鲁棒的。我们说明了使用这种分析:区分阴影变化和反射率变化的补丁,和目标检测,分割和识别的基础上,一个单一的样本。我们专注于食品的图像来说明所提出的方法的有效性。
2015-12-18 cs.CV
Shape from Shading for Robotic Manipulation
Carnegie Mellon University(卡内基梅隆大学)
本研究提出一种适用于机器人工作空间的低入射角可控光照Shape from Shading方法,可精确获取单色朗伯物体的表面法线与深度信息,可用于通用抓取、物体形变测量及位姿估计与跟踪。
2023-11-06 cs.CV cs.RO
A Robust Illumination-Invariant Camera System for Agricultural Applications
目标检测和语义分割是农业应用中最广泛采用的两种深度学习算法。在户外为这些任务获取的图像质量的变化的主要来源之一是改变照明条件,这可以改变对象的外观或整个图像的内容。虽然迁移学习和数据增强在一定程度上减少了对大量数据的需求,以训练深度神经网络,但农业中品种繁多和缺乏共享数据集使得大规模的现场部署变得困难。在本文中,我们提出了一个高吞吐量的强大的主动照明为基础的相机系统,在所有照明条件下产生一致的图像。我们详细介绍了一些实验,这些实验显示图像质量的一致性导致相对较少的图像用于训练深度神经网络以执行目标检测任务。我们进一步提出了在极端照明条件下的现场实验结果,其中没有主动照明的图像显着缺乏提供一致的结果。实验结果表明,平均而言,在一致数据上训练的用于目标检测的深度网络需要近四倍的数据才能达到相似的准确度。这项拟议的工作可能为农业中的计算机视觉需求提供实用的解决方案。
2021-01-06 cs.CV
AQUA-Net: Adaptive Frequency Fusion and Illumination Aware Network for Underwater Image Enhancement
Stazione Zoologica Anton Dohrn(动物站安托万·多尔恩研究所);School of Computer Science and Engineering(计算机科学与工程学院)
AQUA-Net通过自适应频率融合和光照感知网络,提升水下图像的色彩平衡、对比度和真实感,适用于复杂水下环境。
2026-10-19 cs.AI cs.CV
CropTrack: A Tracking with Re-Identification Framework for Precision Agriculture
Department of Computer Science and Engineering, The University of Texas at Arlington(计算机科学与工程系,德克萨斯大学阿灵顿分校)
针对农业场景中物体外观相似、频繁遮挡导致跟踪困难的问题,提出结合外观与运动信息的MOT框架CropTrack,通过重排序增强外观关联、一对多关联冲突解决和指数移动平均原型特征库,显著提升身份保持和关联精度。
2026-06-16 cs.CV cs.RO
WildCAT3D: Appearance-Aware Multi-View Diffusion in the Wild
Tel Aviv University(特拉维夫大学);Meta AI;Cornell University(康奈尔大学)
提出 WildCAT3D 框架,通过显式建模全局外观条件扩展多视图扩散范式,从自然环境多样数据中学习生成场景新视图,在物体级和场景级单视图 NVS 上达到 SOTA 且训练数据更少。
2025-11-03 cs.CV
Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling
UC San Diego(加州大学圣迭戈分校);Adobe Research(奥多比研究院)
针对镜面物体新视角合成中的高频角度信号与相互反射难题,提出神经方向编码(NDE),将特征网格空间编码扩展至角度域并锥形追踪空间特征,在合成与真实数据上超越现有方法,且支持实时推理。
2024-05-23 cs.CV
Learning Implicit Surface Light Fields
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETAS GmbH, Bosch Group(博世集团ETAS有限公司);Amazon(亚马逊)
3D物体的隐式表示最近在基于学习的3D重建任务上取得了令人印象深刻的结果。虽然现有的作品使用简单的纹理模型来表示对象的外观,照片般逼真的图像合成需要推理的光,几何形状和表面属性的复杂的相互作用。在这项工作中,我们提出了一种新的隐式表示捕捉物体的视觉外观在其表面光场。与现有的表示相比,我们的隐式模型表示表面光场在连续的方式和独立的几何形状。此外,我们条件的表面光场相对于一个小光源的位置和颜色。与传统的表面光场模型相比,这允许我们操纵光源并使用环境贴图重新照亮对象。我们进一步证明了我们的模型预测一个看不见的对象从一个单一的真实RGB图像和相应的3D形状信息的视觉外观的能力。正如我们的实验所证明的那样,我们的模型能够推断出丰富的视觉外观,包括阴影和镜面反射。最后,我们表明,所提出的表示可以嵌入到一个变分自动编码器生成新的外观,符合指定的照明条件。
2020-03-27 cs.CV
Tracking objects that change in appearance with phase synchrony
CerCo, CNRS, Universite de Toulouse(法国图卢兹大学CNRS CerCo研究所);Northeastern University(东北大学)
针对物体外观变化导致追踪困难的问题,提出复值循环神经网络(CV-RNN),通过相位同步机制独立控制特征注意力与位置,在 FeatureTracker 挑战中表现接近人类且优于现有 DNN,验证了相位同步作为追踪变形物体神经基础的有效性。
2025-03-02 cs.AI cs.CV q-bio.NC
Pixel-Wise Color Constancy via Smoothness Techniques in Multi-Illuminant Scenes
Faculty of Information Technology and Communication Sciences, Tampere University(坦佩雷大学信息技术与通信科学学院)
针对多光源场景颜色恒常性问题,提出通过学习像素级照明图并利用总变差损失、双边滤波和标签平滑技术,实现优于现有方法的性能。
2024-02-05 cs.CV eess.IV