ReflFlow: Learning Geometry-Guided Ray Tracing for Dynamic Specular Reconstruction
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Harvard Medical School(哈佛医学院);University of Michigan(密歇根大学)
TraceFlow通过残差材料增强的2D高斯点分布和混合渲染流水线,实现了动态镜面场景的高保真渲染,提升了复杂环境中的镜面反射效果。
2026-11-13 cs.CV
PolarGuide-GSDR: 3D Gaussian Splatting Driven by Polarization Priors and Deferred Reflection for Real-World Reflective Scenes
North China University of Technology(中国北方工业大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Science and Technology Beijing(北京科技大学)
PolarGuide-GSDR通过偏振引导机制改进3DGS,实现高保真度反射分离与全场景重建,无需环境映射或材料假设,提升实时性能与可解释性。
2025-12-02 cs.CV
PanoLess: Environment Reconstruction from Partial Reflective Views
Rice University(莱斯大学)
研究从部分反射视图进行环境重建,提出基于高斯点的PanoLess框架,利用表面对齐二维高斯点和延迟阴影恢复法线与反射线索,生成可见性图,能从部分视图输入实现光照估计,在多数据集上表现出色,实现高保真和几何一致的环境重建。
2026-07-29 cs.CV
Pygmalion Effect in Vision: Image-to-Clay Translation for Reflective Geometry Reconstruction
NAVER AI Lab(NAVER 人工智能实验室);KAIST(韩国科学技术院);SNU AIIS(首尔大学人工智能研究院)
本文提出视觉中的皮格马利翁效应,通过图像到陶土的翻译方法,抑制镜面线索并保持几何一致性,实现复杂反射场景下的稳健3D重建。
2026-11-11 cs.AI cs.CV cs.GR
Ref-DVGO: Reflection-Aware Direct Voxel Grid Optimization for an Improved Quality-Efficiency Trade-Off in Reflective Scene Reconstruction
KU Leuven(鲁汶大学);Ford Motor Company(福特汽车公司)
针对反射场景NeRF重建质量与效率难以兼顾的问题,提出Ref-DVGO方法,采用基于密度的网格表示与反射辐射度重参数化,实现了更优的质量-效率权衡,并探讨了相关影响因素。
2023-08-21 cs.CV cs.GR
Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering
针对现有方法将反射误认为几何导致重建质量差的问题,提出基于3DGS的Ref-Unlock框架,通过双分支与高阶球谐函数解耦反射,结合伪深度图和几何约束,提升真实场景渲染质量与编辑能力。
2025-07-08 cs.CV
Object 3D Reconstruction based on Photometric Stereo and Inverted Rendering
Kingston University London(伦敦金斯顿大学)
用于3D重建的方法(诸如光度立体)使用在可变照明条件下从固定视点拍摄的对象的多个图像来恢复形状和反射率属性。光度立体假设场景仅由照明源直接照明。结果,由于相互反射的间接照明效应在恢复的形状中引入强偏差。我们建议的方法是在间接照明的存在下恢复场景属性。为此,我们提出了一种迭代PS方法,结合反向蒙特卡罗光线追踪算法来克服相互反射效应,旨在分离直接照明和间接照明。这种方法迭代地重建一个表面,同时考虑到物体周围的环境和它的凹面。我们使用三个数据集演示和评估我们的方法,总体结果表明,改进了经典的PS方法。
2018-11-06 cs.CV
RGS-DR: Deferred Reflections and Residual Shading in 2D Gaussian Splatting
Department of Electrical Engineering (ESAT), KU Leuven, Belgium(电气工程系(ESAT),卢森堡大学)
RGS-DR通过延迟反射和残差阴影技术提升2D高斯点划在逆渲染中的镜面细节表现,改进材料可编辑性和重建质量。
2025-12-09 cs.CV
RefGaussian: Disentangling Reflections from 3D Gaussian Splatting for Realistic Rendering
Fudan University(复旦大学);Nanyang Technological University(南洋理工大学)
RefGaussian通过将场景分解为透射与反射分量并用球谐函数表示,结合局部正则化,解决了3D高斯泼溅中反射建模不准确的问题,提升了新视角合成、深度估计及场景编辑质量。
2024-06-09 cs.CV cs.GR
Mirror-3DGS: Incorporating Mirror Reflections into 3D Gaussian Splatting
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);School of Computer Science, Peking University(北京大学计算机学院)
针对3DGS难以准确建模镜面反射的问题,提出融入镜面属性、结合平面镜成像原理的Mirror-3DGS框架,可实时渲染更高保真的新视角,效果优于Mirror-NeRF。
2024-12-11 cs.CV cs.GR
Reflection Separation and Deblurring of Plenoptic Images
University of Bern(伯尔尼大学)
在本文中,我们解决的问题,从一个单一的图像捕获的全光相机的反射去除和去模糊。我们开发了一个两阶段的方法来恢复场景的深度和高分辨率的反射和透射层的纹理。对于存在反射的深度估计,我们通过卷积神经网络训练分类器。为了恢复高分辨率纹理,我们假设场景由平面区域组成,并通过使用全光相机点扩散函数的显式形式来执行每层的重建。该框架还恢复了清晰的场景纹理与不同的运动模糊应用到每一层。我们证明了我们的方法具有挑战性的真实和合成图像。
2017-08-22 cs.CV
Normal-NeRF: Ambiguity-Robust Normal Estimation for Highly Reflective Scenes
针对高反射场景中镜面表面形状歧义导致的重建难题,本文提出 Normal-NeRF,通过透射率梯度法线估计和双激活密度模块,结合反射感知外观模型,实现复杂几何与强镜面场景的鲁棒重建和高保真渲染。
2025-01-16 cs.CV
Introducing Unbiased Depth into 2D Gaussian Splatting for High-accuracy Surface Reconstruction
Visual Computing Research Center, CSSE, Shenzhen University(深圳大学视觉计算研究中心)
针对2DGS在光泽表面重建中因反射不连续性导致的孔洞问题,提出用深度收敛损失替换深度畸变损失并修正深度准则,显著提升了表面重建的完整性与准确性。
2025-08-15 cs.CV
Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出Mirror-NeRF框架,通过引入反射概率并采用Whitted式光线追踪构建统一辐射场,解决NeRF无法正确处理镜面反射的问题,实现精确的镜面几何与反射学习,并支持添加物体、控制镜面粗糙度等场景操控应用。
2023-08-07 cs.CV
Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes
University of California, San Diego(加利福尼亚大学圣迭戈分校)
利用少量无约束的自然图像恢复透明物体的三维形状是一个不适定问题。由折射和反射引起的复杂光路阻碍了传统和深度多视图立体解决这一挑战。我们提出了一个基于物理的网络来恢复透明物体的3D形状,使用手机摄像头获取的一些图像,在一个已知的,但任意的环境地图。我们的新贡献包括一个正常的表示,使网络模型复杂的光传输通过本地计算,一个渲染层,模型折射和反射,成本量专门设计用于正常细化透明形状和特征映射的基础上预测法线的3D点云重建。我们渲染一个合成数据集,以鼓励模型学习不同视图之间的折射光传输。我们的实验表明,成功恢复高品质的3D几何复杂的透明形状,使用少至5-12自然图像。代码和数据是公开发布的。
2020-07-23 cs.CV cs.GR
Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container
The Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究所)
在本文中,我们定义了一个新的问题,恢复的3D几何形状的对象被限制在一个透明的外壳。我们还提出了一种新的方法来解决这个具有挑战性的问题。透明外壳在不同传播介质(例如空气或玻璃)之间的界面处带来多次光反射和折射的挑战。这些多重反射和折射导致严重的图像失真,使单视点假设失效。因此,不能使用现有方法(例如传统的从运动恢复结构运动恢复结构或现代神经重建方法)来可靠地重建这种对象的3D几何形状。我们解决这个问题,明确建模的场景作为两个不同的子空间,内部和外部的透明外壳。我们使用现有的神经重建方法(NeuS),隐式地表示内部子空间的几何形状和外观。为了考虑复杂的光的相互作用,我们开发了一种混合的渲染策略,结合体渲染与光线追踪。然后,我们通过最小化真实和混合渲染图像之间的差异来恢复模型的底层几何形状和外观。我们评估我们的方法合成和真实数据。实验结果表明,我们的方法优于国家的最先进的(SOTA)的方法。代码和数据将在https://github.com/hirotong/ReNeuS上提供
2023-03-24 cs.CV
Ref-DGS: Reflective Dual Gaussian Splatting
Chongqing University(重庆大学);MAIS, Institute of Automation, Chinese Academy of Sciences and UCAS(自动化研究所,中国科学院,UCAS);King Abdullah University of Science and Technology (KAUST)(卡塔尔科学与技术大学)
提出Ref-DGS框架,通过双高斯场景表示和物理感知的镜面自适应混合着色器,在高效光栅化管线中解耦表面重建与镜面反射,实现反射场景的SOTA新视图合成且训练速度远快于基于光线的方法。
2026-06-02 cs.AI cs.CV cs.GR
A Generative Approach to High Fidelity 3D Reconstruction from Text Data
BITS Pilani(pilani比特大学)
本研究提出一种全自动流水线,集成文本到图像生成、强化学习增强、Stable Delight反射去除及机器学习算法,将自然语言转化为高保真3D模型,解决语义连贯与几何复杂性挑战,对AR、VR等领域具重要意义。
2025-03-05 cs.AI cs.CV
Appearance Decomposition Gaussian Splatting for Multi-Traversal Reconstruction
Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, State Key Laboratory of Avionics Integration and Aviation System-of-Systems Synthesis, Shanghai Jiao Tong University(上海交通大学自动化系,系统控制与信息处理教育部重点实验室,航空电子集成与航空系统综合国家重点实验室)
本文提出ADM-GS框架,通过显式分解静态背景的外观,缓解多遍重建中的外观纠缠问题,采用神经光场和频率分离编码策略提升多遍一致性,实验证明在Argoverse 2和Waymo Open数据集上效果显著。
2026-04-07 cs.CV
HybridSplat: Fast Reflection-baked Gaussian Tracing using Hybrid Splatting
本文提出HybridSplat机制,通过在高斯体素中烘焙视依赖反射,结合统一混合散射框架,实现高保真场景重建,并引入流水线加速和反射敏感高斯剪枝,提升渲染速度和降低内存占用。
2026-03-25 cs.CV
NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields
Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));Beihang University(北京航空航天大学)
本文提出NeRRF方法,通过折射-反射场和菲涅尔项统一建模透明与镜面物体的折射反射效应,结合渐进式行进四面体几何重建与虚拟锥超采样抗锯齿,在多种编辑任务上取得优异效果。
2023-09-22 cs.CV
MicroSDF: Microfacet-Driven Hybrid Neural SDFs for Mixed-Reflectance Surface Reconstruction
Sun Yat-sen University(中山大学);Orbbec Inc.(奥比中光科技有限公司);The University of Western Australia(西澳大学)
提出基于微表面理论的神经隐式框架MicroSDF,通过三项核心创新实现反射与非反射表面的高保真重建,在多个数据集上达到最先进性能,为物理基神经重建开辟新方向。
2026-10-14 cs.CV
A Radiometric Correction based Optical Modeling Approach to Removing Reflection Noise in TLS Point Clouds of Urban Scenes
Quanzhou Institute of Equipment Manufacturing Haixi Institutes, Chinese Academy of Sciences(中国科学院海西研究院泉州装备制造研究所);University of Chinese Academy of Sciences(中国科学院大学);Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences(中国科学院福建物质结构研究所);School of Engineering and Design, Technical University of Munich(慕尼黑工业大学工程与设计学院);GeoBIM & GeoNexus Intelligence(GeoBIM与GeoNexus智能中心)
本文提出一种基于几何光学模型与辐射校正的TLS点云反射噪声消除算法,通过改进LSFH描述子和Hausdorff特征距离提升虚点检测精度,并在3DRN数据集上显著优于现有方法。
2024-07-03 cs.CV eess.IV
Echo-Reconstruction: Audio-Augmented 3D Scene Reconstruction
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland at College Park(马里兰大学帕克分校)
反射和无纹理表面(如窗户、镜子和墙壁)对于物体和场景重建来说是一个挑战。这些表面通常重建得很差,并且填充有深度不连续性和孔,使得难以内聚地重建包含这些平面不连续性的场景。我们提出了回声重建,这是一种视听方法,它使用声音的反射来帮助虚拟会议,远程沉浸和其他AR/VR体验的几何和音频重建。手机原型发出脉冲音频,同时记录视频,用于基于RGB的3D重建和视听分类。来自视频的反射声音和图像被输入到我们的音频(EchoCNN-A)和视听(EchoCNN-AV)卷积神经网络中,用于表面和声源检测、深度估计和材料分类。从这些分类的推论增强场景3D重建包含开放空间和反射表面的深度过滤,修补,并放置在场景中的未混合的声源。我们的原型、VR演示和来自具有挑战性表面和声音的真实世界和虚拟场景的实验结果表明,材料分类、深度估计和封闭/开放表面的成功率很高,从而大大改善了3D场景的视觉和音频效果(见图1)。
2021-10-05 cs.CV cs.SD eess.AS
Humans as Light Bulbs: 3D Human Reconstruction from Thermal Reflection
Columbia University(哥伦比亚大学)
本研究利用人体作为长波红外光源在物体表面形成的热反射,提出联合建模物体、人体与热反射的分析合成框架,实现了普通相机不可见情况下的人体定位与三维姿态重建,在曲面反射镜等复杂场景中验证有效。
2023-05-02 cs.CV
Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction
Shanghai Jiao Tong University(上海交通大学)
本文提出 Ref-MC2,通过多重蒙特卡洛采样和镜面反射自适应策略高效建模间接光照,并结合反射感知表面模型提升几何精度,在含相互反射的多物体场景逆渲染中取得领先效果。
2024-11-21 cs.CV
Looking Through the Glass: Neural Surface Reconstruction Against High Specular Reflections
Nankai University(南开大学);Zhejiang University(浙江大学)
针对透过玻璃拍摄时高镜面反射破坏多视图一致性的问题,本文提出NeuS-HSR框架,通过将渲染图像分解为目标物体和辅助平面两种外观,并结合物理假设与神经网络,实现准确且鲁棒的神经隐式表面重建。
2023-04-18 cs.CV
Reconstruction of hidden 3D shapes using diffuse reflections
MIT Media Lab(麻省理工学院媒体实验室);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Harvard University(哈佛大学);Rice University(莱斯大学)
我们分析了光在未知隐藏体积中的多反射传播,并证明反射光包含足够的信息来恢复隐藏场景的3D结构。我们制定了正演和反演理论的二次和三次散射反射使用的想法,从能量波前传播和层析成像。我们表明,使用精心选择的近似,如菲涅耳近似,大大简化了这个问题,可以通过反向传播过程实现反演。我们提供了一个理论分析的可逆性,唯一性和选择的空间-时间-角度维度使用合成的例子。我们表明,一个二维条纹相机可以用来发现和重建隐藏的几何。使用一维高速飞行时间相机,我们表明,我们的方法可以用来恢复三维形状的对象“在拐角处”。
2012-03-19 cs.CV physics.optics
Polarimetric Inverse Rendering for Transparent Shapes Reconstruction
在这项工作中,我们提出了一种新的方法,利用偏振线索的透明物体的详细重建。现有的方法大多缺乏足够的约束条件,存在过光滑问题。因此,我们引入极化信息作为补充线索。我们隐式地表示对象的几何形状作为一个神经网络,而偏振渲染是能够渲染对象的偏振图像从给定的形状和照明配置。渲染的偏振图像与真实世界捕获的图像的直接比较将由于透明对象中的透射而具有额外的误差。为了解决这个问题,反射百分比的概念,它表示的反射分量的比例被引入。反射百分比由射线示踪器计算,然后用于加权偏振损失。我们建立了一个多视图透明形状重建的偏振数据集,以验证我们的方法。实验结果表明,该方法能够恢复透明物体的细节形状,提高重建质量。我们的数据集和代码将在https://github.com/shaomq2187/TransPIR上公开。
2022-08-25 cs.CV
Fixed Viewpoint Mirror Surface Reconstruction under an Uncalibrated Camera
University of Bristol(布里斯托大学);The Australian National University(澳大利亚国立大学);The University of Hong Kong(香港大学)
针对镜面重构问题,提出了一种基于运动参考面在镜面上反射的方法。与以前的方法,需要繁琐的校准,我们的方法可以恢复相机的本质,构成的参考平面,以及从观察到的反射的参考平面下至少三个未知的不同姿势的镜面。我们首先表明,参考平面的3D姿态可以从图像和参考平面之间建立的反射对应关系来估计。然后,我们从反射对应中形成一束3D线,并导出一个解析解来恢复线投影矩阵。我们将线投影矩阵转换为其等效的相机投影矩阵,并提出了一种基于交比的公式来通过最小化重投影误差来优化相机投影矩阵。然后基于优化交比约束重构镜面。仿真和实际数据的实验结果表明,我们的方法的可行性和准确性。
2021-01-23 cs.CV
RRG-SLAM: Real-time Reflection-aware Gaussian SLAM for Indoor Scenes
State Key Laboratory of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室)
提出首个实时反射感知高斯SLAM系统,采用TSDF-高斯混合表示分离反射,通过三遍渲染和反射感知跟踪,在室内反射场景中实现优于现有方法的重建质量、跟踪鲁棒性和实时性能。
2026-09-29 cs.CV cs.GR
Using Machine Learning to Detect Rotational Symmetries from Reflectional Symmetries in 2D Images
LIACS, Leiden University(莱顿大学高级计算机科学研究所);Ornamika
自动对称检测在2021年仍然是一项艰巨的任务。然而,它在计算机视觉中的应用,它也发挥了重要作用,在理解艺术。本文着重于帮助后者通过比较不同的国家的最先进的自动对称检测算法。对于这样的算法之一,旨在反射对称性,我们提出了后处理的改进,以找到局部对称性的图像,提高检测到的对称性的选择,并确定另一种对称类型(旋转)。为了检测旋转对称性,我们贡献了一个机器学习模型,该模型根据提供的反射对称轴对检测旋转对称性。我们展示和分析的性能的扩展算法来检测局部对称性和机器学习模型分类旋转对称性。
2022-01-17 cs.CV cs.LG
ChronoWorld: Camera-Controlled Consistent 4D World Generation via Spatiotemporal Cues and Geometric Reflections
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所);University of California, Merced(加州大学默塞德分校)
针对相机可控视频生成中4D时空一致性的挑战,提出ChronoWorld框架,通过时空因果注意力与几何反思机制,实现全局一致、自由视角的4D场景生成,达到最先进性能。
2026-10-07 cs.CV
LD-SLRO: Latent Diffusion Structured Light for 3-D Reconstruction of Highly Reflective Objects
Department of Mechanical Engineering, Yonsei University(机械工程系,延世大学)
LD-SLRO通过潜在扩散模型和改进的结构光技术,提升高反射物体的3-D重建精度与光栅质量。
2026-02-05 cs.CV
Seeing Through the Glare: A Multi-Source Benchmark and Ocular-Adaptive Pixel MeanFlow for Eyeglass Reflection Removal
针对眼镜反射去除任务,提出多源基准OcuBench与眼自适应像素均值流框架OcuFlow,实验显示OcuFlow在反射去除质量等方面优势显著,盲选支持率达67.32%
2026-10-09 cs.CV
Reflection Invariant and Symmetry Detection
EON Reality Inc(EON Reality公司);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
对称性检测与判别在科学、技术和工程中具有重要意义。本文引入反射不变量,定义方向矩来检测形状分析和物体识别的对称性。证明了反射对称性的检测可以通过求解一个由方向矩导出的三角系统来实现,而反射对称性的判别可以通过应用二维和三维的反射不变量来实现。在2D和3D中的实验,包括正三角形,正方形和五个柏拉图物体,表明所有的反射线或平面可以确定性地找到使用方向矩高达六阶。这一结果可用于简化蛋白质结构、模型检索、逆向工程、机器视觉等领域的对称性检测工作。
2017-05-31 cs.CV
Detecting Approximate Reflection Symmetry in a Point Set using Optimization on Manifold
Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院)
我们提出了一种算法来检测近似反射对称存在于一组体积分布的点属于$\mathbb{R}^d$包含一个扭曲的反射对称图案。我们提出的问题,检测近似反射对称性的问题,建立相互反射的点之间的对应关系,我们确定的反射对称变换。我们制定了一个优化框架,其中建立对应关系的问题相当于解决一个线性分配问题,确定反射对称变换的问题相当于解决一个光滑黎曼乘积流形上的优化问题。所提出的方法根据点的几何形状估计对称性,并且与描述符无关。我们评估了所提出的方法在标准基准数据集上的性能,并达到了最先进的性能。我们进一步显示了我们的方法的鲁棒性,通过改变在一个完美的反射对称模式,我们扰动每个点由不同的扰动量的失真量。我们证明了该方法的有效性,通过将其应用到问题的2-D和3-D的反射对称检测与比较。
2019-01-15 cs.CV
Reflection and Rotation Symmetry Detection via Equivariant Learning
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
检测对称性的固有挑战源于对称模式的任意方向;反射对称性以特定方向相对于轴镜像自身,而旋转对称性以特定方向匹配其旋转副本。因此,从图像中发现这样的对称图案受益于等变特征表示,其随着图像的反射和旋转而一致地变化。在这项工作中,我们引入了一个用于对称检测的组等变卷积网络,称为EquiSym,它利用了关于反射和旋转的二面角组的等变特征映射。所提出的网络是用二面角等变层端到端构建的,并经过训练以输出反射轴或旋转中心的空间地图。我们还提出了一个新的数据集,DENse和DIverse对称(DENDI),它减轻了现有基准反射和旋转对称检测的局限性。实验结果表明,该方法在LDRS和DENDI数据集上的对称性检测达到了最佳水平。
2022-03-31 cs.CV
Rethinking Directional Parameterization in Neural Implicit Surface Reconstruction
Tokyo Institute of Technology(东京工业大学);Preferred Networks, Inc.(Preferred Networks公司)
针对神经隐式曲面重建中常用的观察方向、反射方向参数化的局限,提出几乎无额外参数的混合方向参数化方法,可适配各类材质与结构的物体重建,且能轻松集成到现有方法中。
2024-09-11 cs.CV
Water Reflection Detection Using Symmetric Attention
State Key Laboratory of Physical Oceanography and the Faculty of Information Science and Engineering, Ocean University of China(中国海洋大学物理海洋学国家重点实验室和信息科学与工程学院);School of Mathematical and Computer Sciences, Heriot-Watt University(赫瑞瓦特大学数学与计算机科学学院);School of Computer Science and Informatics, De Montfort University(德蒙福特大学计算机科学与信息学院)
研究水反射检测难题,提出SAWRD-Net,结合二面体群等变卷积与矩阵分解解码器,利用水反射对称性不完善特性,在最大水反射场景数据集上取得0.890真阳性率,优于现有探测器。
2026-09-07 cs.CV
Adaptive specular reflection detection and inpainting in colonoscopy video frames
Isfahan University of Technology(伊斯法罕理工大学);University of Michigan(密歇根大学)
结肠镜检查视频帧可能被具有不饱和值(称为镜面反射)的亮点污染。检测和消除这些反射可以提高结肠镜图像的质量,并有助于诊断过程。在本文中,我们提出了一种新的两阶段的方法,包括检测和删除阶段。在检测阶段,我们采用HSV和RGB颜色空间的信息分割镜面反射。我们首先训练一个非线性支持向量机选择颜色空间的基础上,从每个通道的颜色空间中提取的图像统计特征。然后,引入了用于检测镜面反射的成本函数。在去除阶段,我们提出了一个两步修复方法,其中包括适当的替换补丁选择和块效应的去除。该方法通过在结肠镜图像数据库上的测试进行了评估,准确率和Dice评分分别达到99.68%和71.79%。
2018-02-23 cs.CV
Method to Detect Eye Position Noise from Video-Oculography when Detection of Pupil or Corneal Reflection Position Fails
Texas State University(德克萨斯州立大学)
我们提出的软件来检测眼睛位置信号中的噪声,从基于视频的眼睛跟踪系统,依赖于准确的瞳孔和角膜反射位置估计。当这种系统由于来自眼睑、眼睫毛或各种阴影的遮挡而暂时不能正确地检测瞳孔或角膜反射时,估计的注视位置是错误的。这在位置轨迹中产生了在真实和虚假注视位置之间快速、不规则地振荡的伪信号。我们将这种噪声称为RIONEPS(眼睛位置信号的快速不规则振荡噪声)。我们的方法自动检测这些周期是基于估计的眼睛位置信号的相对低效率。我们分别在水平和垂直轨迹中寻找RIONEPS,尽管我们通常离线使用它,但它适合于适应实时的使用。这种方法需要设定一个阈值,尽管我们提供了一些指导,但阈值必须根据经验进行估计。
2017-09-08 cs.CV
Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry
Wyant College of Optical Sciences, University of Arizona(亚利桑那大学怀恩特光学科学学院);Northwestern University(西北大学);ETH Zürich(苏黎世联邦理工学院)
本文提出一种基于单次相位测量偏折术的眼动追踪方法,可在单帧内获取角膜和巩膜的密集三维表面信息,将反射点数量提升超过3000倍,并在模型眼和真实人眼上分别实现了低至0.12°和0.46°–0.97°的视线精度。
2024-11-20 cs.CV cs.HC physics.optics
A convolutional approach to reflection symmetry
我们提出了一种卷积方法来检测2D反射对称性。我们的模型,建立在复值小波卷积的产品,简化了以前的基于边缘的成对方法。作为参数为中心,而不是功能为中心,它具有一定的计算优势时,对象的大小是已知的先验,在椭圆检测应用程序中所示。在单对称情况下,该方法优于CVPR 2013对称检测竞赛数据库上的最佳性能算法。代码和一个新的数据库的二维对称检测是可用的。
2016-09-17 cs.CV
Appearance and Shape from Water Reflection
Kyoto University(京都大学)
本文介绍了水反射摄影的单像几何和形貌重建,即,捕捉直接和水反射的真实世界场景的图像。水的反射提供了一个额外的观点,以直接的视线,共同形成一个立体对。然而,水反射的场景除了场景辐射之外还包括内部散射和反射的环境照明,这排除了直接的立体匹配。我们推导出一个原则性的迭代法,解开这个场景辐射和几何重建三维场景结构,以及其高动态范围外观。在波的存在下,我们同时恢复波的几何形状作为水面的表面法线扰动。最重要的是,我们表明,水的反射,使校准的相机。换句话说,我们第一次展示了在单次曝光中捕获直接和水反射场景形成自校准HDR折反射立体相机。我们证明了我们的方法在野外拍摄的图像数量。结果表明,一种新的手段,利用这种偶然的折反射相机。
2020-01-07 cs.CV
Wavelet-based Reflection Symmetry Detection via Textural and Color Histograms
Université Jean Monnet(让·莫奈大学);CNRS(法国国家科学研究中心);Laboratoire Hubert Curien(于贝尔·居里安实验室)
对称性是图像平面内的重要视觉属性之一,它可以通过真实世界的物体来识别几何平衡的结构。现有的对称性检测方法依赖于局部图像特征及其邻域行为的描述符,从而导致不完全对称轴候选者在全局范围内发现镜像相似性。在本文中,我们提出了一种新的反射对称检测方案,基于一个可靠的基于边缘的特征提取使用Log-Gabor滤波器,加上一个有效的投票方案参数化的相应的纹理和颜色邻域信息。四个单例和三个多例对称检测数据集上的实验评估验证了所提出的工作,以找到图像内部的全局对称性的优越成就。
2017-07-22 cs.CV
BoostRad: Enhancing Object Detection by Boosting Radar Reflections
General Motors(通用汽车);School of Electrical and Computer Engineering in Ben Gurion University of the Negev(内盖夫本-古里安大学电气与计算机工程学院)
本文提出BoostRad方法,通过第一个DNN缩小雷达点扩散函数以生成高分辨率低杂波的增强反射图像,再由第二个DNN检测目标,在RADDet和CARRADA数据集上优于参考方法。
2024-04-27 cs.CV
Salient Object Detection by Lossless Feature Reflection
Dalian University of Technology(大连理工大学);University of Adelaide(阿德莱德大学);Shanghai Jiao Tong University(上海交通大学)
显著性目标检测的目的是识别和定位图像中最显著的像素或区域,由于其广泛的实际应用,引起了越来越多的关注。然而,这种视觉任务是相当具有挑战性的,特别是在复杂的图像场景下。受自然图像的内在反射的启发,本文提出了一种新的用于大规模显著目标检测的特征学习框架。具体来说,我们设计了一个对称的全卷积网络(SFCN),在无损特征反射的指导下学习互补显著性特征。显着对象的位置信息,连同上下文和语义信息,被联合利用来监督所提出的网络,以进行更准确的显着性预测。此外,为了克服边界模糊的问题,我们提出了一个新的结构损失函数学习清晰的对象边界和空间一致的显着性。粗预测结果有效地细化这些结构信息的性能改善。在七个显著性检测数据集上的大量实验表明,我们的方法始终具有优异的性能,并且优于最近的最先进的方法。
2018-04-17 cs.CV
Single Image Reflection Removal through Cascaded Refinement
Huazhong University of Science and Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院);Cornell University(康奈尔大学)
我们解决了从通过玻璃表面捕获的单个图像中去除不期望的反射的问题,这是一个不适定的,具有挑战性的,但实际上是重要的照片增强问题。受社交网络中隐藏社区发现的迭代结构简化的启发,我们提出了一种迭代Boost卷积LSTM网络(IBCLN),它可以实现级联预测以消除反射。IBCLN是一个级联网络,它以一种可以提高预测质量的方式迭代地细化透射层和反射层的估计,并且使用LSTM传输级联步骤中的信息。直觉告诉我们,传递是强有力的、占主导地位的结构,而反射是弱有力的、隐藏的结构。它们在单个图像中彼此互补,因此在一侧上从原始图像更好地估计和减少导致在另一侧上更准确的估计。为了便于多个级联步骤的训练,我们使用LSTM来解决消失梯度问题,并提出残余重建损失作为进一步的训练指导。此外,我们创建了一个具有反射和地面实况传输层的真实图像数据集,以缓解数据不足的问题。综合实验结果表明,与现有的反射去除方法相比,该方法能有效去除真实图像和合成图像中的反射。
2020-04-05 cs.CV
Multiple Reflection Symmetry Detection via Linear-Directional Kernel Density Estimation
Université Jean Monnet(让·莫奈大学);CNRS(法国国家科学研究中心);Centre Interdisciplinaire d’Etudes et de Recherches sur l’Expression Contemporaine(当代表达跨学科研究中心)
对称性是一个重要的构图特征,它通过研究像平面内的相似边来实现。它对认识宇宙中的人造或自然物体有着至关重要的作用。最近的对称性检测方法在极坐标系中的不同投票图上使用平滑核来检测对称峰,这以低效的方式分割对称轴候选区域。我们提出了一个可靠的投票表示加权线性方向核密度估计的基础上,检测具有挑战性的现实世界和合成图像的多重对称。在两个公开数据集上的实验结果表明,该算法在检测图像主要形状的全局对称轴方面具有优越的性能。
2017-04-21 cs.CV
Salient Object Detection with Lossless Feature Reflection and Weighted Structural Loss
Dalian University of Technology(大连理工大学);Shanghai Jiao Tong University(上海交通大学);University of Adelaide(阿德莱德大学)
显著性目标检测(SOD)是一种旨在识别和定位图像中最显著的像素或区域的方法,由于其广泛的实际应用而受到越来越多的关注。然而,这种视觉任务是相当具有挑战性的,特别是在复杂的图像场景下。受自然图像的内在反射的启发,本文提出了一种新的用于大规模显著目标检测的特征学习框架。具体来说,我们设计了一个对称的全卷积网络(SFCN),在无损特征反射的指导下有效地学习互补显著性特征。显着对象的位置信息,连同上下文和语义信息,被联合利用来监督所提出的网络,以进行更准确的显着性预测。此外,为了克服边界模糊的问题,我们提出了一个新的加权结构损失函数,以确保清晰的对象边界和空间一致的显着性。粗预测结果有效地细化这些结构信息的性能改善。在七个显著性检测数据集上的大量实验表明,我们的方法始终具有优异的性能,并且以较大的幅度优于最近的最先进的方法。
2019-01-21 cs.CV
Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering
King Abdullah University of Science and Technology(沙特阿拉伯国王阿卜杜拉科技大学)
同时重建的几何形状和反射特性在不受控制的环境仍然是一个具有挑战性的问题。在本文中,我们提出了一种有效的方法来重建场景的三维几何形状和反射率从多视角摄影使用传统的手持相机。我们的方法自动建立一个虚拟场景中的微分渲染系统,大致匹配现实世界的场景参数,通过最小化光度目标交替和随机优化。与最佳的场景参数的评估,照片真实感的新的意见,然后可以生成各种视角和距离,我们的方法。我们提出了复杂的几何形状和各种反射类型的捕获场景的结果。我们的方法也表现出优越的性能相比,国家的最先进的替代品在新的视图合成视觉和定量。
2022-02-28 cs.CV
NeRD: Neural 3D Reflection Symmetry Detector
Univ. of California Berkeley(加州大学伯克利分校);Univ. of Southern California(南加州大学)
最近的进展表明,对称性,大多数物体表现出的结构先验,可以支持各种单视图3D理解任务。然而,从图像中检测3D对称性仍然是一项具有挑战性的任务。以前的作品要么假设对称性是给定的,要么用基于几何的方法检测对称性。在本文中,我们提出了NeRD,一个神经3D反射对称检测器,它结合了基于学习的识别和基于几何的重建的强度,以准确地恢复对象的镜面的法线方向。具体来说,我们首先枚举的对称平面与粗到细的策略,然后找到最好的,通过建立3D成本卷检查图像内的像素对应的对称性。我们的实验表明,用我们的方法检测到的对称平面比直接CNN回归在合成和真实世界数据集上的平面更准确。我们还证明了检测到的对称性可以用于提高下游任务的性能,如姿势估计和深度图回归。本文的代码已在https://github.com/zhou13/nerd上公布。
2021-04-19 cs.CV
Location-aware Single Image Reflection Removal
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Shanghai Jiao Tong University(上海交通大学);Clemson University(克莱姆森大学);City University of Hong Kong(香港城市大学)
本文提出了一种新的基于位置感知深度学习的单幅图像反射消除方法。我们的网络有一个反射检测模块,以多尺度拉普拉斯特征作为输入,回归概率反射置信度图。这个概率图告诉一个区域是反射主导还是透射主导,它被用作网络在预测反射和透射层时控制特征流的线索。我们将我们的网络设计为一个递归网络,以在每次迭代时逐步改进反射去除结果。新颖之处在于,我们利用拉普拉斯核参数来强调强反射的边界。该方法有利于强反射波的检测,并大大提高了去反射效果的质量。大量的实验验证了所提出的方法比国家的最先进的方法的优越性能。我们的代码和预训练模型可以在https://github.com/zdlarr/Location-aware-SIRR上找到。
2021-08-19 cs.CV