Blind Image Quality Assessment Using A Deep Bilinear Convolutional Neural Network
Wuhan University（武汉大学）；New York University（纽约大学）；University of Waterloo（滑铁卢大学）
我们提出了一种用于盲图像质量评估（BIQA）的深度双线性模型，可以处理合成和真实失真。我们的模型由两个卷积神经网络（CNN）组成，每个卷积神经网络都专注于一种失真场景。对于合成失真，我们预训练一个CNN来分类图像失真类型和水平，在这里我们可以使用大规模的训练数据。对于真实的失真，我们采用预训练的CNN进行图像分类。来自两个CNN的特征被双线性地合并到一个统一的表示中，用于最终的质量预测。然后，我们使用随机梯度下降的变体在目标主题评级数据库上微调整个模型。大量的实验表明，该模型在合成数据库和真实数据库上都取得了优异的性能。此外，我们验证了我们的方法在滑铁卢探索数据库使用组最大差异化竞争的推广。
2019-07-05 cs.CV cs.MM eess.IV
Learning based Deep Disentangling Light Field Reconstruction and Disparity Estimation Application
本文提出深度解缠机制及光场重建网络DDASR，并设计块遍历角度超分辨率策略，在减少内存使用的同时实现最先进的重建性能，用于增强深度估计应用。
2023-11-14 cs.CV
Deep No-reference Tone Mapped Image Quality Assessment
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
渲染要在常规显示器上观看的高动态范围（HDR）图像的过程被称为色调映射。然而，色调映射在最终图像中引入失真，这可能导致视觉上的不愉快。为了量化这些失真，我们引入了一种新的无参考质量评估技术，这些色调映射图像。该技术由两个阶段组成。在第一阶段，我们采用卷积神经网络（CNN）通过使用地面真实失真图对其进行训练，从色调映射图像生成质量感知图（也称为失真图）。在第二阶段，我们使用非对称广义高斯分布（AGGD）对归一化图像和失真图进行建模。然后使用AGGD模型的参数来使用支持向量回归（SVR）估计质量分数。我们表明，所提出的技术提供了竞争力的性能相对于国家的最先进的技术。这项工作的新颖之处在于它能够将各种失真可视化为质量图（失真图），特别是在无参考设置中，并使用这些图作为特征来估计色调映射图像的质量分数。
2020-02-08 cs.CV cs.GR cs.LG
Capture Artifacts via Progressive Disentangling and Purifying Blended Identities for Deepfake Detection
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；School of Electronic and Information Engineering, Suzhou University of Science and Technology（苏州科技大学电子与信息工程学院）
针对现有Deepfake检测方法过度依赖全局特征导致泛化性差的问题，提出一种基于渐进式解耦和净化混合身份的检测方法，通过粗细粒度解耦结合IACC模块和对比损失分离纯净伪影特征，提升检测器泛化能力。
2024-10-15 cs.CV
Deep Attention Reweighting: Post-Hoc Attention-Based Feature Aggregation in CNNs for Disentangling Core and Spurious Features under Spurious Correlations
National University of Singapore（新加坡国立大学）
本文提出了一种基于注意力的后处理特征聚合方法DAR，通过替换全局平均池化层来减少CNN中因伪相关特征引起的纠缠，从而提升模型的泛化能力和公平性。
2026-05-20 cs.CV
CT Film Recovery via Disentangling Geometric Deformation and Illumination Variation: Simulated Datasets and Deep Models
Nanjing University（南京大学）；Imperial College London（帝国理工学院）；George Mason University（乔治梅森大学）
虽然计算机断层扫描（CT）等医学图像以DICOM格式存储在医院PACS中，但在许多国家，打印胶片作为可转移介质用于自我存储和二次咨询的目的仍然是很常见的。此外，随着手机相机的普及，拍摄CT胶片的照片是很常见的，不幸的是，CT胶片会发生几何变形和照明变化。在这项工作中，我们研究的问题，恢复CT片，这标志着在文献中的第一次尝试，尽我们所知。我们首先使用广泛使用的计算机图形软件Blender建立了一个大规模的头部CT胶片数据库CTFilm 20 K，由大约20，000张图片组成。我们还记录了所有与几何变形（如3D坐标，深度，法线和UV贴图）和照明变化（如Rectodo贴图）相关的伴随信息。然后，我们提出了一个深入的框架，使用从CT电影中提取的多个地图来协调指导恢复过程，以解开几何变形和照明变化。模拟和真实图像上的大量实验表明，我们的方法比以前的方法的优越性。我们计划开源模拟图像和深度模型，以促进CT胶片恢复的研究（https：//anonymous.4open.science/r/e6b1f6e3-9b36-423f-a225-55b7d0b55523/）。
2020-12-17 cs.CV
Boosting Deep Face Recognition via Disentangling Appearance and Geometry
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个框架，解开的外观和几何表示在人脸识别任务。为了实现这一目标，我们通过空间变换生成几何形状相同的面孔。我们证明了所提出的方法通过两种方式辅助训练过程来增强深度人脸识别模型的性能。首先，它强制早期和中间卷积层学习更多具有代表性的特征，以满足解纠缠嵌入的属性。其次，它通过几何改变面部来增加训练集。通过大量的实验，我们证明了将所提出的方法集成到最先进的人脸识别方法中，可以有效地提高其在具有挑战性的数据集（如LFW，YTF和MegaFace）上的性能。理论和实践方面的方法进行了严格的分析，有关消融研究和知识转移任务。此外，我们表明，所提出的方法学习的知识可以有利于其他人脸相关的任务，如属性预测。
2020-01-13 cs.CV cs.LG
MakeupBag: Disentangling Makeup Extraction and Application
Lightricks
本文介绍了一种新的化妆风格自动转换方法--化妆包。我们提出的技术可以将一个新的化妆风格从一个参考人脸图像转移到另一个以前看不见的面部照片。我们解决化妆解开和面部化妆应用作为可分离的目标，相比之下，其他目前的深度方法，纠缠这两个任务。MakeupBag为我们的方法提供了显著的优势，因为它允许对提取的化妆风格进行定制和像素特定的修改，这是使用当前方法不可能实现的。大量的实验，定性和数值，进行证明我们的方法产生的图像的高质量和准确性。此外，与目前大多数其他方法相比，MakeupBag处理古典和极端以及服装化妆转移。在一项比较分析中，MakeupBag的表现优于目前最先进的方法。
2020-12-03 cs.CV
Disentangling Model Multiplicity in Deep Learning
GenMind Ltd（GenMind有限公司）；Aalto University（阿尔托大学）
模型多样性是一个众所周知但知之甚少的现象，它破坏了机器学习模型的泛化保证。当两个具有相似训练时间性能的模型在预测和真实世界性能特征方面存在差异时，就会出现这种情况。这种观察到的“预测”多重性（PM）也意味着模型内部的难以捉摸的差异，它们的“代表性”多重性（RM）。我们介绍了一个概念和实验设置RM通过测量激活相似性通过奇异向量典型相关分析（SVCCA）。我们表明，在训练方法系统的某些差异导致较大的RM比别人和评估RM和PM在有限的样本作为预测的泛化能力。我们进一步将RM与通过i.i.d.中的方差测量的PM相关联。和四个标准图像数据集的分布外测试预测。最后，我们呼吁对其进行系统的测量和最大限度的暴露，而不是试图消除RM。
2023-01-31 cs.CV cs.LG
Joint Quality Assessment and Example-Guided Image Processing by Disentangling Picture Appearance from Content
Meta Video Infrastructure（Meta视频基础设施）；National Science Foundation AI Institute for Foundations of Machine Learning (IFML)（国家科学基金会人工智能基础机器学习研究院（IFML））
针对低级图像处理任务中外观与内容分离的共性，提出自监督解纠缠表示学习方法，分解内容与外观特征并构建DisQUE质量预测模型，该模型在质量预测任务上达SOTA准确率，且特征可用于示例引导的HDR色调映射等任务。
2025-08-25 cs.CV eess.IV
Blind Geometric Distortion Correction on Images Through Deep Learning
The Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）
我们提出了第一个通用的框架，自动纠正不同类型的几何失真在一个单一的输入图像。我们所提出的方法采用卷积神经网络（CNN）训练使用一个大的合成失真数据集预测失真图像和校正图像之间的位移场。模型拟合方法使用CNN输出来估计失真参数，实现更准确的预测。使用高效、高质量的重建方法，基于预测的流量生成最终的校正图像。实验结果表明，我们的算法优于传统的校正方法，并允许有趣的应用，如失真转移，失真夸大，并共同发生的失真校正。
2019-09-08 cs.CV
EnD: Entangling and Disentangling deep representations for bias correction
University of Turin（都灵大学）
人工神经网络在越来越多的任务中执行最先进的技术，现在它们被用来解决各种各样的任务。存在一些问题，如训练数据中存在偏差，这对这些模型的泛化能力提出了质疑。在这项工作中，我们提出了EnD，这是一种正则化策略，其目的是防止深度模型学习不必要的偏差。特别是，我们在深层神经网络的某个点插入一个“信息瓶颈”，在那里我们解开了关于偏差的信息，仍然让训练任务的有用信息在模型的其余部分向前传播。EnD的一大优势是我们不需要额外的训练复杂性（如解码器或模型中的额外层），因为它是直接应用于训练模型的正则化器。我们的实验表明，EnD有效地提高了无偏测试集的泛化能力，并且可以有效地应用于真实场景，例如从射线图像中去除COVID-19检测中的隐藏偏差。
2021-03-02 cs.AI cs.CV cs.LG
Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
Institute of Computing Science, Poznan University of Technology（波兹南理工大学计算机科学学院）
针对深度学习架构缺乏捕捉基础视觉概念方法的问题，提出结合领域特定语言与卷积神经网络的神经符号组合自编码器，在合成基准上实现图像形成过程解耦、小数据学习等能力。
2024-09-15 cs.CV
Fingerprint Distortion Rectification using Deep Convolutional Neural Networks
West Virginia University（西弗吉尼亚大学）
指纹的弹性变形对指纹识别系统的性能有负面影响。这种负面影响给认证应用中的用户带来了不便。然而，在用户可能故意扭曲其指纹的负面识别场景中，这可能是一个严重的问题，因为扭曲将阻止识别系统识别恶意用户。目前旨在解决这一问题的方法仍有局限性。它们通常是不准确的，因为它们基于输入样本的脊频率图和方向图来估计失真参数，由于失真，这是不可靠的。其次，它们效率不高，需要大量的计算时间来校正样本。在本文中，我们开发了一种基于深度卷积神经网络（DCNN）的校正模型，以准确地估计输入图像的失真参数。使用综合失真样本的综合数据库，DCNN学习准确估计失真基础的速度比以前方法中使用的字典搜索方法快十倍。在公开的失真样本数据库上的实验结果表明，该方法能够显著提高失真样本的匹配性能。
2018-01-03 cs.CV
DeepCorrect: Correcting DNN models against Image Distortions
近年来，深度神经网络（DNN）的广泛使用促进了计算机视觉任务（如图像分类和对象识别）性能的极大提高。在大多数现实的计算机视觉应用中，输入图像在图像获取或传输期间经历某种形式的图像失真，诸如模糊和加性噪声。在原始图像上训练的深度网络在测试这种失真时表现不佳。在本文中，我们评估了高斯模糊和加性噪声等图像失真对预训练卷积滤波器激活的影响。我们提出了一个度量来识别最易受噪声影响的卷积滤波器，并按照校正后分类精度的最高增益对它们进行排名。在我们提出的称为DeepCorrect的方法中，我们在这些排名滤波器的输出端应用具有剩余连接的卷积层的小堆栈，并对它们进行训练，以纠正受最严重失真影响的滤波器激活，同时保持网络中其余的预训练滤波器输出不变。性能结果表明，将DeepCorrect模型应用于常见的视觉任务，如图像分类（ImageNet），对象识别（Caltech-101，Caltech-256）和场景分类（SUN-397），显着提高了DNN对失真图像的鲁棒性，并优于其他替代方法。
2019-04-09 cs.CV
iWarpGAN: Disentangling Identity and Style to Generate Synthetic Iris Images
Michigan State University（密歇根州立大学）
提出iWarpGAN，通过身份与风格解耦的两条变换路径生成具有类间和类内变化的合成虹膜图像，经标准质量指标和匹配器验证，并提升深度学习虹膜匹配器性能。
2023-08-30 cs.CV
Deep Convolutional Neural Network Applied to Quality Assessment for Video Tracking
Pontificia Universidad Javeriana（哈韦里亚纳宗座大学）
监控视频在采集和存储过程中经常会出现模糊和曝光失真，这会对视频分析任务的自动图像分析结果产生不利影响。本文的目的是部署一个算法，可以自动评估存在的曝光失真的视频。在这项工作中，我们设计和建立一个架构的深度学习应用于识别失真的视频。目标是了解视频是否存在曝光失真。这种算法可以用于增强或恢复图像或创建对象跟踪器失真感知。
2018-10-26 cs.CV
Disentangling visual and written concepts in CLIP
MIT（麻省理工学院）；Harvard（哈佛大学）
CLIP网络测量自然文本和图像之间的相似性;在这项工作中，我们研究了在其图像编码器中单词图像和自然图像的表示的纠缠。首先，我们发现图像编码器具有将单词图像与由这些单词描述的场景的自然图像相匹配的能力。这与先前的研究一致，即一个词的含义和拼写可能在网络深处纠缠在一起。另一方面，我们也发现CLIP有很强的匹配无意义词的能力，这表明字母的加工与其意义的加工是分离的。为了明确确定CLIP的拼写能力是否是可分离的，我们设计了一个程序，用于识别表示子空间，选择性地隔离或消除拼写能力。我们基准我们的方法对一系列的检索任务，我们还测试他们通过测量的外观的文本在CLIP引导生成的图像。我们发现，我们的方法是能够干净地分离的CLIP从自然图像的视觉处理的拼写能力。
2022-06-15 cs.CV
A Deep Ordinal Distortion Estimation Approach for Distortion Rectification
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；Beijing Key Laboratory of Advanced Information Science and Network Technology（先进信息科学与网络技术北京市重点实验室）
本文提出一种基于深度序数畸变估计的图像畸变矫正方法，通过局部-全局关联估计网络将隐式畸变参数转化为显式序数畸变表示，在定量评估上提升约23%且视觉效果最佳。
2024-04-29 cs.CV
Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP
KAIST（韩国科学技术院）；Korea AI Safety Institute, ETRI（韩国电子通信研究院人工智能安全研究所）
本文提出信息范围作为理解CLIP表示的新维度，通过Contextual Dependency Score量化稀疏自编码器特征的广度，揭示不同信息范围特征对CLIP预测和置信度的影响差异。
2026-04-07 cs.CV
A Study and Comparison of Human and Deep Learning Recognition Performance Under Visual Distortions
Arizona State University（亚利桑那州立大学）
深度神经网络（DNN）在标准分类任务上实现了出色的性能。然而，在诸如模糊和噪声的图像质量失真下，分类精度变差。在这项工作中，我们比较了DNN与人类受试者在失真图像上的性能。我们表明，尽管DNN在高质量图像上的表现优于或与人类相当，但DNN在失真图像上的表现仍然远低于人类。我们还发现，DNN和人类受试者之间的错误几乎没有相关性。这可能表明DNN和人类视觉系统之间的图像内部表示是不同的。这些与人类表现的比较可以用来指导未来开发更强大的DNN。
2017-05-06 cs.CV
On Classification of Distorted Images with Deep Convolutional Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）
图像模糊和图像噪声是图像采集过程中常见的失真。本文系统地研究了图像失真对深度神经网络（DNN）图像分类器的影响。首先，我们研究了DNN分类器在四种类型的失真下的性能。其次，我们提出了两种方法来减轻图像失真的影响：重新训练和微调与嘈杂的图像。我们的研究结果表明，在一定条件下，与噪声图像微调可以减轻由于失真的输入的影响，是更实际的比重新训练。
2017-01-08 cs.CV
Quality Resilient Deep Neural Networks
Arizona State University（亚利桑那州立大学）
我们研究了深度神经网络对质量失真图像的分类。我们首先表明，在扭曲的数据上进行微调的网络在扭曲的数据上进行测试时，其性能大大优于原始网络。然而，经过微调的网络在未经训练的质量失真方面表现不佳。我们提出了一个混合专家模型集成方法，是强大的不同类型的失真。我们模型中的“专家”是针对特定类型的失真进行训练的。模型的输出是专家模型的加权和，其中权重由单独的门控网络确定。训练选通网络以预测特定失真类型和水平的最佳权重。在测试过程中，网络对失真水平和类型是盲目的，但仍然可以为专家模型分配适当的权重。我们还研究了混合模型的权重共享方法，并表明可以通过大幅减少独特网络参数的数量来提高性能。
2017-03-23 cs.CV
Fisheye Distortion Rectification from Deep Straight Lines
Wuhan University（武汉大学）
本文提出了一种新的线感知校正网络（LaRecNet），以解决鱼眼失真校正问题的基础上，经典的观察，在3D空间中的直线应该仍然是直的图像平面。具体来说，所提出的LaRecNet包含三个连续模块，以（1）从鱼眼图像中学习失真的直线;（2）从学习的热图和图像外观中估计失真参数;以及（3）通过所提出的可微分校正层校正输入图像。为了更好地训练和评估所提出的模型，我们创建了一个合成的线丰富的鱼眼（SLF）数据集，其中包含鱼眼图像的失真参数和良好注释的扭曲直线。所提出的方法使我们能够同时校准的几何失真参数和纠正鱼眼图像。大量的实验表明，我们的模型在几何精度和图像质量的几个评价指标方面达到了最先进的性能。特别是，通过LaRecNet校正的图像在SLF数据集上实现了0.33像素的平均重投影误差，并产生了与地面实况相比最高的峰值信噪比（PSNR）和结构相似性指数（SSIM）。
2020-03-25 cs.CV
Distortion Robust Image Classification using Deep Convolutional Neural Network with Discrete Cosine Transform
Federation University（联邦大学）
卷积神经网络在图像分类方面有很好的应用。然而，它被发现是容易受到图像质量下降。即使是少量的失真，如噪声或模糊，也会严重影响这些CNN架构的性能。文献中的大多数工作都试图通过对相互排斥或联合的扭曲训练数据集微调预训练的CNN来缓解这个问题。这种对所有已知类型失真的迭代微调过程是详尽的，网络很难处理看不见的失真。在这项工作中，我们提出了失真鲁棒的DCT-Net，这是一个基于离散余弦变换的模块，集成到建立在VGG 16之上的深度网络中。与文献中的其他作品不同，DCT-Net在训练和测试过程中对图像中的失真类型和水平都是“盲”的。作为训练过程的一部分，所提出的DCT模块丢弃主要代表高频贡献的输入信息。DCT-Net只进行一次“盲目”训练，并在通用情况下应用，无需进一步的再训练。我们还扩展了传统dropout的思想，并提出了一个训练自适应版本。我们评估了我们提出的方法对高斯模糊，运动模糊，盐和胡椒噪声，高斯噪声和斑点噪声添加到CIFAR-10/100和ImageNet测试集。实验结果表明，一旦训练，DCT网络不仅可以很好地推广到各种看不见的图像失真，而且优于文献中的其他方法。
2020-08-06 cs.CV
Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
深度生成模型有希望学习视觉对象的可解释表示，允许图像采样，合成和选择性修改。主要的挑战是学习正确建模对象的独立潜在特征，特别是其外观和姿态。我们提出了一种新的方法，学习这些特征的解开表示，并单独解释它们。训练只需要描绘相同对象外观的图像对，但不需要姿势注释。我们提出了一个额外的分类器，估计强制解除纠缠所需的最小正则化量。因此，这两种表征结合在一起可以完全解释一个图像，同时彼此独立。以前的方法的基础上对抗的方法无法强制执行这种独立性，而基于变分方法的方法导致无信息的表示。在对不同对象类别的实验中，该方法成功地重组了姿态和外观，以重建和重定位新的合成图像。我们实现了显着的改进，国家的最先进的方法，利用相同的监督水平，并达到性能相媲美的姿势监督的方法。然而，我们可以处理大量没有姿势模型/注释可用的铰接对象类。
2019-10-22 cs.CV
Cross-Spectral Face Hallucination via Disentangling Independent Factors
CASIA（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Technology Co., Ltd.（华为技术有限公司）
传感器间的差异是异构人脸识别中的一个重要问题。尽管最近的方法试图用深度生成网络来填补这一空白，但大多数方法都存在不同人脸模式之间不可避免的错位。代替成像传感器，未对准主要由与光谱无关的面部几何变化引起。而不是建立一个整体的，但复杂的结构，本文提出了一个姿势对齐的跨光谱幻觉（PACH）的方法来解开独立的因素，并在各个阶段处理它们。在第一阶段中，无监督人脸对齐（UFA）模块被设计成以生成的方式将近红外（NIR）图像的面部形状与可见光（VIS）图像的面部形状对齐，其中UV图被有效地用作形状引导。因此，第二阶段的任务变成了利用对齐的成对数据进行频谱平移。我们开发了一个纹理先验合成（TPS）模块来实现肤色控制，从而生成比现有方法更真实的VIS图像。在三个具有挑战性的NIR-VIS数据集上的实验验证了我们的方法在产生视觉上吸引人的图像和在HFR中实现最先进性能方面的有效性。
2020-03-31 cs.CV
Disentangling Shape and Pose for Object-Centric Deep Active Inference Models
IDLab（IDLab实验室）；Ghent University（根特大学）；imec（比利时微电子研究中心）
主动推理是理解大脑的第一原理方法，一般来说，有知觉的代理人，最小化自由能是唯一的命令。因此，它提供了一个计算帐户建模人工智能代理，通过定义代理的生成模型和推断的模型参数，动作和隐藏的状态信念。然而，生成模型和隐藏状态空间结构的确切规格留给实验者，其设计选择影响代理的结果行为。最近，已经提出了深度学习方法来纯粹从数据中学习隐藏的状态空间结构，从而减轻了实验者的这种繁琐的设计任务，但导致了纠缠的、不可解释的状态空间。在本文中，我们假设这样一个学习，纠缠态空间不一定产生最好的模型的自由能，并在状态空间中执行不同的因素可以产生较低的模型复杂性。特别是，我们考虑了3D对象表示的问题，并专注于ShapeNet数据集的不同实例。我们提出了一个模型，它分解了物体的形状、姿势和类别，同时仍然使用深度神经网络学习每个因素的表示。我们表明，模型，具有最好的解纠缠性能，最好的表现时，通过一个活性剂在达到首选的意见。
2022-09-16 cs.AI cs.CV cs.LG
Road Scenes Segmentation Across Different Domains by Disentangling Latent Representations
University of Padova（帕多瓦大学）
深度学习模型在道路场景理解中获得了令人印象深刻的准确性，但它们需要大量的标记样本进行训练。此外，这种模型不能很好地推广到数据的统计特性与训练场景的统计特性不完全匹配的环境中，这对智能车辆来说可能是一个重大问题。因此，领域自适应方法已被引入到标签丰富的源域上获取的知识转移到相关的标签稀缺的目标域。在这项工作中，我们设计并仔细分析了多个潜在的空间塑造正则化策略，这些策略共同作用以减少域转移。更详细地说，我们设计了一个功能聚类策略，以增加域对齐，一个功能的约束空间分开属于不同的语义类的功能，包括那些不存在于当前批次，和一个功能规范对齐策略，以分离活跃和不活跃的渠道。此外，我们提出了一种新的评估指标，以捕获自适应模型相对于监督训练的相对性能。我们在驾驶场景中验证了我们的框架，考虑到合成到真实和真实到真实的适应，在多个道路场景基准上优于以前的特征级最先进的方法。
2021-10-27 cs.CV
Understanding How Image Quality Affects Deep Neural Networks
Arizona State University（亚利桑那州立大学）
图像质量是一个重要的实际挑战，在机器视觉系统的设计中经常被忽视。通常，机器视觉系统是在高质量的图像数据集上训练和测试的，然而在实际应用中，不能假设输入图像是高质量的。最近，深度神经网络在许多机器视觉任务上获得了最先进的性能。在本文中，我们对4种最先进的深度神经网络模型进行了评估，用于质量失真下的图像分类。我们考虑五种类型的质量失真：模糊，噪声，对比度，JPEG和JPEG 2000压缩。我们表明，现有的网络容易受到这些质量失真，特别是模糊和噪声。这些结果使未来的工作能够开发对质量失真更不变性的深度神经网络。
2016-04-21 cs.CV
Rethinking Generic Camera Models for Deep Single Image Camera Calibration to Recover Rotation and Fisheye Distortion
Panasonic Corporation（松下公司）；Chubu University（中部大学）
虽然最近的基于学习的校准方法可以预测外部和内部相机参数从一个单一的图像，这些方法的准确性下降，鱼眼图像。这种退化是由实际投影和预期投影之间的不匹配引起的。为了解决这个问题，我们提出了一个通用的相机模型，有可能解决各种类型的失真。我们的通用相机模型通过相机投影的闭合形式的数值计算用于基于学习的方法。同时恢复旋转和鱼眼失真，我们提出了一种基于学习的校准方法，使用相机模型。此外，我们提出了一个损失函数，该函数描述了四个外部和内部相机参数的误差幅度的偏差。大量的实验表明，我们提出的方法优于传统的方法在两个大规模的数据集和现成的鱼眼相机捕获的图像。此外，我们是第一个使用各种类型的投影来分析基于学习的方法的性能的研究人员。
2021-11-25 cs.CV
Eddeep: a deep-learning framework for fast eddy-current distortion correction in diffusion MRI
Hawkes Institute（霍克斯研究所）；University College London（伦敦大学学院）；Institut Pasteur（巴斯德研究所）；Université Paris Cité（巴黎西岱大学）；AINOSTICS ltd.（AINOSTICS有限公司）；Fudan University（复旦大学）；Université Libre de Bruxelles (ULB)（布鲁塞尔自由大学）；University of Liège (ULiège)（列日大学）
本研究针对dMRI中涡流畸变校正方法计算成本高的问题，提出深度学习框架Eddeep，其通过两阶段网络实现与FSL Eddy相当的校正质量，同时大幅缩短推理时间，为大规模研究和临床部署提供支持。
2026-10-23 cs.CV
Disentangling Representation using Attributes-based Gaussian Estimation for Medical Sound Diagnosis
Shenyang Institute of Computing Technology, Chinese Academy of Science（中国科学院沈阳计算技术研究所）；University of Chinese Academy of Science（中国科学院大学）
本文提出AGEDR解耦表示学习框架，通过属性映射嵌入模块实现隐向量解耦，用于医疗声音诊断，性能优于传统分类模型及现有解耦方法，且具备良好的解耦能力与公平性。
2026-09-01 cs.AI cs.CV eess.AS
Disentangling multiple scattering with deep learning: application to strain mapping from electron diffraction patterns
Center for Nanoscale Materials, Argonne National Laboratory（阿贡国家实验室纳米尺度材料中心）；National Center for Electron Microscopy, Molecular Foundry, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室国家电子显微镜中心（分子工厂））；Department of Materials Science and Engineering, University of California, Berkeley（加利福尼亚大学伯克利分校材料科学与工程系）；Scientific Data Division, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室科学数据部）
实施快速、稳健且全自动的管道来确定晶体材料的晶体结构和基础应变映射对于许多技术应用非常重要。扫描电子纳米衍射提供了一个程序，用于识别和收集应变图具有良好的精度和高空间分辨率。然而，这种技术的应用是有限的，特别是在厚的样品中，电子束可以经历多次散射，这引入了信号的非线性。深度学习方法有可能反转这些复杂的信号，但以前的实现通常只在特定的晶体系统或晶体结构和显微镜参数相空间的一小部分上进行训练。在这项研究中，我们实现了一个傅立叶空间，复值深度神经网络称为FCU-Net，将高度非线性的电子衍射图案转化为相应的定量结构因子图像。我们使用超过200，000个独特的模拟动态衍射图案来训练FCU-Net，这些图案包括晶体结构，取向，厚度，显微镜参数和常见实验工件的许多不同组合。我们根据模拟和实验4D-STEM衍射数据集评估了训练的FCU-Net模型，其性能大大优于传统分析方法。我们的模拟衍射图案库、FCU-Net的实现和训练的模型权重可在开源存储库中免费获得，并可适用于许多不同的衍射测量问题。
2022-02-01 cond-mat.mtrl-sci cs.CV physics.app-ph
FishEyeRecNet: A Multi-Context Collaborative Deep Network for Fisheye Image Rectification
University of Sydney（悉尼大学）；National University of Defense Technology（国防科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；Hangzhou Dianzi University（杭州电子科技大学）
鱼眼镜头捕获的图像违反针孔相机假设，并遭受失真。因此，鱼眼图像的校正是许多计算机视觉应用的关键预处理步骤。在本文中，我们提出了一个端到端的多上下文协作深度网络，用于消除单个鱼眼图像的失真。与专注于从输入图像中提取手工特征的传统方法相反，我们的方法同时学习高级语义和低级外观特征来估计失真参数。为了便于训练，我们构建了一个综合数据集，涵盖了各种场景和失真参数设置。合成和真实世界的数据集上的实验表明，该模型显着优于当前最先进的方法。我们的代码和合成数据集将公开提供。
2018-04-13 cs.CV
Single Image Automatic Radial Distortion Compensation Using Deep Convolutional Network
Slovak Technical University（斯洛伐克技术大学）
在许多计算机视觉领域，输入图像必须符合针孔相机模型，其中真实世界中的直线在图像中被投影为直线。在现场体育广播镜头上执行计算机视觉任务提出了具有挑战性的要求，其中算法不能依赖于特定的校准模式，必须能够应对未知和未校准的摄像机、源于复杂电视镜头的径向失真、用于补偿失真的视觉线索很少以及实时性能的必要性。提出了一种基于深度卷积神经网络的单图像自动镜头畸变补偿新方法，该方法利用多项式畸变模型的两个最高阶系数，在体育广播应用领域中实现了实时性和准确性。关键词：深度卷积神经网络，径向畸变，单幅图像校正
2021-12-14 cs.AI cs.CV
Unravelling the Effect of Image Distortions for Biased Prediction of Pre-trained Face Recognition Models
IIIT-Delhi（德里印度理工学院）；IIT Jodhpur（印度理工学院焦特布尔分校）
识别和减轻深度学习算法中的偏差在过去几年中由于其对社会的影响而获得了极大的普及。研究人员认为，在具有良好代表性的平衡数据集上训练的模型在子组之间提供了平等和无偏见的性能。然而，\textit{can seemingly unbiased pre-trained model become biased when input data undergoes certain distortions?}第一次，我们试图回答这个问题的背景下，人脸识别。我们提供了一个系统的分析，以评估在不同的\textit{gender}和\textit{race}子组中存在图像失真的情况下，四种最先进的深度人脸识别模型的性能。我们已经观察到，图像失真与模型在不同子组中的性能差距有关。
2021-08-14 cs.CV
Latents2Segments: Disentangling the Latent Space of Generative Models for Semantic Segmentation of Face Images
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
随着越来越多的增强现实和虚拟现实应用程序的出现，旨在对人脸图像进行有意义的和受控的风格编辑，解析人脸图像以产生准确和细粒度的语义分割地图的任务比以往任何时候都更有动力。少数解决该问题的现有技术（SOTA）方法通过将关于面部结构或其他面部属性（诸如表情和姿态）的先验结合到其深度分类器架构中来实现。我们在这项工作中的努力是通过将SOTA多类人脸分割模型所需的先验知识和复杂的预处理操作重新构建为下游任务，在生成自动编码器模型的潜在空间中对面部语义感兴趣区域（ROI）进行解纠缠。我们目前的结果，我们的模型的性能CelebAMask-HQ和HELEN数据集。我们的模型的编码的潜在空间实现了显着更高的解纠缠的语义ROI比其他SOTA作品。此外，它实现了13%的推理速度和可比的准确性相对于公开可用的SOTA的语义分割的人脸图像的下游任务。
2022-07-06 cs.CV
Unveiling the Two-Faced Truth: Disentangling Morphed Identities for Face Morphing Detection
INESC TEC（INESC TEC（葡萄牙系统与计算机工程研究所））；University of Porto（波尔图大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
针对人脸变形攻击检测中性能与可解释性难以兼顾的问题，提出 IDistill，通过自动编码器学习并蒸馏身份分离信息，在五个数据库中三个取得最优、其余具竞争力。
2023-06-05 cs.CV cs.LG
A Screen-Shooting Resilient Document Image Watermarking Scheme using Deep Neural Network
Nanjing University of Information Science & Technology（南京信息工程大学）；Jinan University（暨南大学）
随着屏幕阅读时代的到来，屏幕上显示的机密文件可以被摄像头轻松捕获，不留任何痕迹。因此，本文提出了一种新的基于深度神经网络的文档图像截屏弹性水印方案。通过应用该方案，当嵌入水印的图像显示在屏幕上并被摄像头捕获时，水印仍然可以从捕获的照片中提取。具体来说，我们的方案是一个端到端的神经网络与编码器嵌入水印和解码器提取水印。在训练过程中，在编码器和解码器之间增加了一个失真层，用来模拟真实场景中屏幕拍摄过程中引入的失真，如摄像机失真、拍摄失真、光源失真等。此外，设计了一种嵌入强度调整策略，在保证提取精度的前提下，提高了水印图像的视觉质量。实验结果表明，该方案具有更高的鲁棒性和视觉质量比其他三个最新的艺术状态。特别地，即使在极端的拍摄距离和角度下，我们的方案也能获得很高的提取精度。
2022-03-10 cs.CV
FINDER: Zero-Shot Field-Integrated Network for Distortion-free EPI Reconstruction in Diffusion MRI
Sejong University（世宗大学）；Forschungszentrum Jülich（于利希研究中心）；Athinoula A. Martinos Center for Biomedical Imaging（Athinoula A. Martinos生物医学成像中心）；Harvard Medical School（哈佛医学院）；Hongik University（弘益大学）
本文提出FINDER网络，通过联合优化图像和B0场图，解决EPI重建中的几何失真问题，提升扩散成像质量。
2026-03-27 cs.CV eess.IV
MIMM-X: Disentangling Spurious Correlations for Medical Image Analysis
Medical Image and Data Analysis, University Hospital of Tübingen, Germany（医学图像与数据分析，图宾根大学医院，德国）；Institute for Signal Processing and System Theory, University of Stuttgart, Germany（信号处理与系统理论研究所，斯图加特大学，德国）；Stanford University, Department of Radiology, Stanford, USA（斯坦福大学放射科，斯坦福，美国）
MIMM-X通过最小化多重虚假相关性的互信息，解构医学图像分析中的因果特征，提升模型在新环境下的泛化能力。
2025-11-28 cs.AI cs.CV
Distortion Agnostic Deep Watermarking
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
水印是将信息嵌入到图像中的过程，该图像可以在失真下存活，同时要求编码图像与原始图像具有很小或没有感知差异。最近，基于深度学习的方法在各种图像失真下的视觉质量和消息有效载荷方面都取得了令人印象深刻的结果。然而，这些方法都需要在训练时的图像失真的可微模型，并可能推广到未知的失真。这是不希望的，因为应用于加水印图像的失真类型通常是未知的和不可微的。在本文中，我们提出了一个新的框架失真不可知水印，图像失真是不明确建模在训练过程中。相反，我们的系统的鲁棒性来自两个来源：对抗训练和信道编码。与在一组固定的失真和噪声水平上进行训练相比，我们的方法在训练期间可用的失真上取得了相当或更好的结果，并且在未知失真上取得了更好的性能。
2020-01-14 cs.CV cs.LG cs.MM
Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在视频数据中存在多种形式的特征信息。其中的原理是对象身份信息，其在多个视频帧中基本上是静态的，以及对象姿态和样式信息，其从帧到帧连续变换。大多数现有的模型混淆这两种类型的表示，将它们映射到一个共享的特征空间。在本文中，我们提出了一种概率方法学习可分离的表示对象的身份和姿态信息，使用无监督的视频数据。我们的方法利用了一个具有因子化先验分布的深度生成模型，该模型对隐藏特征集中的时间不变性进行编码。学习是通过变分推理实现的。我们提出了学习的身份和姿态信息的移动字符的数据集，以及旋转的3D对象的数据集的结果。我们的实验结果表明，我们的模型的成功因素，其表示，并证明该模型实现了改进的性能在迁移学习任务。
2016-12-19 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation for Cross-Modality Retinal Vessel Segmentation via Disentangling Representation Style Transfer and Collaborative Consistency Learning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
已经开发了各种深度学习模型来从医学图像中分割解剖结构，但是当在具有不同数据分布的另一个目标域上进行测试时，它们通常性能较差。最近，已经提出了无监督的域自适应方法来缓解这种所谓的域偏移问题，但它们中的大多数都是针对域偏移相对较小的场景而设计的，并且在遇到大的域间隙时可能会失败。在本文中，我们提出了DCDA，一种新的跨模态无监督域自适应框架，用于具有大域偏移的任务，例如，从OCTA和OCT图像中分割视网膜血管。DCDA主要包括一个解纠缠表示风格转换（DRST）模块和一个协同一致性学习（CCL）模块。DRST将图像分解为内容组件和样式代码，并执行样式转换和图像重建。CCL包含两个分割模型，一个用于源域，另一个用于目标域。这两个模型使用标记数据（以及相应的传输图像）进行监督学习，并对未标记数据进行协同一致性学习。每个模型都专注于相应的单个领域，旨在产生专业化的特定领域细分模型。通过对视网膜血管分割的广泛实验，我们的框架从OCTA到OCT以及从OCT到OCTA都实现了接近目标训练的oracle的Dice分数，显著优于其他最先进的方法。
2022-01-20 cs.CV eess.IV
GDCNet: Calibrationless geometric distortion correction of echo planar imaging data using deep learning
Columbia University in the City of New York（纽约市哥伦比亚大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；Columbia University Medical Center（哥伦比亚大学医学中心）；John Hopkins University（约翰斯·霍普金斯大学）
本文提出 GDCNet，通过与 T1 加权解剖图像非线性配准估计几何畸变图，无需额外校准即可快速校正 EPI 功能图像，且配准精度与速度优于 FUGUE 和 TOPUP。
2024-02-29 cs.CV eess.IV
DeepClean: Integrated Distortion Identification and Algorithm Selection for Rectifying Image Corruptions
Tata Consultancy Services（塔塔咨询服务公司）
提出DeepClean两阶段序列规划方法，通过单次前向传递实现图像失真分类与纠正算法的动态选择，在COCO数据集上优于三个基线，具备对未见算法的泛化能力。
2024-12-19 cs.CV eess.IV
Impacts of Color and Texture Distortions on Earth Observation Data in Deep Learning
RISE Research Institutes of Sweden（瑞典RISE研究院）；Centre for Mathematical Sciences, Lund University（隆德大学数学科学中心）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Swedish Centre for Impacts of Climate Extremes (climes)（瑞典气候极端影响中心）
该研究针对无失真训练的土地覆盖分类深度学习模型，系统检验其对推理阶段输入EO数据颜色与纹理失真的敏感度，发现模型对纹理失真更敏感，为开发EO领域鲁棒模型提供指导。
2024-04-12 cs.CV cs.LG
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peng Cheng Laboratory（鹏城实验室）；The University of Sydney（悉尼大学）
深度神经网络通常由大量可训练参数组成，用于从给定数据集中提取强大的特征。一方面，大量的可训练参数显著提高了这些深度网络的性能。另一方面，它们带来了过度拟合的问题。为此，基于dropout的方法在训练阶段禁用输出特征图中的一些元素，以减少神经元的协同适应。虽然这些方法可以提高模型的泛化能力，但传统的二进制丢弃并不是最佳的解决方案。因此，我们研究了与深度神经网络中间层相关的经验Rademacher复杂性，并提出了一种用于解决上述问题的特征失真方法（Disout）。在训练期间，通过利用泛化误差界，将特征图中随机选择的元素替换为特定值。在几个基准图像数据集上分析和证明了所提出的特征图失真对于产生具有更高测试性能的深度神经网络的优越性。
2020-02-23 cs.CV cs.LG stat.ML
Real-time Facial Expression Recognition "In The Wild'' by Disentangling 3D Expression from Identity
College of Engineering, Mathematics and Physical Sciences, University of Exeter（埃克塞特大学工程、数学与物理科学学院）；Institute of Computer Science (ICS), Foundation for Research and Technology - Hellas (FORTH)（希腊研究与技术基金会计算机科学研究所）
人类情绪分析一直是许多研究的焦点，特别是在情感计算领域，并且对于许多应用都很重要，例如人机智能交互、压力分析、交互式游戏、动画等。自动情绪分析的解决方案也受益于深度学习方法的发展和互联网上大量视觉面部数据的可用性。本文提出了一种新的方法，从单一的RGB图像的人类情感识别。我们构建了一个大规模的人脸视频数据集（\textbf{FaceVid}），包含丰富的面部动态，身份，表情，外观和3D姿态变化。我们使用该数据集来训练深度卷积神经网络，以估计3D Morphable Model的表情参数，并将其与有效的后端情感分类器相结合。我们提出的框架以每秒50帧的速度运行，能够鲁棒地估计3D表情变化的参数，并从野外图像中准确地识别面部表情。我们提出了广泛的实验评估表明，所提出的方法在估计3D表情参数方面优于比较技术，并在识别面部图像的基本情绪以及识别面部视频中的压力方面实现了最先进的性能。%相比，目前的艺术状态的情绪识别从面部图像。
2020-05-12 cs.CV cs.LG eess.IV
Deep-BrownConrady: Prediction of Camera Calibration and Distortion Parameters Using Deep Learning and Synthetic Data
AILiveSim Ltd.（AILiveSim有限公司）；Faculty of Information Technology and Communication Sciences, Tampere University（信息科技与通讯科学学院，塔尔基耶大学）
本文提出使用深度学习和合成数据预测相机校准和畸变参数，基于ResNet架构的模型在合成数据集上训练，以提升真实场景下的校准性能。
2025-01-24 cs.CV cs.GR cs.LG
Data Augmentation for Detection of Architectural Distortion in Digital Mammography using Deep Learning Approach
University of São Paulo（圣保罗大学）；Eco & Mama Diagnóstico Digital（Eco & Mama数字诊断公司）
早期发现乳腺癌可以提高治疗效率。架构扭曲（AD）是乳腺组织的一种非常微妙的收缩，可能是癌症的最早迹象。由于它很可能被放射科医生忽视，多年来已经提出了几种方法，但没有一种使用深度学习技术。为了训练卷积神经网络（CNN），这是一种深度神经架构，需要大量的数据。为了克服这个问题，本文提出了一种应用于临床图像数据集的数据增强方法，以正确地训练CNN。使用接收器操作特征分析的结果显示，利用非常有限的数据集，我们可以训练CNN以在数字乳腺摄影中检测AD，曲线下面积（AUC = 0.74）。
2018-07-06 cs.CV cs.LG stat.ML
Disentangling Pose from Appearance in Monochrome Hand Images
The Chinese University of Hong Kong（香港中文大学）；Facebook Reality Labs（Facebook现实实验室）
由于光照、外观和背景的变化，从单目2D图像中估计手部姿势是具有挑战性的。虽然使用深度神经网络已经取得了一些成功，但它们通常需要收集足够采样手部图像的所有变化轴的大型数据集。因此，找到一种独立于图像外观（如手的纹理，照明，背景）的手部姿势表示是有用的，这样我们就可以通过混合姿势外观组合来合成看不见的图像。在本文中，我们提出了一种新的技术，解开的姿态表示从一个互补的外观因素在2D单色图像。我们使用一个网络来监督这个解缠过程，该网络学习使用指定的姿势+外观特征生成手部图像。与以前的工作不同，我们不需要具有匹配姿势的图像对;相反，我们使用已经可用的姿势注释，并引入循环一致性的新用途，以确保因素之间的正交性。实验结果表明，我们的自解缠方案成功地分解成的姿势和互补的外观特征的可比质量的方法，使用成对的数据的手图像。此外，通过重新混合来自不同图像的姿势和外观因子，用具有不可见的手外观组合的额外合成图像训练模型可以提高2D姿势估计性能。
2019-04-16 cs.AI cs.CV
Deep Deterministic Uncertainty for Semantic Segmentation
University of Oxford（牛津大学）
我们扩展了深度确定性不确定性（DDU），一种使用特征空间密度的不确定性估计方法，用于语义分割。DDU使量化和解开认识和任意的不确定性在一个单一的向前通过模型。我们研究了同一类在不同位置的像素的特征表示的相似性，并得出结论，它是可行的，独立地应用DDU位置，这导致显着减少内存消耗相比，像素依赖DDU。在Pascal VOC 2012上使用DeepLab-v3+架构，我们证明了DDU在MC Dropout和Deep Ensembles上的改进，同时计算速度明显更快。
2021-10-29 cs.CV cs.LG
