Focus-and-Expand: Training Guidance Through Gradual Manipulation of Input Features
Tel Aviv University(特拉维夫大学);axilon;axilion;The Interdisciplinary Center(跨学科研究中心)
我们提出了一个简单而直观的焦点和扩展(\fax)的方法来指导神经网络的训练过程中的一个特定的解决方案。优化神经网络是一个高度非凸的问题。通常情况下,解决方案的空间很大,有许多可能的局部极小值,其中达到特定的最小值取决于许多因素。然而,在许多情况下,需要考虑输入的特定方面或特征的解决方案。例如,在存在偏差的情况下,忽略偏差特征的解决方案是更鲁棒和准确的解决方案。从参数连续方法中汲取灵感,我们建议通过输入域的逐渐变化,引导训练过程更多地考虑输入中的特定特征。\fax从每个输入数据点提取特征子集,并首先将学习器暴露给这些特征,将解决方案集中在它们上。然后,通过使用混合/混合参数$α$,它逐渐扩展学习过程以包括输入的所有特征。这个过程鼓励考虑所需的功能比其他更多。虽然不限于这一领域,我们定量评估我们的方法对各种计算机视觉任务的有效性,并实现了最先进的偏见消除,改进了现有的增强方法,并改进了图像分类任务的两个例子。通过这几个例子,我们展示了这种方法对各种问题的潜在影响,这些问题可以从理解解决方案中获益。
2020-07-15 cs.CV cs.LG stat.ML
GUN: Gradual Upsampling Network for Single Image Super-Resolution
Hefei University of Technology(合肥工业大学)
本文提出了一种基于深度卷积神经网络(CNN)的高效超分辨率(SR)方法,即渐进上采样网络(GUN)。最近的基于CNN的SR方法通常预先将低分辨率(LR)输入放大到高分辨率(HR),然后重建HR输入,或者直接重建LR输入,然后在最后一层恢复HR结果。拟议的GUN采用渐进的过程,而不是这两个常用的框架。GUN由一个输入层、多个上采样和卷积层以及一个输出层组成。通过渐进的过程,该网络可以简化直接SR问题的多步更容易的上采样任务,在每一步的放大因子非常小。最后,提出了一种渐进式火炮训练策略。在所提出的训练过程中,初始网络可以很容易地用边缘样样本训练,然后用更复杂的样本逐渐调整权重。该枪恢复效果好、逼真,训练方便。在多个图像集上的实验结果证明了该网络的有效性。
2018-07-04 cs.CV
Counterfactual Explanation Based on Gradual Construction for Deep Networks
Korea University(高丽大学);Hallym University(翰林大学)
为了理解深度网络的黑箱特性,反事实解释不仅推导出输入空间的重要特征,而且还应该如何修改这些特征以将输入分类为目标类别,这一点越来越受到关注。深度网络从训练数据集中学习到的模式可以通过观察不同类别之间的特征变化来掌握。然而,目前的方法执行特征修改以增加目标类别的分类概率,而不管深度网络的内部特征。这通常会导致偏离真实世界数据分布的不明确解释。为了解决这个问题,我们提出了一种反事实解释方法,该方法利用了从训练数据集中学习到的统计数据。特别是,我们逐步构建一个解释,通过迭代掩蔽和组成步骤。掩蔽步骤旨在从输入数据中选择要被分类为目标类别的重要特征。同时,合成步骤旨在通过确保其输出分数接近被分类为目标类的训练数据的logit空间来优化先前选择的特征。实验结果表明,我们的方法在各种分类数据集上产生了人性化的解释,并验证了这种解释可以通过较少的特征修改来实现。
2021-09-06 cs.CV cs.LG stat.ML
PointMask: Towards Interpretable and Bias-Resilient Point Cloud Processing
Autodesk AI Lab(欧特克人工智能实验室);Autodesk Research(欧特克研究院)
深度分类器倾向于将一些有区别的输入变量与它们的目标函数相关联,这反过来可能会损害它们的泛化能力。为了解决这个问题,可以设计系统的实验和/或通过可解释性方法检查模型。在本文中,我们研究了在点云上操作的深度模型上的这两种策略。我们提出了PointMask,一个模型无关的可解释的信息瓶颈的方法属性点云模型。PointMask鼓励探索输入空间中的大多数变化因素,同时逐渐收敛到一般解决方案。更具体地说,PointMask引入了一个正则化项,该正则化项最小化输入和用于屏蔽不相关变量的潜在特征之间的互信息。我们表明,将PointMask层与任意模型耦合可以识别输入空间中对预测得分贡献最大的点,从而导致可解释性。通过设计偏置实验,我们还表明,由于其逐步掩蔽功能,我们提出的方法是有效的处理数据偏差。
2020-07-09 cs.CV cs.LG
Estimation of Camera Response Function using Prediction Consistency and Gradual Refinement with an Extension to Deep Learning
National University of Singapore(新加坡国立大学)
大多数现有的方法CRF估计从一个单一的图像无法处理一般的真实图像。例如,基于从边缘提取的色块的EdgeCRF仅在噪声不明显时有效,而对于许多真实图像而言并非如此;以及CRFNet,一种基于完全监督深度学习的最新方法仅适用于训练数据中的CRF,因此无法处理训练数据之外的其他可能的CRF。为了解决这些问题,我们引入了一种使用预测一致性和逐步细化的非深度学习方法。首先,我们更多地依赖于输入图像的补丁,这些补丁提供了更一致的预测。如果从补丁的预测更一致,这意味着补丁可能受噪声或任何劣质颜色组合的影响较小,因此,它可以更可靠的CRF估计。其次,我们采用了一个渐进的细化方案,其中我们从一个简单的CRF模型开始生成一个结果,这是更强大的噪声,但不太准确,然后我们逐渐增加模型的复杂性,以改善结果。这是因为一个简单的模型,虽然不太准确,过拟合噪声比复杂的模型。实验结果表明,该方法在白天和夜间的真实图像中的识别效果优于现有的单图像方法。我们进一步提出了一个更有效的深度学习扩展,它对测试输入图像执行测试时训练(基于无监督损失)。这为我们的方法提供了比CRFNet更好的泛化性能,使其更实际地适用于一般真实图像的CRF估计。
2021-02-23 cs.CV
Streaming Networks: Increase Noise Robustness and Filter Diversity via Hard-wired and Input-induced Sparsity
JapanTaxi
CNN已经在许多应用中实现了最先进的性能。最近的研究表明,如果图像被噪声破坏,CNN的识别准确率会急剧下降。我们专注于噪声污染的图像的鲁棒识别精度的问题。我们介绍了一种新的网络体系结构称为流网络。每个流都以原始图像的某个强度切片作为输入,并且流参数被独立地训练。我们使用网络容量,硬连线和输入引起的稀疏度作为实验的维度。结果表明,只有同时存在硬连线和输入诱导稀疏性,才能实现鲁棒的噪声图像识别。流网络是唯一的架构,同时具有两种类型的稀疏性,并表现出更高的鲁棒性噪声。最后,为了说明滤波器多样性的增加,我们说明了随着硬连线和域引起的稀疏度和容量的增加,第一卷积层的滤波器权重的分布逐渐接近均匀分布。
2020-04-09 cs.CV eess.IV
Gradual Network for Single Image De-raining
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Sun Yat-sen University(中山大学);SenseTime Research(商汤科技研究院)
单幅图像去雨的最大进展遇到了一个关键的挑战,即去除不同尺度和形状的雨条纹,同时保持图像的细节。现有的单图像去雨方法将雨纹去除直接视为逐像素回归的过程。然而,他们缺乏挖掘过度去雨(例如,在无雨区域去除纹理细节)和欠去雨(例如,留下雨条纹)之间的平衡。在本文中,我们首先提出了一个由粗到细的网络称为渐进网络(GraNet),由粗阶段和细阶段,用于研究不同粒度的单张图像去雨。具体来说,为了揭示粗粒度的雨纹特征(例如长而厚的雨纹/雨滴),我们提出了一个粗糙的阶段,通过利用局部-全局空间依赖性通过局部-全局子网络组成的区域感知块。取残差结果(粗糙的去雨结果)之间的雨图像样本(即输入数据)和粗调级的输出(即,学习的雨掩模)作为输入,细雨阶段通过去除细粒雨条纹来继续除雨(例如,小雨条纹和水雾),以通过统一的上下文合并子系统获得无雨和良好重建的输出图像。网络中有密集块和合并块。对合成数据和真实数据进行的扎实而全面的实验表明,我们的GraNet可以通过去除各种密度,尺度和形状的雨条纹,同时保持无雨区域的图像细节,从而显着优于最先进的方法。
2019-09-20 cs.AI cs.CV cs.MM
Deep Image Matting with Flexible Guidance Input
Shanghai University(上海大学)
图像抠图是一个重要的计算机视觉问题。现有的许多抠图方法需要手工制作的三重图来提供辅助信息,这是非常昂贵的,并限制了现实世界的使用。最近,已经提出了一些trimap自由的方法,完全摆脱任何用户输入。然而,由于缺乏指导信息,它们的性能远远落后于基于trimap的方法。在本文中,我们提出了一种抠图方法,使用灵活的指导输入作为用户提示,这意味着我们的方法可以使用trimap,scribblemap或clickmap作为指导信息,甚至没有任何指导输入。为了实现这一点,我们提出了渐进三重图变形(PTD)方案,随着训练步长的增加,逐渐缩小前景和背景的三重图的面积,最终成为一个涂鸦。为了使我们的网络对任何用户的涂鸦和点击都具有鲁棒性,我们在前景和背景上随机采样点并执行曲线拟合。此外,我们提出了语义融合模块(SFM),利用特征金字塔增强模块(FPEM)和联合金字塔上采样(JPU)在抠图任务的第一次。实验结果表明,与现有的基于trimap和无trimap的方法相比,我们的方法可以达到最先进的结果。
2021-10-21 cs.CV cs.LG
IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation
Shanghai Jiao Tong University(上海交通大学);Youtu Lab, Tencent(腾讯优图实验室)
现有的视频帧插值算法从连续的输入中生成中间帧,通常依赖于复杂的模型结构,具有大量的参数和较大的延迟,阻碍了它们在各种实时应用中的应用。在这项工作中,我们设计了一个高效的编码器-解码器为基础的网络,称为IFRNet,快速中间帧合成。它首先从给定的输入中提取金字塔特征,然后将双边中间流场与强大的中间特征一起细化,直到生成所需的输出。逐步细化的中间特征不仅可以方便中间流估计,而且可以补偿上下文细节,使得IFRNet不需要额外的合成或细化模块。为了充分发挥其潜力,我们进一步提出了一种新的面向任务的光流蒸馏损失,专注于学习有用的教师知识,对帧合成。同时,在逐步细化的中间特征上增加了一个新的几何一致性正则项,以保持更好的结构布局。各种基准测试的实验结果表明,所提出的方法具有良好的性能和快速的推理速度。代码可在https://github.com/ltkong218/IFRNet上获得。
2022-05-29 cs.CV
Progressive Image Super-Resolution via Neural Differential Equation
Hanyang University(汉阳大学)
我们提出了一种新的方法,图像超分辨率(SR)的任务,逐步恢复高分辨率(HR)图像从输入的低分辨率(LR)图像的神经常微分方程的基础上。特别是,我们新制定的SR问题作为一个初始值的问题,其中的初始值是输入LR图像。与传统的渐进式SR方法,使用简单的迭代机制进行逐步更新,我们的SR过程中制定了一个具体的方式,明确的建模的基础上,有一个更清晰的理解。我们的方法可以使用传统的神经网络轻松实现图像恢复。此外,所提出的方法可以超分辨率的图像与连续域上的任意比例因子,并实现优越的SR性能比国家的最先进的SR方法。
2022-01-24 cs.CV eess.IV
Quantification and Analysis of Layer-wise and Pixel-wise Information Discarding
Southern University of Science and Technology(南方科技大学);Shanghai Jiao Tong University(上海交通大学)
提出了一种解释深度神经网络(DNN)中每个输入变量的信息在前向传播过程中如何被逐渐丢弃的方法,为解释DNN提供了新的视角。我们定义了两种类型的基于熵的度量,即(1)丢弃前向传播中使用的逐像素信息,以及(2)输入重建的不确定性,以从两个角度测量特定层包含的输入信息。与以前的属性度量不同,所提出的度量确保了不同DNN的不同层之间比较的公平性。我们可以使用这些指标来分析DNN中信息处理的效率,这与DNN的性能有很强的联系。我们以像素级的方式来分析信息丢弃,这与信息瓶颈理论测量特征信息w.r.t.样本分布。实验表明,我们的指标在分析经典DNN和解释现有深度学习技术方面是有效的。
2022-06-13 cs.CV cs.LG stat.ML
Multi-Cell Multi-Task Convolutional Neural Networks for Diabetic Retinopathy Grading
ShanghaiTech University(上海科技大学);Ningbo Institute of Materials Technology and Engineering(宁波材料技术与工程研究所);Shanghai University(上海大学)
糖尿病视网膜病变(DiabeticRetinopathy,DR)是糖尿病患者中不可忽视的眼部疾病,对DR筛查的视网膜图像自动分析算法的需求很高。考虑到视网膜图像的分辨率非常高,其中小的病变组织只能用大分辨率图像来检测,并且需要大的局部感受野来识别那些晚期疾病,但是由于梯度消失/爆炸问题,直接训练具有非常深的结构和高分辨率图像的神经网络既时间计算昂贵又困难,我们提出了一种\textbf{Multi-Cell}结构,它逐渐增加深度神经网络的深度和输入图像的分辨率,这既增加了训练时间,又提高了分类精度。此外,考虑到DR的不同阶段实际上是逐渐进展的,这意味着不同阶段的标签是相关的。为了考虑不同阶段的图像之间的关系,我们提出了一种\textbf{Multi-Task}学习策略,该策略结合分类和回归来预测标签。在Kaggle数据集上的实验结果表明,该方法在测试集上的Kappa值为0.841,在所有最先进的方法中排名第4。此外,我们的多细胞多任务卷积神经网络(M $^2$ CNN)解决方案是一个通用框架,可以很容易地与许多其他深度神经网络架构集成。
2018-10-11 cs.CV eess.IV
Peeking Behind the Curtains of Residual Learning
Duke University(杜克大学);University of Houston(休斯顿大学)
本文揭示普通神经网络中导致收敛失败的“输入耗散”现象,提出“普通神经网络假设”(PNNH)以支持无残差连接的深度网络训练,在视觉基准上实现相当准确率、更高吞吐量和2倍参数效率。
2024-02-13 cs.CV cs.LG
Combo Loss: Handling Input and Output Imbalance in Multi-Organ Segmentation
Simon Fraser University(西蒙弗雷泽大学);Siemens Healthineers(西门子医疗)
从不同的医学成像模式的多个器官的同时分割是一个至关重要的任务,因为它可以用于计算机辅助诊断,计算机辅助手术和治疗计划。由于深度学习的最新进展,已经成功地引入了几种用于医学图像分割的深度神经网络。在本文中,我们专注于学习标记体素的深度多器官分割网络。特别是,我们研究了一个损失函数的关键选择,以处理臭名昭著的不平衡问题,困扰的输入和输出的学习模型。输入不平衡是指输入训练样本中的类别不平衡(即,嵌入大量背景体素中的小前景对象以及不同大小的器官)。输出不平衡是指推理模型的假阳性和假阴性之间的不平衡。为了解决这两种类型的不平衡在训练和推理,我们介绍了一种新的课程学习的损失函数。具体来说,我们利用Dice相似系数来阻止模型参数保持在坏的局部最小值,同时通过使用交叉熵项惩罚假阳性/阴性来逐渐学习更好的模型参数。我们在三个数据集上评估了所提出的损失函数:具有5个靶器官的全身正电子发射断层扫描(PET)扫描、磁共振成像(MRI)前列腺扫描和具有单个靶器官的超声心动图图像,即,左心室我们表明,一个简单的网络架构与建议的综合损失函数可以优于国家的最先进的方法和竞争的方法的结果,可以改善当我们提出的损失。
2021-09-15 cs.CV
Global Robustness Evaluation of Deep Neural Networks with Provable Guarantees for the $L_0$ Norm
University of Oxford(牛津大学);University of Liverpool(利物浦大学)
在安全或安全关键系统中部署深度神经网络(DNN)需要对其正确行为的可证明保证。一个常见的要求是对输入附近的对抗性扰动的鲁棒性。在本文中,我们专注于$L_0$范数,并针对训练的DNN和输入计算输入周围的安全范数球的最大半径,其中没有对抗性示例。然后,我们定义全局鲁棒性作为一个期望的最大安全半径超过一个测试数据集。我们首先证明了这个问题是NP-困难的,然后提出了一种近似的方法来迭代计算网络鲁棒性的上下界。该方法是\emph{anytime},即,它返回随着计算的进行而逐渐但严格地改进的中间边界和鲁棒性估计; \emph{tensor-based},即,计算是在一组输入上同时进行的,而不是逐个进行的,以实现高效的GPU计算;并且具有\emph{provable guarantees},即,边界和鲁棒性估计都可以收敛到它们的最优值。最后,我们证明了所提出的方法在实践中的实用性,以计算紧边界的应用和适应的任何时候算法的一组具有挑战性的问题,包括全球鲁棒性评估,竞争性$L_0$攻击,DNN的测试用例生成,和大规模的ImageNet DNN的本地鲁棒性评估。我们通过GitHub发布所有案例研究的代码。
2018-11-20 cs.CR cs.CV cs.LG
Rethinking Coarse-to-Fine Approach in Single Image Deblurring
Korea University(高丽大学)
由粗到精的策略已被广泛用于单图像去模糊网络的结构设计。传统方法通常将具有多尺度输入图像的子网络堆叠,并且从底部子网络到顶部子网络逐渐提高图像的锐度,从而不可避免地产生高计算成本。为了实现快速、准确的去模糊网络设计,我们重新审视了由粗到精的策略,并提出了一种多输入多输出U型网络(MIMO-UNet)。MIMO-UNet有三个明显的特点。首先,MIMO-UNet的单个编码器采用多尺度输入图像,以减轻训练难度。其次,MIMO-UNet的单个解码器输出具有不同尺度的多个去模糊图像,以使用单个U形网络来模拟多级联U形网络。最后,引入非对称特征融合,以有效的方式合并多尺度特征。在GoPro和RealBlur数据集上进行的大量实验表明,该网络在准确性和计算复杂性方面都优于最先进的方法。源代码可在www.example.com上获得。
2021-09-16 cs.AI cs.CV
Progressive Attention Networks for Visual Attribute Prediction
POSTECH(浦项科技大学);Adobe Research(奥多比研究院);Seoul National University(首尔国立大学)
我们提出了一种新的注意力模型,可以准确地注意到各种规模和形状的图像中的目标对象。该模型被训练为通过在卷积神经网络的多个层上的渐进注意过程来逐渐抑制输入图像中的不相关区域。每一层中的注意过程确定是否传递或阻挡某些空间位置处的特征以供后续层使用。所提出的渐进式注意力机制工作得很好,特别是当与硬注意相结合时。我们进一步采用本地上下文,将每个位置的邻域特征,并估计一个更好的注意力概率图。在合成数据集和真实数据集上的实验表明,所提出的注意力网络在视觉属性预测任务中优于传统的注意力方法。
2018-08-06 cs.CV