Integrating Intermediate Layer Optimization and Projected Gradient Descent for Solving Inverse Problems with Diffusion Models
uestc（电子科技大学）
针对基于扩散模型的逆问题求解方法计算开销大、收敛欠佳的问题，提出DMILO与DMILO-PGD两种方法，通过中间层优化降内存、稀疏偏差扩范围、融合投影梯度下降优收敛，经多数据集实验验证性能优于现有最优方法。
2025-09-04 cs.CV cs.LG
Patch Gradient Descent: Training Neural Networks on Very Large Images
UiT The Arctic University of Norway（挪威北极大学）
传统的CNN模型是在相对低分辨率的图像（<300 px）上训练和测试的，由于计算和内存限制，无法直接在大规模图像上操作。我们提出了补丁梯度下降（PatchGD），一个有效的学习策略，允许训练现有的CNN架构上的大规模图像在一个端到端的方式。PatchGD基于这样一个假设，即不是一次对整个图像执行基于梯度的更新，而是应该可以通过一次只对图像的一小部分执行模型更新来实现良好的解决方案，从而确保在迭代过程中覆盖大部分图像。因此，PatchGD在大规模图像上训练模型时广泛享有更好的内存和计算效率。PatchGD在两个数据集上进行了全面评估- PANDA和UltraMNIST，在不同的内存限制下使用ResNet 50和MobileNetV 2模型。我们的评估清楚地表明，PatchGD在处理大型图像时比标准的梯度下降方法更稳定和有效，特别是在计算内存有限的情况下。
2023-01-31 cs.CV
Quantifying the Preferential Direction of the Model Gradient in Adversarial Training With Projected Gradient Descent
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah School of Medicine（犹他大学医学院）；University of Utah（犹他大学）
本文定义对抗训练后模型梯度的偏好方向，并提出基于生成对抗网络最小残差的对齐度量，证明PGD模型对齐更强且强化该对齐可提升鲁棒性。
2023-04-20 cs.CV cs.LG stat.ML
On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective
Tel Aviv University（特拉维夫大学）
不适定线性反问题出现在许多科学系统中，通常通过求解由数据保真度和先验项组成的最优化问题来解决。最近，一些作品已经考虑了反投影（BP）为基础的保真度项作为一种替代常见的最小二乘（LS），并表现出良好的效果流行的反问题。这些工作还经验性地表明，使用BP项而不是LS项，需要更少的优化算法迭代。在本文中，我们研究的收敛速度的投影梯度下降（PGD）算法的BP目标。我们的分析可以确定其更快的收敛速度相比，使用LS目标的内在来源，同时只做温和的假设。我们还分析了更一般的近端梯度法在松弛收缩条件下对先验的近端映射的影响。该分析进一步突出了BP算法在线性测量算子条件不好时的优势。用$\ell_1$ -范数和基于GAN的先验进行的数值实验证实了我们的理论结果。
2021-08-08 cs.CV cs.LG cs.NA
Homogeneous Vector Capsules Enable Adaptive Gradient Descent in Convolutional Neural Networks
Brunel University London（伦敦布鲁内尔大学）；Bradley University（布拉德利大学）
胶囊是Geoffrey Hinton给向量值神经元起的名字。传统上，神经网络为激活的神经元产生标量值。另一方面，胶囊产生一个值的向量，Hinton认为这对应于一个单一的复合特征，其中向量分量的值表示特征的属性，如变换或对比度。我们提出了一种参数化和训练胶囊的新方法，我们称之为同质向量胶囊（HVC）。我们通过实验证明，与使用单个最终完全连接层的CNN相比，改变卷积神经网络（CNN）以使用HVC可以实现更高的分类准确性，而不会增加其架构中的参数或操作数量。此外，HVC的引入使得能够使用自适应梯度下降，减少了模型的可实现精度对非自适应优化器的微调超参数的依赖性。我们证明了我们的方法和结果，使用两个神经网络架构。首先，一个非常简单的单片CNN，当使用HVC时，与基线架构相比，前1分类准确度提高了63%，前5分类准确度提高了35%。其次，使用称为Inception v3的CNN架构，在有和没有HVC的情况下都实现了类似的准确性。此外，当使用HVC时，简单的单片CNN在超过300个时期后没有显示过拟合，而基线在30个时期后显示过拟合。我们使用ImageNet ILSVRC 2012分类挑战数据集与两个网络。
2021-01-27 cs.CV cs.LG
Gradient Descent Learns One-hidden-layer CNN: Don't be Afraid of Spurious Local Minima
Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
我们考虑学习具有非重叠卷积层和ReLU激活的单隐藏层神经网络的问题，即，$f(\mathbf{Z}, \mathbf{w}, \mathbf{a}) = \sum_j a_jσ(\mathbf{w}^T\mathbf{Z}_j)$，其中卷积权重$\mathbf{w}$和输出权重$\mathbf{a}$都是要学习的参数。当标签是从相同的结构与固定权重$(\mathbf{w}^*, \mathbf{a}^*)$的教师网络的输出，我们证明了高斯输入$\mathbf{Z}$，有一个虚假的局部极小。令人惊讶的是，在存在伪局部最小值的情况下，仍然可以证明具有来自随机初始化权重的权重归一化的梯度下降以恒定概率恢复真实参数，该概率可以通过多次重启提升到概率$1$。我们还表明，与恒定的概率，相同的程序也可以收敛到虚假的局部最小值，局部最小值发挥了重要作用的动态梯度下降。此外，定量分析表明，梯度下降动态有两个阶段：它开始缓慢，但收敛速度快得多，经过几次迭代。
2018-06-15 cs.AI cs.CV cs.LG
CNNs are Globally Optimal Given Multi-Layer Support
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
随机梯度下降（SGD）是训练现代CNN的核心工具。虽然给出了令人印象深刻的经验表现，但收敛速度可能很慢。在本文中，我们探索了一种新的策略，用于使用交替策略训练CNN，该策略在训练过程中提供了大量的加速。我们做出了以下贡献：（i）用正硬阈值替换CNN中的ReLU非线性，（ii）将这种非线性重新解释为二进制状态向量，如果多层支持已知，则使整个CNN线性，以及（iii）证明在某些条件下，可以通过局部下降找到CNN的全局最优解。然后，我们采用了一种新的交替策略（在权重和支持度之间）进行CNN训练，这导致了更快的收敛速度，良好的理论属性，并在大规模数据集（例如ImageNet）以及其他标准基准上实现了最先进的结果。
2017-12-14 cs.CV cs.LG cs.NE
Image Restoration by Deep Projected GSURE
Tel-Aviv University（特拉维夫大学）；Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；Weizmann Institute of Science（魏茨曼科学研究所）
不适定逆问题在许多图像处理应用中都存在，如去模糊、超分辨率等。近年来，基于深度卷积神经网络（CNN）的解决方案显示出巨大的前景。然而，这些使用外部数据训练CNN的技术中的大多数都限于在训练阶段使用的观察模型。最近的一种替代方案没有这个缺点，它依赖于使用内部学习来学习目标图像。一个突出的例子是深度图像先验（DIP）技术，该技术直接在输入图像上训练网络，具有最小平方损失。在本文中，我们提出了一个新的图像复原框架，是基于最小化损失函数，其中包括“投影版本”的广义SteinUnbiased风险估计（GSURE）和参数化的潜像的CNN。我们展示了两种使用我们的框架的方法。在第一个中，没有使用显式先验，我们表明，所提出的方法优于其他内部学习方法，如DIP。在第二个，我们表明，我们的GSURE为基础的损失导致性能提高时，使用的即插即用先验方案。
2021-02-04 cs.CV eess.IV
SAR Image Classification Based on Spiking Neural Network through Spike-Time Dependent Plasticity and Gradient Descent
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Suzhou Research Institute, Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院苏州研究院）
目前，基于卷积神经网络（CNN）的合成孔径雷达（SAR）图像分类方法面临着抗噪性和泛化能力差等问题。脉冲神经网络（SNN）是类脑智能的核心组成部分之一，具有良好的应用前景。本文利用具有复杂时空信息的脉冲序列，构造了一个基于SNN的无监督和监督学习的SAR图像分类器。本文首先阐述了发放神经元模型、SNN的感受野和发放序列的构造。在此基础上，提出了基于STDP的无监督学习算法和基于梯度下降的监督学习算法。单层和双层无监督学习SNN在MSTAR数据集上对三类图像的平均分类准确率分别为80.8%和85.1%。此外，无监督学习的收敛输出尖峰序列可以用作教学信号。基于TensorFlow框架，从底层构建单层监督学习SNN，分类准确率达到90.05%。通过比较SNN和CNN的抗噪性和模型参数，验证了SNN的有效性和突出优势。重现我们实验的代码可在\url{https://github.com/Jiankun-chen/Supervised-SNN-with-GD}上获得。
2021-06-15 cs.CV
A Method Based on Convex Cone Model for Image-Set Classification with CNN Features
University of Tsukuba（筑波大学）
在本文中，我们提出了一种基于凸锥模型的图像集分类方法，专注于卷积神经网络（CNN）的有效性作为输入的功能。当使用整流线性单元作为激活函数时，CNN特征具有非负值。这自然会导致我们通过凸锥对一组CNN特征进行建模，并测量凸锥的几何相似性以进行分类。为了建立这个框架，我们顺序定义多个角度之间的两个凸锥重复交替最小二乘法，然后定义使用所获得的角度锥之间的几何相似性。此外，为了增强我们的方法，我们引入了一个判别空间，最大化类间方差（间隙），并最小化投影凸锥到判别空间的类内方差，类似于Fisher判别分析。最后，分类是基于投影凸锥之间的相似性。实验结果表明，该方法的有效性使用私人，多视角的手形数据集和两个公共数据库。
2018-05-31 cs.CV stat.ML
Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients
Aalto University（阿尔托大学）；Imperial College London（帝国理工学院）；University of Adelaide（阿德莱德大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
本文提出 QP-SBGD 优化器，通过二次约束二值优化将梯度映射为二值变量，并利用量子退火器执行 NP 难投影，实现二值神经网络的高效训练，在多项任务中达到或超越现有基线。
2024-09-03 cs.CV cs.LG quant-ph
End-to-End Training of Hybrid CNN-CRF Models for Stereo
Graz University of Technology（格拉茨技术大学）；AIT Austrian Institute of Technology（奥地利技术研究所）
我们提出了一种新的和原则性的混合CNN+CRF模型的立体声估计。我们的模型允许利用两者的优点，卷积神经网络（CNN）和条件随机场（CRF）在一个统一的方法。CNN计算匹配和独特颜色边缘的表达特征，这些特征又用于计算CRF的一元和二元成本。对于推理，我们应用最近提出的高度并行的双块下降算法，只需要一个小的固定次数的迭代计算一个高质量的近似极小。作为本文的主要贡献，我们提出了一种理论上合理的方法，基于结构化输出支持向量机（SSVM）的训练混合CNN+CRF模型上的大规模数据端到端。尽管我们使用的是浅层CNN，并且没有对CRF的最终输出应用任何类型的后处理，但我们的训练模型表现得非常好。我们在具有挑战性的立体声基准测试（如Middlebury 2014和Kitti 2015）上评估了我们的组合模型，并研究了每个单独组件的性能。
2017-05-03 cs.CV
Iterative Residual CNNs for Burst Photography Applications
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究院（斯科尔科沃科技学院））
现代廉价的成像传感器受到固有的硬件约束，这通常导致捕获的图像质量差。处理这些限制的最常见方法之一是依靠连拍摄影，这是现在所有现代智能手机成像应用程序的支柱。在这项工作中，我们专注于这样一个事实，即每一帧的突发序列可以准确地描述了一个前向（物理）模型。这反过来又允许我们从一系列低质量图像中恢复一个更高质量的单个图像，作为优化问题的解决方案。受可以处理非光滑函数的梯度下降方法的扩展（即近似梯度下降）和现代深度学习技术的启发，我们提出了一种具有透明架构的卷积迭代网络。我们的网络使用低质量图像帧的突发，并且能够产生更高图像质量的输出，恢复在任何原始突发帧中无法区分的精细细节。我们专注于整个连拍摄影流水线，即连拍去马赛克和去噪，以及传统的高斯去噪任务。所开发的方法在两个任务中表现出一致的最先进性能，并且与其他最近的深度学习方法相反，对帧的数量或它们的顺序没有任何固有的限制。代码可以在https://fkokkinos.github.io/deep_burst/上找到
2019-03-29 cs.CV
Projected Distribution Loss for Image Enhancement
Google Research（谷歌研究院）
从对象识别CNN获得的特征已被广泛用于测量图像之间的感知相似性。这种可区分的度量可以用作感知学习损失以训练图像增强模型。然而，输入和目标特征之间的距离函数的选择可能会对训练模型的性能产生相应的影响。虽然使用所提取的特征之间的差异的范数导致细节的有限幻觉，但是测量特征分布之间的距离可以生成更多的纹理;还有更多不现实的细节和伪影。在本文中，我们证明了聚合CNN激活之间的1D-Wasserstein距离比现有方法更可靠，并且可以显着提高增强模型的感知性能。更明确地说，我们表明，在成像应用中，如去噪，超分辨率，去马赛克，去模糊和JPEG伪影去除，建议的学习损失优于目前最先进的基于参考的感知损失。这意味着所提出的学习损失可以插入到不同的成像框架中，并产生感知上逼真的结果。
2021-05-17 cs.CV eess.IV
Deep Learning-Guided Image Reconstruction from Incomplete Data
Washington University in Saint Louis（圣路易斯华盛顿大学）
提出了一种将深度学习结合在迭代图像重建框架内以从严重不完整的测量数据重建图像的方法。具体来说，我们利用卷积神经网络（CNN）作为最小二乘最小化过程中的准投影运算符。训练CNN以编码关于被成像的图像类别的高级信息;该信息用于减轻通过使用迭代法产生的中间图像中的伪影。该方法的结构受到邻近梯度下降方法的启发，其中邻近算子被深度CNN代替，并且通过使用线性重建算子来推广梯度下降步骤。它表明，这种方法提高了图像质量的几种情况下，有限的视图图像重建和使用CNN的迭代法相比，传统的图像重建方法的性能提高。我们测试我们的方法在几个有限的视图图像重建问题。定性和定量结果证明了最先进的性能。
2017-09-02 cs.CV cs.LG
What do CNN neurons learn: Visualization & Clustering
Shanghai Jiao Tong University（上海交通大学）
近年来，卷积神经网络（CNN）在各种任务中取得了惊人的进展。然而，尽管性能很高，但训练和预测过程仍然是一个黑匣子，这使得提取神经元在CNN中学习的内容成为一个谜。在本文中，我们解决的问题，解释一个CNN从输入图像的焦点和偏好，神经元的支配，激活和贡献的一个具体的最终预测方面。具体来说，我们使用两种技术-可视化和聚类-来解决上述问题。可视化部分采用图像像素的梯度下降方法，聚类部分提出了两种算法分别对图像类别和网络神经元进行聚类。实验和定量分析证明了这两种方法在解释神经元学习什么这一问题上的有效性。
2020-10-18 cs.CV cs.LG
Provably Convergent Learned Inexact Descent Algorithm for Low-Dose CT Reconstruction
University of Florida（佛罗里达大学）；Sichuan University（四川大学）；Georgia State University（佐治亚州立大学）
我们提出了一种可证明收敛的方法，称为有效的学习下降算法（ELDA），低剂量CT（LDCT）重建。ELDA是一种高度可解释的神经网络结构，具有学习参数，同时保留了经典优化算法的收敛保证。为了提高重建质量，建议ELDA还采用了一个新的非局部特征映射和相关的正则化。我们在一组LDCT重建问题上将ELDA与几种最先进的深度图像方法（例如RED-CNN和Learned Primal-Dual）进行了比较。数值实验表明，使用ELDA重建质量的改善，只有19层，表明ELDA的解决方案的精度和参数效率的前景表现。
2021-04-27 cs.CV eess.IV
Modelling brain lesion volume in patches with CNN-based Poisson Regression
University of Ottawa（渥太华大学）
监测病变进展对于临床缓解非常重要。病灶体积等汇总统计量客观且易于解释，可帮助临床医生评估病灶生长或衰减。CNN通常用于医学图像分割，因为它们能够在大的背景下产生有用的特征，以及它们相关的高效迭代的基于块的训练。许多CNN架构需要数十万个参数来产生良好的分割。在这项工作中，一个有效的，计算成本低的CNN实现估计的病变体素的数量在一个预定义的补丁大小从磁共振（MR）图像。CNN的输出被解释为补丁上的条件泊松参数，允许采用标准的小批量梯度下降。使用ISLES 2015（SISS）数据对模型进行训练和评估，通过从原始特征估计病变体积，准确识别了86%配对样本块的病变体积较大的病变图像。一个参数的发展和使用估计病变体积，也有助于模型选择分割。
2020-11-26 cs.CV eess.IV
Denoising and Regularization via Exploiting the Structural Bias of Convolutional Generators
Technical University of Munich（慕尼黑工业大学）；University of Southern California（南加州大学）
卷积神经网络（CNN）已经成为图像生成、恢复和复原的非常成功的工具。这一成功的一个主要因素是卷积网络对自然图像施加了很强的先验假设。一个令人惊讶的实验强调了这种对自然图像的建筑偏见，即人们可以在不使用任何训练数据的情况下从自然图像中去除噪声和损坏，通过简单地拟合（通过梯度下降）随机初始化，过度参数化的卷积生成器到损坏的图像。虽然这个过度参数化的网络可以完美地拟合损坏的图像，但令人惊讶的是，经过几次梯度下降迭代后，它生成了一个几乎未损坏的图像。这种有趣的现象使最先进的基于CNN的去噪和正则化的其他逆问题。在本文中，我们将这种效应归因于卷积网络的特定架构选择，即具有固定插值滤波器的卷积。然后，我们正式描述了将两层卷积生成器拟合到噪声信号的动态特性，并证明了早期停止的梯度下降去噪/正则化。我们的证明依赖于表明卷积生成器拟合图像的结构化部分的速度明显快于损坏的部分。
2020-02-23 cs.CV cs.IT cs.LG
