首页/论文/2102.09643

arXiv 2102.096432021-02-18cs.LGeess.SP

尝试盲约束下降实验

Attempted Blind Constrained Descent Experiments

Carnegie Mellon University（卡内基梅隆大学）

Prasad N R

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

Blind Descent使用受约束但有指导的方法来学习权重。概率密度函数在维度的无限空间中是非零的（例子：高斯和正态概率分布函数）。在Blind Descent论文中，一些隐含的想法，包括逐层训练和逐过滤器训练（具有不同的批量大小），被提出作为可能的贪婪解决方案。对类似实验的结果进行了讨论。本文实验的Octave（和提出的PyTorch变体）源代码可以在https://github.com/PrasadNR/Attempted-Blind-Constrained-Descent-Experiments-ABCDE-上找到。这与https://github.com/akshat57/Blind-Descent的原始PyTorch源代码的ABCDE衍生物进行了比较。

英文摘要：

Blind Descent uses constrained but, guided approach to learn the weights. The probability density function is non-zero in the infinite space of the dimension (case in point: Gaussians and normal probability distribution functions). In Blind Descent paper, some of the implicit ideas involving layer by layer training and filter by filter training (with different batch sizes) were proposed as probable greedy solutions. The results of similar experiments are discussed. Octave (and proposed PyTorch variants) source code of the experiments of this paper can be found at https://github.com/PrasadNR/Attempted-Blind-Constrained-Descent-Experiments-ABCDE- . This is compared against the ABCDE derivatives of the original PyTorch source code of https://github.com/akshat57/Blind-Descent .

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Blind Descent：梯度下降的前传

Blind Descent: A Prequel to Gradient Descent

Carnegie Mellon University（卡内基梅隆大学）

我们描述了神经网络的另一种学习方法，我们称之为盲下降。通过设计，Blind Descent不会面临爆炸或消失梯度等问题。在Blind Descent中，梯度不用于指导学习过程。在本文中，我们提出盲下降作为一个更基本的学习过程相比，梯度下降。我们还表明，梯度下降可以被看作是一个特定的情况下，盲下降算法。我们还训练两个神经网络架构，多层感知器和卷积神经网络，使用最一般的盲下降算法来证明概念。

2020-08-26cs.LGstat.ML

流形梯度下降法有效求解多通道稀疏盲反卷积

Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently

Carnegie Mellon University（卡内基梅隆大学）

多通道稀疏盲解卷积或卷积稀疏编码是指通过观察未知滤波器与多个稀疏输入信号的循环卷积来学习未知滤波器的问题。这个问题在信号处理、计算机视觉和逆问题中有许多应用。然而，由于观测值相对于未知滤波器和输入的双线性结构以及稀疏性约束，有效地学习滤波器是具有挑战性的。在本文中，我们提出了一种新的方法的基础上非凸优化球流形上最小化光滑代理的稀疏促进损失函数。它表明，流形梯度下降与随机初始化将可证明恢复过滤器，缩放和移位模糊，只要观察的数量是足够大的适当的随机数据模型下。数值实验表明，所提出的方法的性能与现有的比较。

2021-04-06cs.ITcs.LGeess.SP

基于熵降原型分析的高光谱盲解混

Entropic Descent Archetypal Analysis for Blind Hyperspectral Unmixing

Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（亥姆霍兹德累斯顿罗森多夫研究中心）

在本文中，我们介绍了一种新的算法，基于原型分析的盲高光谱混合，假设线性混合的端元。原型分析是完成这一任务的一个自然公式。该方法不需要存在纯像素（即，包含单一材料的像素），而是将端元表示为原始高光谱图像中存在的几个像素的凸组合。我们的方法利用熵梯度下降策略，（i）提供比传统原型分析算法更好的高光谱解混解决方案，（ii）导致高效的GPU实现。由于运行我们的算法的单个实例是快速的，我们还提出了一个集成机制以及适当的模型选择过程，使我们的方法对超参数选择具有鲁棒性，同时保持合理的计算复杂度。通过使用六个标准真实数据集，我们证明了我们的方法优于最先进的矩阵分解和最近的深度学习方法。我们还提供了一个开源的PyTorch实现：https://github.com/inria-thoth/EDAA。

2022-09-26cs.CVcs.LGeess.IV

基于盲归一化Stein变分梯度下降的蜂窝物联网智能随机接入检测

The Blind Normalized Stein Variational Gradient Descent-Based Detection for Intelligent Random Access in Cellular IoT

University of Illinois Chicago（伊利诺伊大学芝加哥分校）

针对蜂窝物联网智能随机接入中的导频冲突问题，提出基于最大似然估计的早期导频检测方案，采用盲归一化Stein变分梯度下降检测器，结合修正Hadamard变换层去噪，无需噪声功率和活跃设备数先验知识，提升检测精度和吞吐量。

2025-01-20cs.AIcs.ITcs.LG

非凸统计估计中的隐式正则化：相位恢复、矩阵完备和盲反卷积的梯度下降线性收敛

Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution

Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）

近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。

2019-07-30cs.ITcs.LGmath.IT

具有生成先验的盲解调的全局保证

Global Guarantees for Blind Demodulation with Generative Priors

Northeastern University（东北大学）；Rice University（莱斯大学）

我们研究了一种受深度学习启发的盲解调问题的公式，该问题是从两个未知向量的条目乘法中恢复两个未知向量的任务。我们考虑未知向量在已知深度生成模型$\mathcal{G}^{(1)}:\mathbb{R}^n\rightarrow\mathbb{R}^\ell$和$\mathcal{G}^{(2)}:\mathbb{R}^p\rightarrow\mathbb{R}^\ell$的范围内的情况。当生成模型所对应的网络是可扩展的，权矩阵是随机的，未知向量的维数满足$\ell = Ω(n^2+p^2)$，直到对数因子时，我们证明了经验风险目标有一个有利的优化景观.也就是说，目标函数在四个双曲曲线周围的小邻域之外的每个点处具有下降方向。我们还描述了经验风险目标的局部最大化，因此，不存在任何其他的驻点以外的这些邻域周围的四个双曲曲线和局部最大化的集合。我们还实现了梯度下降方案的启发几何景观的目标函数。为了收敛到全局最小值，该梯度下降方案利用了这样的事实，即恰好一个双曲曲线对应于全局最小值，因此该双曲曲线附近的点具有比接近其他伪双曲曲线的点更低的目标值。我们表明，这种梯度下降方案可以有效地消除失真综合介绍MNIST数据集。

2019-05-29cs.ITcs.LGmath.IT

更多相关论文收起更多论文

球面上的多通道稀疏盲反卷积

Multichannel Sparse Blind Deconvolution on the Sphere

University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协同科学实验室）；Department of Electrical and Computer Engineering（电气与计算机工程系）

多通道盲解卷积是从未知信号$f$和多个未知通道$x_i$的循环卷积$y_i=x_i \circledast f$（$i=1,2,\dots,N$）中恢复它们的问题。我们考虑的情况是，$x_i$是稀疏的，并且与$f$的卷积是可逆的。我们的非凸优化公式解决了单位球上的过滤器$h$，产生稀疏输出$y_i\circledast h$。在一些技术假设下，我们证明了目标函数的所有局部极小值对应于$f$的逆滤波器，直到一个固有的符号和移位模糊度，并且所有鞍点具有严格的负曲率。这种几何结构允许使用简单的流形梯度下降（MGD）算法成功地恢复$f$和$x_i$。我们的理论研究结果的补充数值实验，这表明所提出的方法优于以前的方法的性能。

2019-03-16cs.CVcs.ITcs.LG

差分隐私自然梯度下降

Differentially Private Natural Gradient Descent

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Metropolitan College, Boston University（波士顿大学大都会学院）

研究在差分隐私训练中，标准一阶优化器因忽略损失曲率导致效率低的问题。提出DP-NGD框架，通过解耦曲率估计等方法解决集成NGD与DP的挑战。实验证明该框架在精度和收敛速度上有显著提升，突破效用瓶颈。

2026-07-08cs.AIcs.LG

监督学习具有一个必要的几何盲区：理论、后果和最小修复

Supervised Learning Has a Geometric Blind Spot

KU Leuven（卢森堡大学）

监督学习存在几何盲区，导致对抗训练影响鲁棒性与清洁输入几何。本文通过理论分析揭示其本质，并提出PMH方法有效修复此问题。

2026-08-07cs.AIcs.CVcs.LG

两层ReLU卷积神经网络的良性过拟合

Benign Overfitting for Two-layer ReLU Convolutional Neural Networks

University of California, Los Angeles（加州大学洛杉矶分校）

该研究针对ReLU神经网络良性过拟合机制不明的问题，为带标签翻转噪声的两层ReLU卷积神经网络建立依赖算法的风险界，证明梯度下降训练可实现近零训练损失与贝叶斯最优测试风险，揭示两类过拟合的急剧转变，且合成数据实验验证了理论。

2023-11-04cs.LGmath.OCstat.ML

用于训练深度神经网络的两层 KFAC 方法的分析与比较

Analysis and Comparison of Two-Level KFAC Methods for Training Deep Neural Networks

IFPEN（法国石油与新能源研究院）

本研究探讨了通过两层方法恢复层间相互作用以改进 KFAC 的可能性，实验表明引入低频层间相互作用并未提升性能，证实了 KFAC 舍弃 FIM 非对角块的块对角近似方法已足够稳健且高效。

2023-04-03cs.LGmath.OC