Deep Robot Sketching: An application of Deep Q-Learning Networks for human-like sketching
Universidad Complutense de Madrid(马德里康普顿斯大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
针对现有绘画机器人控制策略简单、环境适配性差的问题,提出将DQN引入绘画机器人应用,通过人形机器人TEO的素描复现实验验证效果,为相关研究提供首个基准。
2024-02-01 cs.AI cs.CV cs.LG
Learning via social awareness: Improving a deep generative sketching model with facial feedback
Massachusetts Institute of Technology(麻省理工学院);Google Brain(谷歌大脑)
在对通用人工智能(AI)的探索中,研究人员已经探索开发损失函数,在没有外部奖励的情况下充当内在激励因素。本文认为,这样的研究忽略了一个重要的和有用的内在动机:社会互动。我们认为,让人工智能智能体意识到来自人类的隐性社会反馈,可以更快地学习更通用和有用的表示,并可能影响人工智能的安全性。我们以面部表情反应的形式收集社会反馈,这些反馈来自Sketch RNN,这是一种基于LSTM的变分自编码器(VAE),旨在生成草图。我们使用潜在约束GAN(LC-GAN)从一小群观众的面部反馈中学习,通过优化模型来生成草图,它预测将导致更积极的面部表情。我们在多个独立的评估中表明,用面部反馈训练的模型产生了更高评价的草图,并诱导了更积极的面部表情。因此,我们建立了隐式社会反馈可以提高深度学习模型的输出。
2018-08-27 cs.CV cs.HC cs.LG
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching
University of Maryland(马里兰大学)
针对受限客户端无法承载大型全局模型的问题,提出基于 count sketch 的联邦学习算法 Comfetch,降低本地计算、内存和双向通信开销,并给出非凸收敛保证与 CIFAR10/100 实验验证。
2023-09-30 cs.LG
Curvature Dynamic Black-box Attack: revisiting adversarial robustness via dynamic curvature estimation
Lanzhou University(兰州大学)
本文提出曲率动态黑盒攻击方法,通过动态曲率估计提升对抗鲁棒性分析
2025-11-28 cs.AI cs.LG
BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation"
Independent Researcher(独立研究者)
BASIS通过平衡哈希和不变标量减少激活内存,实现高效反向传播,验证了在极端空间压缩下模型的鲁棒性。
2026-03-05 cs.LG
Equivariant Test-Time Training with Operator Sketching for Imaging Inverse Problems
School of Mathematics, University of Birmingham(伯明翰大学数学学院)
本文提出基于运算子草图的等变测试时间训练方法,用于加速深度内部学习框架,通过优化归一化层实现高效网络适应,显著提升高维应用中的计算效率。
2025-12-11 cs.CV cs.LG eess.IV
Fast Graph Neural Tangent Kernel via Kronecker Sketching
Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe 研究院);Princeton University(普林斯顿大学);Duke University(杜克大学)
许多深度学习任务必须处理图形(例如,蛋白质结构、社交网络、源代码抽象语法树)。由于这些任务的重要性,人们转向图神经网络(GNNs)作为在图上学习的实际方法。GNN由于其令人信服的性能而得到广泛应用。不幸的是,使用GNN的一个主要障碍是GNN需要大量的时间和资源来进行训练。最近,一种用于在图数据上学习的新方法是图神经切线核(GNTK)[Du,Hou,Salakhutdinov,Poczos,Wang和Xu 19]。GNTK是神经切线核(NTK)[Jacot,Gabriel和Hongler 18](一种核方法)在图形数据上的应用,解决NTK回归相当于使用梯度下降来训练无限宽的神经网络。使用GNTK的主要好处是,与任何内核方法类似,GNTK的参数可以在单个步骤中直接求解。这可以避免耗时的梯度下降。同时,草图已经越来越多地用于加速各种优化问题,包括解决核回归。给定$n$图的核矩阵,在求解核回归时使用草图法,可将计算时间减少到$o(n^3)$。但不幸的是,这样的方法通常需要事先对核矩阵有广泛的了解,而在GNTK的情况下,我们发现核矩阵的构造已经是$O(n^2N^4)$了,假设每个图都有$N$节点。当图$N$的大小增加时,核矩阵构造时间可能是主要的性能瓶颈。因此,一个自然的问题是,我们是否可以加快内核矩阵的构造,以改善GNTK回归的端到端运行时间。本文首次提出了在$o(n^2N^3)$运行时构…
2021-12-04 cs.LG
Sketch Your Own GAN
Carnegie Mellon University(卡内基梅隆大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
用户可以通过绘制单个示例来创建深度生成模型吗?传统上,创建GAN模型需要收集大规模的样本数据集和深度学习的专业知识。相比之下,草图可能是传达视觉概念的最普遍的方式。在这项工作中,我们提出了一种方法,GAN草图,用于重写GANs与一个或多个草图,使GANs培训更容易为新手用户。特别地,我们根据用户草图改变原始GAN模型的权重。我们鼓励模型的输出通过跨域对抗损失来匹配用户草图。此外,我们探索不同的正则化方法,以保持原始模型的多样性和图像质量。实验表明,我们的方法可以塑造GANs,以匹配草图指定的形状和姿势,同时保持真实感和多样性。最后,我们展示了所得到的GAN的一些应用,包括潜在空间插值和图像编辑。
2021-09-20 cs.CV cs.LG
Sketch-based Creativity Support Tools using Deep Learning
University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);Apple, Inc.(苹果公司)
素描是一种自然而有效的视觉传达媒介,常用于创作过程。深度学习模型的最新发展大大提高了机器理解和生成视觉内容的能力。一个令人兴奋的开发领域探索了用于模拟人类草图的深度学习方法,为创造性应用提供了机会。本章描述了开发深度学习驱动的创意支持工具的三个基本步骤,这些工具使用并生成草图:1)数据汇集工作,在草图和移动用户界面之间生成了一个新的配对数据集; 2)基于草图的用户界面检索系统,该系统采用了最先进的计算机视觉技术;以及3)会话式草图绘制系统,其支持基于自然语言的草图/评论创作过程的新颖交互。在本章中,我们调查了深度学习和人机交互社区的相关先前工作,详细记录了数据汇集过程和系统架构,呈现了定性和定量结果,并描绘了这个令人兴奋的领域的几个未来研究方向的前景。
2021-11-19 cs.HC cs.LG
Too Sharp, Too Sure: When Calibration Follows Curvature
Massachusetts Institute of Technology(麻省理工学院)
本文研究了校准作为训练过程中的现象,在小视觉任务中探讨校准是否可通过干预训练过程可靠获得,发现校准、曲率和边距之间存在紧密联系,并提出一种关注边距的训练目标以提升校准性能。
2026-04-22 cs.LG math.DS math.OC
Deep Echo State Networks for Diagnosis of Parkinson's Disease
Department of Computer Science University of Pisa(比萨大学计算机科学系(更准确的常见译法))
在本文中,我们介绍了一种新的方法,用于诊断帕金森病(PD)的基础上深回声状态网络(ESN)。通过分析在绘制螺旋测试草图期间从平板设备收集的整个时间序列来执行PD的识别,而不需要特征提取和数据预处理。我们在一个公共的螺旋测试数据集上评估了所提出的方法。实验分析结果表明,DeepESN的性能明显优于浅层ESN模型。总体而言,所提出的方法获得了国家的最先进的结果,在这种时间数据的PD识别。
2018-02-19 cs.LG
A Unified Theory of Random Projection for Influence Functions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种统一理论,探讨随机投影在保持影响函数时的条件,并提供了选择草图大小的指导。
2026-02-13 cs.AI cs.LG
Vanishing Curvature and the Power of Adaptive Methods in Randomly Initialized Deep Networks
ETH Zurich(苏黎世联邦理工学院)
本文回顾了所谓的消失梯度现象,这通常发生在深度随机初始化神经网络。利用对神经链的深入分析,我们首先证明,当网络宽度小于O(深度)时,即使使用流行的Xavier和He初始化初始化,也无法规避消失梯度。其次,我们扩展到二阶导数的分析,并表明,随机i.i.d.初始化也会产生Hessian矩阵,其特征谱随着网络深度的增长而消失。每当这种情况发生时,优化器都会在一个非常平坦的鞍点状高原中初始化,这是特别难以用随机梯度下降(SGD)逃脱的,因为它的逃脱时间与曲率成反比。我们认为,这一观察结果对于充分理解(a)使用香草SGD训练深度网络的历史困难,(b)自适应梯度方法的成功(自然适应曲率,从而快速逃离平坦高原)以及(c)现代架构组件(如剩余连接和归一化层)的有效性至关重要。
2021-06-07 cs.LG
Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation
Northwestern University(西北大学)
现有的修剪深度神经网络的方法集中于去除训练网络的不必要的参数,并且之后对模型进行微调以找到恢复训练模型的初始性能的好的解决方案。与其他工作不同,我们的方法特别注意压缩模型中的解的质量和通过修剪神经元的推理计算时间。该算法通过探索Hessian的谱半径来指导压缩模型的参数朝向更平坦的解,从而在看不见的数据上产生更好的泛化。此外,该方法不与预先训练的网络一起工作,并且同时执行训练和修剪。我们的结果表明,它改善了神经元压缩的最先进的结果。该方法能够实现非常小的网络,在不同的神经网络模型的精度下降很小。
2021-11-16 cs.LG
Weak-SIGReg: Covariance Regularization for Stable Deep Learning
Kreasof AI Jakarta, Indonesia(Kreasof AI 印度尼西亚雅加达)
Weak-SIGReg通过协方差正则化稳定深度学习训练,有效恢复ViT在低数据情况下的性能并提升MLP收敛性。
2026-03-06 cs.LG
On Explicit Curvature Regularization in Deep Generative Models
Korea Institute for Advanced Study(韩国高等研究院);Seoul National University(首尔国立大学);Saige Research(Saige研究院)
本文提出基于曲率的深度生成模型正则化方法,推导内蕴与外蕴曲率的坐标不变公式及高效近似算法,并在含噪声运动捕捉数据上验证其优于现有自编码器正则化方法。
2023-09-19 cs.AI cs.LG
On the curvature of the loss landscape
Technical University of Denmark(丹麦技术大学);ETH Zurich(苏黎世联邦理工学院)
本文将深度网络的损失景观建模为黎曼流形,通过解析计算标量曲率,从微分几何角度建立其与模型泛化能力之间的联系。
2023-07-10 cs.LG
Deep Curvature Suite
Oxford University(牛津大学);Samsung AI Moscow(三星莫斯科人工智能中心)
我们介绍了MLRG Deep Curvature套件,这是一个基于PyTorch的开源软件包,用于分析和可视化神经网络曲率和损失景观。尽管提供了丰富的信息到神经网络的属性和有用的各种设计任务,曲率信息仍然没有充分利用各种原因,我们的方法旨在弥合这一差距。我们提出了一个引物,包括其主要的实际需求和常见的误解,\textit{Lanczos algorithm},我们的包的理论骨干,并提出了一系列的例子的基础上合成玩具的例子和现实的现代神经网络测试CIFAR数据集,并显示我们的包对现有的竞争方法的优越性类似的目的。
2020-05-22 cs.LG stat.ML
Curvature Clues: Decoding Deep Learning Privacy with Input Loss Curvature
Purdue University(普渡大学)
本文研究输入损失曲率在训练集与测试集间的差异,提出基于曲率的黑盒成员推理攻击,并在多个数据集上验证其优于现有方法。
2024-07-03 cs.CR cs.LG
Beyond $\ell_2$-norm and $\ell_\infty$-norm: A Curvature-Inspired $\ell_p$-Norm Scheme for Deep Neural Networks
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对现有优化器在参数维度曲率变化大时适应性差的问题,提出一种动态p值的ℓp范数方案,并融入SGD和SGDM,得到LPSGD和LPSGDM优化器,通过早期大p抑制高曲率方向、后期余弦退火减小p实现稳定更新,理论证明非凸情形下O(T^{-1/2})收敛率,在CIFAR和ImageNet数据集上验证了泛化性能提升。
2026-06-01 cs.LG
Kronecker-factored Approximate Curvature (KFAC) From Scratch
Vector Institute, Canada(向量研究所);University of Cambridge, United Kingdom(剑桥大学)
本文以教程形式从零介绍 KFAC 曲率近似方法,通过数学与代码并行的方式,并基于最新研究提供测试用例,旨在降低 KFAC 的实现、扩展和实际使用门槛。
2025-07-01 cs.LG
Quasi-Newton's method in the class gradient defined high-curvature subspace
University of Southampton(南安普顿大学)
使用深度学习的分类问题已被证明在损失景观中具有高曲率子空间,其维度等于类的数量。此外,该子空间对应于每个类别的logit梯度所跨越的子空间。加速优化的一个明显的策略是在高曲率子空间中使用牛顿方法,在协空间中使用随机梯度下降。我们发现,一个天真的实现实际上减慢收敛,我们推测为什么这可能是。
2020-11-28 cs.LG
A Robust Adaptive Stochastic Gradient Method for Deep Learning
Université de Montréal(蒙特利尔大学);University of Oxford(牛津大学)
随机梯度算法是大规模优化问题的主要焦点,并在深度学习算法的最新进展中取得了重要成功。SGD的收敛依赖于学习率的仔细选择和梯度的随机估计中的噪声量。在本文中,我们提出了一种自适应学习率算法,它利用损失函数的随机曲率信息自动调整学习率。关于损失函数的逐单元曲率的信息由随机一阶梯度的局部统计量估计。我们进一步提出了一种新的方差减少技术,以加快收敛速度。在我们对深度神经网络的实验中,与流行的随机梯度算法相比,我们获得了更好的性能。
2017-03-02 cs.LG
A Loss Curvature Perspective on Training Instability in Deep Learning
Google(谷歌)
在这项工作中,我们研究了损失海森在许多分类任务中的演变,以了解损失的曲率对训练动态的影响。鉴于先前的工作集中在不同的学习率如何影响在训练过程中观察到的Hessian损失,我们还分析了模型初始化,架构选择和常见的训练策略(如梯度裁剪和学习率预热)的影响。我们的研究结果表明,成功的模型和超参数选择允许早期优化轨迹避免-或导航出-高曲率区域,并进入容忍更高学习率的平坦区域。我们的研究结果提出了一个统一的观点,即训练不稳定性的不同缓解策略最终如何解决神经网络优化的相同潜在故障模式,即条件反射差。受条件反射视角的启发,我们证明了学习率预热可以像批量归一化、层归一化、MetaInit、GradInit和Fixup初始化一样提高训练稳定性。
2021-10-08 cs.AI cs.LG
Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal?
University of Pennsylvania(宾夕法尼亚大学)
本文提出各向同性曲率模型分析深度学习单次迭代优化,发现Muon等方法的梯度正交化方向正确但非严格最优,为设计新优化方法提供理论基础。
2025-11-01 cs.AI cs.LG math.OC
Efficiently Training Low-Curvature Neural Networks
Harvard University(哈佛大学);Idiap Research Institute(Idiap研究所);EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
深度神经网络的高度非线性特性导致它们容易受到对抗性示例的影响,并且具有不稳定的梯度,这阻碍了可解释性。然而,解决这些问题的现有方法,如对抗训练,是昂贵的,往往牺牲预测准确性。在这项工作中,我们考虑曲率,这是一个数学数量的编码程度的非线性。利用这一点,我们展示了低曲率神经网络(LCNN),它获得了比标准模型低得多的曲率,同时表现出类似的预测性能,从而提高了鲁棒性和稳定的梯度,只增加了少量的训练时间。为了实现这一目标,我们最小化神经网络曲率的数据独立上限,它根据其组成层的曲率和斜率来分解整体曲率。为了有效地最小化这个界限,我们引入了两个新的架构组件:第一,一个非线性称为中心softplus,这是一个稳定的变体softplus非线性,第二,Lipschitz约束批量归一化层。我们的实验表明,与标准的高曲率对应物相比,LCNN具有更低的曲率,更稳定的梯度和更高的现成对抗鲁棒性,所有这些都不会影响预测性能。我们的方法易于使用,可以很容易地纳入现有的神经网络模型。
2023-01-10 cs.LG
Curvature-based Comparison of Two Neural Networks
Shanghai Jiao Tong University(上海交通大学)
本文通过比较两个深度神经网络的每一个全连通层中由激活向量组成的流形,展示了它们的异同。本文的主要贡献包括:1)一个新的数据生成算法,这是至关重要的确定维数的流形; 2)一个系统的战略比较流形。特别地,我们把黎曼曲率和截面曲率作为判据的一部分,它能反映流形的内在几何性质。给出了一些有趣的结果和现象,有助于说明两种网络提取的特征之间的异同,揭开深层神经网络内在机理的神秘面纱。
2018-01-21 cs.CV cs.LG
A New Way: Kronecker-Factored Approximate Curvature Deep Hedging and its Benefits
本文提出将K-FAC二阶优化与LSTM网络结合用于深度对冲,在Heston模拟数据上相比Adam显著降低交易成本和损益方差,并提升夏普比率。
2024-11-22 cs.LG q-fin.ST
Deep Sketch-Based Modeling: Tips and Tricks
University of Surrey(萨里大学);Beijing University of Posts and Telecommunications(北京邮电大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里大学人工智能联合研究中心)
基于深度图像的建模近年来受到了广泛的关注,但基于草图的建模的并行问题只得到了简要的研究,通常作为一个潜在的应用。在这项工作中,我们第一次确定了草图和图像输入之间的主要区别:(i)风格差异,(ii)不精确的视角,以及(iii)稀疏性。我们讨论了为什么这些差异中的每一个都可能构成挑战,甚至使某一类基于图像的方法不适用。我们研究替代解决方案,以解决每个差异。通过这样做,我们得出了一些重要的见解:(i)稀疏性通常会导致对前景与背景的不正确预测,(ii)人类风格的多样性,如果不考虑在内,可能会导致非常差的泛化性能,最后(iii)除非使用专用的草图界面,否则不能期望草图与固定视点的透视图相匹配。最后,我们比较了一组具有代表性的深度单图像建模解决方案,并展示了如何通过考虑已识别的关键差异来提高其性能以处理草图输入。
2021-04-26 cs.CV cs.LG cs.MM
A deep learning approach for the computation of curvature in the level-set method
University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种深度学习策略来估计水平集方法中二维隐式界面的中曲率。我们的方法是基于拟合前馈神经网络的合成数据集,从圆形界面沉浸在各种分辨率的均匀网格。这些多层感知器处理来自自由边界旁边的网格点的水平集值,并在界面上最近的位置输出无量纲曲率。精度分析涉及不规则的接口,在均匀和自适应网格,表明我们的模型是竞争力与传统的数值方案在$L^1$和$L^2$规范。特别是,当界面具有陡峭的曲率区域时,以及当重新初始化水平集函数的迭代次数很小时,我们的神经网络在粗分辨率下以相当的精度近似曲率。虽然传统的数值方法比我们的框架更强大,但我们的结果揭示了机器学习在处理水平集方法遇到困难的计算任务方面的潜力。我们还建立了一个依赖于应用程序的映射的局部分辨率的神经模型,可以设计估计中曲率更有效地比一个通用的神经网络。
2022-09-28 cs.LG cs.NA math.NA
Scoliosis Detection using Deep Neural Network
University of Science and Technology of Hanoi(河内理工大学)
脊柱侧凸是一种脊柱侧弯,最常见于青少年。它极大地影响了生活质量,在严重的情况下会导致心脏和肺损伤的并发症。目前检测和评估脊柱侧凸的金标准是手动检查脊柱前后位X线图像。这个过程是耗时的,依赖于不同的人,并且具有很高的评分者间变异性。因此,人们对从脊柱X射线图像自动估计脊柱侧弯越来越感兴趣,深度学习的发展在自动脊柱曲率估计方面取得了惊人的成就。本文的主要目标是回顾深度学习的基本概念,分析如何将深度学习应用于脊柱弯曲检测,探索已采用的基于深度学习的实用模型。它旨在提高脊柱侧凸检测的准确性,并实现最成功的自动Cobb角预测。关键词:脊柱侧弯检测,脊柱曲率估计,深度学习。我
2022-10-31 cs.CV cs.LG eess.IV
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto(多伦多大学);New York University(纽约大学);Vector Institute(向量研究所)
在这项工作中,我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架,并建议使用Kronecker因子近似曲率(K-FAC)与信任区域优化演员和评论家,因此我们称我们的方法演员批评使用Kronecker因子信任区域(ACKTR)。据我们所知,这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比,我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
Operator-Based Generalization Bound for Deep Learning: Insights on Multi-Task Learning
Free University of Bozen-Bolzano(博兹纳-博尔扎诺自由大学);University of Catania(卡塔尼亚大学);University of Florida(佛罗里达大学)
本文通过算子理论框架,结合Koopman方法与现有技术,为向量值神经网络和深度核方法提出了更紧的泛化界,并引入草图技术降低计算成本,同时提出深度向量值再生核希尔伯特空间框架,利用Perron-Frobenius算子增强深度核方法,推导了新的Rademacher泛化界,解决了欠拟合和过拟合问题。
2026-05-22 cs.AI cs.LG
Redefining Wireless Communication for 6G: Signal Processing Meets Deep Learning with Deep Unfolding
ANDRO Computational Solutions, LLC(ANDRO计算解决方案有限责任公司);Northeastern University(东北大学);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
2019年见证了5G标准的推出,该标准有望提供比4G显著的数据率改进。虽然5G仍处于起步阶段,但研究界对5G以外的通信技术的转变越来越多。最近出现的机器学习方法用于增强无线通信并为其提供急需的智能,为重新定义6G无线通信提供了巨大的潜力。不断发展的通信系统将在延迟、吞吐量和可靠性方面受到物理层的底层信号处理的考验。在本立场文件中,我们激发了通过利用深度展开技术来重新设计迭代信号处理算法以满足6G网络物理层要求的需求。为此,我们首先介绍了服务需求和设想的6G通信架构所带来的关键挑战。我们概述了6G网络背景下传统算法原理和数据饥渴型深度学习(DL)方法的不足。具体而言,深入展开的信号处理,提出了通过勾勒领域知识和DL之间的相互作用。本文中回顾的深度展开方法明确地定位在下一代蜂窝网络所施加的要求的上下文中。最后,本文激发了开放的研究挑战,以真正实现未来6G网络的硬件高效边缘智能。
2021-08-23 cs.LG cs.NI eess.SP
On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature
School of Physics, Peking University(北京大学物理系);Peking University Chengdu Academy for Advanced Interdisciplinary Biotechnologies(北京大学成都先进交叉生物技术研究院);Flatiron Institute(Flatiron研究所)
本文发现SGD噪声协方差与Hessian矩阵之间存在超线性关系,而非简单的正比关系,并通过实验验证了层间幂律标度。
2026-06-06 cs.LG
Adversarial Examples and the Deeper Riddle of Induction: The Need for a Theory of Artifacts in Deep Learning
The University of Houston(休斯顿大学)
深度学习是目前人工智能中应用最广泛、最成功的技术。它有望推动科学发现的前沿超越目前的限制。然而,怀疑论者担心深层神经网络是黑匣子,并质疑如果人类无法理解它们,这些进步是否真的可以被视为科学进步。与此相关的是,这些系统还具有令人困惑的新漏洞:最明显的是对“对抗性示例”的敏感性。在本文中,我认为,对抗性的例子将成为哲学和各种科学辩论的热点。具体而言,关于对抗性示例的新发现挑战了共识观点,即网络对这些情况的判决是由训练集中的过度拟合特质噪声引起的,并且可能是检测人类无法感知的预测有用的“数据几何结构的内在特征”的结果(Ilyas et al.,2019年)。这些结果应该促使我们重新审视对哲学和科学交叉点上最深刻的谜题之一的回应:纳尔逊·古德曼的归纳法“新之谜”。具体来说,它们提出了一种可能性,即许多科学的进步将取决于对人类难以理解的有用特征的检测和操纵。然而,在我们评估这种可能性之前,我们必须确定哪些(如果有的话)这些难以理解的特征是真实的,但只适用于“外星人”的感知和认知,哪些是深度学习的独特伪像--因为像镜头耀斑或吉布斯现象这样的伪像对预测同样有用,但通常被视为科学理论化的障碍。因此,机器学习研究人员迫切需要为深度神经网络开发一种伪影理论,最后,我为这一研究领域勾画了一些初步方向。
2020-03-20 cs.AI cs.LG
Towards a Theoretical Understanding of Hashing-Based Neural Nets
UT-Austin(德克萨斯大学奥斯汀分校);Harvard(哈佛大学);Princeton University(普林斯顿大学)
由于深度神经网络模型的规模不断增加,并且需要在资源有限的机器上训练和运行它们,因此参数约简一直是深度学习中的重要主题。尽管在这一领域做出了许多努力,但没有严格的理论保证为什么现有的神经网络压缩方法应该工作。在本文中,我们提供了一些基于散列的神经网络参数约简方法的可证明保证。首先,我们介绍了一种基于随机线性草图的神经网络压缩方案(通常通过散列有效地实现),并表明草图(较小)网络能够在来自任何光滑且条件良好的低维流形的所有输入数据上逼近原始网络。草图网络也可以直接通过反向传播进行训练。接下来,我们研究了以前提出的哈希网络架构,并表明一个隐藏层哈希网络的优化景观具有类似于正常的全连接神经网络的局部强凸性。我们补充我们的理论结果与经验验证。
2019-02-25 cs.LG stat.ML
On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width
Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
神经网络的Hessian可以分解为两个矩阵的和:(i)半正定广义高斯-牛顿矩阵G,和(ii)包含负特征值的矩阵H。我们观察到,对于更宽的网络,通过在训练开始和结束时具有正曲率的表面以及在其间接近零曲率的表面,使用梯度下降优化策略来最小化损失。换句话说,似乎在训练过程的关键部分,宽网络中的Hessian由分量G主导。为了解释这一现象,我们证明了当使用普通方法初始化时,过参数化网络的梯度近似正交于H,使得损失曲面的曲率在梯度方向上严格为正。
2020-01-14 cs.LG stat.ML
Subspace Network: Deep Multi-Task Censored Regression for Modeling Neurodegenerative Diseases
Michigan State University(密歇根州立大学);University of Wisconsin-Stout(威斯康星大学斯托特分校);Texas A&M University(得克萨斯农工大学)
在过去的十年中,已经开发了广泛的机器学习模型来模拟神经退行性疾病,将生物标志物,特别是非侵入性神经成像标志物与测量患者认知状态的关键临床评分相关联。多任务学习(MTL)通常被这些研究用来解决高维和小队列规模的挑战。然而,大多数现有的MTL方法是基于线性模型,并遭受两个主要的限制:1)他们不能明确考虑这些临床评分的上限/下限; 2)他们缺乏捕捉变量之间的复杂的非线性相互作用的能力。在本文中,我们提出了子空间网络,这是一种用于非线性多任务截尾回归的高效深度建模方法。子空间网络的每一层都执行多任务审查回归,以通过绘制低维子空间来改进上一层的预测,从而在学习任务之间执行知识转移。在温和的假设下,对于每一层的参数子空间可以恢复使用只有一个通过的训练数据。实验结果表明,所提出的子空间网络快速拿起正确的参数子空间,并优于国家的最先进的预测神经退行性疾病的临床评分使用脑成像中的信息。
2018-03-01 cs.AI cs.LG stat.ML
Contrastive Graph Clustering in Curvature Spaces
North China Electric Power University(华北电力大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究首次将异质曲率空间引入图聚类,提出基于Ricci曲率的端到端对比图聚类模型CONGREGATE,采用无需增强的重加权对比策略,在真实图数据上性能超越现有最优方法。
2023-05-05 cs.LG stat.ML
Dynamic Graph Structure Learning via Resistance Curvature Flow
School of Artificial Intelligence, South China Normal University(人工智能学院,华南师范大学);School of Computer Science, South China Normal University(计算机科学学院,华南师范大学);State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(数学科学国家重点实验室,数学与系统科学研究院,中国科学院)
本文提出电阻曲率流方法,通过有效电阻概念实现高效图结构学习,显著提升表示质量和下游任务性能。
2026-01-13 cs.AI cs.LG
SoftServe: A Scalable Quasi-Newton Method for Deep Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Flatiron Institute(熨斗研究所);Cornell University(康奈尔大学)
SoftServe提出一族无需线搜索的拟牛顿方法,通过正定曲率估计和Newton-Schulz迭代实现大规模深度学习优化,在病态任务上优于Adam等基线。
2026-10-02 cs.AI cs.LG
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology(东京工业大学计算学院);NVIDIA(英伟达);Global Scientific Information and Computing Center, Tokyo Institute of Technology(东京工业大学全球科学信息与计算中心);RIKEN Center for Computational Science(理化学研究所计算科学中心)
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题,或者对批量归一化进行一些特别的修改。我们提出了一种替代方法,使用二阶优化方法,表现出类似的泛化能力,一阶方法,但收敛速度更快,可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法,我们在ImageNet上训练ResNet-50。对于小于16,384的小批量,我们在35个epoch中收敛到了75%的Top-1验证准确率,即使小批量为131,072,也达到了75%,这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
Neural Networks as Paths through the Space of Representations
University of Pennsylvania(宾夕法尼亚大学);Mila Québec AI Institute(米拉魁北克人工智能研究所);McGill University(麦吉尔大学)
深度神经网络实现了一系列逐层操作,每个操作都相对容易理解,但最终的整体计算通常难以理解。我们考虑一个简单的假设来解释有用表示的逐层构造:也许每一层的作用是重新格式化信息,以减少到所需输出的“距离”。通过这个框架,由深度神经网络实现的逐层计算可以被视为通过高维表示空间的路径。我们正式这个直观的想法,“路径”,利用最近的进展 * 度量 * 代表相似性。我们通过计算测地线,角度和投影的表示,超越单纯的层距离扩展现有的代表性的距离方法。然后,我们通过可视化和比较ResNet和VGG架构在CIFAR-10上采用的路径来演示这些工具。最后,我们概述了这种代表性几何可用于理解和解释网络训练的其他方法,并描述了不同模型之间的新型相似性。
2022-11-27 cs.LG cs.NE
Layer-Specific Adaptive Learning Rates for Deep Networks
University of Maryland(马里兰大学);US Naval Academy(美国海军学院)
深度学习架构的复杂性不断增加,导致训练时间需要数周甚至数月。这种缓慢的训练部分是由于梯度消失,其中反向传播使用的梯度对于连接深层(靠近输出层的层)的权重非常大,而对于浅层(靠近输入层)的权重非常小;这导致浅层的学习缓慢。此外,还表明在高度非凸问题中,例如深度神经网络,存在高误差低曲率鞍点的扩散,这大大减慢了学习速度。在本文中,我们试图通过提出一种用于训练深度神经网络的优化方法来克服上述两个问题,该方法使用学习率,该学习率既特定于网络中的每一层,又自适应于函数的曲率,增加低曲率点处的学习率。这使我们能够加快网络浅层的学习速度,并快速摆脱高误差低曲率鞍点。我们在MNIST、CIFAR 10和ImageNet等标准图像分类数据集上测试了我们的方法,并证明了我们的方法比标准算法提高了准确性,同时减少了所需的训练时间。
2015-10-15 cs.AI cs.CV cs.LG
One Size Does Not Fit All: Curvature-Aware Adaptive Perturbation for SAM
University of Bristol(布里斯托大学)
针对SAM固定扰动半径忽略局部曲率的缺陷,提出CAP-SAM方法,通过基于尖锐度比率调节扰动半径,在非凸随机设置中保持与SAM相同收敛速率,且在多数据集多架构上性能优于SAM及其变体。
2026-10-14 cs.AI cs.LG
Continual Learning with Extended Kronecker-factored Approximate Curvature
KAIST(韩国科学技术院)
我们提出了一个二次惩罚的神经网络,包含批量归一化(BN)层的持续学习方法。损失函数的Hessian表示二次罚函数的曲率,Kronecker因子近似曲率(K-FAC)被广泛用于计算神经网络的Hessian。然而,如果示例之间存在依赖性,则近似是无效的,这通常是由深网络架构中的BN层引起的。我们扩展了K-FAC方法,以便考虑到样本间的关系,并且可以在实际假设下适当地近似深度神经网络的Hessian。我们还提出了一种权重合并和重新参数化的方法来正确处理BN的统计参数,这对BN的持续学习起着至关重要的作用,以及一种在没有源任务数据的情况下选择超参数的方法。我们的方法在具有BN层的排列MNIST任务中以及从ImageNet分类任务到ResNet-50的细粒度分类任务的顺序学习中表现出比基线更好的性能,而无需显式或隐式使用源任务数据进行超参数选择。
2020-04-16 cs.CV cs.LG stat.ML
Depth-Adaptive Graph Neural Networks via Learnable Bakry-'Emery Curvature
Australian National University(澳大利亚国立大学);School of Computing(计算机学院)
本文提出一种基于可学习Bakry-Émery曲率的深度自适应图神经网络,通过动态调整每个顶点的消息传递层数,实现了高效且可扩展的信息传播,并在多种图学习任务上取得了性能提升。
2025-03-03 cs.AI cs.LG
Unveiling Privacy, Memorization, and Input Curvature Links
Purdue University(普渡大学)
本文针对DNN训练记忆难以高效度量且与隐私、输入曲率缺乏理论联系的问题,推导记忆上界并证明曲率受差分隐私参数约束,且在CIFAR和ImageNet上验证。
2024-02-28 cs.AI cs.CR cs.LG
Data Representations' Study of Latent Image Manifolds
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本研究通过分析图像流形曲率在卷积神经网络各层的分布,发现其与泛化能力相关,并指出潜在维度不决定曲率,mixup等正则化方法可产生更平坦的表示。
2023-11-16 cs.CV cs.LG
Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning
Department of Computer Science, Brown University(布朗大学计算机科学系)
研究深度神经网络在持续学习中塑性丧失的原因,发现新任务初始化时的Hessian谱坍缩是主要因素,并提出基于Kronecker分解的两种正则化方法以保持塑性。
2026-05-29 cs.AI cs.LG
Curvature Graph Neural Network
Central South University(中南大学);Peking University(北京大学);Southwest Jiaotong University(西南交通大学)
图神经网络(GNNs)在许多基于图的任务中取得了巨大的成功。许多工作致力于赋予GNN自适应局部性能力,这使得能够通过特定于节点的机制来测量相邻节点对目标节点的重要性。然而,目前的节点特定的机制是不够的区分节点的重要性的拓扑结构。我们认为,相邻节点的结构的重要性是密切相关的聚合的重要性。本文引入离散图曲率(Ricci曲率)来量化成对节点的结构连接强度。提出了曲率图神经网络(Curvature Graph Neural Network,CGNN),利用图曲率的结构特性,有效地提高了GNN的自适应局部性。为了提高曲率对不同数据集的适应性,我们通过必要的负曲率处理模块和曲率归一化模块将曲率显式地转化为相邻节点的权值。然后,我们在各种合成数据集和真实世界数据集上进行了大量实验。在人工数据集上的实验结果表明,CGNN有效地利用了拓扑结构信息,性能得到了显著提高。CGNN在5个密集节点分类基准数据集上的性能优于基线。该研究加深了对如何利用高级拓扑信息和从图曲率的角度分配相邻节点重要性的理解,并鼓励我们弥合图论和神经网络之间的差距。
2021-06-30 cs.AI cs.LG
ViViT: Curvature access through the generalized Gauss-Newton's low-rank structure
University of Tübingen(蒂宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
Hessian或其广义Gauss-Newton(GGN)近似形式的曲率对于依赖局部模型的损失来训练、压缩或解释深度网络的算法是有价值的。现有的方法基于隐式乘法通过自动微分或克罗内克因子块对角近似不考虑噪声的小批量。我们提出了ViViT,曲率模型,利用GGN的低秩结构,而无需进一步的近似。它允许有效的计算特征值,特征向量,以及每个样本的一阶和二阶方向导数。该表示在一次向后传递中与梯度并行计算,并提供了细粒度的成本-精度权衡,这使得它可以扩展。我们证明了这一点,通过进行性能基准测试和证实ViViT的有用性,通过研究噪声对GGN的结构特性的影响,在神经网络训练。
2022-02-10 cs.LG stat.ML
Continuous vs. Discrete Optimization of Deep Neural Networks
Tel Aviv University(特拉维夫大学)
深度学习中现有的优化分析要么是连续的,专注于梯度流(的变体),要么是离散的,直接处理梯度下降(的变体)。梯度流服从于理论分析,但是是程式化的并且忽视计算效率。它在多大程度上代表梯度下降是深度学习理论中的一个悬而未决的问题。本文对这一问题进行了研究。将梯度下降看作是梯度流初值问题的一种近似数值解,我们发现其近似程度依赖于梯度流轨迹周围的曲率。然后,我们证明了在具有均匀激活的深度神经网络上,梯度流轨迹具有良好的曲率,这表明它们可以很好地近似于梯度下降。这一发现使我们能够将深度线性神经网络上的梯度流分析转化为保证梯度下降在随机初始化下几乎肯定有效地收敛到全局最小值。实验表明,在简单的深度神经网络上,具有常规步长的梯度下降确实接近梯度流。我们假设梯度流理论将揭开深度学习背后的奥秘。
2021-12-28 cs.AI cs.LG cs.NE