Closing the Generalization Gap of Adaptive Gradient Methods in Training Deep Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Ohio State University(俄亥俄州立大学);University of Virginia(弗吉尼亚大学)
自适应梯度方法采用历史梯度信息来自动调整学习率,尽管具有快速收敛的良好特性,但在训练深度神经网络时,已观察到比具有动量的随机梯度下降(SGD)更差的泛化能力。这使得如何缩小自适应梯度方法的泛化差距成为一个悬而未决的问题。在这项工作中,我们表明,自适应梯度方法,如亚当,Amsgrad,有时是“过适应”。我们设计了一种新的算法,称为部分自适应动量估计方法,它通过引入部分自适应参数$p$,将Adam/Amsgrad和SGD统一起来,以达到两个世界的最佳效果。我们还证明了我们所提出的算法收敛到一个平稳点的随机非凸优化设置。在标准基准测试上的实验表明,该算法在训练深度神经网络时,在泛化能力和SGD能力上都能保持Adam/Amsgrad的快速收敛速度。这些结果将建议从业者再次采用自适应梯度方法来更快地训练深度神经网络。
2020-06-23 cs.LG stat.ML
Unintended Effects on Adaptive Learning Rate for Training Neural Network with Output Scale Change
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
一个乘法常数缩放因子通常应用于模型输出,以调整神经网络参数的动态。这已被用作懒惰和积极行为的实证研究中的关键干预措施之一。然而,我们表明,这种缩放和常用的自适应学习率优化器的组合强烈影响的神经网络的训练行为。这是有问题的,因为它会导致神经网络的\emph{unintended behavior},导致对实验结果的误解。具体地,对于某些缩放设置,自适应学习率的效果消失或受到缩放因子的强烈影响。为了避免意想不到的效果,我们提出了一种修改的优化算法,并证明显着的差异自适应学习率优化和简单的梯度下降,特别是与一个小的($<1.0$)缩放因子。
2021-07-02 cs.LG stat.ML
Adaptive Cost-Sensitive Learning in Neural Networks for Misclassification Cost Problems
Bar-Ilan University(巴伊兰大学)
我们设计了一个新的自适应学习算法的误分类成本问题,试图减少成本的误分类实例的各种错误的后果。我们的算法(自适应成本敏感学习- AdaCSL)自适应地调整损失函数,使得分类器桥接训练和测试数据集中具有相似预测概率的样本的子组之间的类分布之间的差异(即,局部训练-测试类分布不匹配)。我们提供了一些理论上的性能保证所提出的算法,并提出经验证据表明,一个深神经网络与建议的AdaCSL算法产生更好的成本结果的几个二进制分类数据集,类不平衡和类平衡的分布相比,其他替代方法。
2021-11-14 cs.LG stat.ML
Autonomous Adaptive Solver Selection for Chemistry Integration via Reinforcement Learning
本文提出基于强化学习的自适应求解器选择方法,通过马尔可夫决策过程自主选择隐式BDF求解器和准稳态求解器,提升化学积分效率,同时保持精度约束。
2026-03-31 cs.LG
NeuralFMU: Towards Structural Integration of FMUs into Neural Networks
Augsburg University(奥格斯堡大学)
本文涵盖了两个主要主题:第一,介绍了一个新的开源库,称为FMI.jl集成到Julia编程环境,通过提供加载,参数化和模拟FMU的可能性。此外,引入了对该库的扩展FMIFlux.jl,其允许将FMU集成到神经网络拓扑中以获得NeuralFMU。行业典型的黑盒模型和数据驱动的机器学习模型的这种结构组合将两种建模方法的不同优势结合在一个单一的开发环境中。这允许使用先进的数据驱动建模技术,用于难以基于第一原理建模的物理效应。
2021-09-09 cs.LG
Neural-Symbolic Integration for Interactive Learning and Conceptual Grounding
City, University of London(伦敦大学城市学院)
我们提出了神经-符号积分的抽象概念解释和互动学习。神经符号积分和解释允许用户和领域专家了解大型神经模型的数据驱动决策过程。使用符号逻辑语言查询模型。然后,与用户的交互使用可以被提取到模型架构中的基于逻辑的约束来确认或拒绝神经模型的修订。该方法使用逻辑张量网络框架和概念激活向量来说明,并应用于卷积神经网络。
2022-01-17 cs.AI cs.LG
Neural Integration of Continuous Dynamics
Massachusetts Institute of Technology(麻省理工学院)
神经动力系统是至少部分地由神经网络描述的动力系统。连续时间神经动力系统的类,但是,必须进行数值积分的模拟和学习。在这里,我们提出了一个紧凑的神经电路两个常见的数值积分器:显式固定步骤的龙格-库塔方法的任何顺序和半隐式/预测-校正亚当斯-Bashforth-Moulton方法。它们被建模为嵌入连续神经微分方程的恒定大小的递归网络,实现了完全神经的时间输出。使用动力系统的多项式类,我们证明了神经和数值积分的等价性。
2019-11-23 cs.LG cs.NA math.DS
Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks
SINTEF Digital(辛特夫数字研究所);University of Oslo(奥斯陆大学);Brown University(布朗大学)
本文提出将神经算子与循环神经网络结合,以解决深度网络在动力系统长时间积分中的误差累积问题,并在Korteweg-de Vries方程上验证了该方法在插值和外推中的稳定性与精度提升。
2024-04-30 cs.LG
Dynamic Basis Function Interpolation for Adaptive In Situ Data Integration in Ocean Modeling
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Northrop Grumman(诺斯罗普·格鲁曼公司)
本研究提出动态基函数插值法,结合地球系统模型的动力学模态与原位浮标数据,在保留季节性等特征的同时,借助全球漂流浮标计划数据集校正MPAS-O模型的局部海洋温度预测误差,提升预测精度。
2024-06-20 cs.LG math.DS physics.ao-ph
Learning to Generate Questions with Adaptive Copying Neural Networks
Carleton University(卡尔顿大学)
问句自动生成是自然语言处理中的一个重要问题。在本文中,我们提出了一种新的自适应复制递归神经网络模型,以解决问题的生成从句子和段落。该模型在双向LSTM架构上增加了一个复制机制组件,以自适应地从输入数据中生成更合适的问题。我们的实验结果表明,该模型可以优于国家的最先进的问题生成方法在BLEU和ROUGE的评价分数。
2019-09-17 cs.CL cs.LG stat.ML
Global Convergence of Adaptive Gradient Methods for An Over-parameterized Neural Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
AdaGrad等自适应梯度方法广泛用于优化神经网络。然而,现有的自适应梯度方法的收敛保证要求凸性或光滑性,并且在光滑设置中,仅保证收敛到一个稳定点。我们提出了一种自适应梯度方法,并表明,对于两层过参数化神经网络-如果宽度足够大(多项式)-那么所提出的方法收敛\emph{to the global minimum}在多项式时间,收敛是强大的,\emph{ without the need to fine-tune hyper-parameters such as the step-size schedule and with the level of over-parametrization independent of the training error}。我们的分析特别表明,过度参数化对于在神经网络环境中充分发挥自适应梯度方法的潜力至关重要。
2019-10-19 cs.LG math.OC stat.ML
Adaptive Exponential Integration for Stable Gaussian Mixture Black-Box Variational Inference
School of Mathematical Sciences, Peking University, Beijing, China(北京大学数学科学学院);Department of Mathematics, University of California, Los Angeles, CA, USA(加州大学洛杉矶分校数学系);Beijing International Center for Mathematical Research, Center for Machine Learning Research, Peking University, Beijing, China(北京国际数学研究中心,机器学习研究中心,北京大学,北京,中国)
针对高斯混合黑箱变分推断的不稳定和低效问题,提出结合仿射不变预处理、无条件保持协方差正定性的指数积分器和自适应时间步长的稳定高效框架,并证明其收敛性。
2026-05-28 cs.LG
Adaptive Learning Rate via Covariance Matrix Based Preconditioning for Deep Neural Networks
NTT Software Innovation Center(NTT软件创新中心)
RMSProp等自适应学习率算法广泛用于训练深度神经网络。RMSProp提供了有效的训练,因为它使用一阶梯度来近似基于Hessian的预处理。然而,由于一阶梯度包括由随机优化引起的噪声,因此近似可能不准确。在本文中,我们提出了一种新的自适应学习率算法称为SDProp。其核心思想是通过基于协方差矩阵的预处理来有效地处理噪声。对于各种神经网络,我们的方法是更有效和有效的RMSProp及其变种。
2017-09-28 cs.AI cs.LG stat.ML
On Multiplicative Integration with Recurrent Neural Networks
University of Toronto(多伦多大学);MILA, Université de Montréal(蒙特利尔大学MILA);CIFAR(加拿大高等研究院);Carnegie Mellon University(卡内基梅隆大学)
我们引入了一种通用而简单的结构设计,称为乘法积分(MI),以改善循环神经网络(RNN)。MI改变了来自不同来源的信息流动的方式,并将其集成到RNN的计算构建块中,同时几乎不引入额外的参数。新结构可以很容易地嵌入到许多流行的RNN模型中,包括LSTM和GRU。我们实证分析了它的学习行为,并使用不同的RNN模型对几个任务进行了评估。我们的实验结果表明,乘法集成可以提供比许多现有RNN模型更大的性能提升。
2016-11-12 cs.LG
On Numerical Integration in Neural Ordinary Differential Equations
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);University of Science and Technology Beijing(北京科技大学)
常微分方程和神经网络的结合,即,神经元常微分方程(Neural ODE)的研究已经从不同的角度得到了广泛的研究。然而,破译神经常微分方程中的数值积分仍然是一个开放的挑战,许多研究表明,数值积分显着影响模型的性能。在本文中,我们提出了修改的微分方程(IMDE)的逆来阐明数值积分训练神经ODE模型的影响。IMDE由学习任务和所采用的ODE求解器确定。结果表明,训练神经ODE模型实际上返回了IMDE的近似值,而不是真正的ODE。借助IMDE,我们推导出:(i)学习模型与真实常微分方程之间的差异由离散误差和学习损失之和限定;(ii)使用非辛数值积分的神经常微分方程理论上不能学习守恒律.几个实验进行数值验证我们的理论分析。
2022-06-15 cs.LG cs.NA math.NA
Supervised Neural Discrete Universal Denoiser for Adaptive Denoising
Seoul National University(首尔大学)
我们改进了最近开发的神经DUDE,一个基于神经网络的自适应离散去噪器,将其与监督学习框架相结合。也就是说,我们使神经DUDE的监督预训练与基于给定的噪声数据进行去噪的参数自适应微调兼容。因此,与香草神经DUDE相比,我们实现了显着的去噪性能提升,后者仅使用随机初始化的参数执行自适应微调步骤。此外,我们表明自适应微调使算法的鲁棒性,使噪声失配或盲目训练的监督模型仍然可以实现匹配模型的性能。此外,我们做了一些算法改进,使神经DUDE更具可扩展性,并处理多维数据或具有更大字母表大小的数据。我们系统地展示了我们对两个非常不同的数据集,二进制图像和DNA序列的改进。
2021-11-24 cs.LG
Robust Contrastive Graph Clustering with Adaptive Local-Global Integration
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);College of Management and Economics, Tianjin University(天津大学管理学院)
提出一种对比图聚类框架,通过注意力机制自适应融合多尺度局部结构和全局语义原型,以解决复杂图中高阶局部结构捕获不足和全局语义忽略问题,提升聚类性能。
2026-05-30 cs.LG
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM(欧洲电信学院);University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自适应贝叶斯求积(ABQ)是一种强大的数值积分方法,在中等维度(非自适应求积不具有竞争力)的问题上,它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数,该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大,但它使分析复杂化。因此,到目前为止,这类方法还没有理论上的保证。在这项工作中,对于广泛的自适应贝叶斯求积方法,我们证明了一致性,推导出非紧但信息量大的收敛速度。为了做到这一点,我们引入了一个新的概念,我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致,从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
Solvation Free Energies from Neural Thermodynamic Integration
University of Geneva(日内瓦大学);Meta AI;Heidelberg University(海德堡大学)
本文提出一种基于神经网络势的神经热力学积分方法,用于高效准确计算自由能差,并成功应用于溶剂化自由能计算,在多个基准系统中验证了其准确性。
2025-03-25 cond-mat.stat-mech cs.LG
EnergyNet: Energy-based Adaptive Structural Learning of Artificial Neural Network Architectures
Google Research(谷歌研究院)
我们提出了E NERGY NET,一个新的分析和构建人工神经网络架构的框架。我们的方法以无监督的方式自适应地学习网络的结构。该方法是基于能量函数的理论保证有限数量的节点的限制玻尔兹曼机(RBM)。我们目前的实验结果表明,最终的网络适应给定问题的复杂性。
2017-11-08 cs.LG
AdaNet: Adaptive Structural Learning of Artificial Neural Networks
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们提出了新的算法自适应学习人工神经网络。我们的算法(AdaNet)自适应地学习网络的结构及其权重。它们基于坚实的理论分析,包括我们详细证明和讨论的数据依赖的泛化保证。我们报告的结果与我们的算法之一,从CIFAR-10数据集提取的几个二进制分类任务的大规模实验。结果表明,我们的算法可以自动学习网络结构与非常有竞争力的性能精度相比,标准方法发现的神经网络实现。
2017-02-28 cs.LG
The Implicit Bias for Adaptive Optimization Algorithms on Homogeneous Neural Networks
Microsoft Research Asia(微软亚洲研究院)
尽管它们具有压倒性的过拟合能力,但由特定优化算法训练的深度神经网络往往能很好地推广到看不见的数据。最近,研究人员通过研究优化算法的隐式正则化效应来解释它。一个显着的进展是工作(Lyu&Li,2019),它证明了梯度下降(GD)最大化了同质深度神经网络的边缘。除了GD,AdaGrad,RMSProp和Adam等自适应算法由于其快速的训练过程而受到欢迎。然而,自适应优化算法的推广仍然缺乏理论保证。在本文中,我们研究了自适应优化算法的隐式正则化时,他们正在优化均匀的深度神经网络的逻辑损失。我们证明了在调节器中采用指数移动平均策略的自适应算法(如Adam和RMSProp)可以最大化神经网络的边缘,而在调节器中直接求和历史平方梯度的AdaGrad则不能。结果表明,指数滑动平均策略在条件器设计中具有推广的优越性。在技术上,通过构造新的自适应梯度流和替代边界,我们提供了一个统一的框架来分析自适应优化算法的收敛方向。我们的实验很好地支持了自适应优化算法收敛方向的理论发现。
2021-12-16 cs.LG
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago(芝加哥大学)
考虑一下这个问题:给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$,指定一个神经网络模型,并随时间对权重运行梯度流,直到达到任何平稳性。$f_t$,即神经网络在时间$t$计算的函数,在近似和表示方面与$f_*$有什么关系?神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比,有哪些可证明的好处?我们回答了上述问题,通过动态再生核希尔伯特空间(RKHS)的方法索引的神经网络的训练过程。首先,我们证明了当达到任何局部平稳性时,梯度流学习自适应RKHS表示,并同时将全局最小二乘投影到自适应RKHS上。其次,我们证明了RKHS是数据自适应和特定于任务的,残差$f_*$位于一个子空间,这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后,我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
AutoInt: Automatic Integration for Fast Neural Volume Rendering
Stanford University(斯坦福大学)
数值积分是科学计算的基础技术,也是许多计算机视觉应用的核心。在这些应用中,神经体渲染最近被提出作为一个新的范例视图合成,实现逼真的图像质量。然而,使这些方法实用的一个根本障碍是极端的计算和内存要求所造成的所需的体积积分沿渲染光线在训练和推理。需要数百万条射线,每条射线需要通过神经网络进行数百次正向传递,以利用蒙特卡罗采样来近似这些积分。在这里,我们提出了自动集成,一个新的框架,学习有效的,封闭形式的解决方案,积分使用基于坐标的神经网络。为了训练,我们实例化对应于网络导数的计算图。将曲线拟合到要积分的信号。优化后,我们重新组合图以获得表示反导数的网络。根据微积分的基本定理,这使得可以在网络的两个评估中计算任何定积分。将这种方法应用于神经渲染,我们改进了渲染速度和图像质量之间的权衡:将渲染时间提高了10倍以上,但图像质量略有下降。
2021-05-23 cs.CV cs.GR cs.LG
Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent Neural Networks
Laboratoire de Physique de l’Ecole Normale Supérieure(巴黎高等师范学院物理实验室);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
我们研究的学习动力学和表示出现在循环神经网络训练整合一个或多个时间信号。结合分析和数值研究,我们描述了具有n个神经元的RNN学习整合任意持续时间的D(n)标量信号的条件。我们表明,无论是线性和ReLU神经元,它的内部状态生活接近一个D维流形,其形状与激活函数。因此,每个神经元在不同程度上携带着关于所有积分值的信息。我们讨论了我们的结果和计算神经科学家解释皮层记录的混合选择性概念之间的深刻类比。
2020-11-20 cs.LG
Adaptive Feedforward Gradient Estimation in Neural ODEs
Hassan First University of Settat(塞塔特哈桑一世大学)
本研究提出一种自适应前馈梯度估计方法,通过消除反向传播和伴随方法来提升Neural ODEs的效率与可解释性,同时保持准确率。
2024-09-22 cs.LG
From Isolation to Integration: Building an Adaptive Expert Forest for Pre-Trained Model-based Class-Incremental Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出SAEF方法,通过构建结构化专家森林实现类增量学习中的知识共享,提升模型性能。
2026-02-24 cs.CV cs.LG
GeniePath: Graph Neural Networks with Adaptive Receptive Paths
Ant Financial Services Group(蚂蚁金融服务集团);Georgia Institute of Technology(佐治亚理工学院)
我们提出,GeniePath,一个可扩展的方法,用于学习自适应感知域的神经网络定义的置换不变图数据。在GeniePath中,我们提出了一个自适应路径层,它由两个互补的功能组成,分别用于广度和深度探索,前者学习不同大小的邻域的重要性,而后者提取和过滤从不同跳数的邻域聚合的信号。我们的方法适用于转导和归纳设置,与竞争性方法相比,广泛的实验表明,我们的方法在大型图上产生最先进的结果。
2018-11-05 cs.LG
SGAD: Soft-Guided Adaptively-Dropped Neural Network
Nanjing University(南京大学);City University of New York, City College(纽约城市大学城市学院)
深度神经网络(DNN)已被证明具有许多冗余。因此,已经做出了许多努力来压缩DNN。然而,现有的模型压缩方法对所有输入样本都是平等对待的,而忽略了不同输入样本被正确分类的难度是不同的这一事实。为了解决这个问题,在这项工作中,DNN与自适应丢弃机制进行了很好的探索。为了告知DNN输入样本的分类难度,引入了包含输入样本信息的指南以提高性能。在此基础上,提出了一种新的软引导自适应丢弃(soft-guided adaptively-dropped,SGAD)神经网络。与32层残差神经网络相比,SGAD在CIFAR-10上的精度下降不到1%,而FLOPs降低了77%。
2018-07-04 cs.CV cs.LG cs.NE
A Novel Adaptive Kernel for the RBF Neural Networks
Iqra University(伊克拉大学);The University of Western Australia(西澳大学)
提出了一种新的径向基函数(RBF)神经网络自适应核函数。建议的内核自适应融合的欧几里得和余弦距离的措施,利用两者的往复性质。所提出的框架使用梯度下降法动态地适应参与内核的权重,从而减轻了对预定权重的需求。所提出的方法优于人工融合的内核估计,即非线性系统识别,模式分类和函数逼近的三个主要问题。
2019-05-09 cs.CV cs.LG math.OC
Robust Training and Initialization of Deep Neural Networks: An Adaptive Basis Viewpoint
Sandia National Laboratories(桑迪亚国家实验室)
由于深度神经网络(DNN)的理论最佳逼近率与实际实现的准确性之间存在差距,我们寻求改进DNN的训练。DNN的自适应基础观点的采用导致新的初始化和混合最小二乘/梯度下降优化器。我们提供了这些技术的分析,并通过数值示例说明了DNN目前使用的科学应用的基准特性的准确性和收敛速度的显着增加,包括回归问题和物理信息神经网络的偏微分方程的解决方案。
2019-12-10 cs.LG cs.NA math.NA
Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
针对SFT过拟合与RL模式崩溃问题,提出逐步自适应混合训练框架SASR,统一SFT与RL并动态平衡,实验证明其优于单一及静态混合方法。
2025-08-04 cs.AI cs.LG
Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers
自适应精度训练:用固定点数量化神经网络中的反向传播。最近出现的量化技术已被应用于深度神经网络的推理,以实现快速有效的执行。然而,在训练中直接应用量化可能会导致显著的准确性损失,因此仍然是一个开放的挑战。
2020-03-05 cs.CV cs.LG
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company(IMDEX有限采矿技术公司)
本研究提出一种结合XGBoost与神经网络的自适应集成框架,借助元学习、不确定性量化及特征重要性融合实现动态模型调度,在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
A Self-Adaptive Penalty Method for Integrating Prior Knowledge Constraints into Neural ODEs
University of Minho(米尼奥大学);University of Porto(波尔图大学)
针对神经常微分方程建模需遵循自然系统规则的需求,提出可动态调整参数的自适应惩罚算法,融入先验知识提升可解释性,经三类自然系统实验验证,该方法比现有方法更准确鲁棒。
2024-03-05 cs.LG math.OC
To Code or not to Code? Adaptive Tool Integration for Math Language Models via Expectation-Maximization
Hong Kong University of Science and Technology(香港科技大学);INFLY Tech(INFLY科技)
本文提出基于期望最大化的自适应工具集成框架,通过结构化探索与离策略强化学习协同,使数学语言模型自主决定何时使用代码,7B 模型在 MATH500 和 AIME 上分别提升超 11% 和 9.4%。
2025-07-18 cs.AI cs.CL cs.LG
A Survey on Knowledge integration techniques with Artificial Neural Networks for seq-2-seq/time series models
近年来,随着大规模计算能力的出现和大量数据的可用性,深度神经网络已经能够在多个领域探索未知领域。但有时,由于数据不足,数据质量差,数据可能没有广泛覆盖该领域等原因,它们表现不佳。基于知识的系统利用专家知识做出决策并适当采取行动。这种系统在决策过程中保持可解释性。本文的重点是探索技术,将专家知识集成到深度神经网络的序列到序列和时间序列模型,以提高其性能和可解释性。
2020-08-13 cs.AI cs.CL cs.LG
Siamese Graph Neural Networks for Data Integration
IBM Research – Zurich(IBM苏黎世研究院);University of Trento(特伦托大学)
数据集成已经被广泛研究了几十年,并从不同的角度进行了探讨。然而,这个领域仍然主要是规则驱动的,缺乏通用的自动化。机器学习,特别是深度学习的最新发展为数据集成问题的更通用和更有效的解决方案开辟了道路。在这项工作中,我们提出了一个通用的方法来建模和集成实体的结构化数据,如关系数据库,以及非结构化的来源,如自由文本的新闻文章。我们的方法旨在明确建模和利用实体之间的关系,从而使用所有可用的信息,并保留尽可能多的上下文。这是通过结合siamese和图神经网络来实现的,以在连接的实体之间传播信息并支持高可扩展性。我们评估了我们的方法在整合业务实体数据的任务,我们证明,它优于标准的基于规则的系统,以及其他深度学习方法,不使用基于图形的表示。
2020-01-17 cs.DB cs.LG
Neural-Network Heuristics for Adaptive Bayesian Quantum Estimation
Eberhard-Karls-Universität Tübingen(图宾根大学);The University of Nottingham(诺丁汉大学);University of Oxford(牛津大学)
量子精密测量承诺前所未有的测量精度,但在实践中受到诸如探针数量、它们的相干时间或非经典量子态的资源的有限可用性的影响。参数估计的自适应贝叶斯方法由于自适应实验设计而允许有效地利用资源。对于它的实际成功,贝叶斯更新和自适应实验设计的快速数值解是至关重要的。在这里,我们展示了神经网络可以通过进化策略和强化学习的结合来训练成为快速而强大的实验设计算法。神经网络算法的性能优于已建立的算法的技术上重要的例子的频率估计的量子比特,遭受失相。我们创建神经网络的方法是非常普遍的,并补充了研究的贝叶斯更新的顺序蒙特卡罗方法,形成一个完整的框架,自适应贝叶斯量子估计。
2021-04-07 cs.LG quant-ph
Tight integration of neural- and clustering-based diarization through deep unfolding of infinite Gaussian mixture model
NTT Corporation(日本电报电话公司)
发言人日记作为会议分析的一项重要核心任务得到了广泛的研究。最近的趋势表明,基于端到端神经(EEND)和聚类的日志的集成是一种很有前途的方法来处理包含重叠语音的现实会话数据与任意大量的扬声器,并在各种任务上取得了最先进的结果。然而,到目前为止提出的方法还没有实现{ \it紧密}集成,因为其中采用的聚类对于聚类由EEND模块估计的说话人嵌入在任何意义上都不是最优的。为了解决这个问题,本文引入了{ \it可训练}聚类算法的集成框架,通过深入展开的非参数贝叶斯模型称为无限高斯混合模型(iGMM)。具体而言,在训练期间优化说话人嵌入,使得它更好地适合iGMM聚类,基于基于调整的兰德指数(ARI)的新聚类损失。基于CALLHOME数据的实验结果表明,与传统方法相比,该方法在区分错误率(DER)方面具有更好的性能,尤其是大大降低了说话人混淆错误,体现了iGMM融合的有效性.
2022-02-14 cs.LG cs.SD eess.AS
AGMI: Attention-Guided Multi-omics Integration for Drug Response Prediction with Graph Neural Networks
Zhejiang University(浙江大学);University of Notre Dame(圣母大学)
准确的药物反应预测(DRP)是精准医学中一项重要而又具有挑战性的任务。本文提出了一种新的注意力引导多组学整合(AGMI)方法用于DRP,该方法首先为每个细胞系构建一个多边图(MeG),然后使用一种新的结构(称为图边感知网络(GeNet))聚合多组学特征来预测药物反应。我们的AGMI方法第一次探索了基于基因约束的多组学整合,用于使用GNN的全基因组的DRP。在CCLE和GDSC数据集上的实验表明,AGMI在四个指标上的性能比最先进的DRP方法高出8.3%-34.2%。我们的数据和代码可在https://github.com/yivan-WYYGDSG/AGMI上获得。
2022-01-10 cs.AI cs.LG q-bio.GN
Adaptive optics with reflected light and deep neural networks
光的散射和像差限制了生物组织的光学显微术,这促使了自适应光学技术的发展。在这里,我们开发了一种用于自适应光学的方法,该方法具有与epi检测配置兼容的反射光和深度神经网络。产生由激发和检测路径像差以及相应的反射聚焦图像组成的样品像差的大数据集。这些数据集用于训练深度神经网络。经过训练后,这些网络可以基于从散射样品记录的反射光图像来解开并独立地校正激发和检测像差。类似的深度学习方法也可以通过散射引导星来演示。使用双光子成像验证了预测的像差校正。
2020-04-09 cs.LG eess.IV physics.optics
Neural Network Representation of Time Integrators
George Mason University(乔治梅森大学)
构造了深度神经网络(DNN)架构,其与用于数值时间积分的显式Runge-Kutta格式完全等效。给出了网络权重和偏差,即,不需要训练。通过这种方式,基于物理的积分器的唯一任务是右手边的DNN近似。这允许清楚地描绘右侧误差和时间积分误差的近似估计。作为一个例子,包括一个简单的质量阻尼器刚度的情况下集成所需的架构。
2022-11-30 cs.LG cs.NA math.NA
Accelerated sampling using SamAdams variable timesteps and position-adaptive Langevin dynamics
School of Mathematics, University of Edinburgh(爱丁堡大学数学系);Seminar for Statistics, Department of Mathematics, ETH Zürich(苏黎世联邦理工学院数学系统计研究所)
提出一种结合SamAdams自适应步长和位置自适应Langevin动力学的加速采样方法,在多个模型问题上混合速率提升1.5-3倍,效率提高一个数量级以上。
2026-06-26 cs.LG cs.NA math.NA
Dendritic Integration Based Quadratic Neural Networks Outperform Traditional Aritificial Ones
Shanghai Jiao Tong University(上海交通大学)
受树突二次整合规则启发,提出DIQNN模型,在分类任务上优于传统ANN,并引入低秩版本降低计算成本,提出可单调增加且与泛化一致的边际,将其融入损失函数加速测试准确率提升。
2023-05-25 cs.AI cs.LG cs.NE