Rethinking Neural Width for Alternating Current Optimal Power Flow Proxies
Department of Electrical Engineering, National Institute of Technology Kurukshetra, India(印度克什米尔国立理工学院电气工程系);Indraprastha Institute of Information Technology Delhi, India(印度德里印度理工信息学院);Department of Electrical Engineering, Indian Institute of Technology Roorkee, India(印度罗尔基印度理工学院电气工程系)
本文提出损失引导神经稠密化算法,通过逐步扩展网络容量来最小化宽度,以精确逼近交流最优潮流流形,并在多个IEEE系统上以少十倍的神经元达到与基线相当的性能。
2026-06-02 cs.LG
Deep Proxy Causal Learning and its Application to Confounded Bandit Policy Evaluation
Gatsby Unit(盖茨比单元)
该研究提出深度特征代理变量法DFPV,解决高维非线性场景下的代理因果学习问题,在合成基准测试中性能优于前沿方法,还可应用于混杂老虎机的离策略评估且表现优异。
2024-06-18 cs.LG stat.ML
Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies
Rice University(莱斯大学);ThirdAI Corp(ThirdAI公司)
针对深度学习动态采样因显式计算损失导致端到端减速的问题,提出基于非参数核回归草图近似 Nadaraya-Watson 估计量的高效采样算法,在保证指数收敛的同时显著提升了训练速度与准确率。
2023-11-22 cs.LG
EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring
Cornell University(康奈尔大学);Intel Labs(英特尔实验室)
神经架构搜索(NAS)显著提高了神经网络(NN)设计和部署的生产力。由于NAS通常通过部分或全部训练来评估多个模型,因此提高的生产力是以显著的碳足迹为代价的。为了减轻这种昂贵的训练例程,zero-shot/成本代理在初始化时分析NN以生成分数,该分数与其真实准确度高度相关。零成本代理目前由专家设计,他们对可能的算法、数据集和神经架构设计空间进行多个周期的经验测试。这种实验降低了生产力,并且是一种不可持续的零成本代理设计方法,因为深度学习用例在本质上是多样化的。此外,现有的零成本代理无法在神经架构设计空间中推广。在本文中,我们提出了一个遗传编程框架,自动发现零成本代理神经架构评分。我们的方法有效地发现了一个可解释的和可推广的零成本代理,提供了最先进的得分准确性相关的所有数据集和搜索空间的NASBench-201和网络设计空间(NDS)。我们相信,这项研究表明了一个很有前途的方向,自动发现零成本代理,可以跨网络架构设计空间,数据集和任务。
2022-12-21 cs.CV cs.LG cs.NE
Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning
University of Central Florida(中佛罗里达大学);Center for Research in Computer Vision(计算机视觉研究中心);Department of Computer Science(计算机科学系)
本文提出一种基于视觉提示的参数高效微调框架,通过结合语义信息增强代理,在仅调整少量参数的情况下达到与全微调相当甚至更优的深度度量学习性能。
2024-03-14 cs.CV cs.LG
Learning Optimization Proxies for Sequential Contextual Stochastic Programs: An Order Fulfillment Application
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程系);Tippie College of Business, University of Iowa(爱荷华大学蒂普皮商学院)
针对需要亚秒级响应的序列上下文随机程序,提出一种场景嵌入神经网络代理,通过离线训练和在线解码器保证可行性,在订单履行中实现2800倍加速和3.3%成本改进。
2026-06-25 cs.LG math.OC
Scalable Logo Recognition using Proxies
Amazon Inc.(亚马逊公司)
标志识别是对标志进行识别和分类的任务。标识识别是一个具有挑战性的问题,因为标识没有明确的定义,并且标识,品牌和重新培训以涵盖每个变化是不切实际的。在本文中,我们制定标志识别作为一个Few-Shot目标检测问题。我们的流水线中的两个主要组件是通用徽标检测器和Few-Shot徽标识别器。通用标志检测器是一个类不可知的深度对象检测器网络,它试图学习标志的特征。它预测可能的标志区域上的边界框。这些标志区域,然后分类的标志识别器使用最近邻搜索,训练的三重损失使用代理。我们还注释了第一个产品徽标数据集,其中包含从亚马逊收集的295 K图像中的2000个徽标,称为PL 2K。我们的流水线在PL 2K测试数据集上实现了97%的召回率,0.6 mAP,在公开的FlickrLogos-32测试集上达到了最先进的0.565 mAP,无需微调。
2018-11-19 cs.CV cs.LG
GreenMachine: Automatic Design of Zero-Cost Proxies for Energy-Efficient NAS
University of Coimbra(科英布拉大学)
本文提出GreenMachine方法,通过自动演化设计零成本代理,在NATS-Bench上高效评估深度神经网络,显著提升与真实性能的相关性并降低NAS能耗。
2024-11-22 cs.LG cs.NE
Deep Metric Learning with Chance Constraints
MetaDialog;Cerebrate AI;OGAM;METU(中东技术大学)
本文将深度度量学习与有限机会约束的可行性问题相联系,提出一种通过迭代投影求解约束交集的算法,利用多个代理并反复重初始化以提升泛化性能。
2023-09-06 cs.CV cs.LG stat.ML
Quantifying Local Specialization in Deep Neural Networks
University of California Berkeley(加州大学伯克利分校);Boston University(波士顿大学);Center for Human-Compatible AI (CHAI)(人类兼容人工智能中心);MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)(麻省理工学院计算机科学与人工智能实验室)
一个神经网络在某种程度上是局部专门化的,它的计算图(即结构)的部分可以抽象地表示为执行与整个任务(即功能)相关的一些可理解的子任务。现代深度神经网络是局部特化的吗?如何量化?在本文中,我们考虑的问题,采取的神经网络的神经元被划分成集群,并量化如何功能专门的集群。我们为此提出了两个代理:重要性,它反映了神经元集对网络性能的重要性;一致性,它反映了神经元与输入特征的一致性。为了测量这些代理,我们开发了一套统计方法的基础上,传统上用于解释单个神经元的技术。我们将代理应用于通过频谱聚类网络神经元的图形表示生成的分区,其中边缘由网络权重或激活的相关性确定。我们表明,这些分区,即使是只基于权重(即严格从非运行时分析),揭示了重要和连贯的神经元组。这些结果表明,基于图的划分可以揭示局部特化,并且统计方法可以用于自动筛选可以抽象理解的神经元集。
2022-02-07 cs.AI cs.LG cs.NE
Accelerating Physics-Based Simulations Using Neural Network Proxies: An Application in Oil Reservoir Modeling
IBM Research(IBM研究院);Repsol, S.A.(雷普索尔公司)
我们开发了一种基于深度学习方法的代理模型,与基于行业强度物理的PDE求解器相比,可以加速油藏的模拟-三个数量级。本文介绍了一种新的架构方法来完成这项任务,伴随着一个公开的油藏模型进行了彻底的实验评估。我们证明,在一个实际的设置,可以实现超过2000倍的加速比与平均序列误差约为10%的油田模拟器。代理模型与高质量的基于物理的加速基线进行对比,并显示出优于它的几个数量级。我们相信,这里提出的结果是非常有前途的,并提供了一个有价值的基准,继续研究油田开发优化。由于其领域不可知的架构,所提出的方法可以扩展到许多应用领域以外的石油和天然气勘探。
2019-05-23 cs.LG stat.ML
Optimization Proxies using Limited Labeled Data and Training Time -- A Semi-Supervised Bayesian Neural Network Approach
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);MIT Energy Initiative, MIT(麻省理工学院能源倡议)
本文提出一种半监督贝叶斯神经网络优化代理,通过交替执行监督成本最小化和无监督约束可行性学习,在有限标注数据和训练时间下显著优于DNN,并利用后验样本构建概率置信界。
2025-06-06 cs.LG cs.SY eess.SY
GreenFactory: Ensembling Zero-Cost Proxies to Estimate Performance of Neural Networks
University of Coimbra(科英布拉大学);CISUC/LASI;DEI(工学院);INESC-ID;Instituto Superior Técnico(技术高等学院);Universidade de Lisboa(里斯本大学)
针对零成本代理泛化差且只能排序的问题,本文提出 GreenFactory,用随机森林集成多个代理直接预测测试准确率,并在 NATS-Bench 两个搜索空间和三个数据集上取得高 Kendall 相关性。
2025-05-14 cs.AI cs.CV cs.LG
Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm AI Research(高通人工智能研究部);Qualcomm Technologies, Inc.(高通技术公司);Amazon(亚马逊)
本文全面综述对比了最先进的零样本(免训练)神经架构搜索方法,梳理主流代理指标及理论基础,通过实验验证其在硬件感知与无关场景的有效性,并提出未来优化方向。
2024-06-18 cs.CV cs.LG
Neural Proxies for Sound Synthesizers: Learning Perceptually Informed Preset Representations
Audio Communication Group, TU Berlin(柏林技术大学音频通信组);Neural Information Processing Group, TU Berlin(柏林技术大学神经信息处理组)
本文提出一种用神经网络近似任意合成器的方法,将预设映射到预训练模型的音频嵌入空间,形成神经代理,从而在不可微的黑盒合成器上实现基于神经的自动合成器编程,并在多个架构和合成器上验证了有效性。
2025-09-09 cs.LG cs.SD eess.AS
Unifying back-propagation and forward-forward algorithms through model predictive control
National University of Singapore(新加坡国立大学);Institute for Functional Intelligent Materials(功能智能材料研究院)
本文提出用模型预测控制框架统一反向传播与前向-前向算法,通过选择优化时域实现性能与效率的权衡,并给出有原则的时域选择方法。
2024-09-29 cs.LG math.OC
Deep Learning of Representations: Looking Forward
Université de Montréal(蒙特利尔大学)
深度学习研究的目的是发现学习算法,这些算法可以发现多个层次的分布式表示,更高的层次表示更抽象的概念。尽管深度学习的研究已经取得了令人印象深刻的理论成果、学习算法和突破性的实验,但仍面临着一些挑战。本文提出研究其中的一些挑战,重点是将深度学习算法扩展到更大的模型和数据集,减少由于病态或局部最小值而导致的优化困难,设计更有效和强大的推理和采样程序,以及学习理清观察数据背后的变化因素。它还提出了一些前瞻性的研究方向,旨在克服这些挑战。
2013-06-07 cs.LG
Deep Forward-Backward SDEs for Min-max Control
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
提出了一种新的数值求解非线性系统随机微分对策的方法。所提出的方法依赖于非线性Feynman-Kac定理,该定理建立了抛物型确定性偏微分方程和向前向后随机微分方程之间的联系。利用这一定理,将与微分对策相关的Hamilton-Jacobi-Isaacs偏微分方程表示为一个正倒向随机微分方程系统.上述随机微分方程系统的数值解是使用重要性采样和长短期记忆递归神经网络来执行的,该神经网络是以离线方式训练的。所得到的算法进行了测试,在模拟和标准的风险中性随机最优控制配方的两个例子系统。
2019-06-11 cs.LG math.OC stat.ML
Nesting Forward Automatic Differentiation for Memory-Efficient Deep Neural Network Training
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Alibaba Group(阿里巴巴集团);Microsoft Research(微软研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
激活函数是一种逐元素的数学函数,在深度神经网络(DNN)中起着至关重要的作用。已经提出了许多新颖和复杂的激活函数来提高DNN的准确性,但在反向传播的训练过程中也消耗了大量的内存。在这项研究中,我们提出了嵌套的前向自动微分(Forward-AD),特别是用于记忆高效的DNN训练的逐元素激活函数。我们在两个广泛使用的深度学习框架TensorFlow和PyTorch中部署嵌套的Forward-AD,它们分别支持静态和动态计算图。我们的评估表明,嵌套的Forward-AD比基线模型减少了高达1.97倍的内存占用,在相同的内存减少率下,比重新计算的性能高出20%。
2022-09-22 cs.LG
Forward Thinking: Building Deep Random Forests
Brigham Young University(杨百翰大学)
深度神经网络的成功激发了许多人思考其他学习者是否可以从深度分层架构中受益。我们提出了一个称为深度学习前瞻性思维的一般框架,它概括了深度神经网络的架构灵活性和复杂性,同时还允许(i)网络中除神经元之外的不同类型的学习功能,以及(ii)根据需要自适应地深化网络以改善结果的能力。这是通过一次训练一个层来完成的,一旦训练了一个层,输入数据就会通过该层向前映射,以创建一个新的学习问题。然后重复该过程,通过多个层转换数据,一次一个,渲染一个新的数据集,该数据集预计会表现得更好,并且最终输出层可以实现良好的性能。在用决策树替换深度神经网络的神经元的情况下,我们将结果称为前瞻性思考深度随机森林(FTDRF)。我们通过在MNIST数据集上应用FTDRF来证明概念。我们还提供了一个通用的数学公式,允许考虑其他类型的深度学习问题。
2017-05-20 cs.LG stat.ML
Unsupervised Deep Learning Algorithm for PDE-based Forward and Inverse Problems
Tel-Aviv University(特拉维夫大学)
我们提出了一种基于神经网络的算法,用于以无监督的方式求解偏微分方程的正问题和反问题。该解决方案是近似的深度神经网络,这是成本函数的最小化,并满足PDE,边界条件,和额外的正则化。该方法是无网格的,可以很容易地应用到一个任意的规则域。本文主要研究二维二阶椭圆系统的变系数问题,并将其应用于电阻抗成像。
2019-04-10 cs.LG stat.ML
Going Forward-Forward in Distributed Deep Learning
Sabanci University(萨班哲大学);Faculty of Engineering and Natural Sciences(工程与自然科学学院)
本文研究 FF 算法在分布式深度学习中的并行实现,通过双前向传播替代反向传播,在四节点四层网络上于 MNIST 实现 3.75 倍加速且不损失精度。
2024-05-09 cs.DC cs.LG
One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
Amazon.com Inc(亚马逊公司);ByteDance Inc(字节跳动公司);University of Pittsburgh(匹兹堡大学);Snap Inc(Snap公司)
大规模机器学习系统中的深度学习模型通常使用来自生产环境的大量数据进行持续训练。流传输训练数据的绝对量对实时训练子系统构成了重大挑战,并且ad-hoc采样是标准实践。我们的关键见解是,这些部署的ML系统在推理过程中不断地对数据实例执行正向传递,但是ad-hoc采样并没有利用这种大量的计算工作。因此,我们建议从这些向前传递中记录每个实例的恒定信息量。额外的信息可测量地改进了哪些数据实例应该参与向前和向后传递的选择。提出了一种新的优化框架来分析这个问题,我们提供了一个有效的近似算法的框架下的小批量梯度下降作为一个实用的解决方案。我们还证明了我们的框架和算法在几个大规模的分类和回归任务的有效性,与广泛用于工业的竞争性基线相比。
2021-04-27 cs.LG
The Trifecta: Three simple techniques for training deeper Forward-Forward networks
University of Antwerp(安特卫普大学);imec-IDLab
针对Forward-Forward局部学习算法可扩展性差、仅适用于小数据集的问题,提出由三种协同技术组成的The Trifecta方案,提升深层网络性能,在CIFAR-10上达84%准确率,较原始算法提升25%,可与反向传播模型媲美。
2023-12-12 cs.CV cs.LG
Flow of Information in Feed-Forward Deep Neural Networks
Virginia Tech(弗吉尼亚理工大学);University of Arizona(亚利桑那大学)
前馈深度神经网络已广泛用于各种机器学习应用中。准确理解神经网络的底层行为对于有效部署至关重要。在本文中,我们使用信息论的方法来研究神经网络中的信息流,并确定如何连续层之间的信息熵的变化。此外,利用信息瓶颈原理,我们开发了一个约束优化问题,可以用于深度神经网络的训练过程。此外,我们确定了一个下界的数据表示的水平,可以实现在一个深度神经网络与可接受的失真水平。
2016-03-20 cs.IT cs.LG math.IT
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Agriculture & Food, CSIRO(澳大利亚联邦科学与工业研究组织农业与食品部)
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是,整个架构是时不变的(在空间域中的平移不变)或静止的。我们认为,时间不变性可以降低执行多步预测的能力,其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet,它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出,我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
A deep learning approach to solve forward differential problems on graphs
University of Alaska Fairbanks(阿拉斯加大学费尔班克斯分校);Oak Ridge National Laboratory(橡树岭国家实验室)
我们提出了一种新的深度学习(DL)方法来解决图上的一维非线性椭圆,抛物和双曲问题。物理信息神经网络(PINN)模型的系统用于通过将每个PINN模型分配给图的特定边缘来求解微分方程。通过在训练损失函数中加入惩罚项,以弱形式施加Kirkhoff-Neumann(KN)节点条件。通过施加KN条件的惩罚项,PINN模型与彼此共享节点坐标的边相关联,以确保解及其沿相应边计算的方向导数的连续性。对图的每个边使用单独的PINN模型,使我们的方法能够通过在分布式计算资源上训练不同的PINN模型来满足并行化的必要要求。数值结果表明,该系统的PINN模型准确地近似的微分问题的解决方案,在整个图的广泛的图形拓扑结构。
2022-10-07 cs.AI cs.LG math.OC
A Deep Neural Network Framework for Solving Forward and Inverse Problems in Delay Differential Equations
School of Mathematical Sciences, Shenzhen University(深圳大学数学科学学院)
提出神经延迟微分方程(NDDEs)框架,利用深度神经网络和自动微分求解延迟微分方程正逆问题,无需网格依赖,在参数估计和数值实验中展现高精度。
2024-08-24 cs.LG
State-of-Charge Estimation of a Li-Ion Battery using Deep Forward Neural Networks
Polytechnic School of the University of São Paulo(圣保罗大学工学院)
本文介绍了两个分别具有两个和四个隐藏层的深度前向网络,它们使用K折交叉验证方法在给定温度下对Panasonic 18650 PF锂离子(Li-ion)电池的驱动循环进行建模,以估计电池的荷电状态(SOC)。驾驶循环功率曲线是针对具有针对单个18650 PF电池缩放的35 kWh电池组的电动卡车计算的。我们提出了一种机器学习工作流程,在开发用于SOC估计的深度学习模型时能够对抗过拟合。这项工作的贡献是提出了一种为锂离子电池构建深度前向网络及其性能评估的方法,该方法遵循机器学习的最佳实践。
2020-09-20 cs.LG cs.SY eess.SP
A Forward-Backward Approach for Visualizing Information Flow in Deep Networks
Iowa State University(爱荷华州立大学)
我们引入了一个新的系统框架,用于可视化深度网络中的信息流。具体来说,给定任何经过训练的深度卷积网络模型和给定的测试图像,我们的方法在图像域中产生一个紧凑的支持,该支持对应于有助于给定解释的(高分辨率)特征。我们的方法是计算效率以及数值鲁棒性。我们提出了几个初步的数值结果,支持我们的框架比现有的方法的好处。
2017-11-16 cs.CV cs.LG stat.ML
Experimental Assessment of a Forward-Collision Warning System Fusing Deep Learning and Decentralized Radio Sensing
Universidad Autónoma de San Luis Potosí(圣路易斯波托西自治大学);Robert Bosch México(罗伯特·博世墨西哥公司);Universidad de Chile(智利大学)
本文提出并实验验证了一种融合深度学习与去中心化连续波无线电感知的前向碰撞预警系统,利用车辆间连续波探测信号的多普勒特征,通过LSTM和CNN模型检测迎面车辆,证明了该方案的可行性。
2023-09-15 cs.LG
Forward-Backward Stochastic Neural Networks: Deep Learning of High-dimensional Partial Differential Equations
Division of Applied Mathematics, Brown University(布朗大学应用数学系)
本文提出一种高维偏微分方程求解方法,利用深度神经网络和随机微分方程的联系,避免数值离散化限制,解决维度诅咒问题。
2018-04-19 cs.LG cs.SY eess.SY
Korzhinskii-Net: Physics-Informed Neural Network for Sub-Surface Mineral Prospectivity Modelling
The Hong Kong University of Science and Technology(香港科技大学)
提出Korzhinskii-Net,一种耦合达西流、热输运和反应速率的二维径向物理信息神经网络,在五个矿省四个矿种上平均PR-AUC达0.885,显著优于传统基线。
2026-07-02 cs.AI cs.LG physics.geo-ph
Efficient forward propagation of time-sequences in convolutional neural networks using Deep Shifting
Centrum Wiskunde en Informatica(数学与计算机科学中心)
当使用卷积神经网络对连续更新的时间序列进行实时评估时,需要执行许多冗余的卷积运算。我们提出了深度移位的方法,它记住以前计算的卷积运算结果,以尽量减少计算的次数。复杂度的降低至少是一个常数,在最好的情况下是二次的。我们证明,这种方法确实节省了显着的计算时间,在一个实际的实施,特别是当网络接收大量的时间帧。
2016-03-11 cs.CV cs.LG cs.NE
Towards Robust and Stable Deep Learning Algorithms for Forward Backward Stochastic Differential Equations
Imperial College London(帝国理工学院)
在定量金融中的应用,如最优交易执行,期权风险管理和最优资产配置,涉及高维和非线性偏微分方程(PDE)的解决方案。偏微分方程和系统的前向-后向随机微分方程(FBSDES)之间的连接,使使用先进的模拟技术,即使在高维设置中应用。不幸的是,当底层的应用程序包含非线性项,然后经典的方法模拟和数值方法的偏微分方程遭受的灾难的维度。受到深度学习成功的启发,一些研究人员最近提出了使用深度学习解决FBSDES的解决方案。我们讨论了深度学习的动态系统观点,并在稳定性、泛化和鲁棒性方面比较了几种架构。为了加快计算速度,我们建议使用多级离散化技术。我们的初步结果表明,多级离散化方法提高了解决方案的时间由一个数量级相比,现有的方法,而不牺牲稳定性或鲁棒性。
2019-10-25 cs.LG stat.ML
On Feature Collapse and Deep Kernel Learning for Single Forward Pass Uncertainty
University of Oxford(牛津大学);University College London(伦敦大学学院)
诱导点高斯过程近似通常被认为是不确定性估计的黄金标准,因为它们保留了精确GP的许多属性,并可扩展到大型数据集。一个主要的缺点是,它们很难扩展到高维输入。深度核学习(Deep Kernel Learning,DKL)提供了一种解决方案:深度特征提取器对定义了诱导点高斯过程的输入进行变换。然而,DKL已被证明在实践中提供不可靠的不确定性估计。我们研究了为什么,并表明,在没有约束的情况下,DKL目标将“遥远”的数据点映射到与训练集点相同的功能。有了这个洞察力,我们建议约束DKL的特征提取器,通过双Lipschitz约束近似保持距离,从而产生有利于DKL的特征空间。我们得到了一个模型,DUE,这表明不确定性质量优于以前的DKL和其他单前向传递不确定性方法,同时保持标准神经网络的速度和准确性。
2022-03-07 cs.LG stat.ML
Forward and Inverse models in HCI:Physical simulation and deep learning for inferring 3D finger pose
University of Glasgow(格拉斯哥大学)
我们概述了正向和逆向建模方法在人机交互系统设计中的作用。因果关系的正向模型往往更容易指定和模拟,但HCI需要逆问题的解决方案。我们推断手指的三维位置$(x,y,z)$和姿态(俯仰和偏航)的移动终端上使用电容传感器,可以感测到屏幕上方5厘米的手指。我们使用机器学习来开发数据驱动模型,以基于来自以下的训练数据来推断位置、姿态和传感器读数:1.由机器人生成的数据,2.来自静电模拟器的数据3.人工生成的数据。机器学习仿真用于将静电仿真性能提高数百万倍。我们结合了一个条件变分自编码器领域的专业知识/模型实验收集的数据。我们比较正向和反向模型的方法来直接推断手指姿势。该组合给出了关于利用移动终端上的电容传感器推断3D位置和姿态的最准确的报告结果。
2021-09-07 cs.HC cs.LG
Deep neural networks for solving forward and inverse problems of (2+1)-dimensional nonlinear wave equations with rational solitons
Key Laboratory of Mathematics Mechanization, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院数学机械化重点实验室);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院);Yau Mathematical Sciences Center and Department of Mathematics, Tsinghua University(清华大学丘成桐数学科学中心与数学系)
本文利用神经网络的深度学习方法,研究了(2+1)维KP-I方程和自旋非线性薛定谔(spin-NLS)方程的数据驱动有理孤子的正演问题.此外,通过深度学习研究了(2+1)维KP-I方程和自旋NLS方程的反问题。数据驱动的正问题和反问题的主要思想是使用具有激活函数的深度神经网络,通过优化与所考虑的非线性波方程相关的所选损失函数来近似所考虑的(2+1)维非线性波方程的解。
2021-12-28 cs.LG math-ph math.MP
MultiAuto-DeepONet: A Multi-resolution Autoencoder DeepONet for Nonlinear Dimension Reduction, Uncertainty Quantification and Operator Learning of Forward and Inverse Stochastic Problems
Purdue University(普渡大学)
提出了一种新的数据驱动的随机微分方程算子学习方法。中心目标是使用有限的数据更有效地解决正向和反向随机问题。深度算子网络(DeepONet)最近被提出用于算子学习。与其他神经网络学习函数相比,它针对的是非线性算子的学习问题。然而,使用原始模型来学习高维随机问题的非线性算子可能具有挑战性。我们提出了一种新的多分辨率自动编码器DeepONet模型,称为MultiAuto-DeepONet,以在卷积自动编码器的帮助下解决这一困难。网络的编码器部分被设计为降低维数以及发现高维随机输入的隐藏特征。解码器被设计为具有特殊结构,即DeepONet的形式。解码器中的第一个DeepONet用于重建涉及随机性的输入函数,而第二个DeepONet用于近似所需方程的解。这两个DeepONet有一个公共的分支网络和两个独立的主干网络。这种架构使我们能够自然地处理多分辨率输入。通过对网络进行$L_1$正则化,我们发现分支网络和两个主干网络的输出都具有稀疏结构。这减少了神经网络中可训练参数的数量,从而使模型更有效。最后,我们进行了几个数值实验来说明我们提出的具有不确定性量化的MultiAuto-DeepONet模型的有效性。
2022-04-07 cs.LG stat.ML
Deep Forward and Inverse Perceptual Models for Tracking and Prediction
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology(佐治亚理工学院机器人与智能机器研究所);College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们考虑的问题,学习前向模型,将状态映射到高维图像和逆模型,将高维图像映射到机器人的状态。具体来说,我们提出了一个感知模型,用于通过深度网络从状态生成视频帧,并提供了一个框架,用于跟踪和预测任务。我们表明,我们提出的模型大大优于标准的去卷积方法和GANs的图像生成,产生清晰,照片般逼真的图像。我们还开发了一个卷积神经网络模型的状态估计和比较的结果扩展卡尔曼滤波器估计机器人轨迹。我们验证了一个真正的机器人系统的所有模型。
2018-05-20 cs.AI cs.LG cs.RO
Employing Layerwised Unsupervised Learning to Lessen Data and Loss Requirements in Forward-Forward Algorithms
Chungnam National University(忠南大学)
为解决 Forward-Forward 算法需特殊输入和损失函数的限制,本文提出 Unsupervised Forward-Forward 算法,通过无监督学习实现稳定训练与多任务通用性,并有望应用于联邦学习等物理分布场景。
2024-04-23 cs.AI cs.LG
Deep-layer limit and stability analysis of the basic forward-backward-splitting induced network (II): learning problems
China Academy of Aerospace System(中国航天系统研究院);School of Mathematical Sciences(数学科学学院);Nankai University(南开大学)
本文研究基本前向-后向分裂(FBS)诱导网络的训练问题,证明其收敛到深层极限系统的学习问题,并给出扰动稳定性分析。
2026-05-26 cs.AI cs.LG
Wide Attention Is The Way Forward For Transformers?
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);University of Oxford(牛津大学)
Transformer是一个非常强大和突出的深度学习架构。在这项工作中,我们挑战了深度学习中普遍持有的信念,即更深入更好,并展示了一种替代设计方法,可以构建更广泛的关注Transformers。我们证明了宽的单层Transformer模型可以在各种自然语言处理(NLP)任务中与更深的模型竞争或优于更深的模型,当两者都是从头开始训练时。然后系统地研究了改变模型长宽比对Transformers的影响。这个比率平衡了层数和每层的注意力头数,同时保持注意力头总数和所有其他超参数不变。平均而言,在4个NLP任务和10种注意力类型中,单层宽模型的性能比深度模型高出0.3%。我们展示了一个深入的评估,并展示了宽模型需要更小的内存占用,可以在商品硬件上运行得更快,此外,这些更宽的模型也更容易解释。例如,IMDb字节级文本分类上的单层Transformer在CPU上的推理延迟比同等精度的更深层次对应物快3.1倍,并且大小是其一半。因此,我们提出了更广泛和更浅的模型,作为NLP任务上小模型的可行和理想的替代方案,并作为超越这一领域的重要研究领域。
2022-11-08 cs.LG
Closed-loop deep learning: generating forward models with back-propagation
University of Glasgow(格拉斯哥大学)
反射是一种简单的闭环控制方法,它试图最大限度地减少错误,但由于总是反应太晚而无法做到这一点。自适应算法可以使用该误差来在预测线索的帮助下学习前向模型。例如,驾驶员学会通过向前看来改善他们的转向,以避免在最后一分钟转向。为了处理复杂的线索,如前面的道路,深度学习是一个自然的选择。然而,这通常仅通过采用具有离散状态空间的深度强化学习来间接实现。在这里,我们展示了如何通过将深度学习嵌入到闭环系统中并保持其连续处理来直接实现这一点。我们具体展示了如何在z空间中实现误差反向传播,以及如何在这种闭环情况下分析基于梯度的方法。这种学习模式的性能证明使用线跟随器在模拟和一个真正的机器人,表现出非常快速和连续的学习。
2020-01-13 cs.AI cs.LG cs.RO
Deep Recurrent Models with Fast-Forward Connections for Neural Machine Translation
Baidu Research - Institute of Deep Learning(百度研究院-深度学习研究所);Baidu Inc.(百度公司)
神经机器翻译(NMT)旨在利用神经网络解决机器翻译(MT)问题,近年来取得了可喜的成果。然而,大多数现有的NMT模型是浅的,并且单个NMT模型与最好的常规MT系统之间仍然存在性能差距。在这项工作中,我们引入了一种新型的线性连接,称为快进连接,基于深度长短期记忆(LSTM)网络,以及用于堆叠LSTM层的交错双向架构。快进连接在传播梯度和构建深度为16的深度拓扑中起着至关重要的作用。在WMT '14英语到法语的任务中,我们使用单一注意力模型实现了BLEU = 37.7,比相应的单一浅层模型高出6.2个BLEU点。这是第一次一个单一的NMT模型实现了最先进的性能,并超过最好的传统模型0.7 BLEU点。即使不使用注意力机制,我们仍然可以达到BLEU = 36.3。在对未知词和模型集成进行特殊处理后,我们获得了迄今为止在此任务上报告的最佳分数,BLEU = 40.4。我们的模型也验证了更困难的WMT '14英语到德语的任务。
2016-07-23 cs.CL cs.LG
Deep Neural Network Approach to Forward-Inverse Problems
Pohang University of Science and Technology(浦项科技大学);California State University Long Beach(加州州立大学长滩分校)
在本文中,我们使用深度神经网络(DNN)构造微分方程(DE)的近似解。此外,我们提出了一个架构,其中包括通过实验数据,反问题,找到模型参数的过程。也就是说,我们提供了DNN架构的统一框架,该框架同时近似于分析解及其模型参数。该架构包括一个前馈DNN与非线性激活函数依赖于DE,自动微分,降阶,和梯度的最优化方法。我们还从理论上证明了所提出的DNN解决方案收敛到一个分析解在一个合适的函数空间的基本DE。最后,我们进行了数值实验,以验证我们的简化DNN架构的鲁棒性的一维输运方程,二维热方程,二维波动方程,和Lotka-Volterra系统。
2019-07-27 cs.LG cs.NA math.AP
Information Theoretic Lower Bounds for Feed-Forward Fully-Connected Deep Networks
Purdue University(普渡大学);Department of Statistics(统计系);Department of Computer Science(计算机科学系);West Lafayette, IN 47906(西拉斐特,印第安纳州 47906)
在本文中,我们研究了样本复杂性下界的参数的准确恢复和一个积极的超额风险的前馈,全连接神经网络的二进制分类,使用信息理论的工具。我们证明了这些下界的生成网络的存在,其特征在于一个向后的数据生成过程中,输入生成的基础上的二进制输出,和网络参数化的隐藏层的权重参数。参数精确恢复的样本复杂度下限为$Ω(d r \log(r) + p )$,正超额风险的样本复杂度下限为$Ω(r \log(r) + p )$,其中$p$是输入的维数,$r$反映权重矩阵的秩,$d$是隐藏层的数量。据我们所知,我们的结果是第一个信息论下界。
2020-10-29 cs.LG stat.ML
Forward Thinking: Building and Training Neural Networks One Layer at a Time
Brigham Young University(杨百翰大学)
我们提出了一个用于训练深度神经网络而无需反向传播的一般框架。这大大减少了训练时间,也允许构建具有多种学习器的深度网络,包括由不易区分的函数定义的网络,如决策树。其主要思想是,层可以一次训练一个,一旦它们被训练,输入数据就会通过层向前映射,以创建一个新的学习问题。重复该过程,通过多个层转换数据,一次一个,渲染一个新的数据集,该数据集预计会表现得更好,并且最终输出层可以在其上实现良好的性能。我们称之为前瞻性思维,并通过在卷积神经网络的MNIST数据集上实现最先进的精度来证明概念。我们还提供了前瞻性思维的一般数学公式,允许考虑其他类型的深度学习问题。
2017-06-08 cs.LG stat.ML
Energy-Efficient Deep Learning Without Backpropagation: A Rigorous Hardware-Validated Benchmarking Study of Forward-Only Algorithms
本研究挑战了反向传播不可或缺的假设,证明无反向传播的Mono-Forward算法在MLP架构上分类准确率超越BP基线,且能耗降低41%、训练加速34%,是替代BP的高性能可持续方案。
2026-10-14 cs.AI cs.LG
Model-Centric and Data-Centric Aspects of Active Learning for Deep Neural Networks
Chalmers University of Technology(查尔姆斯理工大学);Linköping University(林雪平大学)
我们以一致和统一的方式研究深度神经网络的主动学习的不同方面。i)我们研究了增量和累积训练模式,这些模式指定了如何使用新标记的数据进行训练。ii)我们研究了主动学习。模型配置,如epoch和神经元的数量以及批量大小的选择。iii)我们详细考虑了查询策略的行为及其相应的信息量度量,并相应地提出了更有效的查询过程。iv)我们进行统计分析,例如,关于主动学习类和测试误差估计,揭示了关于主动学习的一些见解。v)我们研究了使用神经网络的主动学习如何受益于伪标签作为实际标签的代理。
2022-12-29 cs.AI cs.LG stat.ML
Residual Memory Networks: Feed-forward approach to learn long temporal dependencies
Brno University of Technology(布尔诺理工大学)
训练深度递归神经网络(RNN)架构由于增加的网络复杂性而变得复杂。这破坏了使用深度RNN学习高阶抽象。在前馈网络的情况下,训练深层结构是简单和快速的,而学习长期的时间信息是不可能的。在本文中,我们提出了一个残留的记忆神经网络(RMN)架构,使用深前馈层具有残留和时间延迟的连接模型的短期依赖。剩余连接通过实现不受阻碍的梯度流和时间延迟单元捕获具有共享权重的时间信息,为构建更深层次的网络铺平了道路。RMN中的层的数量表示分层处理深度和时间深度。与深度递归网络相比,训练RMN的计算复杂性显著降低。RMN进一步扩展为双向RMN(BRMN),以捕获过去和未来的信息。在AMI语料库上的实验分析证实了RMN学习长期信息和层次信息的能力。识别性能的RMN训练300小时的总机语料库进行了比较,与各种国家的最先进的LVCSR系统。结果表明,RMN和BRMN相对于LSTM和BLSTM网络获得了6%和3.8%的相对改进。
2018-08-06 cs.CL cs.LG stat.ML
FISAR: Forward Invariant Safe Reinforcement Learning with a Deep Neural Network-Based Optimize
Massachusetts Institute of Technology(麻省理工学院)
本文研究了具有约束的强化学习,这在安全关键环境中是必不可少的。为了使约束违反单调下降,我们把约束作为李雅普诺夫函数,并施加新的线性约束的政策参数的更新动态。因此,原始安全集可以是前向不变的。然而,由于新的不确定可行约束被施加在更新动态上,而不是原始策略参数,经典的优化算法不再适用。为了解决这个问题,我们建议学习一个通用的基于深度神经网络(DNN)的优化器来优化目标,同时满足线性约束。通过投影到多个线性不等式约束的多面体上,可以用我们新设计的度量解析地解决约束满足。据我们所知,这是基于\textit{first} DNN的优化器,用于具有前向不变性保证的约束优化。我们表明,我们的优化器训练的政策,以减少约束违反和最大化的累积奖励单调。数值约束优化和避障导航的结果验证了理论研究结果。
2021-05-05 cs.AI cs.LG stat.ML
NN2Poly: A polynomial representation for deep feed-forward artificial neural networks
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Pontificia Comillas(卡米亚斯大主教大学)
本文提出NN2Poly方法,利用泰勒展开和组合性质,将任意深度的全连接前馈神经网络转换为显式多项式,以提升可解释性,并通过实验验证其有效性。
2023-09-25 cs.LG stat.ML
Neuro-Symbolic Forward Reasoning
TU Darmstadt(达姆施塔特工业大学);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心)
推理是人类智能的重要组成部分,因此一直是人工智能研究的长期目标。随着最近深度学习的成功,将推理与深度学习系统相结合,即,神经符号人工智能已经成为一个主要的兴趣领域。我们提出了神经符号前向推理(NSFR),一种新的方法,推理任务利用可微的前向链接使用一阶逻辑。其核心思想是将可微前向链推理与以对象为中心的(深度)学习相结合。可微前向链推理平滑地计算逻辑蕴涵,即,它以可微的方式从给定的事实和规则中推导出新的事实。以对象为中心的学习方法将原始输入分解为对象的表示。因此,它允许我们提供一个一致的框架来执行从原始输入的前向链接推理。NSFR将原始输入分解为以对象为中心的表示,将其转换为概率基础原子,最后使用加权推理规则执行可微前向链推理。我们的全面的实验评估对象为中心的推理数据集,二维Kandinsky模式和三维CLEVR-Hans,和各种任务显示了我们的方法的有效性和优势。
2021-10-18 cs.AI cs.CV cs.LG