Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
The University of Hong Kong(香港大学)
在压缩深度神经网络(DNN)时,已经探索了深度、宽度、核大小和分辨率方面的弹性。认识到卷积神经网络(CNN)中的内核是4向张量,我们进一步利用沿输入输出通道的新弹性维度。具体而言,提出了一种新的核范数秩最小化因子分解(NRMF)方法,用于在训练过程中动态全局搜索降低的张量秩。揭示了多层张量秩之间的相关性,并在模型大小和精度之间获得了一个优雅的折衷。实验结果表明,NRMF优于以前的非弹性变分贝叶斯矩阵分解(VBMF)计划。
2021-05-10 cs.LG
The Local Elasticity of Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
本文提出了神经网络中的一种现象,我们称之为\textit{local elasticity}。粗略地说,如果在分类器经由在(标记的)特征向量$\bx$(在某种意义上是\textit{dissimilar}到$\bx'$)处的随机梯度下降更新之后,分类器在特征向量$\bx'$处的预测是\textit{not}显著扰动的,则分类器被认为是局部弹性的。通过对现实生活和合成数据集的广泛模拟,这种现象在具有非线性激活函数的神经网络中持续存在,而在线性分类器中没有观察到。此外,我们提供了一个几何解释的局部弹性神经切线核\citep{jacot2018neural}。在局部弹性的基础上,我们获得了特征向量之间的成对相似性度量,这些相似性度量可用于结合$K$ -均值进行聚类。聚类算法在MNIST和CIFAR-10数据集上的有效性反过来又证实了神经网络对现实数据的局部弹性假设。最后,我们讨论了局部弹性的一些含义,以阐明深度神经网络的几个有趣的方面。
2020-02-15 cs.CV cs.LG stat.ML
Energy-based error bound of physics-informed neural network solutions in elasticity
University of Twente(特文特大学);Massachusetts Institute of Technology(麻省理工学院)
提出了一种基于能量的后验误差界,用于弹性力学问题的物理信息神经网络解。从混合形式的物理信息神经网络获得了一个容许的位移-应力解对,建议的误差界被公式化为由解对定义的本构关系误差。这样的误差估计器提供了神经网络离散化的全局误差的上界。边界属性,以及物理信息的神经网络解决方案的渐近行为,研究了一个演示的例子。
2022-05-29 cs.LG cs.NA math.NA
A Physics Informed Neural Network Approach to Solution and Identification of Biharmonic Equations of Elasticity
The University of New South Wales(新南威尔士大学);Massachusetts Institute of Technology(麻省理工学院);University of British Columbia(不列颠哥伦比亚大学);Sharif University of Technology(谢里夫理工大学)
我们探索的物理信息神经网络(PINNs)结合艾里应力函数和傅立叶级数的应用,找到最佳的解决方案,一些参考双调和问题的弹性和弹性板理论。双调和关系是四阶偏微分方程(PDE),使用经典数值方法求解具有挑战性,并且尚未使用PINN解决。我们的工作突出了经典分析方法的一个新的应用,以指导高效的神经网络的建设与最小数量的参数,是非常准确和快速评估。特别是,我们发现,丰富的特征空间,使用艾里应力函数可以显着提高双谐波偏微分方程的PINN解决方案的准确性。
2021-08-16 cs.LG
Elastic Gossip: Distributing Neural Network Training Using Gossip-like Protocols
分布式神经网络训练因以下几个原因而受到特别关注,包括使用计算集群进行扩展,在物联网设备和边缘服务器等数据源进行训练,跨异构环境利用未充分利用的资源等。大多数当代方法主要使用计算集群解决扩展问题,需要高网络带宽和频繁的通信。本文概述了分布式训练的标准方法,并提出了一种新的技术,涉及使用Gossip类协议的成对通信,称为弹性Gossip。这种方法建立在一种称为弹性平均SGD(EASGD)的现有技术之上,并且类似于另一种称为Gossiping SGD的技术,该技术也使用类似Gossip的协议。使用MNIST数字识别和CIFAR-10分类任务,使用跨越多层感知器(MLP)和卷积神经网络(CNN)的常用神经网络架构,对Elastic Gossip与Gossiping SGD进行经验评估。结果发现,弹性流言,流言SGD,和所有减少SGD执行相当的,即使后者需要一个更高的通信成本。虽然Elastic Gossip在这些实验中的表现优于Gossiping SGD,但有可能在特定于给定应用程序的超参数空间上进行更彻底的搜索,可能会产生比Elastic Gossip更好的Gossiping SGD配置。
2018-12-06 cs.DC cs.LG stat.ML
Deformation estimation of an elastic object by partial observation using a neural network
Kyoto University(京都大学);Tohoku University(东北大学)
模拟人体器官的弹性物体的变形估计是计算机手术导航的重要内容。本研究的目的是估计整个三维弹性物体的变形,使用很少的观测点的位移信息。介绍了一种利用神经网络进行整体变形估计的学习方法。我们将我们的方法应用于两个弹性物体,一个矩形平行六面体模型,和一个人的肝脏模型从计算机断层扫描数据重建。当物体变形到66.4 mm时,人类肝脏模型的平均估计误差为0.041 mm,仅来自约3%的观察结果。这些结果表明,通过将训练好的神经网络应用于新的变形,可以从有限的观测中以可接受的误差水平估计整个弹性物体的变形。
2017-11-28 cs.CV cs.LG stat.ML
Robust Physics-Informed Neural Network Approach for Estimating Heterogeneous Elastic Properties from Noisy Displacement Data
Department of Industrial and Systems Engineering, Texas A&M University(工业与系统工程系,德克萨斯大学阿马尔科分校);Department of Mechanical Engineering, Texas A&M University(机械工程系,德克萨斯大学阿马尔科分校)
针对含噪声位移数据估计异质弹性参数的难题,提出逆弹性物理信息神经网络(IE-PINN),通过三网络架构与两阶段策略,实现鲁棒且绝对尺度的弹性属性重建。
2025-06-18 cs.LG
Neural Modular Physics for Elastic Simulation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Shanghai University(上海大学);Meta Reality Labs(Meta现实实验室)
本文提出神经模块物理学用于弹性模拟,结合神经网络的近似能力与传统模拟器的物理可靠性,实现更优的物理一致性和通用性。
2025-12-17 cs.CE cs.LG
Evaluation of Neural Surrogates for Physical Modelling Synthesis of Nonlinear Elastic Plates
Centre for Digital Music, Queen Mary, University of London, London, United Kingdom(伦敦大学女王学院数字音乐中心)
本文比较评估了多种神经网络代理模型在非线性弹性板振动预测中的表现,揭示其在长序列自回归预测中的局限,并为实时音频合成提出改进方向。
2025-07-16 cs.LG cs.SD eess.AS
Physics-Informed Neural Networks for Nonhomogeneous Material Identification in Elasticity Imaging
Brown University(布朗大学)
我们应用物理信息神经网络(PINNs)解决非均匀材料的识别问题。我们专注于弹性成像的背景下,其中一个旨在确定非均匀的软组织的准静态载荷下的全场位移测量的基础上的力学性能的问题。在我们的模型中,我们应用两个独立的神经网络,一个用于近似相应的正问题的解决方案,和其他的近似未知的材料参数场。作为概念的证明,我们验证了我们的模型上的一个典型的平面应变问题不可压缩的超弹性组织。结果表明,PINNs是有效的,在精确恢复未知的力学性能分布。通过在我们的模型中采用两个神经网络,我们扩展了PINN的材料识别能力,包括非均匀的材料参数场,这使得PINN在表示复杂的材料特性时具有更大的灵活性。
2020-09-02 cond-mat.soft cs.LG eess.IV
Neural Network Layers for Prediction of Positive Definite Elastic Stiffness Tensors
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Illinois(伊利诺伊大学)
机器学习模型可用于预测物理量,如均匀化弹性刚度张量,其必须始终是基于守恒参数的对称正定(SPD)。两个数据集的均匀化的弹性张量的晶格材料作为例子,它是希望获得的模型,映射单元格的几何和材料参数,其均匀化的刚度。将模型拟合到SPD数据并不保证模型的预测将保持SPD。现有的Cholsesky分解和本征分解方案抽象在这项工作中的转换层,执行SPD条件。这些层可以包含在许多流行的机器学习模型中,以强制SPD行为。这项工作研究了不同的正性函数对层的影响,以及它们的包含如何影响模型的准确性。常用的模型被认为是,包括多项式,径向基函数,和神经网络。最终,它表明,一个单一的SPD层提高了模型的平均预测精度。
2022-03-25 cs.LG
Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本文研究在线持续学习中生长型与弹性型神经网络的可塑性,实验显示自适应生长型和弹性型神经网络可维持高准确率、不丧失可塑性,或为在线持续学习提供有前景的算法类别。
2026-08-04 cs.LG
Implicit Neural-Representation Learning for Elastic Deformable-Object Manipulations
KAIST(韩国科学技术院)
针对弹性可变形物体操纵中自由度大和部分观测导致的采样复杂度与不确定性问题,提出隐式神经表示学习方法INR-DOM,通过符号距离函数重建表面并结合强化学习微调表示,高效获得操纵策略。
2025-05-01 cs.LG cs.RO
Neuromechanical Autoencoders: Learning to Couple Elastic and Neural Network Nonlinearity
Princeton University(普林斯顿大学)
智能生物系统的特征在于它们在复杂环境中的体现以及它们的神经系统与它们的身体的非线性力学特性之间的密切相互作用。这种协调,其中运动系统的动力学共同进化以减少大脑的计算负担,被称为“机械智能”或“形态计算”。在这项工作中,我们试图开发这个过程的机器学习类似物,我们共同学习复杂的非线性弹性固体的形态以及深度神经网络来控制它。通过使用与传统深度学习架构耦合的弹性力学的专用可微模拟器-我们称之为神经机械自动编码器-我们能够学习通过梯度下降来执行形态学计算。我们的方法的关键是使用机械超材料-细胞固体,特别是-作为形态学基板。正如深度神经网络为感知和控制任务提供了灵活的和非参数化的函数逼近器一样,细胞固体超材料作为一个丰富的和可学习的空间,有希望近似各种驱动任务。在这项工作中,我们利用这些互补的计算概念,共同设计材料和神经网络控制,以实现非直观的机械行为。我们在模拟中演示了如何实现平移,旋转和形状匹配,以及“数字MNIST”任务。我们还制造和评估了其中一个设计,以验证其在现实世界中的行为。
2023-01-31 cs.LG
Neural Storage: A New Paradigm of Elastic Memory
University of Florida(佛罗里达大学)
计算机内存中数据的存储和检索在系统性能中起着重要作用。传统上,计算机存储器组织是静态的,即,它们不会基于系统操作期间存储器访问行为中的应用特定特性而改变。具体而言,数据块与搜索模式(或线索)的关联以及存储数据的粒度不会演变。我们观察到,计算机内存的这种静态性质不仅限制了我们可以存储在给定物理存储中的数据量,而且还错过了在各种应用程序中显着提高性能的机会。相反,人类记忆的特点是在存储和检索数据方面似乎具有无限的可塑性-以及动态创建/更新数据和相应线索之间的关联。在本文中,我们介绍了神经存储(NS),大脑启发的学习记忆范式,组织记忆作为一个灵活的神经记忆网络。在NS中,网络结构、关联强度和数据粒度在系统运行过程中不断调整,提供了前所未有的可塑性和性能优势。我们提出了相关的存储/检索/保留算法在NS中,它集成了一个形式化的学习过程。使用一个成熟的操作模型,我们证明了NS实现了两个代表性的应用程序相比,传统的基于内容的内存的内存访问性能的数量级的改善。
2021-01-07 cs.AI cs.AR cs.ET
Thermodynamically-Informed Iterative Neural Operators for Heterogeneous Elastic Localization
本文提出热力学信息迭代神经算子(TherINO),用于高效预测异质材料在周期边界条件下的局部弹性变形,通过热力学编码和解空间迭代,实现了更好的速度-精度权衡。
2024-11-10 cond-mat.mtrl-sci cs.LG
Probabilistic Physics-Informed Neural Networks for Estimating Heterogeneous Elastic Properties from Low-Resolution and Noisy Displacement Data
Texas A&M University(德克萨斯A&M大学)
针对从低分辨率和噪声位移数据估计非均匀弹性特性的不适定问题,提出PIE - PINN框架,结合B样条引导位移网络与分层半柯西模型,用交替最大似然训练策略,能稳健估计杨氏模量和泊松比,案例研究验证了其稳健性。
2026-07-17 cs.LG stat.ML
Deep Convolutional Neural Networks Predict Elasticity Tensors and their Bounds in Homogenization
University Siegen(锡根大学)
在目前的工作中,3D卷积神经网络(CNN)被训练成将任意相分数的随机异质两相材料与其弹性宏观刚度联系起来,从而取代显式均匀化模拟。为了减少由于未知边界条件(BC)而导致的合成复合材料的真实刚度的不确定性,CNN在周期性BC的刚度之外通过运动学均匀BC预测上限,并且通过应力均匀BC预测下限。这项工作描述了均匀化-CNN的工作流程,从CNN设计的微观结构生成,卷积,非线性激活和池化的操作,以及训练和验证以及反向传播到测试中的性能测量。其中,CNN不仅证明了标准测试集的预测准确性,而且还证明了金刚石涂层的真实两相微观结构的样本的预测准确性。覆盖所有三种边界类型的CNN实际上与三种不同网络中的单独处理一样准确。该贡献的CNN通过刚度边界提供了单个快照样本的适当RVE大小的指标。此外,它们能够对合成微结构的集合进行有效弹性刚度的统计分析,而无需昂贵的模拟。
2021-09-04 cond-mat.mtrl-sci cs.LG
Cartesian Neural Network Constitutive Models for Data-driven Elasticity Imaging
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Beckman Institute of Advanced Science and Technology, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼先进科学技术研究院)
弹性图像映射软组织的生物力学特性,以帮助检测和诊断病理状态。具体地,准静态超声(US)弹性成像技术使用在US扫描期间获取的力-位移测量来参数化时空应力-应变行为。目前的方法使用基于模型的逆方法来估计与所选择的本构模型相关联的参数。然而,基于模型的方法依赖于组织生物力学特性的简化假设,通常将弹性成像限制为成像一个或两个线性弹性参数。我们先前描述了一种用于构建神经网络本构模型(NNCM)的数据驱动方法,该模型从力-位移数据中学习应力-应变关系。使用明胶幻影上获得的测量结果,我们证明了NNCM的能力,以表征线弹性力学性能,而无需初始模型假设,从而规避数学约束通常遇到的经典模型为基础的方法来反问题。虽然成功了,但我们需要使用内部物体形状的先验知识来定义表现出不同材料特性的区域的空间分布。在这里,我们介绍笛卡尔神经网络本构模型(CaNNCMs),能够使用数据来模拟线弹性力学性能及其在空间中的分布。我们证明了CaNNCMs的能力,捕捉任意材料的性能分布,使用模拟phantomy的应力-应变数据。此外,我们表明,一个训练有素的CaNNCM可以用来重建杨氏模量图像。CaNNCM是朝着数据驱动的建模和成像软组织的复杂机械特性迈出的重要一步。
2018-09-11 cs.LG stat.ML
Elastic Time: Dynamic Frame Rate Bottlenecks for Neural Audio Coding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology(麻省理工学院)
提出弹性时间方法,通过轻量级潜在预测器实现动态帧率瓶颈,将固定帧率自编码器转换为动态帧率,在推理时高效选择边界,提升效率-质量权衡。
2026-06-29 cs.LG cs.SD eess.AS
Improving Scheduled Sampling with Elastic Weight Consolidation for Neural Machine Translation
University of Cambridge(剑桥大学)
尽管在许多序列到序列任务中表现出色,但使用最大似然估计训练的自回归模型存在暴露偏差,即训练期间使用的地面实况前缀与推理时使用的模型生成的前缀之间的差异。预定采样是一种简单且经验上成功的方法,它通过将模型生成的前缀纳入训练来解决这个问题。然而,有人认为这是一个不一致的训练目标,导致模型完全忽略前缀。在本文中,我们进行了系统的实验,发现定时采样,虽然它改善了暴露偏差,通过增加模型对输入序列的依赖,在推理时的前缀是正确的,灾难性遗忘的一种形式时的性能。我们建议使用弹性权重合并来更好地平衡减轻暴露偏差与保留性能。在四个IWITAL '14和WMT'14翻译数据集上的实验表明,我们的方法消除了灾难性遗忘,并显着优于最大似然估计和预定的采样基线。
2023-01-10 cs.CL cs.LG
A decomposition-based robust training of physics-informed neural networks for nearly incompressible linear elasticity
School of Mathematics and Statistics, University of New South Wales(数学与统计学学院,新南威尔士大学);Department of Mathematics, Inha University(数学系,inha大学)
针对近不可压缩弹性问题中PINNs的锁定失稳,提出基于分解的鲁棒训练框架,通过重构平衡子系统消除病态性,并同时求解正逆问题,数值实验验证了其有效性。
2025-10-23 cs.LG cs.NA math.NA
Physics-aware deep learning framework for linear elasticity
University of Michigan(密歇根大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一个高效和强大的数据驱动的深度学习(DL)计算框架开发的线性连续弹性问题。该方法基于物理信息神经网络(PINNs)的基本原理。为了准确地表示场变量,提出了多目标损失函数。它由对应于偏微分方程(PDE)的剩余部分的项,从管理物理学导出的本构关系,各种边界条件,以及数据驱动的物理知识拟合项在问题域中随机选择的配置点。为此,多个密集连接的独立人工神经网络(ANN),每个近似一个字段变量,进行训练,以获得准确的解决方案。几个基准问题,包括Airy解决弹性和Kirchhoff-Love板问题的解决。在准确性和鲁棒性方面的性能说明了当前框架的优越性,显示出与分析解决方案的良好一致性。目前的工作结合了经典方法的优势,这取决于物理信息的分析关系与DL技术在数据驱动的轻量级,但准确和强大的神经网络建设的优越能力。本文开发的模型可以使用最小的网络参数显着提高计算速度,并且易于在不同的计算平台上适应。
2023-02-19 cs.LG cs.NE math.AP
Efficient Nudged Elastic Band Method using Neural Network Bayesian Algorithm Execution
SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
本研究提出NN-BAX框架,通过神经网络联合学习能量景观和MEP,显著降低计算成本并提升效率。
2025-12-17 cond-mat.mtrl-sci cs.LG
Stabilizing Elastic Weight Consolidation method in practical ML tasks and using weight importances for neural network pruning
PJSC Sberbank(俄罗斯联邦储蓄银行)
本文针对EWC持续学习方法在深度网络应用中的梯度爆炸等问题,提出稳定化方案,同时对比多种权重重要性计算方法,并探索其在神经网络剪枝中的应用。
2021-10-29 cs.LG
EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Tencent AI Lab(腾讯人工智能实验室);University of California, Davis(加利福尼亚大学戴维斯分校);The Cooper Union(库伯联盟)
最近的研究强调了深度神经网络(DNN)对对抗性示例的脆弱性-视觉上无法区分的对抗性图像很容易被制作出来,导致训练有素的模型错误分类。用于制作对抗性示例的现有方法基于$L_2$和$L_\infty$失真度量。然而,尽管事实上$L_1$失真解释了总的变化并鼓励扰动中的稀疏性,但几乎没有开发用于制作基于$L_1$的对抗性示例。在本文中,我们将通过对抗性示例攻击DNN的过程表述为弹性网正则化优化问题。我们对DNN(EAD)的弹性网攻击具有面向$L_1$的对抗性示例,并包括最先进的$L_2$攻击作为特例。在MNIST、CIFAR 10和ImageNet上的实验结果表明,EAD可以产生一组具有小$L_1$失真的对抗性示例,并在不同的攻击场景下获得与现有方法相似的攻击性能。更重要的是,EAD提高了攻击的可转移性,并补充了DNN的对抗性训练,提出了在对抗性机器学习和DNN的安全性影响中利用$L_1$失真的新见解。
2018-02-10 cs.CR cs.LG stat.ML
Elastic Weight Consolidation for Knowledge Graph Continual Learning: An Empirical Evaluation
School of Computing(计算学院);Information Systems(信息系统);Athabasca University(亚伯达大学)
本文通过实验证明,EWC在知识图谱持续学习中有效缓解灾难性遗忘,且任务划分策略影响遗忘程度。
2025-12-01 cs.LG
Semi-supervised Sequence Modeling for Elastic Impedance Inversion
Georgia Institute of Technology(佐治亚理工学院)
机器学习算法在地震领域的最新应用在不同领域(如地震反演和解释)显示出巨大的潜力。然而,这样的算法很少执行地球物理约束-缺乏地球物理约束可能导致不期望的结果。为了克服这个问题,我们已经开发了一个半监督序列建模框架的基础上,递归神经网络的弹性波阻抗反演从多角度地震资料。具体地,地震道和弹性阻抗(EI)道被建模为时间序列。然后,使用包括卷积和递归神经层的基于神经网络的反演模型来反演用于EI的地震资料。建议的工作流程使用测井数据来指导反演。此外,它使用地震正演建模来正则化训练,并作为反演的地球物理约束。建议的工作流程实现了98%的估计和目标EI之间的平均相关性,使用10个测井曲线上的合成数据集进行训练。
2019-08-19 cs.LG eess.SP physics.geo-ph
Imitating Deep Learning Dynamics via Locally Elastic Stochastic Differential Equations
University of Pennsylvania(宾夕法尼亚大学)
理解深度学习模型的训练动态可能是揭开这些模型有效性神秘面纱的必要一步。特别是,当使用随机梯度下降训练神经网络时,来自不同类别的数据如何在其特征空间中逐渐变得可分离?在这项研究中,我们使用一组随机微分方程(SDEs)来模拟深度学习训练期间特征的演变,每个随机微分方程对应于一个训练样本。作为我们建模策略中的一个重要组成部分,每个样本都包含一个漂移项,反映了输入端的反向传播对所有样本特征的影响。我们的主要发现揭示了关于类内影响的急剧相变现象:如果SDEs在某种意义上是局部弹性的,即对与输入相同的类的样本的影响更显著,则训练数据的特征变得线性可分离,这意味着训练损失消失;否则,无论训练时间多长,特征都不可分离。此外,在局部弹性的存在下,我们的SDES的分析表明,出现了一个简单的几何结构,称为神经崩溃的功能。总之,我们的研究结果揭示了局部弹性在神经网络的训练动力学中的决定性作用。我们证实了我们的理论分析与实验的合成数据集的几何形状和CIFAR-10。
2021-10-11 cs.CV cs.LG stat.ML