Improving Optimization for Models With Continuous Symmetry Breaking
Disney Research(迪士尼研究院)
表征学习中的许多损失函数在连续对称变换下是不变的。例如,词嵌入的损失函数(Mikolov等人,2013)保持不变,如果我们同时旋转所有的词和上下文嵌入向量。我们表明,时间序列的表示学习模型具有近似连续的对称性,导致梯度下降收敛缓慢。我们提出了一个新的优化算法,加快收敛速度,从物理学规范理论的想法。我们的算法导致数量级更快的收敛速度和更可解释的表示,因为我们显示的矩阵分解和词嵌入模型的动态扩展。我们还提出了一个例子应用我们提出的算法,将现代的话到他们的历史等价物。
2018-07-30 cs.LG stat.ML
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology(弗罗茨瓦夫理工大学)
深度神经网络最近在许多机器学习问题中取得了最先进的成果,例如,语音识别或对象识别。最近,在整流线性单元(ReLU)上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中,我们研究了一种新的方式来改善神经网络,通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此,我们提出了一种新的非线性激活函数,我们称之为Kumaraswamy单元,它与ReLU密切相关。在MNIST图像语料库的实验研究中,我们评估了应用于单层(浅层)神经网络的Kumaraswamy单元,并报告了与sigmoid单元,ReLU和Noisy ReLU相比,测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
Improving Expressivity of Graph Neural Networks
University of Innsbruck(因斯布鲁克大学)
我们提出了一个图神经网络,其表达能力比常用的GNN更强-不限于仅区分Weisfeiler-Lehman测试识别为非同构的图。我们使用一个具有扩展注意力窗口的图注意力网络,它以指数方式聚集来自遥远节点的信息。我们还使用了部分随机的初始嵌入,允许区分看起来相同的节点。这可能会导致传统的dropout机制出现问题,因此我们使用“head dropout”,随机忽略一些注意力头,而不是嵌入的一些维度。
2020-04-08 cs.LG stat.ML
Improving Neural Language Models with a Continuous Cache
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个扩展神经网络语言模型,以适应他们的预测最近的历史。我们的模型是记忆增强网络的简化版本,它将过去的隐藏激活存储为记忆,并通过与当前隐藏激活的点积来访问它们。这种机制非常有效,可以扩展到非常大的内存大小。我们还绘制了神经网络中外部存储器的使用和基于计数的语言模型的缓存模型之间的联系。我们在几个语言模型数据集上证明,我们的方法比最近的记忆增强网络表现得更好。
2016-12-13 cs.CL cs.LG
Improving Neural Network Learning Through Dual Variable Learning Rates
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文介绍了一种新的神经网络训练方法:双变量学习率(DVLR)。基于行为心理学的见解,双学习率用于不同地强调正确和不正确的反应,从而使对网络的反馈更加具体。此外,学习率作为网络性能的函数而变化,从而使其更有效。DVLR在三种类型的网络上实现:前馈,卷积和残差,以及两个域:MNIST和CIFAR-10。结果表明,一致提高的准确性,表明DVLR是一个有前途的,心理动机的技术训练神经网络模型。
2021-02-09 cs.LG stat.ML
Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions
École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对ReLU激活的Lipschitz约束神经网络性能差的问题,证明带可学习1-Lipschitz线性样条的网络对应带二阶总变分正则化的约束泛函优化全局最优解,提出高效训练方法,性能优于现有同类架构。
2023-12-19 cs.LG
A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique
Sri Manakula Vinayagar Engineering College(斯里马纳库拉维纳亚加尔工程学院)
针对反向传播计算开销大且存在梯度消失的问题,本文提出无需逐层计算梯度的即时参数更新方法,可加速训练并在基准数据集上超过现有方法。
2023-08-09 cs.CV cs.LG
Improving Robustness of Deep Convolutional Neural Networks via Multiresolution Learning
本文针对深度神经网络单分辨率训练导致鲁棒性不足的问题,提出多分辨率学习方法,在一维信号和二维图像预测任务上同时提升噪声、对抗及小样本鲁棒性,且无需牺牲标准准确率。
2023-09-28 cs.LG
Finding Symmetry Breaking Order Parameters with Euclidean Neural Networks
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Freie Universität Berlin(柏林自由大学)
居里原理指出:“当效应显示出某种不对称性时,这种不对称性必须在引起它们的原因中找到”。我们证明了对称性等变神经网络坚持居里原理,可以用来阐明许多相关的科学问题到简单的优化问题。我们从数学上证明了这些性质,并通过训练欧几里得对称等变神经网络来学习破缺输入,将正方形变形为矩形,并在钙钛矿中生成八面体倾斜图案,从而在数值上证明了这些性质。
2020-10-26 cond-mat.dis-nn cs.LG physics.comp-ph
Improving The Reconstruction Quality by Overfitted Decoder Bias in Neural Image Compression
InterDigital, Inc.(交互数字公司)
端到端的可训练模型已经达到了视频和图像上传统手工压缩技术的性能。由于这些模型的参数是在大型训练集上学习的,因此它们对于任何给定的待压缩图像都不是最佳的。在本文中,我们提出了一个基于实例的微调解码器的偏置的一个子集,以提高重建质量,以换取额外的编码时间和较小的额外信令成本。所提出的方法适用于任何端到端压缩方法,通过$3-5\%$提高了最先进的神经图像压缩的BD率。
2022-10-10 cs.CV cs.LG eess.IV
Improving Neural Network Robustness through Neighborhood Preserving Layers
NEC Laboratories America, Inc(NEC美国实验室公司);Pennsylvania State University(宾夕法尼亚州立大学)
神经网络对对抗攻击的鲁棒性是机器学习领域的一个重要研究课题。我们观察到神经网络脆弱性的一个主要来源是过度参数化的全连接层。在本文中,我们提出了一个新的邻域保持层,可以取代这些全连接层,以提高网络的鲁棒性。我们展示了一种新的神经网络架构,可以将这些层,也可以有效地训练。我们从理论上证明了我们的模型对失真更鲁棒,因为它们有效地控制了梯度的大小。最后,我们的经验表明,我们设计的网络架构是更强大的对最先进的梯度下降为基础的攻击,如对基准数据集MNIST和CIFAR10的PGD攻击。
2021-01-29 cs.LG
Improving Learning to Optimize Using Parameter Symmetries
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
本文分析并验证了利用参数空间对称性的学习优化算法,理论上证明其局部近似牛顿法,并通过基准测试和动量增强展示了性能提升,凸显了对称性在元优化中的潜力。
2025-04-21 cs.LG
Neural Speech Synthesis on a Shoestring: Improving the Efficiency of LPCNet
Amazon Web Services(亚马逊云科技)
神经语音合成模型可以合成高质量的语音,但是通常需要高计算复杂度来这样做。在以前的工作中,我们介绍了LPCNet,它使用线性预测来显着降低神经合成的复杂性。在这项工作中,我们进一步提高了LPCNet的效率-针对算法和计算改进-使其可用于各种设备。我们证明了合成质量的提高,同时操作速度提高了2.5倍。由此产生的开源LPCNet算法可以在大多数现有手机上执行实时神经合成,甚至可以在某些嵌入式设备中使用。
2022-02-22 cs.LG cs.SD eess.AS
Improving Neural Network Classifier using Gradient-based Floating Centroid Method
University of Jinan(济南大学)
浮动质心法(FCM)为解决神经网络分类器的固定质心问题提供了一种有效的方法。然而,演化计算作为其优化方法,限制了FCM获得满意的性能为不同的神经网络结构,因为高的计算复杂性和效率。传统的基于梯度的方法已被广泛用于优化神经网络分类器。在这项研究中,基于梯度的浮动质心(GDFC)方法被引入到解决固定质心的问题,神经网络分类器的基于梯度的方法进行优化。在此基础上,提出了一种新的优化GDFC的损失函数。在基准数据集上的实验结果表明,GDFC比对比方法获得了更好的分类性能。
2019-07-21 cs.AI cs.LG cs.NE
Multi-Layer Perceptron Neural Network for Improving Detection Performance of Malicious Phishing URLs Without Affecting Other Attack Types Classification
New York University(纽约大学)
这里的假设指出,神经网络算法,如多层感知器(MLP)在区分恶意和半结构化钓鱼URL方面具有更高的准确性。与经典的机器学习算法如Logistic Regression和Multinomial Naive Bayes相比,经典算法严重依赖于大量的语料库数据训练和机器学习专家的领域知识来执行复杂的特征工程。MLP可以进行非线性的可分离多类分类,并且不需要太多的语料特征训练。此外,反向传播权重调整可以了解哪些特征在区分网络钓鱼和其他攻击类型方面更重要。
2022-02-25 cs.CR cs.LG
A simple technique for improving multi-class classification with neural networks
University Ruhr West(鲁尔西区应用技术大学);ENSTA ParisTech(巴黎高等先进技术学院)
我们提出了一种新的方法来执行多类模式分类与神经网络,并测试了一个具有挑战性的三维手势识别问题。我们的方法包括一个标准的一对一(OAA)分类,然后是另一个网络层分类产生的类分数,可能由原始原始输入向量增强。这使得网络能够消除难以分离的类别的歧义,因为类别分数的分布也携带了大量信息,并且实际上经常用于评估决策的置信度。我们表明,通过这种方法,我们能够显着提高我们的结果,整体以及特定的困难情况下,硬10类手势分类任务。
2016-01-06 cs.LG
Improving Deep Neural Network Classification Confidence using Heatmap-based eXplainable AI
Nanyang Technological University(南洋理工大学)
针对图像分类问题,对基于热图的可解释人工智能(XAI)方法的质量进行了量化。在这里,如果热图提高了预测正确类别的概率,则热图被认为是可取的。根据经验,不同的基于XAI热图的方法可以在不同程度上提高分类置信度,具体取决于数据集,例如,显着性在ImageNet上效果最好,去卷积在胸部X射线肺炎数据集上效果最好。新颖性包括一个新的差距分布,显示了正确和错误的预测之间的明显差异。最后,介绍了生成增强解释,这是一种生成热图的方法,能够将预测置信度提高到一个高水平。
2023-01-21 cs.AI cs.LG
Improving the Performance of Neural Networks in Regression Tasks Using Drawering
Jagiellonian University(雅盖隆大学);RTB House
该方法对给定的回归神经网络进行了扩展,使其性能得到改善。修改只影响学习过程,因此在评估过程中可以很容易地忽略扩展,而不会改变预测。这意味着修改后的模型可以像原始模型一样快速评估,但往往表现更好。这种改进是可能的,因为修改提供了更好的表达能力,提供了更好的表现梯度,并作为正则化工作。由临时扩展的神经网络获得的知识包含在与原始神经网络共享的参数中。唯一的代价是学习时间的增加。
2016-12-05 cs.AI cs.LG cs.NE
Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning
MIT(麻省理工学院);DeepMind;NYU(纽约大学);Facebook AI Research(Facebook人工智能研究院)
人类推理通常可以理解为两个系统之间的相互作用:直觉和联想(“系统1”)和深思熟虑和逻辑(“系统2”)。神经序列模型-在执行复杂的结构化任务方面越来越成功-展示了系统1的优势和失败模式:它们速度快,可以从数据中学习模式,但通常不一致和不连贯。在这项工作中,我们寻求一种轻量级的,无需训练的方法,通过添加System 2启发的逻辑推理来改进现有的System 1类序列模型。我们探讨了这个主题的几种变化,其中候选人的神经序列模型的逻辑一致性检查的符号推理模块,它可以接受或拒绝的代。我们的方法使用神经推理在神经系统1和逻辑系统2之间进行调解。结果表明,该方法可以提高基于神经的故事生成的一致性和准确性。
2021-12-15 cs.AI cs.CL cs.LG
Improving usual Naive Bayes classifier performances with Neural Naive Bayes based models
IBM France(IBM法国);Telecom SudParis(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
朴素贝叶斯是一种流行的概率模型,因其简单性和可解释性而受到赞赏。然而,相关分类器的通常形式存在两个主要问题。首先,由于只考虑观测值的规律,不能考虑复杂的特征。此外,它考虑了条件独立的观察给定的隐藏变量。本文介绍了原始的神经朴素贝叶斯,用神经网络函数对朴素贝叶斯分类器的参数进行建模。这可以纠正第一个问题。我们还引入了新的神经池马尔可夫链模型,减轻了独立性条件。我们实证研究了这些模型对情感分析的好处,将通常分类器的错误率除以4.5,在IMDB数据集上使用FastText嵌入。
2021-11-14 cs.LG stat.ML
Improving Neural Topic Models using Knowledge Distillation
University of Maryland(马里兰大学)
主题模型通常用于识别人类可解释的主题,以帮助理解大型文档集合。我们使用知识蒸馏来组合概率主题模型和预训练Transformers的最佳属性。我们的模块化方法可以直接应用于任何神经主题模型,以提高主题质量,我们使用两个具有不同架构的模型来证明这一点,从而获得最先进的主题一致性。我们表明,我们的适应性强的框架不仅提高了所有估计的主题的聚合性能,正如通常报道的那样,而且在对齐主题的头对头比较中。
2020-10-05 cs.CL cs.IR cs.LG
LPCNet: Improving Neural Speech Synthesis Through Linear Prediction
Mozilla;Google LLC(谷歌有限责任公司)
神经语音合成模型最近已经证明了为文本到语音和压缩应用合成高质量语音的能力。这些新模型通常需要强大的GPU来实现实时操作,因此能够降低其复杂性将为许多新应用开辟道路。我们提出了LPCNet,这是一种WaveRNN变体,将线性预测与递归神经网络相结合,可显着提高语音合成的效率。我们证明,LPCNet可以实现显着更高的质量比WaveRNN相同的网络规模和高质量的LPCNet语音合成是可实现的复杂度低于3 GFLOPS。这使得在低功耗设备(如嵌入式系统和手机)上部署神经合成应用程序变得更加容易。
2019-02-19 cs.LG cs.SD eess.AS
Error-Aware B-PINNs: Improving Uncertainty Quantification in Bayesian Physics-Informed Neural Networks
Technical University of Munich(慕尼黑工业大学);Pontificia Universidad Católica de Chile(智利天主教大学);Harvard University(哈佛大学)
物理信息神经网络(PINN)作为一种求解微分方程的方法越来越受欢迎。虽然在某些情况下比经典的数值技术更可行,但PINN仍然缺乏可信度。对此的补救措施可以在不确定性量化(UQ)中找到,它刚刚开始出现在PINN的上下文中。评估训练后的PINN如何符合强加的微分方程是解决不确定性的关键,但缺乏全面的方法来完成这项任务。我们提出了一个框架UQ贝叶斯PINN(B-PINN),结合B-PINN解决方案和未知的真实解决方案之间的差异。我们利用最近的结果的误差界的PINNs的线性动力系统,并证明了预测的不确定性的一类线性常微分方程。
2022-12-14 cs.LG
Bound Propagation meets Constraint Simplification: Improving Logic-based XAI for Neural Networks
Department of Computer Science, Instituto Federal do Ceará (IFCE)(计算机科学系,巴西塞阿拉联邦大学(IFCE))
本文通过结合边界传播与约束简化,显著提升了基于逻辑的神经网络可解释性方法的效率,减少了高达89.26%的解释时间。
2026-03-02 cs.LG cs.LO
Improving Deep Neural Networks with Probabilistic Maxout Units
University of Freiburg(弗莱堡大学)
我们提出了一个概率最近推出的maxout单位的变体。与整流线性单元相比,利用maxout的深度神经网络的成功可以部分归因于在dropout下的良好性能。然而,它还取决于这样一个事实,即每个maxout单元在一组线性变换上执行池化操作,因此对于其输入的变化是部分不变的。从这一观察出发,我们提出了一个问题:maxout单位的理想属性是否可以在提高其不变性的同时得到保留?我们认为,我们的概率maxout(probout)单位成功地实现了这种平衡。我们定量验证了这一说法,并报告了分类性能匹配或超过三个具有挑战性的图像分类基准(CIFAR-10,CIFAR-100和SVHN)的最新技术水平。
2014-02-19 cs.LG cs.NE stat.ML
Improving Non-autoregressive Neural Machine Translation with Monolingual Data
Harvard University(哈佛大学);Amazon Inc.(亚马逊公司)
非自回归(NAR)神经机器翻译通常是通过自回归(AR)模型的知识蒸馏来完成的。在此框架下,我们利用大型单语语料库来提高NAR模型的性能,目标是在防止过拟合的同时转移AR模型的泛化能力。在强大的NAR基线之上,我们在WMT 14 En-De和WMT 16 En-Ro新闻翻译任务上的实验结果证实,单语数据增强始终提高NAR模型的性能,以接近教师AR模型的性能,产生与文献中最好的非迭代NAR方法相当或更好的结果,并有助于减少训练过程中的过拟合。
2020-11-29 cs.CL cs.LG
Improving Adversarial Robustness in Weight-quantized Neural Networks
Duke University(杜克大学);Cadence Design Systems, Inc.(楷登电子设计系统公司)
如今,神经网络变得越来越深入,计算密集度越来越高。量化是在硬件平台上部署神经网络并以可忽略的性能损失节省计算成本的有用技术。然而,最近的研究表明,神经网络模型,无论是全精度还是量化的,都容易受到对抗攻击的攻击。在这项工作中,我们分析了对抗和量化损失,然后引入标准来评估它们。我们提出了一种基于边界的再训练方法,以减轻对抗和量化损失,并采用非线性映射方法来抵御白盒梯度的对抗攻击。评估表明,我们的方法可以更好地恢复量化后的准确性比其他基线方法的黑盒和白盒对抗攻击。研究结果还表明,对抗性训练存在量化损失,与其他训练方法不能很好地配合。
2021-01-23 cs.CR cs.LG
Improving the Robustness of Neural Multiplication Units with Reversible Stochasticity
University of Southampton(南安普顿大学)
多层感知器很难学习某些简单的算术任务。用于算术的专家神经模块可以在外推、可解释性和收敛速度方面优于经典架构,但对训练范围高度敏感。在本文中,我们证明了神经乘法单元(NMU)在给定不同的训练范围时,无法可靠地学习像将两个输入相乘这样简单的任务。失败的原因与诱导和输入偏置有关,这些偏置鼓励收敛到不期望的最优解。一个解决方案,随机NMU(sNMU),提出了应用可逆的随机性,鼓励避免这样的最优,同时收敛到真正的解决方案。从经验上讲,我们表明,随机性提供了改进的鲁棒性,有可能提高上游网络的数值和图像任务的学习表示。
2022-11-10 cs.LG cs.NE
Improving Neural Story Generation by Targeted Common Sense Grounding
UC San Diego(加州大学圣地亚哥分校)
用神经语言模型生成的故事在语法和文体一致性方面表现出了希望。然而,生成的故事仍然缺乏常识推理,例如,它们往往包含剥夺世界知识的句子。我们提出了一个简单的多任务学习方案,通过利用旨在提供常识基础的数据集的辅助训练信号,在语言模型中实现定量更好的常识推理。当与我们的两阶段微调流水线相结合时,我们的方法实现了改进的常识推理和最先进的写作技巧上的困惑(Fan等人,2018)故事生成数据集。
2020-02-28 cs.CL cs.LG stat.ML
Improving Handshape Representations for Sign Language Processing: A Graph Neural Network Approach
Johns Hopkins University(约翰霍普金斯大学)
针对手语处理中手形显式建模缺失的问题,提出结合解剖学启发图结构与对比学习的图神经网络,分离时间动态与静态手形,建立首个结构化手形识别基准,在37类手形上达46%准确率,显著优于基线的25%。
2025-09-22 cs.CV cs.LG
Improving Your Graph Neural Networks: A High-Frequency Booster
Tsinghua University(清华大学);Tencent(腾讯)
针对图神经网络在半监督节点分类中存在的过度平滑与异质性问题,提出补拉普拉斯正则化方法引入高频信息,提升了模型效果与拓扑鲁棒性。
2023-05-03 cs.LG
Diversity-Aware Coherence Loss for Improving Neural Topic Models
University of British Columbia(不列颠哥伦比亚大学);University of Fraser Valley(弗雷泽谷大学)
本文提出多样性感知连贯性损失,在保持主题多样性的同时学习语料库级连贯性得分,无需预训练或额外参数即可显著提升神经主题模型性能。
2023-05-26 cs.CL cs.LG
Using Neural Architecture Search for Improving Software Flaw Detection in Multimodal Deep Learning Models
Sandia National Laboratories(桑迪亚国家实验室)
使用多模态深度学习模型的软件缺陷检测已被证明是基准问题上非常有竞争力的方法。在这项工作中,我们证明了使用神经架构搜索(NAS)与多模态学习模型相结合可以实现更好的性能。我们适应的NAS框架,旨在调查图像分类的问题,软件缺陷检测和证明朱丽叶测试套件,一个流行的基准测试数据集,用于测量性能的机器学习模型在这个问题域的改进结果。
2020-09-22 cs.AI cs.CR cs.LG
Improving the Robustness of Deep Neural Networks via Stability Training
Google(谷歌);Caltech(加州理工学院)
在本文中,我们解决了深度神经网络输出不稳定的问题:视觉输入中的微小扰动可能会显着扭曲神经网络的特征嵌入和输出。这种不稳定性影响了许多在广泛的计算机视觉任务上具有最先进性能的深度架构。我们提出了一种通用的稳定性训练方法,用于稳定深度网络,以应对各种常见图像处理(如压缩,重新缩放和裁剪)导致的小输入失真。我们通过稳定最先进的Inception架构来验证我们的方法。此外,我们还证明了我们的稳定模型在大规模近重复检测、相似图像排名和噪声数据集分类方面具有强大的最先进性能。
2016-04-15 cs.CV cs.LG
Improving Analog Neural Network Robustness: A Noise-Agnostic Approach with Explainable Regularizations
Aston Institute of Photonic Technologies(阿斯顿光子技术研究所);Aston University(阿斯顿大学)
针对深度模拟神经网络的硬件噪声问题,提出一种硬件无关的可解释正则化框架,通过揭示抗噪底层机制同时应对相关与非相关噪声,显著提升网络的噪声鲁棒性。
2024-09-13 cs.AI cs.LG physics.optics
Improving Generalization of Deep Neural Networks by Optimum Shifting
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出最优移位方法,通过将参数从尖锐最小值移至平坦最小值并保持训练损失,利用欠定线性方程组和神经坍缩理论,提升深度神经网络泛化能力。
2024-05-23 cs.LG
Improving the Universality and Learnability of Neural Programmer-Interpreters with Combinator Abstraction
School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院);ColorfulClouds Technology Co., Ltd(彩云科技有限公司)
为了克服神经程序员解释器(NPI)在其通用性和可学习性方面的局限性,我们提出将组合子抽象纳入神经编程和一个新的NPI架构来支持这种抽象,我们称之为组合神经程序员解释器(CNPI)。组合器抽象极大地减少了需要由CNPI的核心控制器解释的程序的数量和复杂性,同时仍然允许CNPI通过核心与其他组件的协作来表示和解释任意复杂的程序。我们提出了一个小的四个组合子,以捕捉最普遍的编程模式。由于这个组合子集的有限性和简单性,以及从核心中卸下一些解释负担,我们能够构造一个CNPI,它对于所有可组合程序的集合是通用的,这足以解决大多数算法任务。此外,除了对执行轨迹的监督训练外,CNPI还可以通过策略梯度强化学习和适当设计的课程进行训练。
2018-02-08 cs.LG
Improving Interpretability via Regularization of Neural Activation Sensitivity
Ben-Gurion University of the Negev(本-古里安大学)
最先进的深度神经网络(DNN)在处理许多现实任务方面非常有效。然而,它们在关键任务环境中的广泛采用受到两个主要弱点的阻碍-它们对对抗攻击的敏感性和它们的不透明性。前者引起了人们对DNN在现实世界条件下的安全性和通用性的担忧,而后者则阻碍了用户对其输出的信任。在这项研究中,我们(1)研究了对抗鲁棒性对可解释性的影响,(2)提出了一种新的方法来提高DNN的可解释性,该方法基于神经激活敏感性的正则化。我们评估了使用我们的方法训练的模型与使用最先进的对抗鲁棒性技术训练的标准模型和模型的可解释性。我们的研究结果表明,对抗鲁棒模型优于标准模型,使用我们提出的方法训练的模型在可解释性方面甚至优于对抗鲁棒模型。
2022-11-16 cs.CR cs.CV cs.LG
Improving ideal MHD equilibrium accuracy with physics-informed neural networks
Max-Planck-Institute for Plasma Physics(马克斯·普朗克等离子体物理研究所);Proxima Fusion GmbH
本文提出用神经网络参数化傅里叶模态计算三维磁流体平衡,并与传统求解器比较,通过优化减少残差,验证神经网络在计算平衡中的有效性与效率。
2026-03-28 cs.AI cs.LG physics.plasm-ph
Batch Policy Gradient Methods for Improving Neural Conversation Models
Carnegie Mellon University(卡内基梅隆大学);DigitalGenius Ltd.(DigitalGenius有限公司);Microsoft Research(微软研究院)
我们研究了具有递归神经网络架构的聊天机器人的强化学习,当奖励是嘈杂的和昂贵的获得。例如,用于自动化客户服务支持的聊天机器人可以由质量保证代理进行评分,但这个过程可能是昂贵的,耗时的和嘈杂的。以前用于自然语言处理的强化学习工作使用策略更新和/或针对在线学习设置而设计。我们的经验表明,这样的策略是不适合这种设置,并开发了一个关闭政策批量政策梯度方法(BPG)。我们通过一系列的合成实验和Amazon Mechanical Turk在餐厅推荐数据集上的实验证明了我们方法的有效性。
2017-02-10 cs.LG stat.ML
Improving neural networks by preventing co-adaptation of feature detectors
University of Toronto(多伦多大学)
当一个大的前馈神经网络在一个小的训练集上训练时,它通常在保留的测试数据上表现不佳。通过在每个训练案例中随机忽略一半的特征检测器,可以大大减少这种“过拟合”。这防止了复杂的共适应,其中特征检测器仅在几个其他特定特征检测器的上下文中有帮助。相反,每个神经元学会检测一个特征,这个特征通常有助于产生正确的答案,因为它必须在各种各样的内部环境中运行。随机“dropout”在许多基准任务上都有很大的改进,并为语音和物体识别创造了新的记录。
2012-07-03 cs.CV cs.LG cs.NE
Multi-Symmetry Ensembles: Improving Diversity and Generalization via Opposing Symmetries
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Amazon(亚马逊);AWS(亚马逊云科技)
提出多对称集成(MSE)框架,通过沿对称轴捕获相反假设(不变与等变)构建多样集成,超越随机扰动,提升ImageNet等大数据集上的分类性能、不确定性量化与迁移泛化。
2023-06-19 cs.AI cs.CV cs.LG
Resource-Size matters: Improving Neural Named Entity Recognition with Optimized Large Corpora
Goethe University Frankfurt(法兰克福歌德大学)
这项研究将神经命名实体识别的性能提高了高达11%的F分数,以德语等低资源语言为例,从而超过现有的基线,并在每个开源数据集上建立了新的最先进的技术。我们没有设计更深更广的混合神经架构,而是收集所有可用的资源,并在将原始数据暴露给任何训练过程之前,执行详细的优化和语法相关的形态处理,包括词形化和词性标记。我们在一个三重单语实验设置中测试了我们的方法,其中包括a)单一,b)联合和c)优化训练,并揭示了下游任务对用于计算词嵌入的语料库大小的依赖性。
2018-07-26 cs.CL cs.LG stat.ML
Improving Recurrent Neural Networks For Sequence Labelling
LaTTiCe (UMR 8094)(LaTTiCe实验室(UMR 8094));CNRS(法国国家科学研究中心);ENS Paris(巴黎高等师范学院);Université Sorbonne Nouvelle - Paris 3(索邦新巴黎第三大学);PSL Research University(PSL研究大学);USPC (Université Sorbonne Paris Cité)(索邦巴黎西岱大学)
在本文中,我们研究了不同类型的循环神经网络(RNN)的序列标记任务。我们提出了两种新的RNN变体,整合了序列标记的改进,并将它们与更传统的Elman和Jordan RNN进行了比较。我们比较所有的模型,无论是传统的还是新的,在四个不同的任务序列标签:两个口语语言理解(ATIS和媒体);和两个POS标记的法国树库(FTB)和宾夕法尼亚州树库(PTB)语料库。结果表明,我们的RNN新变体总是比其他变体更有效。
2016-06-08 cs.CL cs.LG cs.NE
Sibling Neural Estimators: Improving Iterative Image Decoding with Gradient Communication
The Pennsylvania State University(宾夕法尼亚州立大学);Rochester Institute of Technology(罗切斯特理工学院)
对于有损图像压缩,我们开发了一个基于神经元的系统,它学习一个非线性估计解码量化表示。该系统将两个递归网络连接起来,\help“使用通过梯度信号进行通信的空间背景的互补部分来重建相同的目标图像块。该双代理系统建立在先前的工作基础上,该工作提出了用于基于递归神经网络(RNN)的解码的迭代细化算法,与标准解码技术相比,该算法改进了图像重建。我们的方法适用于任何编码器,神经或非神经,该系统在固定数量的步骤中逐渐减少图像补丁重建误差。使用RNN存储单元的变体进行实验,无论是否有未来的信息,都可以发现,与其他方法相比,我们的模型始终可以创建更高感知质量的低失真图像。具体而言,在柯达无损真彩色图像套件上,我们观察到JPEG的1:64分贝(dB)增益,JPEG 2000的1:46 dB增益,GOOG神经基线的1:34 dB增益,E2E(现代竞争性神经压缩模型)的0:36增益,以及单个迭代神经解码器的0:37增益。
2019-11-20 cs.CV cs.LG
Gender Prediction from Tweets: Improving Neural Representations with Hand-Crafted Features
İzmir Institute of Technology(伊兹密尔理工学院)
作者分析是通过一些关键属性(如性别,年龄和语言)来描述作者的特征。本文提出了一种带注意力的RNN模型(RNNwA),用于预测Twitter用户的性别。单词级别和推文级别的注意力都被用来学习“去哪里看”。这个模型(https://github.com/Darg-Iztech/gender-prediction-from-tweets)通过将LSA简化的n-gram特征与用户的学习神经表示相结合来改进。这两种模型都在三种语言上进行了测试:英语,西班牙语,阿拉伯语。所提出的模型的改进版本(RNNwA + n-gram)在英语上实现了最先进的性能,并且在西班牙语和阿拉伯语上具有竞争力的结果。
2019-09-06 cs.CL cs.LG stat.ML
Improving Randomized Learning of Feedforward Neural Networks by Appropriate Generation of Random Parameters
Czestochowa University of Technology(琴斯托霍瓦工业大学)
提出了一种单隐层前馈神经网络随机学习的随机参数生成方法。该方法首先从调整到目标函数的区间中随机选择隐层神经元激活函数的倾斜角,然后随机旋转激活函数,最后将其分布在输入空间中。对于复杂的目标函数,所提出的方法给出了更好的结果比在实践中常用的方法,其中的随机参数是从固定的区间选择。这是因为它将激活函数的最陡片段引入到输入超立方体中,避免了它们的饱和片段。
2019-08-15 cs.LG cs.NE stat.ML
Measuring and Improving the Use of Graph Information in Graph Neural Networks
The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学)
图神经网络(GNN)已被广泛用于对图数据的表示学习。然而,对于GNN实际上从图形数据中获得多少性能的理解有限。本文介绍了一个上下文周围的GNN框架,并提出了两个平滑度度量,以衡量从图数据中获得的信息的数量和质量。一个新的GNN模型,称为CS-GNN,然后设计,以提高使用的图信息的基础上的平滑度值。CS-GNN在不同类型的实数图中表现出比现有方法更好的性能。
2022-06-27 cs.AI cs.LG
Feedback Learning for Improving the Robustness of Neural Networks
Duke University(杜克大学);Black Sesame Technologies Inc(黑芝麻科技有限公司)
最近的研究表明,神经网络容易受到对抗攻击。最先进的防御技术在训练中添加各种对抗性示例,以提高模型的对抗性鲁棒性。然而,这些方法并不通用,不能防御未知或非对抗性的逃避攻击。在本文中,我们分析了模型的鲁棒性在决策空间。然后提出了一种反馈学习方法,以了解模型的学习效果,并促进修复缺陷的再训练过程。根据一组基于距离的标准进行的评估表明,我们的方法可以显着提高模型的准确性和对不同类型的规避攻击的鲁棒性。此外,我们观察到类间不平等的存在,并建议通过改变在不同的类中生成的例子的比例来补偿它。
2019-09-12 cs.LG stat.ML
Improving Robustness of Spectrogram Classifiers with Neural Stochastic Differential Equations
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出利用神经常微分方程增强频谱图分类器在低信噪比和动态噪声环境下的鲁棒性,以解决智能电网感知、异常检测等关键基础设施领域现有视觉模型不适配的问题。
2024-09-03 cs.AI cs.CV cs.LG
Exponentially Improving the Complexity of Simulating the Weisfeiler-Lehman Test with Graph Neural Networks
MIT(麻省理工学院);Amazon AWS(亚马逊云科技)
最近的工作表明,图神经网络(GNN)在区分非同构图方面的表达能力与Weisfeiler-Lehman(WL)图测试完全相同。特别是,他们表明WL测试可以用GNN来模拟。然而,这些模拟涉及神经网络的“组合”功能的大小多项式,甚至指数的图形节点$n$的数量,以及特征向量的长度线性$n$。我们提出了一个改进的模拟的WL测试的GNN与\emph{exponentially}较低的复杂性。特别地,在每个节点中实现组合功能的神经网络在$n$中仅具有多对数数量的参数,并且由GNN的节点交换的特征向量仅由$O(\log n)$位组成。我们还给出了特征向量长度和神经网络大小的对数下界,表明我们的构造是(近)最优的。
2022-12-21 cs.LG stat.ML
Improving physics-informed neural networks with meta-learned optimization
Memorial University of Newfoundland(纽芬兰纪念大学)
我们表明,使用物理信息神经网络求解微分方程系统时,这些网络使用元学习优化方法进行训练,而不是像传统上那样使用固定的手工优化器,可以大大减少可实现的错误。我们选择了一种基于浅层多层感知器的可学习优化方法,该方法针对特定类别的微分方程进行元训练。我们说明了元训练优化器的几个方程的实际相关的数学物理,包括线性平流方程,泊松方程,Korteweg-德弗里斯方程和伯格斯方程。我们还说明了元学习优化器具有迁移学习能力,因为一个微分方程上的元训练优化器也可以成功地部署在另一个微分方程上。
2023-03-14 cs.LG cs.NA math.NA
Improving Neural Named Entity Recognition with Gazetteers
University of Notre Dame(圣母大学);HLTCOE, JHU(约翰斯·霍普金斯大学自然语言处理中心(HLTCOE));UMBC, HLTCOE(马里兰大学巴尔的摩分校(UMBC)自然语言处理中心(HLTCOE))
这项工作的目标是提高性能的神经命名实体识别系统,通过添加输入功能,表明一个字的一部分,包括在地名词典中的名称。本文描述了如何从维基数据知识图谱生成地名词典,以及如何将信息集成到神经NER系统中。实验表明,该方法在两种不同的语言:高资源,基于单词的语言,英语和高资源,基于字符的语言,中文中产生的性能增益。实验还进行了低资源的语言,俄罗斯新注释的俄罗斯NER语料库从Reddit标记有四个核心类型和十二个扩展类型。本文报告了基线评分。这是第33届FLAIRS会议论文的较长版本(Song et al. 2020)。
2020-03-06 cs.CL cs.LG
Feature Flow Regularization: Improving Structured Sparsity in Deep Neural Networks
HKUST(香港科技大学)
剪枝是一种模型压缩方法,可在保持准确性的同时去除深度神经网络(DNN)中的冗余参数。大多数可用的过滤器修剪方法需要复杂的处理,例如迭代修剪,特征统计/排名或训练过程中的额外优化设计。在本文中,我们从特征演化的新角度提出了一种简单有效的正则化策略,我们称之为特征流正则化(FFR),用于改善DNN中的结构稀疏性和过滤器修剪。具体而言,FFR对沿神经网络的特征流的梯度和曲率施加控制,这隐含地增加了参数的稀疏性。FFR背后的原理是特征的连贯和平滑演变将导致避免冗余参数的有效网络。从FFR获得的高结构化稀疏性使我们能够有效地修剪滤波器。在CIFAR-10/100和Tiny ImageNet数据集上使用VGGNets,ResNets进行的实验表明,FFR可以显着改善非结构化和结构化稀疏性。我们的修剪结果在减少参数和FLOPs方面与最先进的修剪方法相当甚至更好。
2021-10-07 cs.CV cs.LG