DFReg: A Physics-Inspired Framework for Global Weight Distribution Regularization in Neural Networks
Independent Researcher(独立研究者)
本文提出受密度泛函理论启发的DFReg方法,通过对神经网络全局权重分布施加泛函惩罚,在不改架构、不加随机扰动的情况下实现结构正则化。
2025-06-30 cs.LG
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University(爱荷华州立大学)
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法,如装袋、增压和堆叠/混合,已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差,而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时,从多个基本学习器的加权平均值创建集合。众所周知,在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此,设计了一种基于优化的嵌套算法,该算法考虑调整超参数以及找到组合集成的最佳权重(具有内部调整超参数的广义加权集成(GEM-ITH))。此外,贝叶斯搜索被用来加快优化过程,并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析,证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
Simultaneously Optimizing Weight and Quantizer of Ternary Neural Network using Truncated Gaussian Approximation
University of Central Florida(中佛罗里达大学)
在过去的几年里,深度卷积神经网络在许多人工智能应用中取得了巨大的成功。然而,其庞大的模型规模和庞大的计算成本已经成为部署这种强大的算法在低功耗和资源有限的移动系统的主要障碍。作为该问题的对策,已经广泛探索了具有三值化权重(即,-1,0,+1)的深度神经网络,以极大地减小模型大小和计算成本,并且精度降低有限。在这项工作中,我们提出了一种新的三端化的神经网络训练方法,同时优化的权重和量化器在训练过程中,区别于以往的作品。而不是固定和统一的权重三进制化,我们是第一个将权重三进制化的阈值纳入一个封闭的形式表示使用截断高斯近似,使权重和量化器的同时优化,通过反向传播训练。在第一层和最后一层都被三进制化的情况下,ImageNet分类任务的实验表明,与全精度对应物相比,我们三进制化的ResNet-18/34/50的准确率仅下降了3.9/2.52/2.16%。
2018-10-02 cs.LG stat.ML
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院)
在联邦学习(FL)中,模型聚合被广泛用于数据隐私。近年来,为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而,当各种缺陷使得FL过程不可靠时,大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者(DearFSAC)算法,动态分配局部模型的权重,提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法,获得接近最优的性能和稳定的收敛。此外,自动编码器被训练以输出低维嵌入向量,其进一步用于评估模型质量。在实验中,DearFSAC优于现有的三种方法在四个数据集上的独立同分布(IID)和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting
本文提出贝叶斯域加权方法,引入Gamma先验从狄利克雷分布推断权重,实现稳定高效的域权重学习,以更少数据识别最优数据混合,适用于大规模应用。
2026-07-31 cs.LG
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们提出了一个廉价的基于梯度的超参数优化算法,结合了隐函数定理(IFT)与高效的逆Hessian近似。我们目前的IFT和区分通过优化,激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如,我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数,在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
DARTS without a Validation Set: Optimizing the Marginal Likelihood
University of Oxford(牛津大学)
神经架构搜索(NAS)的成功历来受到过多计算需求的限制。虽然DARTS等现代权重共享NAS方法能够在个位数的GPU天内完成搜索,但从共享权重中提取最终的最佳架构是众所周知的不可靠。训练速度估计(TSE),最近开发的泛化估计与贝叶斯边际似然解释,以前被用来代替基于梯度的优化DARTS的验证损失。这可以防止DARTS跳过连接崩溃,从而显著提高NASBench-201和原始DARTS搜索空间的性能。我们通过应用各种DARTS诊断扩展了这些结果,并显示了不使用验证集所产生的几个不寻常的行为。此外,我们的实验产生具体的例子,深度差距和拓扑结构的选择在DARTS有强烈的负面影响的搜索性能,尽管一般在文献中受到有限的关注相比,操作选择。
2021-12-24 cs.AI cs.LG
Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification
Booz Allen Hamilton(博思艾伦汉密尔顿公司);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Laboratory for Physical Sciences(物理科学实验室)
针对分布式线性模型通信成本高且单轮通信近似随机器增多而退化的问题,本文提出新技术ACOWA,通过增加一轮通信在略微增加运行时间下显著提升近似质量,在稀疏分布式逻辑回归中实现了更高准确率。
2024-06-03 cs.DC cs.LG stat.ML
Threshold Neuron: A Brain-inspired Artificial Neuron for Efficient On-device Inference
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));School of Computer Science, Peking University(北京大学计算机学院);LuxiTech (2024)(LuxiTech(2024))
针对端侧DNN效率瓶颈,本文受生物阈值机制与兴奋—抑制平衡启发提出Threshold Neurons,以极小精度损失显著降低硬件功耗、面积并提升推理速度。
2025-01-10 cs.LG
Mining the Weights Knowledge for Optimizing Neural Network Structures
嵌入在人工神经网络的权重中的知识可用于改进网络结构,例如在网络压缩中。但是,这些知识是手工建立的,可能不太准确,相关信息可能会被忽略。受哺乳动物大脑学习机制的启发,本文将神经网络权值中包含的知识挖掘出来,用于结构的自动学习。我们引入了一个切换器神经网络(SNN),它使用特定于任务的神经网络(简称TNN)的权重作为输入。通过挖掘包含在权重中的知识,SNN输出用于关闭和加权TNN中的神经元的缩放因子。为了同时优化TNN的结构和参数,采用随机梯度下降算法在TNN相同的性能评估下交替学习SNN和TNN。我们在分类应用中广泛使用的数据集和流行的网络上测试了我们的方法。在准确性方面,我们稳定而显著地优于基线网络和其他结构学习方法。同时,我们压缩基线网络,而不引入任何稀疏归纳机制,特别是我们的方法,在处理更简单的基线或更困难的任务时,会导致较低的压缩率。这些结果表明,我们的方法可以产生一个更合理的结构。
2021-10-11 cs.LG cs.NE
Parameter-Efficient Quantum-Inspired Fast Weight Programmers for Traffic-Matrix Forecasting
Wells Fargo(摩根大通)
提出量子启发式快速权重编程器QKAN-FWP,在内存和训练预算约束下实现高精度多步流量矩阵预测,相比LSTM等基线模型,G-QKANFWP以22.4%参数取得更优RMSE。
2026-06-29 cs.AI cs.LG quant-ph
Rethinking Bayesian Optimization for Co-Optimizing LLM Training Configurations
National University of Singapore(新加坡国立大学);Agency for Science, Technology and Research (A*STAR)(科技研究局)
JoBS通过联合优化数据和模型配置,利用性能预测器提升大语言模型训练效率,有效降低优化成本。
2026-10-30 cs.AI cs.LG
Optimizing Fire Safety: Reducing False Alarms Using Advanced Machine Learning Techniques
Quaid-i-Azam University(奎德阿扎姆大学);Najran University(奈季兰大学);National University of Science & Technology(国家科技大学);Prince Sultan University(苏丹亲王大学);Coventry University(考文垂大学);Edinburgh Napier University(爱丁堡龙比亚大学)
本文针对火灾烟雾报警误报问题,提出按密度区域加权并融合 KNN 与 XGBoost 的 Weighted 集成模型,在专用烟雾探测数据集上结合 SMOTE 与多种机器学习算法进行对比评估。
2025-03-13 cs.AI cs.LG
The Role of Bio-Inspired Modularity in General Learning
Florida Atlantic University(佛罗里达大西洋大学)
一般智能的一个目标是在没有先验知识的情况下学习新的信息。学习而不遗忘(CF)的效用是双重的:首先,系统可以在学习新东西后返回到以前学习的任务。此外,自举先前知识可以允许更快地学习新任务。以前的CF和Bootstrapping方法主要是基于修改学习,通过改变权重的形式来调整模型以适应当前任务,而不是之前调整的权重。然而,另一个被很大程度上忽视的关键因素是初始网络拓扑或架构。在这里,我们认为,生物大脑的拓扑结构可能进化出了某些旨在实现这种信息保守的特征。特别是,我们认为模块化的高度保守性可以为权重更新学习方法提供一种解决方案,该方法坚持学习而不会出现灾难性遗忘和自举约束。最后考虑如何结合这两个学习目标的动态,一般的学习系统。
2021-09-23 cs.AI cs.LG
CLASSP: a Biologically-Inspired Approach to Continual Learning through Adjustment Suppression and Sparsity Promotion
本文提出生物启发的持续学习方法CLASSP,通过权重调整衰减率和损失梯度阈值促进稀疏更新,在准确率与内存占用上优于EWC。
2024-06-08 cs.AI cs.LG cs.NE
FedClust: Optimizing Federated Learning on Non-IID Data through Weight-Driven Client Clustering
School of Computing and Informatics, University of Louisiana at Lafayette(路易斯安那大学拉法叶分校计算与信息学院);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);University of Delaware(特拉华大学)
针对联邦学习中非独立同分布数据导致的性能下降及现有聚类联邦学习方法通信成本高、聚类数需预定义的问题,提出基于部分模型权重的一次性客户端聚类方法FedClust,可动态接纳新客户端,在准确率和通信成本上均优于基线。
2024-03-07 cs.DC cs.LG
Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction
DATEXIS, Berliner Hochschule für Technik (BHT)(DATEXIS,柏林技术大学(BHT));Medical AI Analytics & Information GmbH(医学人工智能分析与信息公司);L3S, Leibniz University Hannover(L3S,莱布尼茨汉诺威大学)
本文提出 Comply 模型,通过引入复数权重结合位置信息,使单层神经网络能高效学习句子序列表示,在无额外参数下性能超越 FlyVec 并媲美大型最先进模型,且提供可解释的稀疏上下文表示。
2025-07-15 cs.AI cs.CL cs.LG
Optimizing Reusable Knowledge for Continual Learning via Metalearning
Pontificia Universidad Católica de Chile(智利天主教大学)
当随着时间的推移学习任务时,人工神经网络会遇到一个被称为灾难性遗忘(CF)的问题。当网络的权重在新任务的训练过程中被覆盖时,就会发生这种情况,从而导致忘记旧信息。为了解决这个问题,我们提出了Meta Reusable Knowledge或MARK,这是一种新的方法,在学习新任务时,它可以促进权重重用性而不是重复使用。具体来说,MARK在任务之间保持一组共享权重。我们将这些共享的权重视为一个公共知识库(KB),它不仅用于学习新任务,而且随着模型学习新任务而丰富了新知识。MARK背后的关键组件是双重的。一方面,元学习方法提供了一个关键机制,以逐步丰富知识库的新知识,并促进任务之间的权重重用。另一方面,一组可训练的掩码提供了从KB相关权重中选择性地选择以解决每个任务的关键机制。通过使用MARK,我们在几个流行的基准测试中获得了最先进的结果,在20-Split-MiniImageNet数据集上的平均准确度方面超过了表现最好的方法10%以上,同时使用55%的参数数量实现了几乎为零的遗忘。此外,一项消融研究提供了证据,证明MARK确实在学习可重复使用的知识,这些知识在每个任务中都有选择地使用。
2021-11-30 cs.CV cs.LG
Optimizing fairness tradeoffs in machine learning with multiobjective meta-models
Boston Children's Hospital(波士顿儿童医院)
针对公平机器学习中误差与公平性的多准则冲突,本文提出多目标元模型框架,由受保护属性学习样本权重,在真实任务上获得更优权衡解集。
2023-04-21 cs.CY cs.LG cs.NE
Shapley-Inspired Feature Weighting in $k$-means with No Additional Hyperparameters
提出SHARK算法,利用合作博弈论中的Shapley值量化特征重要性,无需额外超参数,通过迭代重加权特征提升聚类鲁棒性和准确性。
2026-06-25 cs.LG
ELUTQ: Optimizing Quantization Accuracy under LUT-Based Computation for Edge LLMs
College of Electronic Information and Optical Engineering, Nankai University(电子信息与光工程学院,南开大学)
ELUTQ通过分层线性量化提升边缘大语言模型低比特量化精度与性能
2026-02-01 cs.LG
A Physics inspired Functional Operator for Model Uncertainty Quantification in the RKHS
University of Florida(佛罗里达大学)
精确量化模型预测的不确定性是机器学习中的一个关键问题。现有的贝叶斯方法,是高度迭代的,是昂贵的实施,往往无法准确地捕捉模型的真实后验,因为他们倾向于只选择中心时刻。我们提出了一个快速的单发不确定性量化框架,其中,而不是与传统的贝叶斯定义的模型权重概率密度函数(PDF),我们利用物理启发的功能运营商的模型权重在再生核希尔伯特空间(RKHS)的投影,以量化他们的不确定性在每个模型输出。模型权重的RKHS投影产生基于势场的模型权重PDF的解释,从而允许定义受物理学中的扰动理论启发的函数算子,其在特定模型输出处执行模型权重PDF(势场)的矩分解以量化其不确定性。我们将模型权重PDF的这种表示称为权重的量子信息势场(QIPF)。从这种方法中提取的矩自动分解指定模型输出的局部邻域中的权重PDF,并以极大的灵敏度确定给定预测周围权重PDF的局部异质性。因此,这些时刻提供了更清晰的估计预测的不确定性比贝叶斯方法的中心随机矩。实验评估不同的不确定性量化方法的误差检测能力的协变量移位测试数据显示,我们的方法是更精确和更好的校准比基线方法,同时计算速度更快。
2022-05-29 cs.IT cs.LG math.IT
A Dual Process Model for Optimizing Cross Entropy in Neural Networks
National Library of Medicine, National Institutes of Health(美国国立医学图书馆,美国国立卫生研究院)
最小交叉熵是一种广泛使用的人工神经网络训练方法。许多基于反向传播的训练过程直接使用交叉熵作为其损失函数。相反,这篇理论文章研究了一个具有两个过程的对偶过程模型,其中一个过程最小化Kullback-Leibler散度,而其对偶过程最小化Shannon熵。假设学习由两个相互补充的双重过程组成,该模型定义了两个过程的平衡状态,其中损失函数假定其最小值。所提出的模型的一个优点是,它允许导出最佳的学习率和动量权重,以更新反向传播的网络权重。此外,该模型引入了黄金分割比和复数作为机器学习中的重要新概念。
2021-04-27 cs.LG cs.NE
Predicting E-commerce Purchase Behavior using a DQN-Inspired Deep Learning Model for enhanced adaptability
Independent Researcher(独立研究者)
提出一种受DQN启发的深度学习模型,结合LSTM捕捉时序模式,在88.5万用户会话数据集上以88%准确率和0.88 AUC预测购买行为,优于传统方法。
2025-06-21 cs.LG
Supervised Learning with Quantum-Inspired Tensor Networks
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of California, Irvine(加利福尼亚大学尔湾分校);Northwestern University(西北大学)
张量网络是高维张量的有效表示,在物理和数学应用中非常成功。我们演示了如何优化这些网络的算法可以适应监督学习任务,通过使用矩阵乘积状态(张量列车)来参数化图像分类模型。对于MNIST数据集,我们得到小于1%的测试集分类错误。我们讨论了张量网络形式如何为学习模型赋予额外的结构,并提出了一种可能的生成解释。
2017-05-18 cond-mat.str-el cs.LG stat.ML
Optimizing Generalized PageRank Methods for Seed-Expansion Community Detection
UIUC(伊利诺伊大学厄巴纳-香槟分校)
图上的随机游走(RW)的着陆概率(LP)编码了关于图拓扑的丰富信息。广义PageRank(GPR),它代表了RW的LP的加权和,利用LP特征的区分能力,使许多基于图的学习研究。以前的工作在该领域主要集中在评估合适的权重的GPRs,只有少数研究到目前为止,试图获得最佳的权重的GRP为给定的应用程序。通过使用随机图模型,我们在这个方向上迈出了基本的一步,以更好地理解GPR的行为。在这种情况下,我们提供了一个严格的非渐近分析的收敛LP和GPR的平均场值的边独立的随机图。虽然我们的理论结果适用于许多问题的设置,我们专注于随机块模型的种子扩展社区发现的任务。在那里,我们发现,预测能力的LP下降显着慢于以前报道的基础上渐近的结果。鉴于这一结果,我们提出了一种新的探地雷达,称为逆PR(IPR),其LP权重在行走的最初几步中增加。在合成和真实的大规模网络上进行的大量实验说明了IPR与其他GPR相比在种子社区发现方面的优越性。
2019-12-25 cs.IR cs.LG cs.SI
Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning
School of Computing and Augmented Intelligence(计算与增强智能学院);School of Sustainability(可持续发展学院);School of Complex Adaptive Systems(复杂自适应系统学院);School of Life Sciences(生命科学学院);Arizona State University(亚利桑那州立大学)
受生物神经调制启发,提出一种持续学习新架构,仅学习少量情境参数来调制随机权重,以高效解决灾难性遗忘并加速训练。
2023-10-09 cs.CV cs.LG
DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学)
提出DoReMi方法,通过小型代理模型和组分布鲁棒优化生成域权重,无需下游任务知识即可优化预训练数据混合比例,显著提升大模型下游准确率并加速训练。
2023-11-21 cs.CL cs.LG
X-Armed Bandits: Optimizing Quantiles, CVaR and Other Risks
Universite de Toulouse(图卢兹大学);INRA(法国国家农业科学研究院);Institut de Mathematiques de Toulouse(图卢兹数学研究所);Univ. Lyon(里昂大学);ENS de Lyon(里昂高等师范学院)
我们提出并分析了StoROO,一个算法的风险优化的随机黑盒函数StoOO。受农业、医学、生物学或金融等风险规避决策领域的影响,我们不关注平均收益,而是关注收益分布的一般泛函。我们提供了一个通用的后悔分析StoROO和说明其适用性的两个例子:优化的分位数和CVaR。受强盗文献和黑盒均值优化器的启发,StoROO依赖于基于随机大小样本为目标函数构建置信区间的可能性。我们详细介绍了他们的建设分位数的情况下,提供严格的界限的基础上库尔贝克-莱布勒散度。最后,我们提出了数值实验,显示了显着的影响紧界的优化分位数和CVaR。
2020-03-04 cs.LG stat.ML
Regularizing and Optimizing LSTM Language Models
Salesforce Research(Salesforce 研究院)
递归神经网络(RNN),如长短期记忆网络(LSTM),作为许多序列学习任务的基本构建块,包括机器翻译、语言建模和问答。在本文中,我们考虑了单词级语言建模的具体问题,并研究了正则化和优化基于LSTM的模型的策略。我们提出了权重下降的LSTM,它在隐藏到隐藏权重上使用DropConnect作为循环正则化的一种形式。此外,我们介绍NT-ASGD,平均随机梯度方法的一个变体,其中平均触发器是使用非单调条件确定的,而不是由用户调整。使用这些和其他正则化策略,我们在两个数据集上实现了最先进的单词级困惑:Penn Treebank上的57.3和WikiText-2上的65.8。在探索神经缓存与我们提出的模型相结合的有效性时,我们在Penn Treebank上实现了更低的最先进的困惑度,为52.8,在WikiText-2上为52.0。
2017-08-07 cs.CL cs.LG cs.NE
A Quantum-Inspired Dequantization Method for Diagonally Weighted Matrix Functions: Application to Learning with Optimized Random Features
The University of Tokyo(东京大学)
本文提出一种量子启发的经典去量子化方法,通过采样重索引和主块缩减,在无采样访问条件下实现优化随机特征采样器的经典化,并保证精度与多项式运行时间。
2026-09-11 cs.LG quant-ph stat.ML
A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
Pengcheng Laboratory(鹏城实验室);Microsoft Research Asia – Shanghai(微软亚洲研究院-上海);Peking University(北京大学)
本文通过分析反向传播过程揭示SNN可视为带噪声注入的二值激活网络自集成,提出SEI-BWSNN方法,利用多捷径和知识蒸馏改进二值权重SNN训练,在ImageNet上以2个时间步达到82.52%准确率。
2025-08-18 cs.LG cs.NE
Optimizing Mode Connectivity via Neuron Alignment
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
由于深度神经网络的高度非凸性,其损失景观尚未得到很好的理解。根据经验,这些损失函数的局部最小值可以通过模型空间中的学习曲线连接,沿着该学习曲线,损失几乎保持恒定;这一特征称为模式连通性。然而,目前的曲线发现算法不考虑对称性的影响,在损失表面创建的模型权重排列。我们提出了一个更一般的框架,调查景观连接的对称性的影响,占权重排列的网络连接。为了近似最优排列,我们引入了一种廉价的启发式算法,称为神经元对齐。神经元对齐促进了沿着曲线的模型的中间激活的分布之间的相似性。我们提供了理论分析,建立对齐模式连接的好处,这个简单的启发式的基础上。我们的经验验证,通过对齐给出的排列是局部最优的通过一个近端交替最小化方案。从经验上讲,优化权重排列对于有效学习网络之间的简单,平面,低损失曲线至关重要,这些曲线可以成功推广。我们的对齐方法可以显着减轻最近发现的鲁棒损失障碍的路径连接两个对抗的鲁棒模型,并找到更强大和更准确的模型的路径。
2020-11-02 cs.LG math.OC stat.ML
Few-shot Continual Learning: a Brain-inspired Approach
Tsinghua University(清华大学);Tsinghua-Peking Center for Life Sciences(清华-北大生命科学联合中心)
从几个例子中不断学习新任务是一个重要但具有挑战性的设置。尽管已有大量的研究致力于持续学习或少样本学习,但很少有研究考虑到Few-Shot持续学习(FSCL)这一新的环境,即需要最大限度地减少对旧任务的灾难性遗忘,并逐步提高Few-Shot泛化能力。在本文中,我们提供了第一个系统的研究FSCL,并提出了一个有效的解决方案与深度神经网络。我们的解决方案是基于这样的观察,即任务序列的持续学习不可避免地干扰了Few-Shot泛化,这使得将少样本学习策略扩展到持续学习场景是非常重要的。我们从鲁棒的脑系统中得到启发,提出了一种方法:(1)受元可塑性和快/慢突触的生物学模型的启发,相互依赖地更新持续学习和少样本学习的一对快/慢权重,以理清它们的不同目标;(2)用脑启发的两个--步骤合并策略,用于在快速权重中学习任务序列而不会忘记,同时在慢速权重中提高泛化能力而不会过拟合权重各种基准测试的广泛结果表明,我们的方法比以往任何时候都看到的所有任务的联合训练取得了更好的性能。Few-Shot泛化的能力也从传入的任务和示例中得到了实质性的提高。
2021-04-19 cs.LG
Joslim: Joint Widths and Weights Optimization for Slimmable Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
可精简的神经网络在预测误差和计算要求(例如浮点运算或FLOP的数量)之间提供灵活的折衷,具有与单个模型相同的存储要求。它们有助于减少将模型部署到具有不同内存约束的设备的维护开销,并有助于优化具有许多CNN的系统的效率。然而,现有的可瘦身网络方法要么不优化逐层宽度,要么独立地优化共享权重和逐层宽度,从而通过联合宽度和权重优化留下显著的改进空间。在这项工作中,我们提出了一个通用的框架,使联合优化的宽度配置和重量的可瘦身网络。我们的框架包括传统的和基于NAS的可瘦身方法作为特殊情况,并提供了灵活性,以改善现有的方法。从实用的角度来看,我们提出了Joslim,这是一种联合优化可瘦身网络的宽度和权重的算法,它优于现有的方法,用于优化跨各种网络,数据集和目标的可瘦身网络。从数量上看,考虑到FLOP和内存占用,MobileNetV 2在ImageNet数据集上的top-1准确度分别提高了1.7%和8%。我们的研究结果突出了优化不同层的信道数与可精简网络的权重的潜力。代码可在https://github.com/cmu-enyac/Joslim获得。
2021-06-30 cs.CV cs.LG stat.ML
Optimizing Portfolio Performance through Clustering and Sharpe Ratio-Based Optimization: A Comparative Backtesting Approach
Seoul National University(首尔大学);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学人工智能交叉项目)
本文提出一种结合K-Means聚类和夏普比率优化的比较回测方法,以提升投资组合的风险调整后收益,并通过多资产类别历史数据验证其优于等权重基准。
2025-01-22 cs.LG q-fin.PM
QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning
QC Ware(QC公司);LIP6, CNRS, Sorbonne Université(LIP6、CNRS、索邦大学)
针对大模型全微调显存与时间成本高的问题,提出受量子电路启发的QuIC适配器PEFT方法,仅需极低显存即可微调,高阶配置可实现超40倍参数压缩,适配资源受限场景。
2025-10-05 cs.AI cs.LG eess.SP
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
量子机器学习(QML)被认为是近期量子器件最有前途的应用之一。然而,量子机器学习模型的优化提出了许多挑战,这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中,我们评估了当代方法在深度强化学习中的潜力,以增强量子变分电路中基于梯度的优化例程。我们发现,强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型:https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);Microsoft Research(微软研究院)
科学和工程中的许多重要问题,如药物设计,涉及在复杂的,高维的,结构化的输入空间上优化昂贵的黑箱目标函数。尽管机器学习技术在解决这些问题方面已经显示出前景,但是现有方法基本上缺乏样本效率。我们介绍了一种改进的高效黑盒优化方法,该方法在通过深度生成模型学习的低维连续隐流形中进行优化。与以前的方法相比,我们积极地引导生成模型来维护一个潜在的流形,这对于有效地优化目标非常有用。我们通过周期性地重新训练生成模型来实现这一点,这些生成模型是沿着优化轨迹查询的数据点,并根据目标函数值对这些数据点进行加权。这种加权再训练可以很容易地在现有方法的基础上实现,并且经验表明,它可以显着提高合成和现实世界优化问题的效率和性能。
2020-10-25 cs.LG stat.ML
Re-Mix: Optimizing Data Mixtures for Large Scale Imitation Learning
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本研究针对机器人模仿学习的数据选择问题,提出Re-Mix方法,基于分布鲁棒优化学习数据集域权重,通过早停等策略适配机器人数据差异,在Open X-Embodiment数据集上显著优于均匀及人工权重。
2024-08-26 cs.LG cs.RO
Walking the Weight Manifold: a Topological Approach to Conditioning Inspired by Neuromodulation
Cold Spring Harbor Laboratory(冷泉港实验室);University of Southern Florida(佛罗里达州立大学)
本文提出了一种基于拓扑的权重流形条件化方法,通过在权重空间中优化具有预定义拓扑的流形,以提升任务间的泛化能力和学习效率。
2025-11-24 cs.LG cs.NE
Optimizing Information Loss Towards Robust Neural Networks
Fraunhofer AISEC(弗劳恩霍夫应用安全研究所以及)
神经网络(NN)容易受到对抗性样本的影响。这样的输入与它们的良性对应物仅略有不同,但会引起被攻击NN的错误分类。制作示例所需的扰动通常可以忽略不计,甚至人类也无法察觉。为了保护基于深度学习的系统免受此类攻击,已经提出了几种对策,其中对抗训练仍然被认为是最有效的。在这里,使用对抗性示例迭代地重新训练NN,形成计算昂贵且耗时的过程,通常导致性能下降。为了克服对抗训练的缺点,同时仍然提供高级别的安全性,我们提出了一种新的训练方法,我们称之为\textit{entropic retraining}。基于信息论启发的分析,熵再训练模仿了对抗训练的效果,而不需要费力地生成对抗示例。我们的经验表明,熵再训练导致神经网络的安全性和鲁棒性显着增加,而只依赖于给定的原始数据。通过我们的原型实现,我们验证并展示了我们的方法对各种NN架构和数据集的有效性。
2020-09-29 cs.CR cs.LG stat.ML
Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks
Princeton University(普林斯顿大学);Google Brain(谷歌大脑)
深度神经网络基于梯度的优化的初始参数值的选择是深度学习系统中最有影响力的超参数选择之一,影响收敛时间和模型性能。然而,尽管有大量的经验和理论分析,相对较少被证明不同的初始化方案的具体效果。在这项工作中,我们分析了深度线性网络中初始化的影响,并首次提供了一个严格的证明,即从正交组中提取初始权重可以相对于具有iid权重的标准高斯初始化加速收敛。我们发现,对于深度网络,使用正交初始化有效收敛到全局最小值所需的宽度与深度无关,而使用高斯初始化有效收敛所需的宽度在深度上线性缩放。我们的研究结果证明了良好初始化的好处如何在整个学习过程中持续存在,这表明了最近通过根据动态等距原理初始化非常深的非线性网络所发现的经验成功的解释。
2020-01-16 cs.LG cs.NE math.OC