Exploring Weight Balancing on Long-Tailed Recognition Problem
The University of Tokyo(东京大学)
本文分析了权重平衡在长尾识别问题中有效的原理,发现其可分解为提升Fisher判别比与隐式logit调整,并据此将两阶段训练简化为单阶段且提升了准确率。
2024-04-28 cs.LG
End-to-End Balancing for Causal Continuous Treatment-Effect Estimation
Amazon.com, Inc.(亚马逊公司);Wharton School of the University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
本文在逆倾向分数加权的框架下研究了连续处理的观察因果推理问题。为了获得稳定的权重,我们设计了一种基于熵平衡的新算法,该算法使用端到端优化来学习权重以直接最大化因果推理准确性。在优化过程中,这些权重会自动调整到所使用的特定数据集和因果推理算法。我们提供了一个理论分析,证明我们的方法的一致性。使用合成和真实世界的数据,我们表明,我们的算法估计因果关系比基线熵平衡更准确。
2022-07-10 cs.LG stat.ME stat.ML
Counterfactual Representation Learning with Balancing Weights
Duke University(杜克大学)
使用观察数据进行因果推断的关键是实现与每种治疗类型相关的预测特征的平衡。最近的文献探讨了表征学习,以实现这一目标。在这项工作中,我们讨论了这些策略的陷阱-例如实现平衡和预测能力之间的权衡-并通过因果学习中的平衡权重的整合提出了一种补救措施。具体来说,我们从理论上联系平衡的倾向估计的质量,强调确定一个适当的目标人群的重要性,并阐述了功能平衡和权重调整的互补作用。使用这些概念,我们然后开发了一个算法,灵活,可扩展和准确的因果关系的估计。最后,我们展示了如何学习加权表示可能有助于促进替代因果学习程序与吸引人的统计特征。我们进行了一系列广泛的实验合成的例子和标准的基准,并报告令人鼓舞的结果相对于国家的最先进的基线。
2021-02-24 cs.LG stat.ML
Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training
Graz University of Technology(格拉茨技术大学);Huawei Technologies(华为技术有限公司)
从头开始训练稀疏神经网络需要在优化权重本身的同时优化连接。通常,权重在预定义数量的权重更新之后被重新分布,移除每层的一部分参数并将它们插入相同层中的不同位置。每一层的密度都是使用几何学来确定的,通常纯粹基于参数张量的大小。虽然每层的连接在训练期间被优化多次,但每层的密度保持不变。这留下了巨大的未实现的潜力,特别是在具有90%或更高稀疏度的场景中。我们提出了基于全局一致性的重分布,这是一种在所有层中分布权重的技术-将更多权重添加到最需要它们的层。我们的评估表明,我们的方法是不太容易不平衡的权重分布在初始化比以前的工作,它是能够找到更好地执行稀疏子网在非常高的稀疏水平。
2022-11-03 cs.LG
A Q-learning approach to the continuous control problem of robot inverted pendulum balancing
University of Coimbra(科英布拉大学)
本文提出用离散动作空间Q-learning解决机器人倒立摆连续控制问题,通过在基于真实数据拟合的仿真环境中训练,并在真实机器人上验证了方法的可行性。
2023-12-05 cs.LG cs.RO
Projected State-action Balancing Weights for Offline Reinforcement Learning
Texas A&M University(德州农工大学);George Washington University(乔治华盛顿大学)
离线策略评估(OPE)被认为是强化学习(RL)中的一个基本且具有挑战性的问题。本文重点研究了基于预先收集的数据的目标策略的价值估计,该数据是在无限时域马尔可夫决策过程的框架下从可能不同的策略中产生的。受RL中的边缘重要性采样方法和因果推理中协变量平衡思想的启发,我们提出了一种新的具有近似投影状态-动作平衡权重的策略值估计器。我们得到了这些权重的收敛速度,并证明了所提出的值估计是半参数有效的技术条件下。在渐近性方面,我们的结果与轨迹的数量和每个轨迹处的决策点的数量都成比例。因此,当决策点的数量出现分歧时,仍然可以用有限数量的受试者实现一致性。此外,我们开发了一个必要和充分条件,建立适定性的Bellman运营商在关闭的政策设置,其特点是困难的OPE,可能是独立的利益。数值实验表明,我们提出的估计有前途的性能。
2022-06-09 cs.LG stat.ME
FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability-Plasticity Tradeoff
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Holiday Robotics
FIRE通过量化稳定性与可塑性,平衡神经网络在非平稳数据训练中的稳定性与可塑性权衡,优于传统重初始化方法。
2026-04-01 cs.AI cs.LG
Weighted Spline-Expanded Networks with Distributional Balancing for Continuous Treatment Effects
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对连续处理因果效应估计中的混杂与误设问题,提出WSENet,结合协变量平衡、样条扩展与加权正则化,实现稳健且优于基线的剂量反应建模。
2026-09-29 cs.LG stat.ML
Temporal-Spatial Entropy Balancing for Causal Continuous Treatment-Effect Estimation
Huolala.cn, Inc(货拉拉公司)
针对城域货运中传统因果效应估计方法时空维度精度不足的问题,提出基于灵活时空网格划分的TS-EBCT连续熵平衡方法,经多数据集验证有效提升了因果效应预测精度,可优化补贴定价策略。
2023-12-19 cs.AI cs.LG stat.ME
Dual-Balancing for Physics-Informed Neural Networks
Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(高性能计算研究所(IHPC),科技研究局(A*STAR))
针对普通物理信息神经网络(PINNs)多目标优化导致的精度低、收敛慢问题,提出融合间平衡与内平衡的DB-PINN动态调整损失权重,搭配鲁棒更新策略,在收敛速度和预测精度上优于主流基于梯度的加权方法。
2025-05-20 cs.LG cs.NA math.NA
Choosing the Right Weights: Balancing Value, Strategy, and Noise in Recommender Systems
Cornell Tech(康奈尔科技学院)
该研究从用户与内容生产者双视角分析推荐系统行为权重的最优选择,提出基于价值忠实度、策略鲁棒性、噪声的分析框架,经Facebook大规模数据集验证,用户最优权重既提升用户价值,还意外改善了信息质量等社会结果。
2024-12-07 cs.LG
Augmented balancing weights as linear regression
UC Berkeley(加州大学伯克利分校);Ghent Univ.(根特大学);Johns Hopkins Univ.(约翰斯·霍普金斯大学)
本文证明增强平衡权重估计器在线性基条件下等价于单一线性回归,并推广到岭回归和 lasso 情形,揭示其退化、欠平滑及双重选择性质,为理解该类估计器性能提供新框架。
2024-06-05 cs.LG econ.EM stat.ME
AlphaDecay: Module-wise Weight Decay for Heavy-Tailed Balancing in LLMs
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究所);Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Shenzhen University of Advanced Technology(深圳大学);University of Oxford(牛津大学);University of Surrey(萨里大学)
AlphaDecay基于重尾自正则化理论,通过分析权重相关矩阵的经验谱密度,自适应地为大语言模型各模块分配不同权重衰减强度,在60M至1B规模预训练中优于统一衰减及其他自适应衰减基线。
2025-11-05 cs.AI cs.CL cs.LG
DFW: A Novel Weighting Scheme for Covariate Balancing and Treatment Effect Estimation
针对观测数据因果推断中的选择偏差问题,提出去混杂因子加权(DFW)方案,通过优先低混杂样本构建稳定权重,在协变量平衡和治疗效果估计上优于IPW和CBPS。
2025-08-07 cs.LG stat.ME
Kernel Ridge Riesz Representers: Generalization, Mis-specification, and the Counterfactual Effective Dimension
Harvard University(哈佛大学)
本文将核平衡权重重新解释为核岭Riesz表示子(KRRR),通过反事实有效维度刻画解决泛化误差、特征误设定及异质性效应推断问题,并应用于401(k)资格对资产影响的因果不确定性量化。
2024-07-04 cs.LG econ.EM math.ST
A Unified Theory for Causal Inference: Direct Debiased Machine Learning via Bregman-Riesz Regression
本文提出因果推断的统一理论,通过Bregman-Riesz回归整合Riesz回归、协变量平衡、DRE、TMLE和匹配估计器,揭示它们在ATE估计中的对偶与等价关系,并证明TMLE可消除主导偏差项。
2025-10-30 cs.LG econ.EM math.ST
Adversarial Balancing for Causal Inference
IBM Research(IBM研究院);McGill University(麦吉尔大学);IBM Research-Haifa(IBM海法研究院)
治疗观察数据的偏倚对估计不同人群的预期治疗结果构成了重大挑战。解释这些偏差的一个重要技术是重新加权样本,以最大限度地减少治疗组之间的差异。我们提出了一种新的重新加权的方法,使用双级优化交替训练的分类器,以最大限度地减少分类误差,和一个平衡权重生成器,使用指数梯度下降,以最大限度地提高这个错误。这种方法借鉴了生成对抗网络(GANs)的原理,利用分类器的能力来测量两个样本的分歧。我们提供了理论结果的条件下,估计误差是有界的两个因素:(i)的差异措施引起的误差;和(ii)的权重的变化。在几个基准测试上的实验结果表明,这种方法在估计因果效应方面是有效的。
2020-09-11 cs.LG stat.ML
Dual-Criterion Model Aggregation in Federated Learning: Balancing Data Quantity and Quality
University of Turku(图尔库大学)
本文提出一种联邦学习双准则加权聚合算法,结合客户端数据数量与质量动态调整权重,在CIFAR-10和视觉避障数据集上优于现有方法。
2024-11-12 cs.LG
Balancing Sparsity and Rank Constraints in Quadratic Basis Pursuit
INRIA, Centre Inria Rennes - Bretagne Atlantique(INRIA,里昂-大西洋研究中心);Inst. of Electrical Eng., Ecole Polytechnique Federale de Lausanne (EPFL)(电气工程研究所,瑞士洛桑联邦理工学院);Institut Langevin, CNRS UMR 7587, UPMC, Univ. Paris Diderot, ESPCI(Langevin研究所,法国国家科学研究中心UMR 7587,巴黎-萨特大学,巴黎理工学院)
本文研究了同时 enforcing 稀疏性和低秩结构的方法,提出了一种分析稀疏性和低秩约束之间权衡的新方法,并通过仿真验证了其有效性。
2014-03-19 cs.LG cs.NA math.NA
Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training
Dartmouth College(达特茅斯学院);Nanjing University(南京大学);National Center for Applied Mathematics(国家应用数学中心);Calculation Consulting(计算咨询公司);University of California at Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出基于重尾自正则化理论的逐层学习率方法 TempBalance,通过平衡各层温度改进训练,在多个数据集和网络结构上显著优于 SGD、谱范数正则化及多种先进优化器与学习率调度器。
2023-12-01 cs.LG stat.ML
Multi-Agent Reinforcement Learning for Network Load Balancing in Data Center
École Polytechnique(巴黎综合理工学院);Cisco Systems(思科系统公司);Princeton University(普林斯顿大学)
本文提出了网络负载均衡问题,一个具有挑战性的现实世界的任务,多智能体强化学习(MARL)方法。传统的启发式解决方案如加权代价多路径(WCMP)和本地最短队列(LSQ)对不断变化的负载分布和到达率缺乏灵活性,多个负载均衡器之间的平衡性较差。将协作网络负载均衡问题转化为Dec-POMDP问题,自然地引入了MARL方法。为了弥合应用基于学习的方法的现实差距,所有方法都直接在中到大规模的仿真系统上进行训练和评估。实验结果表明,独立和“自私”的负载均衡策略并不一定是全局最优的,而MARL算法在不同的环境下都具有较好的性能.此外,MARL方法的网络负载均衡的潜在困难进行了分析,这有助于提请注意的学习和网络社区的挑战。
2022-08-19 cs.DC cs.LG cs.NI
Weighted Entropy Modification for Soft Actor-Critic
University of California, Los Angeles(加州大学洛杉矶分校)
将现有的强化学习(RL)中的最大Shannon熵原理推广到加权熵,通过对状态-动作对进行定性加权,将其与策略的先验知识、经验重放和演化过程联系起来。我们提出了一个算法的动机与引入的权重函数,这导致了国家的最先进的性能Mujoco任务,尽管其简单的实施自我平衡的探索。
2020-11-18 cs.LG cs.RO
Efficient Signed Graph Sampling via Balancing & Gershgorin Disc Perfect Alignment
York University(约克大学);Simon Fraser University(西蒙弗雷泽大学)
图信号处理(GSP)中的基本前提是利用图将目标信号的成对(反)相关性编码为边缘权重用于图滤波。然而,现有的快速图形采样方案的设计和测试,只有积极的图形描述正相关。在本文中,我们表明,对于具有强内在反相关性的数据集,一个合适的图包含正边和负边权重。作为回应,我们提出了一个线性时间签署图采样方法的平衡签署图的概念为中心。具体地,给定经验协方差数据矩阵$\bar{\bf{C}}$,我们首先学习与有符号图$\mathcal{G}$对应的稀疏逆矩阵(图拉普拉斯算子)$\mathcal{L}$。我们定义的特征向量的拉普拉斯$\mathcal{L}_B$的平衡有符号图$\mathcal{G}_B$ -近似$\mathcal{G}$通过边权重增强-作为图的频率分量。接下来,我们分两步选择样本以最小化低通滤波器重构误差。我们首先通过相似性变换$\mathcal{L}_p = §\mathcal{L}_B §^{-1}$将拉普拉斯$\mathcal{L}_B$的所有Gershgorin盘左端对齐到最小特征值$λ_{\min}(\mathcal{L}_B)$,利用最近的线性代数定理称为Gershgorin盘完美对齐(GDPA)。然后,我们使用先前的快速Gershgorin盘对准采样(GDAS)方案在$\mathcal{L}_p$上执行采样。实验结果表明,我们的符号图采样方法优于现有的快速采样方案在各种数…
2023-01-15 cs.LG eess.SP
Synthetic Principal Component Design: Fast Covariate Balancing with Synthetic Controls
Stanford University(斯坦福大学)
实验的最优设计通常涉及解决NP难的组合优化问题。在本文中,我们的目标是开发一个全局收敛和实际有效的优化算法。具体来说,我们考虑一个设置,其中治疗前的结果数据是可用的,并调用合成控制估计。平均处理效应通过处理单元和对照单元的加权平均结果之间的差异来估计,其中权重是从观察到的数据中学习的。{在这种情况下,我们惊奇地发现最优实验设计问题可以简化为所谓的\textit{phase synchronization}问题。}我们解决这个问题,通过一个规范化的变体的广义功率方法与谱初始化。在理论方面,我们建立了实验设计的第一个全局最优性保证时,预处理数据是从某些数据生成过程中采样。从经验上讲,我们进行了广泛的实验,以证明我们的方法对美国劳工统计局和Abadie-Diemond-Hainmueller加州吸烟数据的有效性。在均方根误差方面,我们的算法大大优于随机设计。
2022-11-28 cs.LG econ.EM math.OC