Automatic feature selection and weighting in molecular systems using Differentiable Information Imbalance
International School for Advanced Studies (SISSA)(国际高等研究院(SISSA));The Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);University of Cal(卡尔大学)
提出可微信息不平衡(DII)方法,通过梯度下降优化特征权重,实现分子系统中自动特征选择、单位对齐与重要性加权,并在生物分子构象描述和机器学习力场训练两个基准问题上验证了有效性。
2024-12-30 cs.LG physics.comp-ph stat.ML
Thumb on the Scale: Optimal Loss Weighting in Last Layer Retraining
Arizona State University(亚利桑那州立大学);University of British Columbia(不列颠哥伦比亚大学)
研究最后一层重训练(LLR)机制下损失加权的有效性,发现该方法在模型相对过参数化时仍有效,但权重需考虑相对过参数化程度。
2025-06-24 cs.LG stat.ML
Asymmetric Impurity Functions, Class Weighting, and Optimal Splits for Binary Classification Trees
University of California(加利福尼亚大学)
我们研究如何不对称的杂质函数影响选择最佳的节点分裂时,成长的决策树的二进制分类。特别是,我们放松了通常的公理的杂质函数,并显示如何倾斜的杂质函数的偏见最佳分裂到一个特定的类分离点时,分裂一个节点。我们给出了这个概念的严格定义,然后给出了一个必要和充分条件,这样的偏见成立。我们还表明,类加权的技术是等效于应用一个特定的变换的杂质函数,并将所有这些概念联系在一起的一类杂质函数,包括熵和基尼杂质。我们还简要地讨论了成本不敏感的杂质函数,并给出了这样的功能的一个特征。
2019-04-29 cs.LG stat.ML
Kernel Optimal Orthogonality Weighting: A Balancing Approach to Estimating Effects of Continuous Treatments
许多科学问题需要估计连续治疗的效果。结果建模和基于广义倾向得分的加权回归是评价连续效应最常用的方法。然而,这些技术可能对模型错误指定、极端权重或两者敏感。在本文中,我们提出了核最优连续性加权(KOOW),凸优化为基础的方法,估计连续治疗的效果。KOOW找到使连续治疗和混杂因素之间的最差情况惩罚函数协方差最小化的权重。通过最小化该数量,KOOW成功地提供了使混杂因素和连续治疗正交化的权重,从而提供了最佳协变量平衡,同时控制了极端权重。我们评估其比较性能的模拟研究。使用来自妇女健康倡议观察性研究的数据,我们应用KOOW来评估红肉消费对血压的影响。
2019-10-26 stat.AP stat.ME stat.ML
Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
学习生成模型通常会产生相对于底层数据分布的有偏统计数据。校正这种偏差的标准技术是重要性抽样,其中来自模型的样本由模型和真实分布下的似然比加权。当似然比未知时,可以通过训练概率分类器来区分来自两种分布的样本来估计它。我们采用这种无似然重要性加权方法来纠正生成模型中的偏差。我们发现,这种技术始终提高了标准拟合优度指标,用于评估最先进的深度生成模型的样本质量,这表明减少了偏差。最后,我们展示了它在以下典型应用中的实用性:a)使用生成对抗网络进行分类的数据增强,以及b)使用非策略数据进行基于模型的策略评估。
2019-11-03 cs.LG cs.NE stat.ML
Optimal Weighting of Multi-View Data with Low Dimensional Hidden States
在自然语言处理(NLP)任务中,数据通常具有以下两个属性:第一,数据可以被切割成多视图,这已成功地用于降维的目的。例如,在主题分类中,每篇论文都可以分为标题、正文和参考文献。然而,对于监督学习问题,一些视图比其他视图噪音更小是常见的。第二,未标记的数据很容易获得,而标记的数据相对较少。例如,《纽约时报》最近10年的文章很容易抓取,但要将它们归类为“政治”、“金融”或“体育”则需要人力。因此,在运行监督学习方法之前,噪声较小的特征是首选的。在本文中,我们提出了一种无监督的算法,最佳权重的功能,从不同的意见时,这些意见产生的低维隐藏状态,这发生在广泛使用的模型,如混合高斯模型,隐马尔可夫模型(HMM)和潜在的狄利克雷分配(LDA)。
2012-09-26 cs.LG stat.ML
Optimal Weighting for Exam Composition
Florida International University(佛罗里达国际大学);School of Computing and Information Sciences(计算与信息科学学院)
许多教师面临的一个问题是设计准确评估学生能力的考试。通常情况下,这些考试提前几天准备,并根据问题难度和长度的粗略近似值使用通用问题分数。例如,作者最近教的一门课,有30道选择题,价值3分,15道是非题,价值4分,5道分析题,价值10分。我们描述了一种新的框架,其中使用来自机器学习的算法来修改考试问题权重,以优化考试成绩,使用整体班级成绩作为学生真实能力的代理。我们表明,显着的错误减少,可以通过我们的方法在标准的加权方案,我们提出了几个新的意见的属性的“好”和“坏”的考试问题,可以有影响的设计改进的未来的评价方法。
2017-12-24 cs.AI cs.CY cs.LG
Robust Sample Weighting to Facilitate Individualized Treatment Rule Learning for a Target Population
University of Wisconsin(威斯康星大学);University of Minnesota(明尼苏达大学)
针对源人群与目标人群存在差异时个体化治疗规则(ITR)泛化面临的函数类错误设定挑战,提出一种基于再生核希尔伯特空间的稳健加权框架以实现协变量平衡,从而有效促进最优ITR的泛化并改善目标人群的估计效果。
2023-06-14 cs.LG stat.ME stat.ML
Rethinking Importance Weighting for Deep Learning under Distribution Shift
RIKEN(理化学研究所);The University of Tokyo(东京大学)
在分布偏移(DS)下,其中训练数据分布不同于测试分布,一种强大的技术是重要性加权(IW),其分两个单独的步骤处理DS:权重估计(WE)估计测试与训练的密度比,并且加权分类(WC)从加权的训练数据训练分类器。然而,IW不能很好地处理复杂的数据,因为WE与深度学习不兼容。在本文中,我们重新思考了IW,并从理论上证明了它存在循环依赖性:我们不仅需要WE来处理WC,还需要WC来处理WE,其中将训练好的深度分类器用作特征提取器(FE)。为了切断这种依赖性,我们尝试从未加权的训练数据中预训练FE,这会导致有偏的FE。为了克服这种偏见,我们提出了一个端到端的解决方案动态IW,它在WE和WC之间迭代,并以无缝的方式将它们结合起来,因此我们的WE也可以间接地享受深度网络和随机优化器。在三个流行的数据集上用两种代表性类型的DS进行的实验表明,我们的动态IW与最先进的方法相比毫不逊色。
2020-11-05 cs.LG stat.ML
SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions
University of California, Merced(加利福尼亚大学默塞德分校);University of Arizona(亚利桑那大学);U.S. Air Force Research Laboratory(美国空军研究实验室)
自适应损失函数公式化是一个活跃的研究领域,近年来随着深度学习的成功而获得了极大的普及。然而,现有的自适应损失函数的框架往往遭受缓慢的收敛和不良的选择的权重的损失分量。传统上,多部分损失函数的元素被相等地加权,或者它们的权重通过产生接近最优(或次优)结果的启发式方法来确定。为了解决这个问题,我们提出了一个家庭的方法,称为SoftAdapt,动态地改变功能的权重多部分损失函数的基础上实时性能统计的组件损失。SoftAdapt在数学上是直观的,计算效率高,实现简单。在本文中,我们提出的数学公式和伪代码的SoftAdapt,以及我们的方法应用于图像重建(稀疏自动编码器)和合成数据生成(内省变分自编码器)的结果。
2019-12-27 cs.LG math.OC stat.ML
Recursive Learning Without Collapse: A Weighting-Based Stabilization Framework
Wang Yanan Institute for Studies in Economics, Xiamen University(厦门大学王亚南经济研究所);Department of Statistics and Data Science, University of California, Los Angeles(加州大学洛杉矶分校统计与数据科学系)
针对递归生成模型训练中的模型崩溃问题,提出基于加权的训练策略,在混合真实与合成数据场景下,理论推导出最优加权方案的统一表达式,揭示合成数据利用与模型性能间的权衡。
2026-06-17 cs.LG stat.ML
Towards Representation Learning for Weighting Problems in Design-Based Causal Inference
本文提出了一种基于表示学习的端到端方法,用于在因果推断中寻找有效的加权方案,通过灵活的表示学习保留了理论属性并提升了估计性能。
2026-02-13 cs.LG stat.ME stat.ML
HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with Auxiliary Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);Royal Military Academy(皇家军事学院);Katholieke Universiteit Leuven(鲁汶大学)
多任务学习(MTL)可以通过与一个或多个相关的并行任务共享表示来提高任务的性能。通常,MTL网络在由单独的任务损失的恒定加权组合形成的复合损失函数上训练。在实践中,由于两个原因,恒定的损失权重导致较差的结果:(i)辅助任务的相关性可以在整个学习过程中逐渐漂移;(ii)对于基于小批量的优化,最佳任务权重从一个更新到下一个更新显著变化,这取决于小批量样本组成。我们引入HydaLearn,一种智能加权算法,将主任务增益连接到各个任务梯度,以便在小批量级别通知动态损失加权,解决i和ii。使用HydaLearn,我们报告了合成数据以及两个监督学习领域的性能提高。
2020-08-26 cs.LG stat.ML
Optimizing importance weighting in the presence of sub-population shifts
University of Amsterdam, Department of Quantitative Economics(阿姆斯特丹大学量化经济学系);Tinbergen Institute(廷伯根研究所)
针对子群体偏移下现有重要性加权启发式方法忽略有限样本导致模型方差升高的问题,本文提出可同时优化权重与模型参数的双层优化流程,实证证明该方法可显著提升深度神经网络最后一层重训练的泛化性能。
2025-11-14 cs.LG stat.ML
Optimal Balancing of Time-Dependent Confounders for Marginal Structural Models
边际结构模型(MSM)通过加权回归估计存在时间依赖性混杂的时变治疗的因果效应。使用治疗加权逆概率(IPTW)的标准方法可能会因极端权重而导致高方差估计值,并对模型误设定敏感。已经提出了各种方法来部分解决这个问题,包括截断和稳定IPTW,以缓和极端权重和协变量平衡倾向得分(CBPS),以解决治疗模型的错误指定。在本文中,我们提出了核最优加权(KOW),一种基于凸优化的方法,找到适合MSM的权重,最佳地平衡时间依赖性混杂因素,同时控制精度,直接解决上述限制。KOW通过一个新的分解函数直接最小化由于时间依赖性混杂引起的估计误差。我们进一步扩展KOW控制信息审查。我们在模拟研究中评估KOW的性能,将其与IPTW、稳定IPTW和CBPS进行比较。我们证明了使用KOW在研究艾滋病毒感染者的治疗开始时间死亡的影响和负面广告对美国选举的影响。
2019-08-12 math.OC stat.ME stat.ML
Optimal Particle-based Approximation of Discrete Distributions (OPAD)
Human Technology Institute, The University of Technology Sydney(悉尼科技大学人类技术研究所)
针对离散分布的基于粒子近似问题,本文证明存在唯一最小化KL散度的最优加权机制,该机制可利用现有粒子方法已计算值确定,通过重加权能以最小成本持续且显著提升近似性能。
2024-11-30 cs.LG stat.ML
Multi-Label Sentiment Analysis on 100 Languages with Dynamic Weighting for Label Imbalance
Bilkent University(比尔肯特大学);National Magnetic Resonance Center UMRAM(国家磁共振中心UMRAM);DataBoss A.S.(DataBoss股份公司)
该研究针对100种语言的多标签情感分析,提出动态加权方法、适配多标签的焦点损失及线性时间复杂度的最优阈值选择方法,在3种语言的9项指标中7项达最优,公开代码以推动相关研究。
2026-10-22 cs.CL cs.LG stat.ML
Importance Weighting Correction of Regularized Least-Squares for Target Shift
Weierstrass Institute for Applied Analysis and Stochastics(魏泽萨斯应用分析与随机性研究所)
本文研究了在目标偏移下重要性加权修正正则化最小二乘法的统计行为,证明其在不改变输入空间复杂性的情况下能纠正训练-测试不匹配,并通过理论分析和实验验证了其在偏移严重性下的收敛性和鲁棒性。
2026-03-03 cs.LG math.ST stat.ML
Keeping Score: Adaptive, Tuning-Free Loss Weighting for Score-Augmented Neural Ratio Estimation
Department of Statistics and Data Science(统计与数据科学系)
针对随机过程模型,提出通过分数增强损失函数和自适应加权改进神经似然代理训练,在显著降低计算成本的同时提升代理质量,实现与10倍训练数据相当的推理性能。
2026-10-09 cs.LG stat.ML
Identification and Debiased Learning of Causal Effects with General Instrumental Variables
Zhejiang University(浙江大学)
本文提出了一种利用通用工具变量进行因果效应识别与去偏学习的非参数框架,通过半参数理论构建了两个一致且渐近正态的估计量,并通过模拟和真实数据验证了方法的有效性。
2026-02-07 econ.EM math.ST stat.ME
Multiple Kernel Learning for Brain-Computer Interfacing
在脑机接口(BCI)中,结合不同来源的信息是提高分类精度的常用方法。例如,在小样本设置中,整合来自其他受试者或会话的数据以提高空间滤波器或分类器的估计质量是有用的。由于来自不同主题的数据可能显示出很大的差异性,因此根据重要性对贡献进行加权至关重要。然而,许多多主题学习算法通过使用分类法在单独的步骤中确定最优权重,而不确保所选择的权重对于分类是最优的。在这项工作中,我们将多核学习(MKL)应用于这个问题。MKL已广泛用于计算机视觉中的特征融合,并允许同时学习分类器和最佳加权。我们比较的MKL方法的两个基线的方法,并调查性能提高的原因。
2013-10-22 stat.ML
OptShrink: An algorithm for improved low-rank signal matrix denoising by optimal, data-driven singular value shrinkage
测量矩阵的截断奇异值分解(SVD)是如何使用低秩矩阵最好地近似噪声测量矩阵的_representation_ problem的最优解。在这里,我们考虑如何通过测量矩阵的奇异向量的最佳(重新)加权来最好地近似隐藏在噪声中的低秩信号矩阵的(不可观测)_去噪_问题。我们利用随机矩阵理论的最新成果,准确地描述了最佳权系数的大矩阵限制,并表明它们可以直接从一个大类的噪声模型,包括独立同分布的数据计算。高斯噪声情况。我们的分析带来了尖锐的焦点收缩和阈值形式的最佳权重,相关的收缩函数(奇异值)的非凸性质,并解释了为什么矩阵正则化通过奇异值阈值与凸罚函数(如核范数)将始终是次优的。我们验证我们的理论预测与数值模拟,开发一个可实现的算法(OptShrink),实现了预测的性能增益,并显示我们的方法可以用来提高估计的设置中的测量矩阵有缺失的条目。
2014-04-18 cs.IT math.IT math.ST
An optimal transport approach for selecting a representative subsample with application in efficient kernel density estimation
二次抽样方法的目的是选择一个子样本作为观察样本的替代品。近几十年来,这种方法已广泛用于大规模数据分析、主动学习和隐私保护分析。而不是基于模型的方法,在本文中,我们研究无模型的子采样方法,其目的是确定一个子样本,不受模型假设。现有的无模型子采样方法通常是建立在聚类技术或内核技巧。这些方法中的大多数遭受要么是一个大的计算负担或理论上的弱点。特别是,理论上的弱点是,所选子样本的经验分布可能不一定收敛于总体分布。这种计算和理论上的局限性阻碍了无模型子采样方法在实践中的广泛适用性。我们提出了一种新的无模型的子采样方法,利用最优传输技术。此外,我们开发了一个有效的子采样算法,是适应未知的概率密度函数。理论上,我们证明了所选择的子样本可以用于有效的密度估计,推导出所提出的子样本核密度估计的收敛速度。我们还提供了建议的估计器的最佳带宽。对合成数据集和真实数据集的数值研究表明,该方法的性能优越。
2022-05-31 math.ST stat.ML stat.TH