Deep Imbalanced Time-series Forecasting via Local Discrepancy Density
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文针对时间序列预测中突变样本干扰模型学习的问题,提出基于局部差异密度的重加权框架,通过降低突变损失权重、提高正常状态权重,在多个模型和数据集上显著降低了预测误差。
2023-09-22 cs.AI cs.LG
Robust Machine Unlearning for Quantized Neural Networks via Adaptive Gradient Reweighting with Similar Labels
Wuhan University of Technology(武汉理工大学);University of Macau(澳门大学)
针对量化神经网络中现有机器遗忘方法存在噪声放大、梯度不平衡的问题,提出首个专用遗忘框架Q-MUL,通过相似标签分配和自适应梯度重加权解决上述问题,经基准测试验证性能优于现有方法。
2025-03-18 cs.LG
Reducing and Exploiting Data Augmentation Noise through Meta Reweighting Contrastive Learning for Text Classification
Worcester Polytechnic Institute(伍斯特理工学院)
针对文本分类中增强数据质量参差不齐的问题,提出结合元学习与对比学习的框架,通过重加权增强样本并优化特征表示,在七个GLUE数据集上取得显著性能提升。
2024-09-26 cs.CL cs.LG
Fairness-Aware Mixture-of-Experts via Subgroup Reweighting and Gate Regularization
Dongyang Mirae University(东阳未来大学)
本文针对混合专家模型的路由诱导偏差问题,提出子组重加权与门控熵正则化结合的端到端框架,在提升公平性的同时维持了预测性能。
2026-08-25 cs.AI cs.LG
Geometry-aware Instance-reweighted Adversarial Training
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);National University of Singapore(新加坡国立大学);Hong Kong Baptist University(香港浸会大学);The University of Tokyo(东京大学)
在对抗性机器学习中,人们普遍认为鲁棒性和准确性是互相伤害的。最近的研究挑战了这一信念,我们可以保持鲁棒性并提高准确性。然而,另一个方向,我们是否可以在提高鲁棒性的同时保持准确性,在概念上和实际上更有趣,因为对于任何模型,鲁棒准确性都应该低于标准准确性。在本文中,我们表明这一方向也是有希望的。首先,我们发现即使是过度参数化的深度网络也可能仍然没有足够的模型容量,因为对抗性训练具有压倒性的平滑效果。其次,考虑到有限的模型容量,我们认为对抗性数据应该具有不等的重要性:从几何上讲,更接近/更远离类边界的自然数据点更不健壮/更健壮,相应的对抗性数据点应该分配更大/更小的权重。最后,为了实现这个想法,我们提出了几何感知的实例重新加权对抗训练,其中权重基于攻击自然数据点的难度。实验表明,我们的建议提高了标准对抗训练的鲁棒性;结合两个方向,我们提高了标准对抗训练的鲁棒性和准确性。
2021-05-31 cs.AI cs.LG
Why Loss Re-weighting Works If You Stop Early: Training Dynamics of Unconstrained Features
The University of British Columbia(不列颠哥伦比亚大学)
本文通过小型模型揭示了损失重新加权在早停时的有效性,通过恢复平衡学习动态,使多数类和少数类特征同时学习。
2026-01-17 cs.LG
Deep causal representation learning for unsupervised domain adaptation
Arizona State University(亚利桑那州立大学);Army Research Lab(陆军研究实验室)
研究表明,深度神经网络学习的表示可以转移到其他领域的类似预测任务中,而我们没有足够的标记数据。然而,当我们过渡到模型中的更高层时,表示变得更加特定于任务,并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而,相关性并不总是可转移的。在本文中,我们提出了一种新的深度因果表示学习框架,用于无监督领域自适应,在该框架中,我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明,所提出的模型的优势,无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
REST: Enhancing Group Robustness in DNNs through Reweighted Sparse Training
Eindhoven University of Technology(埃因霍温理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Liverpool(利物浦大学)
针对 DNN 依赖虚假相关性而在少数群组上表现不佳的问题,本文提出 REST 重加权稀疏训练框架,在三个数据集上验证其能以更低资源发现无偏子网络并提升群组鲁棒性。
2023-12-08 cs.LG
Causal Deep Reinforcement Learning Using Observational Data
Dalian University of Technology(大连理工大学);Sun Yat-sen University(中山大学)
针对离线强化学习中观测数据因混杂因子导致学习偏差的问题,提出两种基于因果推断的样本重加权/重采样去混杂方法,可兼容主流无模型DRL算法,经理论证明和实验验证有效。
2023-06-09 cs.LG stat.ML
Accuracy Is Not Enough: A Cross-Architecture Audit of Demographic Bias in Deep Knowledge Tracing
FPT University(FPT大学);Van Lang University(文朗大学)
本研究跨架构审计深度知识追踪模型的人口统计学偏见,发现最准确的AKT模型偏见最严重,且标准缓解措施无效。
2026-09-18 cs.LG
PDE-LEARN: Using Deep Learning to Discover Partial Differential Equations from Noisy, Limited Data
Cornell University(康奈尔大学)
在本文中,我们介绍了PDE-LEARN,这是一种新型的深度学习算法,可以直接从感兴趣的物理系统的噪声,有限的测量中识别控制偏微分方程(PDE)。PDE-LEARN使用理性神经网络$U$来近似系统响应函数,并使用稀疏的可训练向量$ξ$来表征系统响应函数满足的隐藏PDE。我们的方法使用损失函数耦合$U$和$ξ$的训练,该损失函数(1)使$U$近似系统响应函数,(2)封装了$U$满足$ξ$表征的隐藏PDE的事实,以及(3)使用迭代重加权最小二乘法的思想促进$ξ$的稀疏性。此外,PDE-LEARN可以同时从多个数据集中学习,从而可以整合多个实验的结果。这种方法产生了一个强大的算法,发现偏微分方程直接从现实的科学数据。我们证明了PDE-LEARN的有效性,从嘈杂和有限的测量确定几个PDE。
2023-02-10 cs.LG
Instance Cross Entropy for Deep Metric Learning
Anyvision Research Team(Anyvision研究团队);Queen’s University Belfast(贝尔法斯特女王大学)
损失函数在深度度量学习中起着至关重要的作用,因此已经提出了各种各样的损失函数。一些监督学习过程的成对或三重相似性约束,而其他人利用结构化的相似性信息之间的多个数据点。在这项工作中,我们从一个新的角度来研究深度度量学习。我们提出了实例交叉熵(ICE),它测量估计的实例级匹配分布和其地面真实分布之间的差异。ICE有三个主要吸引人的特性。首先,与分类交叉熵(CCE)类似,ICE具有明确的概率解释,并利用结构化的语义相似性信息进行学习监督。其次,ICE可扩展到无限的训练数据,因为它在小批量上迭代学习,并且与训练集大小无关。第三,在相对权重分析的基础上,引入了无缝样本权重调整。它通过调整样本的梯度来控制对训练样本的区分度,而不是通过样本挖掘来截断样本。除了它的简单性和直观性之外,在三个真实世界基准上的广泛实验证明了ICE的优越性。
2019-11-22 cs.CV cs.IR cs.LG
Adaptive deep nonparametric regression from dependent data under covariate shift
Université Jean Monnet, ICJ UMR5208, CNRS, Ecole Centrale de Lyon, INSA Lyon, Universite Claude Bernard Lyon 1(里昂 Jean Monnet 大学,ICJ UMR5208,国家科学研究中心,里昂中央理工大学,里昂国家理工学校,里昂大学 Claude Bernard 1)
研究协变量转移下基于相关数据的深度非参数回归,提出稀疏惩罚深度神经网络(SPDNN)估计器,当密度比未知时经两步预训练,在Hölder光滑函数类中建立其非渐近误差界,能自适应达到最优收敛速率。
2026-07-23 cs.LG stat.ML
DeepRite: Deep Recurrent Inverse TreatmEnt Weighting for Adjusting Time-varying Confounding in Modern Longitudinal Observational Data
Georgia Institute of Technology(佐治亚理工学院);IQVIA(艾昆纬);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
反事实预测是关于从数据中预测未观察到的情况的结果。例如,给定患者正在使用药物A,如果她改用药物B,结果会是什么。现有的大多数工作都集中在基于静态数据的反事实结果建模。然而,许多应用具有随时间变化的混杂效应,例如随着时间的推移进行多次治疗。如何根据纵向观测数据对这种随时间变化的效应进行建模?如何对数据中复杂的高维依赖进行建模?为了解决这些挑战,我们提出了深度递归逆处理加权(DeepRite),将递归神经网络纳入现代纵向数据中存在时变混杂的两阶段调整。在第一阶段队列重新加权中,我们拟合一个网络来发射治疗的时间相关逆概率,使用它们来生成伪平衡队列。在第二阶段的结果进展中,我们将调整后的数据输入到后续的预测网络中进行反事实预测。我们在合成数据和从重症监护室的脓毒症患者中收集的真实数据上评估DeepRite。DeepRite被证明可以从合成数据中恢复地面实况,并从真实数据中估计无偏的治疗效果,由于其适用于创建平衡的队列,因此可以更好地与败血症管理的标准指南保持一致。
2020-10-28 cs.LG
Deep Probabilistic Graphical Modeling
Columbia University(哥伦比亚大学)
概率图建模(PGM)提供了一个框架,用于制定一个可解释的数据生成过程,并表示未知的不确定性,但它缺乏灵活性。深度学习(DL)是一种从数据中学习的替代框架,近年来取得了巨大的经验成功。DL提供了很大的灵活性,但它缺乏PGM的可解释性和校准。本文研究了深度概率图模型(DPGM)。DPGM包括利用DL使PGM更加灵活。DPGM为从数据中学习带来了新的方法,展示了PGM和DL的优点。我们在PGM中使用DL来构建具有可解释的潜在结构的灵活模型。我们开发的一个模型类使用神经网络扩展指数族PCA,以提高预测性能,同时加强潜在因素的可解释性。我们引入的另一个模型类可以在对序列数据建模时考虑长期依赖性,这在使用纯DL或PGM方法时是一个挑战。最后,DPGM成功地解决了概率主题模型中的几个突出问题,概率主题模型是PGM中广泛使用的模型族。DPGM还为复杂数据的学习带来了新的算法。我们开发了重新加权的期望最大化,一种算法,统一了现有的几个基于极大似然的算法参数化的神经网络学习模型。这个统一的观点是可能使用期望最大化,一个典型的推理算法在PGM。我们还开发了熵正则化对抗学习,这是一种偏离PGM中使用的传统极大似然方法的学习范式。从DL的角度来看,熵正则化对抗学习为生成对抗网络长期存在的模式崩溃问题提供了解决方案,这是一种广泛使用的DL方法。
2021-04-25 cs.LG stat.ML
Mitigating Clever Hans Strategies in Image Classifiers through Generating Counterexamples
Berlin Institute for the Foundations of Learning(柏林学习与数据基础研究院);Department of Artificial Intelligence, Korea University, 02841 Seoul, Korea(韩国大学人工智能系)
本文提出 CFKD 框架,通过生成多样化反事实并结合知识蒸馏修正图像分类器决策边界,在无需混杂因素标签的情况下提升多虚假相关场景的鲁棒泛化。
2025-10-20 cs.LG
One-shot Active Learning Based on Lewis Weight Sampling for Multiple Deep Models
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Nanyang Technological University(南洋理工大学)
针对多深度模型主动学习中迭代训练成本高的问题,提出基于跨表示最大Lewis权重采样与重加权的一次性$\ell_p$回归方法,并给出样本数上界,在11个基准上性能可比最先进方法。
2024-10-02 cs.LG
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes
National University of Singapore(新加坡国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出两阶段训练算法FAIRIF,利用影响函数和验证集敏感属性计算样本权重,在不修改模型的情况下缓解深度学习中的不公平问题,并保持公平性与效用的良好权衡。
2023-12-23 cs.CY cs.LG stat.ML
Uncertainty Voting Ensemble for Imbalanced Deep Regression
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
本文提出 UVOTE,用负对数似然训练专家并以任意不确定性加权融合预测,在不平衡回归基准上提升精度与不确定性校准。
2024-10-25 cs.LG
Deep Unfolding of the DBFB Algorithm with Application to ROI CT Imaging with Limited Angular Density
本文提出一种名为U-RDBFB的深度展开神经网络,通过结合非凸数据保真项与稀疏正则化处理少视角截断数据,并展开DBFB算法以监督学习关键参数,有效解决了有限数据下ROI CT重建问题,性能优于多种先进方法。
2023-05-17 cs.CV cs.LG eess.IV
Towards Next-Generation LLM Training: From the Data-Centric Perspective
本文从数据导向视角出发,探讨了大语言模型训练中的数据准备瓶颈问题,提出构建自动数据准备系统和统一的数据-模型交互训练系统,以提升数据利用效率和模型性能。
2026-03-16 cs.CL cs.LG
I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts
University of Pennsylvania(宾夕法尼亚大学)
I2MoE提出一种可解释的多模态交互感知混合专家框架,通过交互专家和重加权模型显式建模多模态交互,提供局部与全局解释,并在医学和通用数据集上提升性能。
2025-05-25 cs.AI cs.CV cs.LG
Data Consistent CT Reconstruction from Insufficient Data with Learned Prior Images
Friedrich-Alexander-University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Siemens Healthcare, GmbH(西门子医疗有限公司)
在计算机断层摄影(CT)中,根据不充分的数据进行图像重建是常见的,例如,从截断数据、有限角度数据和稀疏视图数据重建图像重建。深度学习在这一领域取得了令人印象深刻的成果。然而,由于以下两个挑战,深度学习方法的鲁棒性仍然是临床应用的一个问题:a)由于对足够训练数据的访问有限,学习的深度学习模型可能无法很好地推广到看不见的数据; b)深度学习模型对噪声敏感。因此,仅由神经网络处理的图像的质量可能是不够的。在这项工作中,我们通过显示假阴性和假阳性病变病例来研究深度学习在CT图像重建中的鲁棒性。由于具有不正确结构的基于学习的图像可能与测量的投影数据不一致,因此我们提出了一种数据一致性重建(DCR)方法来改善其图像质量,该方法结合了压缩感知和深度学习的优点:首先,通过深度学习生成先验图像。然后,通过先前图像的前向投影来修复未测量的投影数据。最后,应用重新加权的全变分正则化迭代重建,将测量数据的数据一致性和缺失数据的学习先验信息结合起来。该方法的有效性证明在锥束CT截断数据,有限角度数据和稀疏视图数据,分别。例如,对于截断数据,DCR在噪声情况下针对不同患者在视场内实现了24 HU的平均均方根误差和0.999的平均结构相似性指数,而最先进的U-Net方法对于这两个度量分别实现了55 HU和0.995。
2020-05-20 cs.CV cs.LG eess.IV