Dropout as a Regularizer of Interaction Effects
Carnegie Mellon University（卡内基梅隆大学）；Petuum, Inc.（Petuum公司）；Microsoft Research（微软研究院）
我们通过互动的角度来研究辍学。这种观点提供了一种对称性来解释Dropout：给定$N$变量，存在${N \choose k}$个可能的$k$变量集以形成交互作用（即$\mathcal{O}(N^k)$）;相反，$k$变量的交互作用以$p$的速率存活于Dropout的概率是$(1-p)^k$（随$k$衰减）。这些速率有效地抵消了，因此Dropout针对高阶相互作用进行了正则化。我们通过分析和经验证明了这一观点。这种将Dropout作为对抗交互作用的正则化器的观点有几个实际意义：（1）当我们需要更强的正则化来对抗虚假的高阶交互作用时，应该使用更高的Dropout率，（2）在解释基于Dropout的解释和不确定性度量时应该谨慎，（3）使用Input Dropout训练的网络是有偏估计。我们还比较了Dropout与其他正则化子，发现很难获得与高阶相互作用相同的选择压力。
2021-10-17 cs.LG stat.ML
A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对音视频语音识别中dropout提升缺失帧鲁棒性却降低完整数据性能的问题，从模态偏差角度揭示原因，提出MBH假说与MDA-KD框架，结合适配器应对模态完全缺失，经MISP数据集验证有效。
2024-03-07 cs.CV cs.LG cs.MM
Efficient Multiple-Robust Estimation for Nonresponse Data Under Informative Sampling
针对概率抽样后无应答及数据整合场景，本研究在两步单调缺失框架下推导半参数效率界，提出具双重稳健性的自适应估计量并扩展为多重稳健性，经数值研究验证性能且应用于实际调查数据。
2025-11-12 math.ST stat.ME stat.TH
Dropout Neural Network Training Viewed from a Percolation Perspective
Eindhoven University of Technology, The Netherlands（埃因霍温理工大学，荷兰）
本文研究使用dropout训练深度神经网络时的逾渗现象，建立新逾渗模型刻画网络拓扑与路径问题的关系，揭示dropout中的逾渗效应及其可能导致训练崩溃的机制。
2026-09-22 cond-mat.stat-mech cs.LG math.PR
MID-L: Matrix-Interpolated Dropout Layer with Layer-wise Neuron Selection
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；School of Arts, Media and Engineering（艺术、媒体与工程学院）
针对神经网络全神经元激活导致的计算低效问题，提出采用可微分Top-k掩码的MID-L动态计算层，可逐输入自适应选择神经元，在6个基准上实现最高55%激活神经元减少与1.7倍FLOPs节省，同时保持或提升精度，兼具鲁棒性与部署友好性。
2025-05-16 cs.AI cs.LG cs.NE
Recency Dropout for Recurrent Recommender Systems
Google, Inc.（谷歌公司）
递归推荐系统已经成功地捕捉到用户活动轨迹的时间动态。然而，众所周知，递归神经网络（RNN）很难学习长期依赖关系。因此，基于RNN的推荐系统往往过于关注短期用户兴趣。这被称为近因偏差，这可能会对长期用户体验以及生态系统的健康产生负面影响。在本文中，我们介绍了近因丢弃技术，一个简单而有效的数据增强技术，以减轻近因偏见的循环推荐系统。我们在各种实验环境中展示了近因丢弃的有效性，包括模拟研究，离线实验以及在大型工业推荐平台上的现场实验。
2022-01-26 cs.IR cs.LG
Tensor Dropout for Robust Learning
Imperial College London（帝国理工学院）；University of Ioannina（约阿尼纳大学）；NVIDIA（英伟达）；University of Athens（雅典大学）；Samsung AI（三星人工智能）
CNN通过利用在大型数据集上训练的深度、过度参数化的架构来实现卓越的性能。然而，它们对训练域之外的数据的泛化能力有限，并且对噪声和对抗攻击缺乏鲁棒性。通过构建更好的归纳偏差，我们可以提高鲁棒性，并获得更小的网络，这些网络具有更多的内存和计算效率。虽然标准CNN使用矩阵计算，但我们研究涉及高阶计算并提供更好的归纳偏差的张量层。具体来说，我们对张量回归层的权重施加低秩张量结构以获得紧凑的网络，并提出张量dropout，这是张量秩中的一种随机化以提高鲁棒性。我们表明，我们的方法优于其他方法的大规模图像分类在ImageNet和CIFAR-100。我们在最大的脑MRI数据集，英国生物银行脑MRI数据集上建立了一个新的最先进的表型性状预测准确性，其中多线性结构是最重要的。在所有情况下，我们表现出优越的性能和显着提高的鲁棒性，无论是对噪声输入和对抗攻击。我们严格验证我们的方法的理论有效性，通过建立我们的随机分解和非线性辍学之间的联系。
2020-12-11 cs.LG stat.ML
NeuFair: Neural Network Fairness Repair with Dropout
Pennsylvania State University（宾夕法尼亚州立大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出NeuFair，一种在推理阶段通过随机dropout修复预训练深度神经网络公平性的后处理算法族，以最小化歧视为目标进行随机搜索，在保持模型性能的同时实现最高69%的公平性提升。
2024-09-02 cs.AI cs.LG cs.SE
Enhancing Fairness and Performance in Machine Learning Models: A Multi-Task Learning Approach with Monte-Carlo Dropout and Pareto Optimality
Rice University（莱斯大学）
针对机器学习中由数据与算法引发的偏差问题，提出结合MC Dropout的多任务学习框架，借助帕累托最优平衡公平性与性能，在多数据集上验证有效并提升了模型可解释性。
2024-10-06 cs.CY cs.LG
MBDP: A Model-based Approach to Achieve both Robustness and Sample Efficiency via Double Dropout Planning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文提出 MBDP 方法，通过 rollout-dropout 与 model-dropout 两种互补的丢弃机制，在基于模型的强化学习中灵活平衡鲁棒性与样本效率，并得到理论与实验验证。
2024-05-02 cs.LG
Fine-tuning with Very Large Dropout
New York University（纽约大学）；FAIR, Meta（Meta FAIR实验室）
本文提出用极高丢弃率微调大型预训练模型，以替代集成方法获取丰富表示，在分布外性能上超越集成和权重平均方法，并揭示微调的内在线性特性。
2025-02-27 cs.CV cs.LG
Dropout Robustness and Cognitive Profiling of Transformer Models via Stochastic Inference
Lyle School of Engineering, Southern Methodist University, Dallas, TX, USA（莱尔工程学院，南方 Methodist 大学，德克萨斯州达拉斯）
本文通过随机推断分析19种变换器模型的丢弃鲁棒性，揭示其在不确定性应用中的可靠性差异，提出认知分解框架以指导模型选择。
2026-03-18 cs.AI cs.LG
Error Analysis of Shapley Value-Based Model Explanations: An Informative Perspective
Concordia University（康科德大学）；Daesys Inc.（Daesys公司）；University of Waterloo（滑铁卢大学）
本文提出SVA解释误差分析框架，将误差分解为观测偏差与结构偏差，并以过度/不足信息性概念揭示现有方法的偏差来源。
2024-05-30 cs.AI cs.LG stat.ML
FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update
RMIT University（皇家墨尔本理工大学）；Swinburne University of Technology（斯威本科技大学）
针对资源受限设备的PFL面临计算通信瓶颈及联邦丢弃策略的偏差问题，提出FedSPU，通过在保留完整模型架构的同时随机冻结部分神经元更新参数，平均准确率提升7.57%，训练时间减少24.8%-70.4%。
2025-01-21 cs.LG
Towards Fairer Health Recommendations: finding informative unbiased samples via Word Sense Disambiguation
Loyola Marymount University（洛约拉马利蒙特大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Northeastern University（东北大学）；University of Connecticut（康涅狄格大学）
为解决医疗数据偏差导致健康推荐不公的问题，本研究借助词义消歧优化负样本数据集质量，实验发现微调BERT模型在医疗文本偏差检测上表现优于零/少样本LLM。
2024-09-11 cs.CL cs.CY cs.LG
An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-trained Language Models
Mila（米拉研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
最近的研究表明，预先训练的语言模型可以从大量的文本中捕捉到社会偏见，这引起了人们对开发减轻这种偏见的技术的关注。在这项工作中，我们进行了实证调查最近提出的偏见缓解技术：反事实数据增强（CDA），辍学，迭代零空间投影，自我Debias，和SentenceDebias。我们使用三个内在偏差基准来量化每种技术的有效性，同时还测量这些技术对模型语言建模能力的影响，以及其对下游NLU任务的性能。我们通过实验发现：（1）Self-Debias是最强的去偏置技术，在所有偏置基准上都获得了提高的分数;（2）当前的去偏置技术在减轻非性别偏置时表现不太一致;（3）通过使用去偏置策略对StereoSet和CrowS-Pairs等偏置基准的改进通常伴随着语言建模能力的下降，这使得很难确定偏置减轻是否有效。
2022-04-03 cs.CL cs.LG
Learning Informative Representation for Fairness-aware Multivariate Time-series Forecasting: A Group-based Perspective
Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）；University of Technology Sydney（悉尼科技大学）；Macquarie University（麦考瑞大学）
针对多变量时间序列预测中模型偏向优势变量导致的性能不公平问题，提出基于对抗学习的FairFor框架，通过生成组无关和组相关表示并利用正交性正则化，实现知识共享以保证公平性。
2023-10-23 cs.LG eess.SP
Exploiting Position Bias for Robust Aspect Sentiment Classification
Beijing Institute of Technology（北京理工大学）
体情感分类（ASC）的目的是确定对句子中不同方面表达的情感。虽然最先进的ASC模型已经取得了显着的性能，他们最近被证明遭受鲁棒性的问题。特别是在两种常见的场景中：当测试和训练数据的域不同（域外场景）或测试数据受到对抗性干扰（对抗性场景）时，ASC模型可能会关注不相关的词，而忽略真正描述不同方面的意见表达。为了应对这一挑战，在本文中，我们假设位置偏差（即，更接近关注方面的词将具有更高的重要性程度）对于通过降低误关注的概率来构建更鲁棒的ASC模型是至关重要的。因此，我们提出了两种捕获位置偏差的机制，即位置偏置权重和位置偏置丢弃，它们可以灵活地注入到现有模型中，以增强分类的表示。在域外和对抗性数据集上进行的实验表明，我们提出的方法大大提高了当前模型的鲁棒性和有效性。
2021-05-29 cs.CL cs.LG
Considerations for Estimating Causal Effects of Informatively Timed Treatments
本文探讨了信息性定时治疗对因果效应估计的影响，提出利用g方法调整等待时间作为时间变化混杂因素以提高推断有效性。
2025-08-29 cs.LG stat.ME
Mitigating Sampling Bias and Improving Robustness in Active Learning
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
本文提出了简单有效的方法，以减轻采样偏差在主动学习，同时实现最先进的精度和模型的鲁棒性。我们引入了监督对比主动学习，利用对比损失的主动学习在监督设置。我们提出了一个无偏的查询策略，选择信息丰富的数据样本的不同特征表示与我们的方法：监督对比主动学习（SCAL）和深度特征建模（DFM）。我们经验证明，我们提出的方法减少采样偏差，实现最先进的准确性和模型校准的主动学习设置与查询计算26倍的速度比贝叶斯主动学习的分歧和11倍的速度比CoreSet。所提出的SCAL方法在对数据集移位和分布外的鲁棒性方面有很大的优势。
2021-09-13 cs.LG
Mitigating Degree Bias in Graph Representation Learning with Learnable Structural Augmentation and Structural Self-Attention
Department of Artificial Intelligence, The Catholic University of Korea（人工智能系，韩国天主大学）；Data Assimilation Group, Korea Institute of Atmospheric Prediction Systems (KIAPS)（数据同化组，韩国大气预测研究所）
针对图神经网络中低度节点因消息不足而表征不足的度偏差问题，提出DegFairGT，利用可学习结构增强和结构自注意力发现非相邻节点的结构相似性，在六个数据集上超越现有基线。
2025-04-21 cs.AI cs.LG
