Channel-Aware Low-Rank Adaptation in Time Series Forecasting
Tongji University（同济大学）；The Hong Kong Polytechnic University（香港理工大学）
针对时间序列预测中通道独立与通道依赖策略的优缺点，提出一种通道感知低秩适应即插即用方法，通过条件化模型平衡容量与泛化，显著提升多架构性能。
2024-07-24 cs.LG
Resilient Practical Test-Time Adaptation: Soft Batch Normalization Alignment and Entropy-driven Memory Bank
HKUST（香港科技大学）；NVIDIA（英伟达）；NUDT（国防科技大学）
针对测试时自适应中目标域分布变化、非独立同分布样本导致的模型退化问题，提出ResiTTA方法，结合弹性批量归一化软对齐与熵驱动记忆库，经多基准验证实现当前最优性能。
2024-01-26 cs.LG
RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation
University of Central Florida（中佛罗里达大学）；Tulane University（杜兰大学）；Sony AI（索尼人工智能）；Lehigh University（理海大学）
针对黑盒无源域适应中源模型权重不可见导致的源域过拟合问题，提出 RAIN，通过 Phase MixUp 输入增强与子网络蒸馏实现双级正则化，并在多个跨域基准上达到 SOTA。
2023-08-19 cs.AI cs.CV cs.LG
BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
University of California, San Diego（加州大学圣迭戈分校）
针对DoRA同步优化导致的过拟合和耦合更新问题，提出基于双层优化的BiDoRA，通过异步解耦优化幅度与方向，提升微调效果，在多项任务上优于现有方法。
2025-08-03 cs.CL cs.LG
Meta-Tracker: Fast and Robust Online Adaptation for Visual Object Trackers
Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）
本文改进了使用在线自适应的最先进的视觉对象跟踪器。我们的核心贡献是一种基于离线元学习的方法，用于调整在线自适应跟踪中使用的初始深度网络。Meta学习由深度网络的目标驱动，可以快速适应未来帧中的特定目标。理想情况下，生成的模型将重点放在对未来帧有用的特征上，并避免过度拟合背景杂波、目标的小部分或噪声。通过在元学习过程中强制执行少量的更新迭代，最终的网络训练速度明显更快。我们证明了这种方法的高性能跟踪方法的顶部：跟踪检测为基础的MDNet和相关性为基础的CREST。在标准基准测试OTB 2015和VOT 2016上的实验结果表明，我们的两种跟踪器的元学习版本提高了速度、准确性和鲁棒性。
2018-03-19 cs.CV cs.LG
C-LoRA: Contextual Low-Rank Adaptation for Uncertainty Estimation in Large Language Models
Texas A&M University（德克萨斯A&M大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
低秩适应（LoRA）为微调大语言模型（LLM）提供了一种具有成本效益的解决方案，但它通常会在数据稀缺的Few-Shot设置中产生过度自信的预测。为了解决这个问题，几种经典的统计学习方法已经被重新用于可扩展的不确定性感知LoRA微调。然而，这些方法忽略了输入特性如何影响预测不确定性估计。为了解决这一限制，我们提出了上下文低秩适应（C-LoRA）作为一种新的不确定性感知和参数高效微调方法，通过开发新的轻量级LoRA模块的上下文中的每个输入数据样本，以动态地适应不确定性估计。通过将数据驱动的上下文转换为参数后验，C-LoRA减轻了过拟合，实现了校准良好的不确定性，并产生了稳健的预测。LLaMA 2 - 7 B模型上的大量实验表明，C-LoRA在不确定性量化和模型泛化方面始终优于最先进的不确定性感知LoRA方法。消融研究进一步证实了我们的上下文模块在捕捉样本特定的不确定性的关键作用。C-LoRA为Few-Shot机制中的稳健、不确定性感知LLM微调设定了新标准。虽然我们的实验仅限于7 B模型，但我们的方法与架构无关，并且原则上适用于此规模之外;研究其扩展到更大的模型仍然是一个悬而未决的问题。我们的代码可在https://github.com/ahra99/c_lora上获得。
2025-10-30 cs.LG
Stabilizing Test-Time Adaptation of High-Dimensional Simulation Surrogates via D-Optimal Statistics
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz, Austria（ELLIS单位、LIT AI实验室、机器学习研究所、JKU林茨，奥地利）；Emmi AI GmbH, Linz, Austria（Emmi AI公司、林茨，奥地利）
本文提出基于D-最优统计的TTA框架，用于稳定高维模拟代理的测试时适应，实现分布外性能提升。
2026-02-17 cs.LG
Subspace Adaptation Prior for Few-Shot Learning
Leiden University（莱顿大学）
提出子空间适应先验（SAP）元学习算法，联合学习初始化参数和可适应的逐层操作子集，在少样本图像分类中提升准确率0.1%-3.9%，降低过拟合风险。
2023-10-13 cs.AI cs.LG stat.ML
Contrastive Residual Energy Test-time Adaptation
Graduate School of Data Science, Seoul National University, Seoul, Korea（数据科学研究生院，首尔国立大学，首尔，韩国）
本文提出CreTTA方法，通过理论重构边际分布适应为学习残差能量函数，实现无需采样的对比目标，避免过拟合和自证偏见，提升测试时间适应的可扩展性和校准性。
2026-05-02 cs.AI cs.LG
Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在本文中，我们提出了一种新的领域自适应方法的无源设置。在这种情况下，我们无法在自适应过程中访问源数据，而给出了未标记的目标数据和用源数据预训练的模型。由于缺乏源数据，我们不能像典型的领域自适应算法那样直接匹配域之间的数据分布。为了解决这个问题，我们建议利用存储在预训练模型中的批量归一化统计数据来近似未观察到的源数据的分布。具体来说，我们在自适应过程中固定模型的分类器部分，只微调剩余的特征编码器部分，以便编码器提取的特征的批量归一化统计数据与存储在固定分类器中的特征相匹配。此外，我们还最大化特征和分类器输出之间的互信息，以进一步提高分类性能。实验结果表明，我们的方法实现了竞争力的性能与国家的最先进的领域自适应方法，即使它不需要访问源数据。
2021-01-19 cs.CV cs.LG
Regularizing Meta-Learning via Gradient Dropout
University of California, Merced（加州大学默塞德分校）；NEC Laboratories America（NEC美国实验室）；Nvidia Research（英伟达研究院）；National Chiao Tung University（国立交通大学）；Google Research（谷歌研究院）
随着越来越多的关注学习到学习新的任务，只有几个例子，元学习已被广泛用于许多问题，如Few-Shot分类，强化学习，和领域泛化。然而，当元学习者没有足够的训练任务来概括时，元学习模型容易过拟合。尽管诸如Dropout等现有方法被广泛用于解决过拟合问题，但这些方法通常被设计用于在监督训练中正则化单个任务的模型。在本文中，我们介绍了一种简单而有效的方法来减轻基于梯度的元学习的过拟合风险。具体来说，在基于梯度的自适应阶段，我们在深度神经网络的每个参数的内环优化中随机丢弃梯度，这样增强的梯度就可以提高对新任务的泛化能力。我们提出了一个一般形式的建议梯度脱落正则化，并表明，这项可以从伯努利或高斯分布采样。为了验证所提出的方法，我们对许多计算机视觉任务进行了广泛的实验和分析，证明梯度丢弃正则化减轻了过拟合问题，并提高了各种基于梯度的元学习框架的性能。
2020-04-13 cs.CV cs.LG
ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection
The University of Hong Kong（香港大学）；CUHK-SenseTime Joint Laboratory（香港中文大学-商汤科技联合实验室）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；School of CST Xidian University（西安电子科技大学计算机科学与技术学院）
我们提出了一个新的域自适应自训练管道，命名为ST3D，用于从点云进行3D目标检测的无监督领域自适应。首先，我们用我们提出的随机对象缩放策略在源域上预训练3D检测器，以减轻源域偏差的负面影响。然后，通过交替进行两个步骤来迭代地改进检测器，这两个步骤是使用开发的质量感知三元组存储体的伪标签更新和使用课程数据增强的模型训练。这些用于3D目标检测的特定设计使检测器能够使用一致且高质量的伪标签进行训练，并避免过度拟合伪标签数据中的大量简单示例。我们的ST3D在所有评估的数据集上都达到了最先进的性能，甚至超过了KITTI 3D目标检测基准测试的完全监督结果。代码将在https://github.com/CVMI-Lab/ST3D上提供。
2021-03-27 cs.CV cs.LG
Back-Training excels Self-Training at Unsupervised Domain Adaptation of Question Generation and Passage Retrieval
Mila/McGill University（Mila/麦吉尔大学）；Korbit Technologies（Korbit 科技公司）；Facebook CIFAR AI Chair（Facebook CIFAR AI 讲席）
在这项工作中，我们引入了反向训练，一种替代自训练的无监督领域自适应（UDA）从源到目标域。虽然自训练生成合成训练数据，其中自然输入与噪声输出对齐，但反向训练导致自然输出与噪声输入对齐。这显著地减小了目标域和合成数据分布之间的间隙，并且减小了模型对源域的过拟合。我们从\textit{Natural Questions}域到机器学习和生物医学域运行UDA实验的问题生成和段落检索。我们发现，反向训练大大优于自我训练，平均提高了7.8 BLEU-4分，在两个领域的前20名检索准确率为17.6%。我们进一步提出了一致性过滤器，以在训练之前去除低质量的合成数据。我们还发布了一个新的领域适应数据集- \textit{MLQuestions}，包含35 K未对齐的问题，50 K未对齐的段落和3 K对齐的问题-段落对。
2021-09-09 cs.AI cs.CL cs.LG
Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach
Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Institute for AI Industry Research (AIR)（人工智能产业研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出RM-LoRA，通过正则化和梯度掩码提高低秩适配的内在维度，在相同或更少参数下提升大规模模型微调的泛化性能。
2024-07-16 cs.AI cs.LG
Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning
University of Connecticut（康涅狄格大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Texas at Arlington（德克萨斯理工大学）；Qualcomm（高通）
本文提出利用低秩适应（LoRA）作为结构正则化方法，通过冻结基础矩阵并优化低秩适配器，约束批评学习更新到低维子空间，实验表明该方法有效降低批评损失并提升整体策略性能。
2026-10-30 cs.AI cs.LG
Enhancing Domain Adaptation through Prompt Gradient Alignment
New York University（纽约大学）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
本文将无监督领域自适应视为多目标优化问题，提出通过对齐各领域损失梯度并惩罚梯度范数来促进目标共识并防止过拟合，在单源和多源场景下均优于其他视觉-语言模型自适应方法。
2025-04-01 cs.CV cs.LG
Bayesian Low-Rank Factorization for Robust Model Adaptation
Interactive Systems Lab, Karlsruhe Institut of Technology (KIT), Germany（交互系统实验室，卡尔斯鲁厄理工学院（KIT），德国）；InterACT, Carnegie Mellon University (CMU), USA（InterACT，卡内基梅隆大学（CMU），美国）
针对语音基础模型直接微调易过拟合、遗忘通用能力的问题，提出带零附近先验的贝叶斯分解适配器方法，在Whisper模型的多语语码转换任务上，以4%的新领域性能下降换得54%的反向增益，有效平衡适配效果与泛化能力。
2025-10-21 cs.CL cs.LG cs.SD
Higher-Order Asymptotics of Test-Time Adaptation for Batch Normalization Statistics
School of Mathematics and Statistics, The University of Melbourne（数学与统计学系，墨尔本大学）
本研究提出更高阶渐近框架，结合Edgeworth展开与鞍点近似及一步M估计，优化批归一化测试时自适应统计量，量化偏差-方差-偏度权衡并建立泛化界。
2025-05-22 cs.LG stat.ML
Learning Distinctive Margin toward Active Domain Adaptation
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；NAOC CAS（中国科学院国家天文台）
尽管在无监督或Few-Shot半监督环境下，人们一直致力于提高领域自适应能力（DA），但近年来，主动学习的解决方案由于其在目标数据上的标注资源有限的情况下以更实用的方式传递模型的适用性而开始引起更多的关注。然而，大多数主动学习方法本身并不能处理数据分布之间的域间隙，另一方面，一些主动领域自适应方法（ADA）通常需要复杂的查询函数，容易出现过拟合。在这项工作中，我们提出了一个简洁，但有效的ADA方法称为选择由独特的利润率（SDM），其中包括一个最大的利润损失和利润率采样算法的数据选择。我们提供的理论分析表明，SDM的工作原理就像一个支持向量机，存储硬的例子周围决策边界，并利用它们来找到信息和可转移的数据。此外，我们提出了我们的方法的两个变体，一个是设计来自适应地调整边缘损失的梯度，另一个通过考虑梯度方向来提高边缘采样的选择性。我们基准SDM与标准的主动学习设置，证明我们的算法取得了良好的数据可扩展性的竞争力的结果。代码可在https://github.com/TencentYoutuResearch/ActiveLearning-SDM上获得
2022-04-03 cs.CV cs.LG
ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance
Concordia University（康考迪亚大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；UNSW Sydney（新南威尔士大学悉尼分校）；Concordia Institute of Information Systems Engineering（康考迪亚信息系统工程学院）；The Graduate School of Biomedical Engineering（生物医学工程研究生院）；School of Biomedical Engineering（生物医学工程学院）
针对传统测试时自适应方法依赖熵作为置信度指标在有偏场景中效果受限的问题，提出结合熵最小化、梯度范数与PLPD的ETAGE方法，优化样本选择以避免噪声过拟合，在多个数据集上实现了更优的鲁棒性能。
2024-09-14 cs.AI cs.LG
Parameter Efficient Finetuning for Speech Emotion Recognition and Domain Adaptation
University of Cambridge（剑桥大学）
本文研究语音情感识别的参数高效微调方法，通过组合多种PEFT适配器并设计两阶段自适应策略，在显著减少可训练参数的同时提升源域和目标域性能。
2024-02-19 cs.LG cs.SD eess.AS
Nested Graph Pseudo-Label Refinement for Noisy Label Domain Adaptation Learning
针对图域适应中源标签噪声问题，提出NeGPR框架，通过双分支预训练、嵌套伪标签精炼和噪声感知正则化，在严重噪声下准确率提升达12.7%。
2025-09-08 cs.AI cs.LG
CAD-DA: Controllable Anomaly Detection after Domain Adaptation by Statistical Inference
RIKEN（理化学研究所）；National Taiwan University（国立台湾大学）；Nagoya University（名古屋大学）
提出CAD-DA方法，利用条件选择性推断解决域适应影响，首次实现域适应背景下误识别异常概率可控的有效统计推断。
2023-10-23 cs.LG stat.ML
Directed Structural Adaptation to Overcome Statistical Conflicts and Enable Continual Learning
针对固定拓扑网络的统计冲突与灾难性遗忘问题，提出可定向增构的 DIRAD 及无需任务标签的 PREVAL 框架，实现高性能、简化网络和持续任务适应。
2024-12-05 cs.AI cs.LG
Comparing CTC and LFMMI for out-of-domain adaptation of wav2vec 2.0 acoustic model
Idiap Research Institute（Idiap 研究院）
在这项工作中，我们调查了wav 2 vec 2.0自监督预训练是否有助于缓解连接主义时间分类（CTC）训练的过拟合问题，以缩小其与平坦开始无格MMI（E2 E-LFMMI）的性能差距，用于在有限的情况下进行自动语音识别训练数据。为了实现这一目标，我们使用预训练的wav 2 vec 2.0 BASE模型，并在三个不同的数据集上对其进行微调，包括域外（Switchboard）和跨语言（Babel）场景。我们的研究结果表明，对于wav 2 vec 2.0模型的监督适应，E2 E-LFMMI和CTC都取得了类似的结果;显著优于仅使用监督数据训练的基线。使用E2 E-LFMMI和CTC微调wav 2 vec 2.0模型，我们获得了以下相对于使用E2 E-LFMMI训练的监督基线的WER改进。在clean-set和Librispeech测试集（100 h）上分别获得了40%和44%的相对改进和64%和58%的相对改进。在交换机（300小时），我们分别获得33%和35%的相对改善。最后，对于巴别塔语言，我们在斯瓦希里语（38小时）上分别获得了26%和23%的相对改进，在塔吉语（84小时）上分别获得了18%和17%的相对改进。
2021-04-06 cs.LG cs.SD eess.AS
DAME: Domain Adaptation for Matching Entities
Lehigh University（理海大学）；Nokia Bell Labs（诺基亚贝尔实验室）
实体匹配（EM）识别引用同一真实世界实体的数据记录。尽管在过去的几年里，努力提高EM的性能，现有的方法仍然需要大量的标记数据在每个领域的训练阶段。这些方法单独处理每个域，并捕获EM中每个数据集的特定信号，这导致仅在一个数据集上过拟合。从一个数据集学习的知识并没有被用来更好地理解EM任务，以便用更少的标记样本对看不见的数据集进行预测。在本文中，我们提出了一种新的领域自适应的方法，从多个源域的任务知识转移到目标域。我们的方法为EM提供了一个新的设置，其目标是使用多个源域从预训练模型中捕获特定于任务的知识，然后在目标域上测试我们的模型。我们研究了目标域上的零样本学习情况，并证明了我们的方法学习EM任务并将知识转移到目标域。我们广泛研究了在多个领域的目标数据集上微调我们的模型，并证明我们的模型比EM中最先进的方法更好地推广。
2022-04-20 cs.DB cs.LG
Grasping Detection Network with Uncertainty Estimation for Confidence-Driven Semi-Supervised Domain Adaptation
National University of Singapore（新加坡国立大学）
对于许多机器人应用，例如，在抓取检测中，从抓取数据集学习的推理技能不足以通用于直接应用于各种其他日常/工业应用。本文提出了一种方法，使容易领域自适应通过一种新的把握检测网络与信心驱动的半监督学习，这两个组件深入相互作用。本文提出的抓取检测网络利用特征金字塔网络（FPN）提供了一种预测不确定性估计机制，而均值-教师半监督学习则利用这种不确定性信息，只对那些置信度高的未标记数据强调一致性损失，我们称之为置信度驱动的均值-教师。这种方法在很大程度上防止了学生模型从一致性损失中学习到不正确/有害的信息，从而加快了学习进度并提高了模型的准确性。实验结果表明，该网络在Cornell抓取数据集上具有较高的抓取成功率，对于数据量非常有限的领域自适应，置信度驱动的平均教师在评估损失方面优于原始平均教师和直接训练10%以上，特别是在避免过拟合和模型发散方面.
2020-08-20 cs.CV cs.LG cs.RO
BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models
本文提出BA-LoRA，通过引入一致性、多样性及SVD项正则化，缓解低秩适应中的灾难性继承问题，提升模型鲁棒性和公平性。
2026-06-27 cs.CL cs.LG
MALoRA: Mixture of Asymmetric Low-Rank Adaptation for Enhanced Multi-Task Learning
Tsinghua University（清华大学）；Shanghai University of Finance and Economics（上海财经大学）
针对多任务场景下MoLoRA训练慢、参数利用率低等问题，提出采用非对称优化的MALoRA微调框架，可减少参数、提升训练速度，在多类任务中性能优于基线方法。
2024-10-30 cs.CL cs.LG
Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文通过预测编码理论和多基准实验比较UDA与SFDA，证明SFDA在现实场景中通常更优，并提出一种权重估计方法以在数据-模型融合场景中提升MSFDA性能。
2024-11-24 cs.AI cs.CV cs.LG
GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
SqueezeBits；POSTECH
GraLoRA通过颗粒化低秩适应提升参数高效微调效果，实现比LoRA更高的准确性和鲁棒性。
2026-01-15 cs.AI cs.LG
Domain Adaptation for Statistical Classifiers
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
统计学习理论中使用的最基本的假设是，训练数据和测试数据来自相同的底层分布。不幸的是，在许多应用中，“域内”测试数据是从与训练数据的“域外”分布相关但不相同的分布中提取的。我们考虑的常见情况下，标记的域外数据是丰富的，但标记的域内数据是稀缺的。我们介绍了一个简单的混合模型的统计公式，这个问题，并提出了一个实例化的最大熵分类器和线性链对应的框架。我们提出了有效的推理算法，这种特殊情况下的技术条件期望最大化的基础上。我们的实验结果表明，我们的方法导致提高性能的三个现实世界的任务上的四个不同的数据集从自然语言处理域。
2011-09-28 cs.CL cs.LG
Amortized Low-Rank Adaptation for Model-Based Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对世界模型在测试环境中的适应问题，提出CLAW方法，利用超网络生成低秩适配器，在少量数据下实现高效适应，优于梯度适应和上下文学习。
2026-09-23 cs.AI cs.LG cs.RO
Domain Adaptation with Morphologic Segmentation
University of Bonn（波恩大学）；Google Brain（谷歌大脑）；KAUST（阿卜杜拉国王科技大学）
我们提出了一种新的领域自适应框架，使用形态分割转换图像从任意输入域（真实和合成）到一个统一的输出域。我们的框架是基于一个既定的图像到图像的翻译管道，使我们能够首先将输入图像转换成一个广义的表示，编码形态和语义-边缘加分割图（EPS）-然后转换到一个输出域。转换到输出域的图像具有照片般的真实感，并且没有通常存在于不同真实图像中的伪影（例如镜头光斑、运动模糊等）。和合成（例如，不现实的纹理，简化的几何形状等）数据集。我们的目标是建立一个预处理步骤，将来自多个来源的数据统一为一个通用的表示，以促进计算机视觉中的下游任务的训练。通过这种方式，用于现有任务的神经网络可以在更大范围的训练数据上进行训练，同时它们也较少受到特定数据集过拟合的影响。我们展示了我们的方法的有效性，定性和定量评估我们的方法对四个数据集的模拟和真实的城市场景数据。其他结果可在项目网站http://jonathank.de/research/eps/上查阅。
2020-06-16 cs.CV cs.LG eess.IV
Learning to Learn to Compress
Tampere University（坦佩雷大学）；Nokia Technologies（诺基亚技术公司）
在本文中，我们提出了一个端到端的元学习系统的图像压缩。传统的基于机器学习的图像压缩方法训练一个或多个神经网络以获得泛化性能。然而，在推理时，可以针对每个测试图像优化编码器或由编码器输出的潜在张量。这种优化可以被认为是对输入内容的适应或善意过拟合的形式。为了减少训练和推理条件之间的差距，我们提出了一个新的学习图像压缩，这是基于元学习的训练范例。在第一阶段中，正常地训练神经网络。在第二阶段，模型不可知元学习方法适用于图像压缩的特定情况，其中内环执行潜在张量过拟合，外环基于过拟合性能更新编码器和解码器神经网络。此外，在元学习之后，我们建议对训练图像块上的解码器偏置项进行过拟合和聚类，以便在推理时可以在编码器端选择最佳的特定于内容的偏置项。最后，我们提出了一个新的无损压缩概率模型，它结合了多尺度和超分辨率概率模型方法的概念。我们通过精心设计的实验展示了我们所有建议的好处。
2021-05-01 cs.CV cs.LG cs.MM
Toward more accurate and generalizable brain deformation estimators for traumatic brain injury detection with unsupervised domain adaptation
Stanford University（斯坦福大学）；BeiHang University（北京航空航天大学）
针对机器学习头部模型因分布偏移导致泛化性不足的问题，提出结合无监督域适应与深度神经网络的脑形变估计器，利用DRCA和cycle-GAN方法显著提升了全脑最大主应变及其变化率的预测精度，误差低于TBI阈值，助力未来临床检测。
2023-06-08 cs.LG eess.SP physics.bio-ph
A Post-Training Approach for Mitigating Overfitting in Quantum Convolutional Neural Networks
University of Southern California（南加州大学）；Viterbi School of Engineering（维特比工程学院）；Information Sciences Institute（信息科学研究所）；Department of Physics and Astronomy（物理与天文学系）；Center for Quantum Information Science & Technology（量子信息科学与技术中心）
本研究针对量子卷积神经网络（QCNN）的过拟合问题，发现直接应用经典神经元丢弃会因纠缠损失导致成功率下降，故提出一种计算高效的参数适配方法作为替代方案。
2024-03-03 cs.LG quant-ph
Augmentation-based Unsupervised Cross-Domain Functional MRI Adaptation for Major Depressive Disorder Identification
本文提出AUFA框架，通过目标域数据增强、图表示学习和域自适应缓解多中心rs-fMRI异质性及源域过拟合问题，在1,089名受试者上提升了MDD识别性能并增强了模型可解释性。
2024-06-07 cs.LG eess.IV q-bio.NC
Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs
University of Cambridge（剑桥大学）
本文指出经典统计的样本内直觉与现代机器学习的泛化误差评估存在差异，从固定设计转向随机设计对偏差-方差权衡、双重下降和良性过拟合等现象的观察有深远影响。
2024-09-27 cs.LG stat.ML
On a scalable entropic breaching of the overfitting barrier in machine learning
Università della Svizzera Italiana（瑞士意大利语大学）
当相对小的数据统计大小$T$不足以为相对大的数据特征维度$D$提供鲁棒的ML拟合时，“小数据”的过拟合和处理是机器学习（ML）中最具挑战性的问题之一。通过对不同$D$和$T$的通用分类问题进行并行ML分析，证明了常见ML方法存在显著的线性过拟合障碍。例如，这些结果表明，对于使用长短期记忆深度学习分类器（LSTM）对生物信息学驱动的一般问题进行鲁棒分类，在最佳情况下，需要至少比特征维度$D$大13.8倍的统计数据$T$。结果表明，这种过拟合障碍可以突破$10^{-12}$分数的计算成本的熵最优的可扩展概率近似算法（eSPA）的装置，执行联合解决方案的熵最优贝叶斯网络推理和特征空间分割问题。与标准生物信息学工具相比，eSPA应用于实验性单细胞RNA测序数据的分类性能提高了30倍，与深度学习LSTM分类器相比提高了7倍。
2020-02-08 cs.LG stat.ML
Convolutional Visual Prompt for Robust Visual Perception
Columbia University（哥伦比亚大学）
提出卷积视觉提示（CVP）方法，通过结构化设计减少可训练参数至标准提示的1%以下，实现无标签测试时适应，有效对抗过拟合并提升大规模模型在OOD任务上的鲁棒性达5.87%。
2023-10-26 cs.CV cs.LG
Toward Generalizable Machine Learning Models in Speech, Language, and Hearing Sciences: Estimating Sample Size and Reducing Overfitting
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Michigan State University（密歇根州立大学）；MGH Institute of Health Professions（MGH健康职业学院）
本研究通过蒙特卡洛模拟比较多种交叉验证方法，证明嵌套交叉验证能提高统计功效与置信度并减少过拟合，同时提供MATLAB代码和查找表以帮助估计所需样本量。
2023-12-22 cs.LG
A statistical theory of overfitting for imbalanced classification
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
本文研究高维不平衡分类中的过拟合机制，通过分析 SVM 与逻辑回归揭示训练 logits 的截断正态现象，并提出间隔再平衡以缓解少数类性能下降。
2025-02-17 cs.LG math.ST stat.ML
Live Knowledge Tracing: Real-Time Adaptation using Tabular Foundation Models
École polytechnique（巴黎政治科学学院）；École normale supérieure de Paris, PSL University（巴黎高等师范大学，PSL大学）；Soda team, Inria Saclay（Inria萨克雷实验室Soda团队）
本文提出利用表格基础模型实现实时知识追踪，通过上下文学习在推理时对齐测试序列与相关训练序列，实现无需训练的在线学习，实验显示在时间递增的学生成绩观察下，预测性能优异且速度提升达53倍。
2026-04-27 cs.LG
Incremental Adaptation Strategies for Neural Network Language Models
University of Maine（缅因大学）
今天公认的是，神经网络语言模型在语音识别或统计机器翻译等应用中优于回退语言模型。然而，在大量数据上训练这些模型可能需要几天时间。我们提出了有效的技术，以适应新的数据的神经网络语言模型。我们提出了两种新方法，而不是训练一个全新的模型或依赖于混合方法：在重新采样的数据上继续训练或插入适应层。我们目前的实验结果在CAT环境中，专业翻译的后期编辑，以改善SMT系统。这两种方法都非常快，并取得了显着的改善，而不会过度拟合的小适应数据。
2015-07-07 cs.CL cs.LG cs.NE
Improving neural networks by preventing co-adaptation of feature detectors
University of Toronto（多伦多大学）
当一个大的前馈神经网络在一个小的训练集上训练时，它通常在保留的测试数据上表现不佳。通过在每个训练案例中随机忽略一半的特征检测器，可以大大减少这种“过拟合”。这防止了复杂的共适应，其中特征检测器仅在几个其他特定特征检测器的上下文中有帮助。相反，每个神经元学会检测一个特征，这个特征通常有助于产生正确的答案，因为它必须在各种各样的内部环境中运行。随机“dropout”在许多基准任务上都有很大的改进，并为语音和物体识别创造了新的记录。
2012-07-03 cs.CV cs.LG cs.NE
Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为什么高度参数化的神经网络（NN）不会过拟合数据是一个重要的长期悬而未决的问题。我们提出了一个现象学模型的NN训练来解释这个非过拟合的难题。我们的线性频率原理（LFP）模型解释了NN的一个关键动力学特征：它们首先学习低频，而不管微观细节。基于LFP模型的理论表明，目标函数的低频优势是神经网络不过拟合的关键条件，并通过实验得到了验证。此外，通过一个理想的两层NN，我们揭示了详细的微观NN训练动态如何在统计上产生具有定量预测能力的LFP模型。
2021-01-30 cs.LG physics.data-an
Model Adaptation for Image Reconstruction using Generalized Stein's Unbiased Risk Estimator
University of Iowa（爱荷华大学）
当采集方案与训练期间使用的前向模型显著不同时，深度学习图像重建算法经常遭受模型失配。我们引入了广义Stein无偏风险估计（GSURE）损失度量，以使网络适应测量的k空间数据，并最大限度地减少模型失配的影响。与依赖于k空间中的均方误差的当前方法不同，所提出的度量考虑了测量中的噪声。这使得该方法不易受到过拟合的影响，从而与依赖均方误差的方案相比，提供了更好的重建质量。这种方法可以用于使预训练模型快速适应新的采集设置（例如，多地点）和不同对比的训练数据
2021-01-29 cs.CV cs.LG eess.IV
Network-aware Adaptation with Real-Time Channel Statistics for Wireless LAN Multimedia Transmissions in the Digital Home
Intel Corporation（英特尔公司）；Qualcomm（高通公司）
本文建议在无线局域网驱动程序中使用智能网络感知处理代理，根据实时的【形】信道统计数据生成带宽估计指标，以实现无线多媒体应用程序自适应。在无线数字家庭的各种配置进行了研究，并与性能变化的实验结果。
2009-07-13 cs.LG cs.NI
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
VISTA: Validation-Informed Trajectory Adaptation via Self-Distillation
VISTA通过验证引导的自蒸馏框架，在优化轨迹上强制一致性，提升模型鲁棒性和泛化能力，同时降低存储开销。
2026-09-17 cs.AI cs.LG
Detecting Overfitting of Deep Generative Networks via Latent Recovery
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS — UMR GREYC（法国国家科学研究中心 — 灰谐实验室联合研究单位（注：CNRS为法国国家科学研究中心，UMR为联合研究单位缩写，GREYC为实验室名，此处按原文提取机构部分））
最先进的深度生成网络能够生成具有令人难以置信的真实感的图像，以至于它们可以被怀疑记忆训练图像。这就是为什么包含训练集最近邻的可视化并不罕见，这表明生成的图像不仅仅是记忆。我们证明这是不够的，并激发了需要研究记忆/过拟合的深发电机更多的审查。本文通过以下方式解决了这个问题：i）展示简单损失在为深度生成器重建图像时是如何高效的; ii）分析重建训练和验证图像时重建误差的统计数据，这是机器学习中分析过拟合的标准方法。使用这种方法，本文表明，过度拟合是不可检测的纯GAN模型在文献中提出的，与那些使用混合对抗损失，这是最广泛应用的生成方法之一。该论文还表明，标准的GAN评估指标无法捕捉记忆的一些深发电机。最后，本文还展示了如何现成的GAN发电机可以成功地应用于人脸修复和人脸超分辨率使用所提出的重建方法，没有混合对抗损失。
2019-01-09 cs.LG stat.ML
Understanding overfitting in random forest for probability estimation: a visualization and simulation study
KU Leuven（鲁汶大学）；University of Oxford（牛津大学）；University Hospitals Leuven（鲁汶大学医院）；LMU Munich（慕尼黑大学）；Leiden University Medical Centre（莱顿大学医学中心）
本文通过真实案例可视化和192种场景的模拟研究，揭示随机森林在概率估计中通过学习训练集事件周围的局部概率峰值导致训练c统计量接近1的过拟合现象，并表明使用较大最小节点大小而非完全生长树更有利于测试集概率估计。
2024-09-30 cs.CY cs.LG stat.ME
Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective
School of Cyber Science and Engineering, Southeast University（东南大学网络空间科学与工程学院）；Purple Mountain Laboratories（紫金山实验室）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）
本文从样本分类视角揭示快速对抗训练中灾难性过拟合的成因，提出动态标签松弛、批量动量初始化及COLA策略，构建ETA范式并在四个数据集上实现SOTA性能。
2024-09-26 cs.CV cs.LG
