Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在部署生产数据时，可靠地预测机器学习（ML）系统的潜在故障风险是值得信赖的AI的一个重要方面。本文介绍了Risk Advisor，一种新的事后元学习器，用于估计任何已经训练好的黑盒分类模型的失败风险和预测不确定性。除了提供风险评分外，风险顾问还将不确定性估计分解为任意和认知不确定性分量，从而对引起故障的不确定性来源提供信息性见解。因此，Risk Advisor可以区分由数据可变性、数据偏移和模型限制引起的故障，并就缓解措施（例如，收集更多数据以对抗数据移位）。在各种黑盒分类模型系列以及涵盖常见ML故障场景的真实世界和合成数据集上进行的广泛实验表明，Risk Advisor可以可靠地预测所有场景中的部署时故障风险，并优于强大的基线。
2021-09-09 cs.IR cs.LG stat.ML
Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research, NYC（微软研究院（纽约））
本文针对协变量偏移下的L∞错误设定回归问题，提出一种基于鲁棒优化的新算法，避免经验风险最小化中的错误设定放大现象，并应用于离线与在线强化学习，建立了结构条件与覆盖概念之间的新分离。
2024-01-22 cs.LG math.OC stat.ML
Uncertainty estimation under model misspecification in neural network regression
ETH Zürich（苏黎世联邦理工学院）
虽然神经网络是功能强大的函数逼近器，但底层建模假设最终定义了可能性，从而定义了它们参数化的假设类。在分类中，这些假设是最小的，因为常用的softmax能够表示任何分类分布。然而，在回归中，通常会对要实现的连续分布类型进行限制性假设，例如通过均方误差及其潜在的高斯假设进行训练的主导选择。最近，建模的进步允许对要建模的连续分布的类型不可知，赋予回归分类模型的灵活性。虽然过去的研究强调这种灵活的回归模型在性能方面的好处，在这里，我们研究的不确定性估计的模型选择的效果。我们强调，根据模型误指定，任意的不确定性没有被正确捕获，贝叶斯处理的误指定模型导致不可靠的认知不确定性估计。总的来说，我们的研究提供了一个概述，如何在回归模型的选择可能会影响不确定性估计，从而任何下游的决策过程。
2021-11-23 cs.LG stat.ML
Importance Weighting Correction of Regularized Least-Squares for Target Shift
Weierstrass Institute for Applied Analysis and Stochastics（魏泽萨斯应用分析与随机性研究所）
本文研究了在目标偏移下重要性加权修正正则化最小二乘法的统计行为，证明其在不改变输入空间复杂性的情况下能纠正训练-测试不匹配，并通过理论分析和实验验证了其在偏移严重性下的收敛性和鲁棒性。
2026-03-03 cs.LG math.ST stat.ML
General and Estimable Learning Bound Unifying Covariate and Concept Shifts
Department of Statistics and Financial Mathematics, South China University of Technology, Guangzhou, China（统计与金融数学系，华南理工大学，广州，中国）
本文利用熵最优传输提出与支撑集无关的协变量和概念偏移定义，推导出统一误差界，并开发DataShifts算法以在广泛实际应用中量化偏移并估计误差界。
2025-08-22 cs.LG stat.ML
Information-theoretic Evolution of Model Agnostic Global Explanations
Adobe Systems（Adobe系统公司）；Adobe Systems Noida Uttar Pradesh India（印度北方邦诺伊达的Adobe系统公司）
通过人类可解释的规则来解释黑盒机器学习模型的行为是一个重要的研究领域。最近的工作集中在局部解释模型行为，即特定的预测以及视觉，自然语言，强化学习和数据科学等领域的全球性。我们提出了一种新的模型不可知方法，该方法可以导出规则来全局解释在数值和/或分类数据上训练的分类模型的行为。我们的方法建立在现有的局部模型解释方法之上，提取解释模型行为的特定实例的重要条件，然后通过进化算法优化基于信息论的适应度函数，以构建解释全局模型行为的规则。我们展示了我们的方法如何在各种数据集上优于现有的方法。此外，我们还引入了一个参数来评估分布偏移情景下的解释质量。该参数评估解释如何预测先前未见过的数据分布的模型行为。我们展示了现有的解释模型的方法在全球范围内缺乏分布鲁棒性。最后，我们展示了如何通过将分布样本添加到用于学习解释的数据集来提高解释的质量，从而提高鲁棒性。我们论文中使用的所有数据集都是开放的，公开可用的。我们的方法已部署在领先的数字营销产品套件中。
2021-05-14 cs.LG
Detecting and Adapting to Irregular Distribution Shifts in Bayesian Online Learning
University of California, Irvine（加州大学欧文分校）
我们考虑的问题，在线学习的分布变化，发生在一个未知的速度和未知的强度的存在。我们推导出一种新的贝叶斯在线推理方法，同时推断这些分布的变化，并通过整合变点检测，切换动力系统和贝叶斯在线学习的想法，使模型适应检测到的变化。使用一个二进制的“变化变量”，我们构建了一个信息丰富的先验，这样-如果检测到变化-模型部分删除过去的模型更新的信息，通过回火，以促进适应新的数据分布。此外，该方法使用波束搜索来跟踪多个变点假设，并在事后选择最可能的一个。我们提出的方法是模型不可知的，适用于监督和无监督学习设置，适用于概念漂移或协变量漂移的环境，并产生比最先进的贝叶斯在线学习方法的改进。
2021-10-26 cs.LG stat.ML
Sparsity-Agnostic Lasso Bandit
Seoul National University（首尔大学）；Columbia University（哥伦比亚大学）
我们考虑一个随机上下文强盗问题的特征向量的维度$d$是潜在的大，但是，只有一个稀疏的子集的基数$s_0 \ll d$的功能影响的奖励函数。基本上，所有现有的稀疏强盗算法需要稀疏指数$s_0$的值的先验知识。这方面的知识几乎从来没有在实践中，这个参数的错误指定可能会导致现有方法的性能严重恶化。本文的主要贡献是提出了一种算法，不需要先验知识的稀疏性指标$s_0$，并建立严格的遗憾界，其性能在温和的条件下。我们还全面评估了我们提出的算法的数值，并表明它始终优于现有的方法，即使正确的稀疏性指数显示给他们，但保持隐藏从我们的算法。
2021-04-28 cs.LG stat.ML
Structure-agnostic Causal Representation Learning
Illinois Institute of Technology（伊利诺伊理工学院）
提出SaCRL框架，无需先验结构知识即可联合识别因果结构并学习不变表示，通过HSIC软优化实现结构选择，在多个基准上取得最优性能。
2026-10-02 cs.AI cs.LG
Towards Integrating Uncertainty for Domain-Agnostic Segmentation
UvA-Bosch Delta Lab, University of Amsterdam（阿姆斯特丹大学）
本文提出UncertSAM基准测试，评估不确定性量化对分割模型在领域无关场景下的泛化能力提升效果。
2025-12-29 cs.CV cs.LG
Flow Matching Calibration for Simulation-Based Inference under Model Misspecification
Institut national de physique de la matière (CNRS UMR 7586)（物质物理国家研究院（CNRS UMR 7586））
针对基于模拟推断中模型误设定导致的偏差，提出流匹配校正后验估计方法，通过少量校准样本利用流匹配范式修正后验估计器，提高推断准确性和不确定性量化。
2026-06-03 cs.LG stat.ML
View From Above: A Framework for Evaluating Distribution Shifts in Model Behavior
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Apart Research
本文提出一个领域无关的框架，通过二十一点环境在超千次试验中评估LLM决策的分布偏移，发现其学习表征存在统计显著的行为错位。
2024-09-28 cs.AI cs.CL cs.LG
Location Agnostic Adaptive Rain Precipitation Prediction using Deep Learning
University of California Riverside（加州大学河滨分校）；University of Florida（佛罗里达大学）；Ahsanullah University of Science and Technology（阿赫桑乌拉科技大学）；University of Central Florida（中佛罗里达大学）；Texas A&M University（德克萨斯农工大学）
针对降雨预测中存在的地域分布偏移与天气模式随时间变化的问题，提出一种自适应深度学习框架，可实现跨地点的泛化降雨预测，在三座城市的实验中均取得显著性能提升。
2024-02-02 cs.AI cs.LG
Data-Agnostic Augmentations for Unknown Variations: Out-of-Distribution Generalisation in MRI Segmentation
University of Twente（特文特大学）；Siemens Healthineers（西门子医疗）
该研究系统评估 MixUp 与 Auxiliary Fourier Augmentation，证明其可在心脏电影 MRI 和前列腺 MRI 分割中提升分布外泛化、成像变化鲁棒性及特征表示质量，并可便捷集成于 nnU-Net。
2025-05-15 cs.CV cs.LG
Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
本文通过扩展多校准以联合考虑协变量和标签，建立了其与不变性的等价关系，提出了统一鲁棒学习框架及后处理算法MC-Pseudolabel，在协变量和概念偏移下实现了分布外泛化。
2024-06-02 cs.AI cs.LG
Data-Agnostic Cardinality Learning from Imperfect Workloads
University of Pennsylvania（宾夕法尼亚大学）
GRASP提出一种数据无关的基数估计系统，通过组合式设计、每表模型和计数草图，在不完美工作负载下超越现有查询驱动模型，性能媲美基于数据的传统方法。
2025-06-19 cs.DB cs.LG
Sim2Win: A Team-Agnostic, Event-Based Pre-Match Outcome Prediction and Tactical Profiling System for Football
Al Akhawayn University（阿赫韦因大学）
本研究提出与球队无关的Sim2Win框架，利用公开赛事数据构建战术画像与特征，训练分类器预测足球赛前胜平负概率，在未见过的球队上表现优于基线模型，为足球预测提供了可行替代方案。
2026-07-30 cs.AI cs.LG
The Fragility of Noise Estimation in Kalman Filter: Optimization Can Handle Model-Misspecification
Technion（以色列理工学院）；Nvidia Research（英伟达研究院）
卡尔曼滤波器（KF）参数传统上由噪声估计确定，因为在KF假设下，当参数对应于噪声协方差时，状态预测误差最小。然而，噪声估计仍然是黄金标准，无论假设如何-即使它不等同于误差最小化。我们证明，即使是看似简单的问题可能包括多个假设违反-这是有时甚至很难注意到。我们从理论上和经验表明，即使是轻微的违规行为可能会在很大程度上改变最佳参数。我们提出了一个基于梯度的方法，随着Cholesky参数化显式优化的状态预测误差。我们在3个不同领域的数十个实验中显示出对噪声估计的一致改进。最后，我们证明了优化使KF与LSTM模型竞争-即使在非线性问题中。
2022-06-30 cs.LG cs.SY eess.SY
Plug-in Performative Optimization
University of California, Berkeley（加州大学伯克利分校）
本研究提出插件式表现性优化协议，利用可能错误指定的反馈模型来优化表现性风险，在错误指定不极端时显著优于模型无关方法，支持模型即使有误也能辅助学习的假设。
2024-05-28 cs.LG stat.ML
Graph-Based Model-Agnostic Data Subsampling for Recommendation Systems
Tufts University（塔夫茨大学）；ByteDance Inc.（字节跳动公司）；ByteDance Research（字节跳动研究院）；Apple Inc.（苹果公司）
针对基于模型的推荐系统数据下采样易受模型设定偏差影响的问题，提出基于用户-物品图拓扑与图电导率的模型无关下采样方法，结合两类方法优势，在KuaiRec和MIND数据集上效果优于基线。
2023-06-16 cs.IR cs.LG cs.SI
Beyond Model Ranking: Regime Diagnosis for Distributional-Statistical Misspecification in Industrial Time-Series Forecasting
JD.com, Inc.（京东集团）
针对工业时间序列预测中训练与部署偏差，提出机制相对偏差向量（RBV）诊断工具，区分损失与模型导致的偏差，并证明机制感知训练可解决池化诱导偏差，补充模型排名。
2026-10-01 cs.LG
Model-Agnostic Online Certificate-Driven Calibration for Time Series Forecasting Under Distribution Shift
提出模型无关的在线鞅概率近似正确贝叶斯框架，利用证书作为正则化器校准预测器，在分布漂移下提升时间序列预测的稳定性和准确性。
2026-10-06 cs.LG
DMS: Differentiable Mean Shift for Dataset Agnostic Task Specific Clustering Using Side Information
University of Oxford（牛津大学）
本文提出可微均值漂移（DMS），利用少量成对辅助信息在无需预知簇数、中心或距离度量的情况下进行任务特定聚类，并在内在与非内在数据集任务中取得最优性能。
2023-05-29 cs.AI cs.LG
Graph-Smoothed Bayesian Black-Box Shift Estimator and Its Information Geometry
School of Mathematics and Statistics（数学与统计学学院）；The University of Melbourne（墨尔本大学）
提出图平滑贝叶斯黑盒偏移估计器GS-B$^3$SE，利用拉普拉斯-高斯先验和标签相似性图，实现可识别、快速且鲁棒的标签偏移估计，并推广了现有方法。
2025-05-22 cs.LG stat.ML
Uncover and Unlearn Nuisances: Agnostic Fully Test-Time Adaptation
针对全测试时自适应场景下源数据缺失、目标域不可预知导致传统域对齐策略失效的问题，提出AFTTA框架，通过发掘并消除域干扰因素实现优异泛化，在多类偏移任务上性能超越现有方法。
2025-11-16 cs.AI cs.LG
Diffusion-Based Data-Driven Assortment Optimization
Duke University（杜克大学）
针对传统 assortment 优化模型对设定误差敏感、难以捕捉复杂客户行为的问题，提出基于引导离散扩散的模型无关框架，可高效生成高质量、多样化的 assortment，在高维场景下鲁棒性良好。
2026-08-13 cs.LG
Conformal Prediction Beyond the Horizon: Distribution-Free Inference for Policy Evaluation
KLATASDS - MOE School of Statistics East China Normal University（KLATASDS - 教育部统计学系华东师范大学）
可靠的不确定性量化对于高风险环境中的强化学习（RL）至关重要。我们提出了一个统一的共形预测框架的无限地平线的政策评估，构建分布免费的预测区间{回报}在政策和政策设置。我们的方法集成了分布式RL与共形校准，解决了未观察到的回报，时间依赖性和分布变化等挑战。我们提出了一个模块化的伪返回构造截断推出和时间感知的校准策略，使用经验重放和加权子采样的基础上。这些创新减轻了模型偏差，恢复了近似的互换性，即使在政策变化的情况下也能量化不确定性。我们的理论分析提供了覆盖保证，占模型误指定和重要性权重估计。实证结果，包括在合成和基准环境中的实验，如山地车，表明我们的方法显着提高了覆盖率和可靠性超过标准的分布式RL基线。
2025-10-29 cs.LG stat.ML
Spectral Algorithms in Misspecified Regression: Convergence under Covariate Shift
本文研究协变量偏移下谱算法的收敛性，通过融入重要性权重构建加权谱算法，首次对误设情形开展全面理论分析，提出截断技术处理无界权重，将核学习理论拓展到更实际的场景。
2025-09-05 cs.LG stat.ML
The K-modes algorithm for clustering
University of California, Merced（加州大学默塞德分校）
存在许多估计聚类中心的聚类算法，例如K-means，K-medoids或mean-shift，但似乎不存在通过返回恰好K个有意义的模式来聚类数据的算法。我们提出了一个自然的K-模式的目标函数的定义，结合密度和集群分配的概念。该算法在极大尺度和极小尺度的极限下分别成为K-means和K-medoids。在计算上，它比K-means稍慢，但比mean-shift或K-medoids快得多。与K-means不同，它能够找到有效模式的质心，真正代表一个集群，即使是非凸集群，并且对离群值和集群规模和数量的错误指定具有鲁棒性。
2013-04-24 cs.LG stat.ME stat.ML
Learning domain-agnostic visual representation for computational pathology using medically-irrelevant style transfer augmentation
Stanford University（斯坦福大学）
机器学习模型在看不见的数据上的次优泛化是一个关键挑战，阻碍了此类模型对医学成像的临床适用性。虽然各种方法，如域自适应和域泛化已经发展到应对这一挑战，学习鲁棒性和可泛化的表示是医学图像理解的核心，并继续是一个问题。在这里，我们提出了STRAP（Style TRansfer Augmentation for histoPathology），这是一种基于非医学风格源（如艺术绘画）的随机风格转移的数据增强形式，用于学习计算病理学中与领域无关的视觉表示。风格转换是指在保留原始图像的高层语义内容的同时，用随机选择的风格源图像中的无信息风格替换图像的底层纹理内容。这提高了对域偏移的鲁棒性，并且可以用作学习域不可知表示的简单而强大的工具。我们证明，STRAP导致国家的最先进的性能，特别是在存在域转移，在计算病理学的两个特定的分类任务。
2021-06-03 cs.CV cs.LG eess.IV
Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework
University of California Irvine（加州大学欧文分校）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对无限时域MDP离线策略评估中的分布偏移与误差量化问题，提出统一边缘化重要性权重错误设定误差和采样不确定性的区间估计框架，借助判别器与局部鞅结构获得紧致、鲁棒且可证明收敛的置信区间。
2023-10-02 cs.LG stat.ML
TAME: Task Agnostic Continual Learning using Multiple Experts
New York University（纽约大学）；Google（谷歌）
本文提出TAME算法，通过检测损失函数偏差自动切换任务专家网络并利用选择器网络进行推理，在任务无关设置下实现了高效且模型规模可比的持续学习。
2024-06-02 cs.LG stat.ML
TimeLAVA: Learning-Agnostic Valuation for Time Series Data
School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学学院）；Statistics, The University of Melbourne（墨尔本大学统计学系）；Statistics, University of Sydney（悉尼大学统计学系）；Responsible AI Research Centre, Australian Institute for Machine Learning（澳大利亚机器学习研究所负责任人工智能研究中心）；Amazon（亚马逊）；School of Mathematical Sciences, Adelaide University（阿德莱德大学数学科学学院）；Department of Machine Learning, MBZUAI（MBZUAI机器学习系）
提出TimeLAVA，一种学习无关框架，通过小波变换和最优传输评估时间序列片段对分布差异的边际贡献，无需模型训练，在异常检测、数据剪枝和标签噪声检测中优于现有方法。
2026-06-24 cs.LG stat.ML
Minimax Model Learning
Caltech（加州理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种新的off-policy损失函数，用于学习基于模型的强化学习中的过渡模型。值得注意的是，我们的损失来自政策外政策评估目标，重点是纠正分布偏移。与以前的基于模型的技术相比，我们的方法允许更大的鲁棒性下的模型误指定或分布偏移引起的学习/评估政策，是不同于数据生成的政策。我们提供了一个理论分析，并显示现有的基于模型的政策外评估方法的实证改进。我们提供了进一步的分析，表明我们的损失可以用于离线优化（OPO），并展示了它与OPO中最近的改进的集成。
2021-03-02 cs.AI cs.LG cs.RO
GraphGen: A Scalable Approach to Domain-agnostic Labeled Graph Generation
Indian Institute of Technology, Delhi（德里印度理工学院）
图生成模型在数据采掘文献中得到了广泛的研究。虽然传统的技术是基于生成遵循预定分布的结构，但最近的技术已经转向直接从数据中学习这种分布。虽然以学习为基础的方法大大提高了质量，但仍有一些局限性有待解决。首先，学习图分布引入了额外的计算开销，这限制了它们对大型图数据库的可扩展性。其次，许多技术只学习结构，而不解决学习节点和边标签的需要，这些标签编码重要的语义信息并影响结构本身。第三，现有的技术往往包含特定领域的规则，缺乏普遍性。第四，现有技术的实验不够全面，因为使用的评估指标较弱，或者主要集中在合成或小数据集上。在这项工作中，我们开发了一种名为GraphGen的领域不可知技术来克服所有这些限制。GraphGen使用最少的DFS代码将图形转换为序列。最小DFS代码是规范的标签，并精确地捕获图结构以及标签信息。结构和语义标签之间的复杂联合分布是通过一种新的LSTM架构来学习的。在数百万大小的真实图形数据集上进行的大量实验表明，GraphGen的平均速度比最先进的技术快4倍，同时在11个不同指标的综合集合中质量明显更好。我们的代码发布在https://github.com/idea-iitd/graphgen。
2020-04-08 cs.LG stat.ML
Sample, estimate, aggregate: A recipe for causal discovery foundation models
Massachusetts Institute of Technology（麻省理工学院）；Accenture（埃森哲）
提出一种受基础模型启发的因果发现方法，通过在大规模合成数据上训练监督模型，利用汇总统计量预测因果图，实现对数百变量图的高效、鲁棒推断。
2025-03-28 cs.LG stat.ML
Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, San Diego（加州大学圣地亚哥分校）；Beijing Technology and Business University（北京工商大学）
本文提出一种模型无关的平衡方法，通过交替校正模型参数并自适应学习有偏样本平衡系数，以利用少量无偏评分对抗未观测混杂和模型设定错误，提升去偏推荐性能。
2023-04-17 cs.IR cs.LG
Label-shift robust federated feature screening for high-dimensional classification
Center for Applied Statistics and School of Statistics Renmin University of China（应用统计中心和中国人民大学统计学院）；School of Mathematics and Statistics Xi’an Jiaotong University（西安交通大学数学与统计学院）；Department of Mathematics and Fundamental Research Peng Cheng Laboratory School of Mathematics and Statistics Xi’an Jiaotong University（数学与基础研究部鹏城实验室数学与统计学院）
针对高维分类中跨客户端标签偏移导致特征筛选困难的问题，提出统一框架及标签偏移鲁棒联邦特征筛选方法LR-FFS，利用条件分布期望保证鲁棒性，并提供FDR控制，兼具隐私保护与计算效率。
2025-05-31 cs.LG stat.ME stat.ML
Agnostic Sharpness-Aware Minimization
Monash University（莫纳什大学）；VinAI；University of British Columbia（不列颠哥伦比亚大学）
本文提出融合SAM与MAML原理的Agnostic-SAM，在训练数据上寻求更宽极小值并保持验证低损失，从而在噪声标签和数据受限条件下显著提升泛化。
2024-10-02 cs.LG
Enhancing Transfer Learning with Flexible Nonparametric Posterior Sampling
The University of Hong Kong（香港大学）；KAIST AI（韩国科学技术院人工智能）；AITRICS（AITRICS公司）
针对迁移学习中上下游数据分布偏移导致现有先验策略效果受限的问题，提出采用非参数先验的NPTL后验采样方法，经实验验证其BMA性能优于其他基准。
2024-03-12 cs.LG
Diversity-Aware Agnostic Ensemble of Sharpness Minimizers
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
针对集成学习与平坦性最小化能否结合以提升泛化性的问题，提出DASH算法，在深度集成中同时促进预测多样性与损失平坦性，理论和实验均证明其能改善集成泛化性。
2024-03-19 cs.CV cs.LG stat.ML
Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach
NavInfo Europe（四维图新欧洲）
非平稳数据流上的持续学习（CL）仍然是深度神经网络（DNN）中长期存在的挑战之一，因为它们容易发生灾难性遗忘。CL模型可以从自我监督的预训练中受益，因为它可以学习更多可推广的任务不可知特征。然而，自我监督预训练的效果随着任务序列长度的增加而减弱。此外，预训练数据分布和任务分布之间的域移位降低了学习表示的泛化能力。为了解决这些局限性，我们提出了任务不可知表征整合（TARC），这是一种两阶段的CL训练范式，它将任务不可知和任务特定的学习交织在一起，其中自我监督训练之后是每个任务的监督学习。为了进一步限制在自监督阶段从学习的表示的偏差，我们在监督阶段采用任务不可知的辅助损失。我们表明，我们的训练范式可以很容易地添加到内存或正则化为基础的方法，并提供一致的性能增益在更具挑战性的CL设置。我们进一步表明，它会导致更强大和良好的校准模型。
2022-07-13 cs.AI cs.CV cs.LG
Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of Gaussian Processes
Carnegie Mellon University（卡内基梅隆大学）
在元学习和持续学习中，人们广泛地追求通过有限的经验来不断学习解决看不见的任务，但是这些学习具有有限的假设，例如可访问的任务分布、独立和相同分布的任务以及清晰的任务描述。然而，现实世界的物理任务经常违反这些假设，导致性能下降。本文提出了一种连续在线的基于基于模型的强化学习方法，该方法不需要预先训练来解决任务边界未知的任务不可知问题。我们维护一个混合专家模型来处理非平稳性，并用高斯过程来表示每种不同类型的动态，以有效地利用收集的数据和表达模型的不确定性。我们提出了一个过渡之前，占流数据的时间依赖性和更新的混合物在线通过顺序变分推理。我们的方法可靠地处理任务分布偏移生成新的模型，以前从未见过的动态和重用旧模型。在实验中，我们的方法在非平稳任务中优于其他方法，包括在不同驾驶场景中动态变化和决策的经典控制。
2020-11-30 cs.AI cs.LG cs.RO
Fairness-aware Agnostic Federated Learning
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
联邦学习是一种新兴的框架，它使用分布在多个设备上的训练数据构建集中式机器学习模型。以往关于联邦学习的研究主要集中在隐私保护和降低通信成本方面。然而，如何在联邦学习中实现公平性，特别是当测试数据分布与训练分布不同甚至未知时，还没有得到充分的探索和挑战。在集中式模型上引入简单的公平性约束，无法在未知测试数据上实现模型公平性。在本文中，我们开发了一个公平意识的不可知的联邦学习框架（AgnosticFair），以应对未知的测试分布的挑战。我们使用核重权函数在损失函数和公平性约束中为每个训练样本分配一个重权值。因此，基于AgnosticFair构建的集中式模型能够在未知测试数据上实现高精度和公平性的保证。此外，所建立的模型可以直接应用于本地站点，因为它保证了本地数据分布的公平性。据我们所知，这是实现联邦学习公平性的第一项工作。在两个真实数据集上的实验结果表明，在数据转移场景下，该方法在效用和公平性方面都是有效的。
2020-10-10 cs.CY cs.LG
Learning a Domain-Agnostic Visual Representation for Autonomous Driving via Contrastive Loss
Seoul National University（首尔大学）
深度神经网络在自动驾驶应用中得到了广泛的研究，例如语义分割或深度估计。然而，以监督的方式训练神经网络需要大量的注释标签，这是昂贵和耗时的collect.Recent研究利用从虚拟环境中收集的合成数据，这是更容易获得和更准确的数据相比，从现实世界中，但他们通常遭受由于固有的域移位问题的泛化能力差。在本文中，我们提出了一个领域不可知的对比学习（DACL），这是一个两阶段的无监督领域自适应框架与循环对抗训练和对比损失。DACL引导神经网络学习领域无关的表示，以克服训练数据和测试数据分布之间存在差异时的性能下降。我们提出的方法实现了更好的性能相比，以前的国家的最先进的方法，在单目深度估计任务，也显示了有效性的语义分割任务。
2021-03-10 cs.CV cs.LG cs.RO
Task-Robust Model-Agnostic Meta-Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
元学习方法已经显示出令人印象深刻的训练快速学习新任务的模型的能力。然而，这些方法的目标只是在来自某些特定分布的任务上表现良好，这些特定分布通常在元训练和元测试中是等效的，而不是考虑最坏情况下的任务性能。在这项工作中，我们通过重新制定流行的模型不可知元学习（MAML）目标[Finn et al. 2017]引入了“任务鲁棒性”的概念，目标是最小化观察到的元训练任务的最大损失。这种新的配方的解决方案是任务强大的意义上，它把同样的重要性，即使是最困难和/或罕见的任务。这也意味着它在观察到的任务的所有分布上都表现良好，使其对元训练和元测试之间的任务分布变化具有鲁棒性。我们提出了一个算法来解决建议的最小-最大问题，并表明，它收敛到一个$ε$ -准确点的最佳速率$\mathcal{O}(1/ε^2)$在凸设置和$(ε, δ)$ -平稳点的速率$\mathcal{O}(\max\{1/ε^5, 1/δ^5\})$在非凸设置。我们还提供了一个上限的新任务泛化误差，捕捉的优势，最大限度地减少最坏情况下的任务损失，并证明了这种优势，在正弦曲线回归和图像分类实验。
2020-06-19 cs.LG math.OC stat.ML
SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data
MIT（麻省理工学院）；IBM Research（IBM研究院）
最近在微调大型模型方面取得的成功，这些模型是在大规模数据上进行预训练的，在下游任务上，导致了深度学习的重大范式转变，从以任务为中心的模型设计到任务不可知的表示学习和特定于任务的微调。由于预训练模型的表示被用作不同下游任务的基础，本文提出了一种新的任务无关框架\textit{SynBench}，使用合成数据来测量预训练表示的质量。我们建立了一个参考的类条件高斯混合的理论推导的鲁棒性和准确性的权衡。给定一个预训练的模型，从高斯混合合成的数据的表示用于与我们的参考进行比较，以推断质量。通过比较原始数据与其表示之间的曲线下面积比率，SynBench为稳健性-准确性性能基准测试提供了可量化的分数。我们的框架适用于广泛的预训练模型，这些模型接受连续的数据输入，并且独立于下游任务和数据集。使用几个预训练的视觉Transformer模型进行评估，实验结果表明，当对下游任务进行微调时，我们的SynBench评分与预训练模型的实际线性探测性能非常匹配。此外，我们的框架可用于通知对预训练表示的鲁棒线性探测的设计，以减轻下游任务中的鲁棒性-准确性权衡。
2022-10-07 cs.LG
Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift
研究在动态偏移下选择性模仿学习的方法，提出SeqRejectron算法，实现无 horizon 的样本复杂度保证，适用于确定性和随机性策略。
2026-05-16 cs.LG
Undersmoothing Causal Estimators with Generative Trees
University of Essex（埃塞克斯大学）；Institute for Analytics and Data Science（分析与数据科学研究所）；Institute for Social and Economic Research（社会与经济研究所）
针对观测数据中协变量偏移导致的模型误设问题，提出一种基于生成树的新方法，直接解决模型误设以提升下游估计量的鲁棒性，在个体化处理效应估计上显著优于重新加权方法。
2022-03-16 cs.LG stat.ME
FakeEdge: Alleviate Dataset Shift in Link Prediction
University of Notre Dame（圣母大学）
链接预测是图结构数据中的一个关键问题。由于图神经网络（GNN）最近的成功，提出了各种基于GNN的模型来解决链接预测任务。具体来说，GNN利用消息传递范式来获得节点表示，这依赖于链路连接。然而，在链接预测任务中，训练集中的链接总是存在的，而测试集中的链接尚未形成，导致连接模式的差异和学习表示的偏差。这导致了数据集移动的问题，降低了模型的性能。本文首先识别了链接预测任务中的数据集移位问题，并从理论上分析了现有的链接预测方法如何容易受到数据集移位的影响，然后提出了一种与模型无关的FakeEdge技术，通过减少训练集和测试集之间的图拓扑差距来解决这个问题。大量的实验证明了FakeEdge在各个领域的多个数据集上的适用性和优越性。
2022-12-03 cs.LG cs.SI stat.ML
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
MLP-ASR: Sequence-length agnostic all-MLP architectures for speech recognition
LINE corporation（LINE公司）
我们提出了多层感知器（MLP）为基础的架构，适用于可变长度的输入。最近提出的用于图像分类的基于MLP的架构只能用于固定的预定义大小的输入。然而，许多类型的数据在长度上是自然可变的，例如，声学信号。我们提出了三种方法来扩展基于MLP的架构，用于任意长度的序列。第一个使用在傅立叶域中应用的循环卷积，第二个应用去卷积，最后一个依赖于移位运算。我们使用Librisepeech和Tedlium 2语料库在自动语音识别任务上评估了所提出的架构。最好的基于MLP的架构将WER提高了1.0 /0.9%，在Librispeech dev-clean/dev-other，test-clean/test-other集上提高了0.9 / 0.5%，在Tedlium 2 dev/test集上提高了0.8 / 1.1%，使用了86.4%的基于自我注意力的架构的大小。
2022-02-17 cs.LG cs.SD eess.AS
Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation
WSO2
针对低资源代码生成难题，提出三阶段管道，先将推理计算左移合成训练数据，再微调嵌入句法先验，最后用可验证奖励强化学习，相比现有方法提升性能，减少数据使用和成本，且能推广到新语言。
2026-07-10 cs.LG
Studying Without a Syllabus: Task-Agnostic Environment Preprocessing
Scale AI；University of Maryland, College Park（马里兰大学学院公园分校）
本文研究任务无关的环境预处理，让代理在无大纲下预学习并生成工件，实验表明可提升下游性能并减少测试时采样。
2026-09-11 cs.AI cs.CL cs.LG
