An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression
University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）；TTI-Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）
本文从不可知视角研究了含噪核岭回归中的过拟合代价，通过高斯普适性假设和任务特征结构的风险估计，对良性、温和及灾难性过拟合提供了更精细的刻画。
2024-03-22 cs.LG stat.ML
Agnostic Sample Compression Schemes for Regression
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文首次为不可知回归问题构造了有界样本压缩方案，针对不同 $\ell_p$ 损失给出了近似或精确压缩，并推广了相关负面结果，提出了开放性问题。
2024-02-03 cs.IT cs.LG math.IT
Simultaneous Variable Selection, Clustering, and Smoothing in Function on Scalar Regression
我们解决的问题，多重共线性的功能上的标量回归模型，通过使用事先同时选择，集群，并平滑功能的影响。我们的方法对高度相关的预测因子的影响进行分组，在不从模型中删除相关预测因子的情况下进行降维。我们通过仿真研究验证了我们的方法，表现出优越的性能相对于现有的降维方法在功能上的标量文献。我们还展示了使用我们的模型的特定年龄的生育率从联合国性别信息数据库的数据集。
2019-06-25 stat.AP
Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Halıcıoğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利乔格鲁数据科学学院）
本文研究了在无生成模型假设下混合线性回归的不可知学习问题，证明了在可分性和良好初始化条件下，EM和AM算法能收敛到总体损失最小化器，实现不可知学习。
2024-06-03 cs.AI cs.IT cs.LG
Practical Contextual Bandits with Regression Oracles
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
上下文强盗的一个主要挑战是设计通用的算法，既实用又有理论依据。我们提出了一种新的技术，具有经验和计算优势的可实现性为基础的方法结合了不可知方法的灵活性。我们的算法利用回归预言的价值函数类，一个更现实和合理的预言比分类预言通常假设的不可知方法的政策的可用性。我们的方法将UCB和LinUCB推广到更有表现力的可能模型类，并在某些分布假设下实现了低遗憾。在一个广泛的实证评估，基于可实现性和不可知的基线相比，我们发现，我们的方法通常给出可比或优越的结果。
2018-03-03 cs.LG stat.ML
Expectation Maximization (EM) Converges for General Agnostic Mixtures
Department of Computer Science
本文研究了在无偏设置下拟合k个参数函数的问题，提出并分析了梯度EM算法，证明其在适当初始化和分离条件下的指数收敛性。
2026-04-07 cs.IT cs.LG math.IT
Target-agnostic Source-free Domain Adaptation for Regression Tasks
City University of Hong Kong（香港城市大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出TASFAR，一种面向回归任务的目标无关无源域适应方法，利用预测置信度估计目标标签分布来校准源模型，在四个回归任务上平均减少22%误差，性能显著优于现有无源UDA方法。
2023-12-01 cs.AI cs.LG stat.ML
Stable Prediction with Model Misspecification and Agnostic Distribution Shift
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）
对于许多机器学习算法，需要两个主要假设来保证性能。一个是测试数据与训练数据来自相同的分布，另一个是模型被正确指定。然而，在实际应用中，我们通常对测试数据和底层真实模型的先验知识很少。在模型误设定下，训练数据和测试数据之间的不可知分布偏移会导致参数估计的不准确性和对未知测试数据预测的不稳定性。为了解决这些问题，我们提出了一种新的去相关加权回归（DWR）算法，该算法联合优化变量去相关正则化器和加权回归模型。变量去相关正则化器估计每个样本的权重，使得变量在加权的训练数据上去相关。然后，将这些权重用于加权回归，以提高对各变量影响的估计精度，从而有助于提高预测在未知测试数据中的稳定性。大量的实验清楚地表明，我们的DWR算法可以显着提高参数估计的准确性和预测的稳定性与模型误设定和不可知的分布偏移。
2020-01-31 cs.LG stat.ML
Dimension Agnostic Testing of Survey Data Credibility through the Lens of Regression
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL（Lille大学Scool团队，Inria，CNRS，Centrale Lille，UMR 9189-CRIStAL）；Indian Statistical Institute Kolkata, India（印度统计研究所，印度）
针对高维分布距离检验样本复杂度随维度指数增长的问题，提出面向回归任务的模型特定可信度度量与验证算法，在不重建回归模型的情况下实现维度无关的样本复杂度，并给出理论证明与数值验证。
2025-08-28 cs.LG stat.ML
Agnostic Smoothed Online Regression with Adversarial Responses
University of Michigan（密歇根大学）
针对对抗性响应的平滑在线回归，提出Hedge-Cover算法，实现次线性遗憾并匹配下界，解决开放问题，并量化噪声影响。
2026-09-29 cs.LG math.ST stat.ML
Distribution-Free Model-Agnostic Regression Calibration via Nonparametric Methods
Imperial College Business School, Imperial College London（帝国理工学院商学院）
本文提出无分布、模型无关的非参数回归校准方法，首次以最小假设同时实现个体校准和有限样本保证，并建立匹配的校准误差上下界。
2023-10-26 cs.LG stat.ME stat.ML
Uncertainty in Model-Agnostic Meta-Learning using Variational Inference
University of Adelaide（阿德莱德大学）；University of Liverpool（利物浦大学）
我们引入了一个新的，严格制定贝叶斯元学习算法，学习概率分布的模型参数先验少样本学习。该算法采用基于梯度的变分推理来推断模型参数对新任务的后验。我们的算法可以应用于任何模型架构，并可以实现在各种机器学习范例，包括回归和分类。我们表明，用我们提出的元学习算法训练的模型校准得很好，很准确，在两个Few-Shot分类基准（Omniglot和Mini-ImageNet）上具有最先进的校准和分类结果，并且在多模态任务分布回归中具有竞争力。
2019-10-30 cs.LG stat.ML
Causally Regularized Learning with Agnostic Data Selection Bias
Tsinghua University（清华大学）；Tencent（腾讯）
以往的大多数机器学习算法都是基于独立同分布提出的。假说.然而，这一理想假设在实际应用中往往被违背，在训练和测试过程之间可能会出现选择偏差。此外，在许多情况下，测试数据在训练过程中甚至是不可用的，这使得传统的方法如迁移学习由于需要测试分布的先验而不可行。因此，如何解决鲁棒模型学习中的不可知选择偏差问题，无论是在理论研究还是实际应用中都具有重要意义。在假设变量之间的因果关系是跨域鲁棒的前提下，将因果技术引入预测建模，提出了一种新的因果正则化逻辑回归（CRLR）算法，该算法通过联合优化全局混杂因子平衡和加权逻辑回归来实现。全局混杂因素平衡有助于识别因果特征，其对结果的因果影响在各个领域都是稳定的，然后对这些因果特征进行逻辑回归，构建一个针对不可知偏倚的稳健预测模型。为了验证我们的CRLR算法的有效性，我们进行了全面的实验合成和真实世界的数据集。实验结果清楚地表明，我们的CRLR算法优于国家的最先进的方法，我们的方法的可解释性可以充分描绘的特征可视化。
2018-08-19 cs.CV cs.MM stat.ML
Task Agnostic Robust Learning on Corrupt Outputs by Correlation-Guided Mixture Density Networks
Kakao Brain；Seoul National University（首尔大学）；UNIST（蔚山科学技术院）
本文在分析了现有文献的基础上，我们针对分类和回归问题，重点研究带噪声训练数据的弱监督学习。我们假设训练输出是从目标分布和相关噪声分布的混合物中收集的。我们提出的方法同时估计目标分布和每个数据的质量，该质量被定义为目标和数据生成分布之间的相关性。该方法的基石是一个Cholesky块，使模型之间的依赖关系的混合分布在一个可微的方式，我们保持分布的网络权重。我们首先提供了说明性的例子，在回归和分类任务，以显示所提出的方法的有效性。然后，所提出的方法在大量的实验中得到了广泛的评价，我们表明，与现有的方法相比，处理噪声数据的基线方法。
2020-04-08 cs.LG stat.ML
Robust and Agnostic Learning of Conditional Distributional Treatment Effects
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技）
本文提出一种鲁棒且模型无关的条件分布处理效应学习方法，通过构造伪结果并利用任意回归学习器，在慢速估计讨厌参数下仍能有效学习并推断 CDTE。
2025-06-04 cs.LG econ.EM stat.ME
Model Agnostic Time Series Analysis via Matrix Estimation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种算法来估算和预测的时间序列转换成一个矩阵，利用矩阵估计来恢复缺失值和去噪观测条目，并进行线性回归进行预测。我们分析的核心是一个表示结果，它指出对于一个大的模型类，变换后的时间序列矩阵是（近似）低秩的。实际上，这概括了时间序列文献中广泛使用的奇异谱分析（SSA），并使我们能够在时间序列分析和矩阵估计之间建立严格的联系。建立这种链接的关键是构建具有非重叠条目的Page矩阵，而不是如文献中通常所做的Hankel矩阵（例如，SSA）。这种特殊的矩阵结构使我们能够提供有限样本分析的填补和预测，并证明我们的方法的渐近一致性。我们的算法的另一个显着特点是，它是模型不可知论的基础时间动态和噪声分布的意见。我们的方法的噪声不可知属性允许我们在仅获得隐马尔可夫模型中的噪声和部分观测时恢复潜在状态;例如，恢复泊松过程的时变参数，而不知道底层过程是泊松。此外，由于我们的预测算法需要具有噪声特征的回归，因此我们的方法提出了一种基于矩阵估计的方法-再加上一种新的非标准矩阵估计误差度量-来解决变量回归问题中的误差，这可能是其本身的利益。通过合成和真实世界的数据集，我们证明了我们的算法优于标准的软件包（包括R库）的缺失数据的存在，以及高水平的噪音。
2019-04-26 cs.LG stat.ML
Statistical Query Lower Bounds for Smoothed Agnostic Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出光滑鲁棒学习中半空间学习的统计查询下界，证明$ L_1 $-多项式回归的上界接近最优。
2026-02-24 cs.DS cs.LG stat.ML
Sharp Structure-Agnostic Lower Bounds for General Linear Functional Estimation
Stanford University（斯坦福大学）
本文提出了一般线性函数估计的锐利结构无关下界，证明了双重鲁棒估计器的统计最优性，并区分了双重鲁棒性和一阶去偏在不同情形下的最优性。
2026-01-05 cs.LG econ.EM math.ST
Structure-agnostic Optimality of Doubly Robust Learning for Treatment Effect Estimation
Stanford University（斯坦福大学）
本文在不假设冗余函数结构的统计下界框架下，证明双重稳健估计量对ATE、ATT及ATE加权变体均具有统计最优性。
2025-06-08 cs.LG econ.EM math.ST
Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression
University of Washington（华盛顿大学）
合作博弈论中的Shapley值概念已经成为解释ML模型的流行技术，但有效地估计这些值仍然具有挑战性，特别是在模型不可知的环境中。在这里，我们重新审视通过线性回归估计Shapley值的想法，以理解和改进这种方法。通过分析原始KernelSHAP以及新提出的无偏版本，我们开发了检测其收敛性和计算不确定性估计的技术。我们还发现，原来的版本会导致一个可忽略不计的偏差增加，以换取显着降低方差，我们提出了一个方差减少技术，进一步加快收敛的两个估计。最后，我们开发了一个版本的KernelSHAP随机合作游戏，产生快速的新估计的两个全球性的解释方法。
2021-04-23 cs.LG stat.ML
auditor: an R Package for Model-Agnostic Visual Validation and Diagnostics
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
机器学习模型几乎已经扩展到生活的各个领域。它们成功地应用于生物、医学、金融、物理等领域。使用现代软件，即使是一个非常复杂的模型，也可以很容易地进行训练，使其适合训练数据，并在测试集上获得高精度。当模型在面对真实世界的数据时失败时，问题就出现了。本文介绍了模型无关审计的方法和工具。所介绍的技术有助于评估和比较模型的拟合优度和性能。此外，它们还可用于残差的相似性分析、异常值和影响值的识别。通过诊断评分和目视验证进行检查。所提出的方法已在R.由于语法的灵活性和一致性，验证任何类的模型都很简单。
2020-05-26 cs.LG cs.MS stat.CO
Structural Agnostic Modeling: Adversarial Learning of Causal Graphs
本文提出了一种新的因果发现方法--结构不可知建模（SAM）。SAM利用条件独立性和分布不对称性，旨在从观测数据中找到潜在的因果结构。该方法是基于不同的球员之间的游戏，估计每个变量的分布有条件的其他神经网络，和一个对手，旨在区分所生成的数据对原始数据。结合分布估计，稀疏性和无环性约束的学习准则是用来执行通过随机梯度下降的图的结构和参数的优化。SAM在合成和真实数据上进行了广泛的实验验证。
2022-07-25 stat.ML
Recursive Prediction of Graph Signals with Incoming Nodes
KTH Royal Institute of Technology（KTH皇家理工学院）
核函数和线性回归最近已经被探索用于预测作为输出的图形信号，给定对图形不可知的任意输入信号。在许多现实世界的问题中，随着新节点的引入，图会随着时间的推移而扩展。考虑到这一前提，我们提出了一种方法来递归地获得最近提出的线性回归图（LRG）的最佳预测或回归系数，因为图随着传入节点而扩展。这是回归问题的结构C（W）=的自然结果，并且避免了每次添加新节点时解决新回归问题的需要。与现实世界的图信号的实验表明，我们的方法在良好的预测性能，往往是接近从知道整个图先验获得。
2019-11-26 cs.LG eess.SP stat.ML
On the good reliability of an interval-based metric to validate prediction uncertainty for machine learning regression tasks
Institut de Chimie Physique, UMR8000 CNRS（法国国家科学研究中心物理化学研究所）；Université Paris-Saclay（巴黎萨克雷大学）
本文提出使用基于区间的指标PICP替代对方差敏感的传统校准指标来验证机器学习回归中的预测不确定性，实验证明该方法能更快速可靠地测试更多数据集并准确估计95%预测区间。
2024-08-26 cs.LG stat.ML
Metric-valued regression
本文提出了一种在两个度量空间间学习映射的高效算法，基于度量中位数，解决了无界损失情况下非理想设定下的可学习性问题。
2022-02-07 cs.LG stat.ML
Fairness Measures for Regression via Probabilistic Classification
Gradient Institute（梯度研究所）
算法公平性涉及将公平或合理待遇等概念表达为机器学习算法可以优化的可量化度量。迄今为止，文献中的大多数工作都集中在分类问题上，其中预测是分类的，例如接受或拒绝贷款申请。这部分是因为分类公平性措施很容易通过比较结果率来计算，从而导致确保合格男子与合格妇女的比例相同等行为。但在计算上，这些措施很难推广到定价或分配支付等问题的连续回归设置。困难来自于估计条件密度（例如系统将过度充电一定量的概率密度）。对于回归设置，我们通过观察它们作为受保护属性的不同条件概率的比率分解，引入独立性，分离性和充分性标准的易于处理的近似。我们引入并训练机器学习分类器，与预测器不同，作为从数据中估计这些概率的机制。这自然会导致模型不可知的，易于处理的近似的标准，我们探索实验。
2020-03-05 cs.CY cs.LG stat.ML
Online Censoring for Large-Scale Regressions with Application to Streaming Big Data
线性回归可以说是统计推断方法中最突出的，因其简单性和广泛的适用性而流行。与数据密集型应用程序一样，线性回归问题的庞大规模导致了对快速且经济高效的求解器的需求不断增长。幸运的是，可以省略很大一部分累积的数据，同时以可承受的计算预算保持一定质量的统计推断。本文介绍了基于随机逼近和数据截尾原理，以在线和数据自适应方式识别和省略“信息量较少”观察结果的方法。提出了基于一阶和二阶随机逼近的极大似然估计算法，用于估计删失观测的回归系数。在线算法也提出了自适应执行审查以及估计，以减少整体的复杂性。新的算法需要简单的封闭形式的更新，并有可证明的（非）渐近收敛保证。此外，特定的规则进行了研究，调整到所需的审查模式和降维水平。在真实和合成数据集上的模拟测试证实了所提出的数据自适应方法与基于数据不可知的随机投影的替代方法相比的有效性。
2015-07-27 stat.AP stat.ML
NLS: an accurate and yet easy-to-interpret regression method
University College Cork（科克大学学院）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；University of São Paulo（圣保罗大学）；University of São Carlos（圣卡洛斯大学）
成功的监督机器学习应用的一个重要特征是能够解释所使用的回归或分类模型给出的预测。然而，大多数具有良好预测能力的最先进模型导致难以解释的预测。因此，最近开发了几种模型不可知的解释器，作为解释黑盒分类器的一种方式。实际上，使用这些方法是一个缓慢的过程，因为每个新的测试实例都需要一个新的拟合，并且必须做出几个重要的选择。我们开发了NLS（神经局部平滑），一种足够复杂的方法，可以提供良好的预测，但提供的解决方案很容易解释，而不需要使用单独的解释器。其关键思想是使用一个神经网络，将局部线性形状强加给输出层。我们表明，NLS导致的预测能力是最先进的机器学习模型相媲美，但更容易解释。
2019-10-11 cs.LG stat.ME stat.ML
