auton-survival: an Open-Source Package for Regression, Counterfactual Estimation, Evaluation and Phenotyping with Censored Time-to-Event Data
Carnegie Mellon University（卡内基梅隆大学）
机器学习在医疗保健中的应用通常需要处理时间到事件的预测任务，包括不良事件、再次住院或死亡的预测。由于失访，此类结局通常会被删失。标准的机器学习方法不能直接应用于具有删失结果的数据集。在本文中，我们介绍了auton-survival，一个开源的工具库，用于简化审查事件发生时间或生存数据的工作。自动生存包括生存回归工具、在存在域转移的情况下的调整、反事实估计、用于风险分层的表型、评估以及治疗效果的估计。通过使用SEER肿瘤发病率数据的一个大子集的真实案例研究，我们证明了自动生存的能力，以快速支持数据科学家回答复杂的健康和流行病学问题。
2022-08-03 cs.LG cs.MS stat.ML
Generalized Encouragement-Based Instrumental Variables for Counterfactual Regression
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Emory University（埃默里大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Carnegie Mellon University（卡内基梅隆大学）
本文针对激励设计中随机化不完全、数据有限及激励稀少导致因果效应估计困难的问题，提出了广义工具变量估计器EnCounteR，结合观察与激励数据有效识别条件平均处理效应，并在合成与真实数据集上验证了其优越性。
2024-12-19 cs.LG stat.ME stat.ML
Causal Contrastive Learning for Counterfactual Regression Over Time
Paris-Saclay University（巴黎萨克雷大学）；CentraleSupélec（中央高等电力学院）；Saint-Gobain（圣戈班集团）
针对时间维度反事实回归的长期预测问题，提出结合RNN、对比预测编码与信息最大化准则的因果对比学习方法，在合成与真实数据上取得最优反事实估计效果，首次将对比预测编码引入因果推断。
2024-10-29 cs.LG stat.ME
Diffusion Counterfactuals for Image Regressors
Technische Universität Berlin（柏林工业大学）
本文提出两种基于扩散模型的反事实生成方法，分别作用于像素空间和潜在空间，用于图像回归任务，以生成稀疏且高质量的解释，并揭示虚假相关性。
2025-03-26 cs.CV cs.LG stat.ML
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London（伦敦大学城市学院）
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中，局部解释被期望解释预测的结果以及如果“事情有所不同”，预测将如何改变。此外，我们认为，令人满意的解释不能脱离的概念和保真度的措施，主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型，这是基于距离的目标决策边界。一个系统称为CLEAR：通过回归反事实的本地解释，介绍和评价。CLEAR生成w-反事实解释，说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型，使用w-反事实来衡量和提高其回归的保真度。相比之下，流行的LIME方法也使用回归来生成局部解释，既不测量自己的保真度，也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的，平均超过45%以上，在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
Cost-Effective Incentive Allocation via Structured Counterfactual Inference
University of California, Berkeley（加州大学伯克利分校）；Ant Financial Service Group（蚂蚁金融服务集团）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们解决了一个普遍存在于现代营销活动中的实际问题，在这个问题中，中央代理试图学习一个政策，用于向客户分配战略性的财务激励措施，并只观察到强盗反馈。与传统的政策优化框架相比，我们考虑到在这种情况下常见的额外的奖励结构和预算约束，并开发了一个新的两步法来解决这个约束反事实的政策优化问题。我们的方法首先铸造的奖励估计问题作为一个补充结构的域适应问题，然后使用的估计优化的政策约束。我们还建立了我们的估计过程的理论误差范围，我们的经验表明，该方法导致显着改善合成和真实的数据集。
2019-11-11 cs.LG stat.ML
CF-OPT: Counterfactual Explanations for Structured Prediction
CIRRELT；SCALE-AI Chair in Data-Driven Supply Chains（SCALE-AI数据驱动供应链讲席教授）；Polytechnique Montreal（蒙特利尔理工学院）；CERMICS；École des Ponts（巴黎桥路学院）
本文针对深度神经网络中优化层的结构化学习缺乏可解释性问题，提出CF-OPT算法，基于变分自编码器在潜在空间中寻找反事实解释，提升模型透明度。
2024-06-03 cs.LG
Counterfactually Fair Regression via Optimal Transport
Inria, Soda team（Inria，Soda团队）；Inria, FairPlay joint team（Inria，FairPlay联合团队）；CREST, ENSAE, IP Paris（CREST，ENSAE，IP巴黎）；CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris（CMAP，CNRS，Polytechnique学院，巴黎理工学院）
本文采用因果不确定性视角，通过重采样噪声定义反事实公平性，提出基于最优传输的后处理估计器，并证明其有限样本公平性保证和风险界。
2026-05-27 cs.CY cs.LG stat.ML
Conditional Counterfactual Mean Embeddings: Doubly Robust Estimation and Learning Rates
Chiang Mai University（恰良迈大学）
本文提出条件反事实均值嵌入框架，结合双重稳健估计与学习速率分析，用于异质处理效应的估计与学习。
2026-11-10 cs.LG stat.ML
Revisiting Counterfactual Regression through the Lens of Gromov-Wasserstein Information Bottleneck
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本研究提出Gromov-Wasserstein信息瓶颈（GWIB）范式，通过最大化潜在表示与结果的互信息并惩罚与协变量的核化互信息，以抑制选择偏差，从而提升反事实回归在个体化治疗效果估计中的性能。
2024-05-24 cs.AI cs.LG stat.ML
Counterfactual Outcome Prediction using Structured State Space Model
Purdue University（普渡大学）
本文探讨了状态空间模型在纵向数据反事实结果预测中的应用，通过实验证明S4Model比TE-CDE训练更高效、预测更准确且更稳定。
2023-05-16 cs.AI cs.LG stat.ME
Counterfactual Residual Data Augmentation for Regression
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
针对回归任务中数据有限、噪声大的问题，提出反事实残差数据增强（CRDA）方法，利用残差不变性生成新样本，在多个数据集上平均降低MLP回归器MSE 22.9%，XGBoost回归器MSE 6.4%。
2026-06-26 cs.AI cs.LG
Causal Dynamic Variational Autoencoder for Counterfactual Regression in Longitudinal Data
Paris-Saclay University, CentraleSupélec, MICS Lab（巴黎-萨克雷大学，中央超导实验室，MICS实验室）
本文提出因果动态变分自编码器（CDVAE），通过建模未观测调整变量来估计纵向数据中的条件平均处理效应，并在理论和实验上证明其能显著提升现有模型的CATE估计性能。
2025-11-10 cs.LG stat.ML
CDS: Counterfactual Directionality Score for Structured Interventions in Spatial Graphs
University of Houston（休斯顿大学）
研究旨在量化图模型中节点群体间方向性影响，提出基于图模型的结构化反事实干预框架，训练邻居影响模型并定义CDS，通过实验验证该方法能有效恢复方向性影响，对混杂信号有鲁棒性，在生物数据上有合理一致的相互作用。
2026-07-16 cs.LG
CFRecs: Counterfactual Recommendations on Real Estate User Listing Interaction Graphs
Arizona State University（亚利桑那州立大学）；Zillow Group（Zillow集团）
CFRecs通过反事实推理在房地产用户列表交互图中生成可操作的推荐，提升推荐系统的可解释性和实用性。
2026-02-05 cs.LG stat.ML
EvoMorph: Counterfactual Explanations for Continuous Time-Series Extrinsic Regression Applied to Photoplethysmography
Centre for Digital Health Interventions, ETH Zurich（数字健康干预中心，苏黎世联邦理工学院）；Centre for Digital Health Interventions, University of St.Gallen（数字健康干预中心，圣加伦大学）
EvoMorph通过多目标进化框架生成生理合理的反事实解释，提升连续生物医学时间序列的可解释性和可信度。
2026-01-15 cs.LG
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Leveraging Structured Biological Knowledge for Counterfactual Inference: a Case Study of Viral Pathogenesis
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Microsoft（微软）；Northeastern University（东北大学）；Enveda Biosciences（恩维达生物科学公司）；Altdeep（阿尔特迪普）
反事实推理是比较复杂系统干预结果的有用工具。它要求我们以结构因果模型的形式来表示系统，并配有因果图、外生变量的概率假设和功能分配。在实践中，验证这样的模型可能非常困难。该过程需要大量的领域专业知识，并且不容易扩展到大型系统、多个系统或新的系统修改。与此同时，许多应用领域，如分子生物学，丰富的结构化因果知识，是定性的性质。本文提出了一种查询因果生物知识图的通用方法，并将定性结果转换为定量结构因果模型，该模型可以从数据中学习来回答问题。我们证明了这种方法的可行性，准确性和通用性，使用两个案例研究系统生物学。第一种方法证明了基本假设的适当性和结果的准确性。第二个演示的多功能性的方法，查询知识库的分子决定因素的严重急性呼吸综合征冠状病毒2（SARS-CoV-2）诱导的细胞因子风暴，并进行反事实推理，以估计的因果关系影响的医疗对策重症患者。
2021-01-13 cs.AI cs.LG q-bio.QM
Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities
RWTH Aachen（亚琛工业大学）；LMU Munich（慕尼黑大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
将加性模型和神经网络相结合，可以扩大统计回归的范围，同时通过可解释的结构化加性预测器扩展基于深度学习的方法。然而，现有的尝试将两种建模方法结合起来，仅限于非常特定的组合，更重要的是，涉及可识别性问题。因此，可解释性和稳定的估计通常会丢失。我们提出了一个通用框架，将结构化回归模型和深度神经网络结合到一个统一的网络架构中。为了克服不同模型部分之间固有的可识别性问题，我们构建了一个正交化单元，将深度神经网络投影到统计模型预测器的正交补中。这使得能够正确估计结构化模型部分，从而实现可解释性。我们证明了该框架的数值实验的有效性，并说明其特殊的优点，在基准和现实世界中的应用。
2022-07-09 cs.LG stat.ME stat.ML
Do We Exploit all Information for Counterfactual Analysis? Benefits of Factor Models and Idiosyncratic Correction
Princeton University（普林斯顿大学）；Sao Paulo School of Economics (EESP), Getulio Vargas Foundation（圣保罗经济学院，热图利奥·瓦加斯基金会）；Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）
最优定价，即，确定使给定产品的利润或收入最大化的价格水平是零售业的重要任务。要选择这样一个数量，首先需要从产品需求中估计价格弹性。回归方法通常无法恢复这种弹性，由于混杂效应和价格的内生性。因此，通常需要随机化实验。然而，弹性可以是高度异质性的，这取决于例如商店的位置。由于随机化经常发生在市政一级，标准的差异中的差异方法也可能失败。可能的解决方案是基于方法来测量处理对单个（或仅仅几个）处理单元的影响，该方法基于从人工控制构建的反事实。例如，对于处理组中的每个城市，可以从未处理的位置构建反事实。在本文中，我们采用了一种新的高维统计方法来衡量价格变化对巴西一家主要零售商的日常销售额的影响。所提出的方法结合了主成分（因子）和稀疏回归，从而产生了一种称为因子调整正则化治疗评价方法（\texttt{FarmTreat}）的方法。这些数据包括400多个城市的五种不同产品的每日销售和价格。所考虑的产品属于\emph{sweet and candies}类别，并已在2016年和2017年进行了实验。我们的研究结果证实了假设的高度异质性产生非常不同的定价策略，在不同的城市。
2022-01-10 cs.LG econ.EM stat.AP
Conditional Generative Models for Counterfactual Explanations
Seldon Technologies（塞尔登科技）
反事实实例为机器学习模型的本地行为提供了人类可解释的洞察力。我们提出了一个通用的框架来生成稀疏的，分布中的反事实模型解释，该解释将所需的目标预测与条件生成模型相匹配，允许用单个向前传递生成批量反事实实例。该方法相对于所使用的生成模型的类型以及底层预测模型的任务是灵活的。这允许将框架直接应用于不同的模态，如图像，时间序列或表格数据，以及生成模型范例，如GANs或自动编码器和预测任务，如分类或回归。我们说明了我们的方法对图像（CelebA），时间序列（ECG）和混合型表格（成人普查）数据的有效性。
2021-01-25 cs.LG stat.ML
Counterfactual Explanation for Regression via Disentanglement in Latent Space
SCHUFA Holding AG（SCHUFA控股公司）；Technical University of Munich（慕尼黑工业大学）
本文提出一种通过在潜在空间解耦标签相关与无关维度，为预训练回归器生成反事实解释的新方法，在图像和表格数据集上表现优异且更贴近原始数据流形。
2023-11-23 cs.LG
On Counterfactual Interventions in Vector Autoregressive Models
Department of Electrical；Computer Engineering, Stony Brook University, Stony Brook, NY 11794, USA
本文提出在向量自回归模型中引入反事实推理，通过联合回归学习因果模型，并利用线性特性精确预测干预效果及量化总因果效应。
2024-06-27 cs.LG eess.SP stat.ME
G-Net: A Deep Learning Approach to G-computation for Counterfactual Outcome Prediction Under Dynamic Treatment Regimes
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
反事实预测是决策中的一项基本任务。G计算是一种在动态时变治疗策略下估计预期反事实结果的方法。现有的G-计算实现大多采用经典的回归模型，其捕获复杂的时间和非线性依赖结构的能力有限。本文介绍了G-Net，这是一种用于G计算的新型顺序深度学习框架，可以处理复杂的时间序列数据，同时施加最小的建模假设，并提供对个体或群体水平时变治疗效果的估计。我们使用从CVSim（一种心血管系统的机械模型）获得的逼真的复杂时间模拟数据来评估替代G-Net实现。
2020-03-23 cs.LG stat.ML
SPARC Segmentation to Prediction via Affine Regression and Counterfactuals
针对B2B电子商务交易倾向预测难题，提出基于DiCE合成数据生成及PyPARC框架的倾向建模框架，通过生成高质量少数类样本和校准倾向概率，提升预测精度，助力高精度营销活动。
2026-07-29 cs.LG
Structured Learning via Logistic Regression
NICTA（澳大利亚国家信息与通信技术研究院）；The Australian National University（澳大利亚国立大学）
结构化学习的一种成功方法是将学习目标写为线性参数和推理消息的联合函数，并在每个参数的更新之间进行调整。本文观察到，如果通过增加熵项来“平滑”推理问题，则对于固定消息，学习目标减少为相对于参数的传统（非结构化）逻辑回归问题。在这些逻辑回归问题中，每个训练样本都有一个由当前消息集确定的偏差项。基于这一认识，结构化能量函数可以从线性因子扩展到任何函数类，其中存在“预言”以最小化逻辑损失。
2014-07-03 cs.LG stat.ML
Disentangled Representation with Causal Constraints for Counterfactual Fairness
University of South Australia（南澳大学）；Simon Fraser University（西蒙弗雷泽大学）
针对公平表示学习忽视隐变量因果关系的问题，提出CF-VAE学习符合领域知识的结构化表示，理论保证反事实公平，并在实验中同时提升公平性与预测准确性。
2023-12-16 cs.AI cs.CY cs.LG
Counterfactual Explanations for Medical Image Classification and Regression using Diffusion Autoencoder
Technical University of Munich（慕尼黑工业大学）；Klinikum rechts der Isar（右侧伊萨尔医院）；Institute for Artificial Intelligence and Computer Science in Medicine, Technical University of Munich（慕尼黑工业大学人工智能与医学计算机科学研究所）；Computer Aided Medical Procedures, Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序研究所）；AI for Image-Guided Diagnosis and Therapy, Technical University of Munich（慕尼黑工业大学图像引导诊断与治疗人工智能研究所）
本文提出直接在扩散自编码器潜在空间上生成反事实解释的方法，无需额外模型或标注数据，支持二值与有序反事实可视化，并在椎体压缩性骨折和糖尿病视网膜病变等医学影像任务中验证了其可解释性与通用性。
2024-10-01 cs.CV cs.LG
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST（韩国科学技术院）
对抗性例证的起源在研究领域中仍然是一个谜，尽管有广泛的研究，但它引起了各种观点的争论。在本文中，我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法，即对抗工具变量（IV）回归。通过部署它，我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器（即，假设模型）和最坏情况的反事实（即，测试功能）干扰寻找因果特征。通过广泛的分析，我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关，并且反事实表现出严重偏离正确预测的极端特征。此外，我们提出了如何有效地将因果特征（CAFE）引入防御网络，以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
Cornell University（康奈尔大学）
我们开发了一个学习原理和一个有效的算法，批量学习从记录的强盗反馈。这种学习设置在在线系统中无处不在（例如，广告投放、网络搜索、推荐），其中算法进行预测（例如，广告排名）对于给定输入（例如，查询）并观察Bandit反馈（例如，用户点击呈现的广告）。我们首先通过倾向评分来解决学习问题的反事实性质。接下来，我们证明了泛化误差的范围，占的倾向加权经验风险估计的方差。这些建设性的界限产生了反事实风险最小化（CRM）原则。我们展示了如何CRM可以用来获得一个新的学习方法-称为政策优化指数模型（POEM）-学习随机线性规则的结构化输出预测。我们提出了一个分解的POEM目标，使有效的随机梯度优化。POEM的几个多标签分类问题进行了评估，表现出显着改善的鲁棒性和泛化性能相比，国家的最先进的。
2015-05-20 cs.LG stat.ML
Counterfactual Fragility Certificates: Exposing High-Confidence Brittleness under Structured Evidence Failure
Macquarie University（麦考瑞大学）
该研究提出反事实脆弱性证书（CFC），用于审计表格决策系统中高置信度预测的脆弱性，CFC-FDS在识别脆弱高置信度案例上表现优于现有方法，为模型可靠性评估提供了新框架。
2026-09-02 cs.AI cs.LG
Very fast, approximate counterfactual explanations for decision forests
University of California, Merced（加州大学默塞德分校）
我们考虑为分类或回归森林（如随机森林）找到一个反事实的解释。这需要解决一个优化问题，以找到最接近给定实例的输入实例，森林输出所需的值。找到一个精确的解决方案的成本是森林中叶子数量的指数。我们提出了一种简单但非常有效的方法：我们将优化限制在由实际数据点填充的森林定义的输入空间区域。该问题简化为在特定数据集上使用特定距离的最近邻搜索的形式。这有两个优点：首先，可以非常快速地找到解决方案，扩展到大型森林和高维数据，并实现交互式使用。第二，找到的解决方案更可能是现实的，因为它被引导到输入空间的高密度区域。
2023-03-06 cs.LG stat.ML
Factorized Structured Regression for Large-Scale Varying Coefficient Models
LMU Munich（慕尼黑大学）；RWTH Aachen（亚琛工业大学）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）；Flatiron Institute（熨斗研究院）；University of St.Gallen（圣加仑大学）
推荐系统（RS）渗透到我们日常数字生活的许多方面。建议大规模工作，最先进的RS允许对数千个交互进行建模，并促进高度个性化的建议。从概念上讲，许多RS可以被视为统计回归模型的实例，这些模型包含复杂的特征效应和潜在的非高斯结果。然而，这种结构化的回归模型，包括时间感知的变系数模型，在其适用性方面受限于分类效应和包含大量的相互作用。在这里，我们提出了可扩展的变系数模型的因子化结构回归（FaStR）。FaStR通过在基于神经网络的模型实现中结合结构化加法回归和因子分解方法，克服了大规模数据的一般回归模型的局限性。这种融合为在以前不可行的数据设置中估计统计模型提供了一个可扩展的框架。实证结果证实，我们的方法的不同系数的估计是与国家的最先进的回归技术，而缩放显着更好，也与其他时间感知RS的预测性能方面的竞争力。我们说明了FaStR的性能和可解释性的大规模行为研究与智能手机用户数据。
2022-05-25 cs.LG stat.CO stat.ML
Ordinal Regression as Structured Classification
University of Bristol（布里斯托大学）
本文扩展了有序回归模型类的结构化解释的问题，通过应用一种新的治疗编码标签。这样做的净效果是将潜在的问题从有序回归任务转换为我们用条件随机场解决的（结构化）分类任务，从而实现一个连贯的概率模型，其中所有模型参数都是联合学习的。重要的是，我们表明，虽然我们已经铸造有序回归分类，我们的方法仍然属于有序回归本体的分解方法的类。这是一个重要的环节，因为我们的经验是，机器学习在医疗保健方面的许多应用完全忽略了标签排序的重要性质，因此这些方法在这个本体中应该被认为是幼稚的。我们还表明，我们的模型是灵活的，无论是在它如何适应数据流形，并在可供从业者执行的操作。我们的实证评估表明，所提出的方法压倒性地产生优越的，往往是统计上显着的结果超过基线方法对40个流行的有序回归模型，并表明，所提出的模型显着优于合成和真实数据集的基线。我们的实现，以及用于重现这项工作结果的脚本，将在公共GitHub存储库中提供。
2019-05-31 cs.LG stat.ML
Counterfactual Learning on Graphs: A Survey
The Pennsylvania State University（宾夕法尼亚州立大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；Michigan State University（密歇根州立大学）
本综述系统分类并全面回顾了图上的反事实学习，涵盖公平性、可解释性、链接预测等应用，并指出了未来研究方向及资源集合。
2024-07-23 cs.LG
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Counterfactual Explainable AI (XAI) Method for Deep Learning-Based Multivariate Time Series Classification
CONFETTI是一种针对多变量时间序列分类的新型因果解释方法，通过平衡预测置信度、接近性和稀疏性，提升模型可解释性和决策支持能力。
2025-11-24 cs.LG stat.ML
Nash: Neural Adaptive Shrinkage for Structured High-Dimensional Regression
Departments of Statistics and Human Genetics（统计学与人类遗传学系）
本文提出Nash框架，通过神经网络整合协变量特定的侧信息，实现高维稀疏回归，提升模型适应性和准确性。
2026-05-17 cs.LG stat.ML
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UC Berkeley（加州大学伯克利分校）
本文提出了一个有效的变分推理框架，推导出一个家庭的结构化高斯过程回归网络（SGPRN）模型。其关键思想是在隐函数中引入辅助诱导变量，并将诱导变量和超参数的分布共同视为变分参数。然后，我们提出了结构化变量分布和边际化潜变量，这使得一个易于处理的变分下界的可分解性，并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据，从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能，并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法，用于在心电图数据中跨输出的时变相关性，这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research（微软研究院）；Technicolor R & I（汤姆逊研发中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一些学习应用程序需要解决高维回归问题，其中相关特征属于少量（重叠）组。对于非常大的数据集和标准稀疏性约束下，硬阈值方法已被证明是非常有效的，但这种方法需要NP硬投影时，处理重叠的群体。在本文中，我们表明，这种NP难预测不仅可以避免呼吁子模块优化，但这样的方法来与强有力的理论保证，即使在存在条件不佳的数据（即当两个功能有相关性$\geq 0.99$），现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡，并可以扩展到显着困难的问题，如稀疏重叠组。真实和合成数据上的实验验证了我们的主张，并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Structured Point Cloud Data Analysis via Regularized Tensor Regression for Process Modeling and Optimization
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Salento（萨伦托大学）
先进的3D测量技术，如坐标测量机（CMM）和激光3D扫描仪，促进了大量点云数据的收集，有利于过程监测，控制和优化。然而，由于点云的高维性和结构复杂性，其建模和分析仍然是一个挑战。在本文中，我们利用多线性代数技术，并提出了一套张量回归方法来模拟点云的变化模式，并将它们连接到过程变量。所提出的方法的性能进行了评估，通过模拟和车削工艺优化的实际案例研究。
2018-12-01 cs.CV cs.LG stat.ML
Adaptive Group-Based Counterfactual Explanations for Time-Series Rehabilitation Data
NWO LoaD-project（荷兰科研组织（NWO）LoaD项目）
针对多变量时间序列分类器在康复数据分析中难以解释的问题，提出两阶段框架，通过可学习门控机制生成基于语义特征组的反事实解释，在保持有效性的同时提升组级稀疏性和临床可解释性。
2026-07-03 cs.LG
Measuring and Reducing Model Update Regression in Structured Prediction for NLP
The Chinese University of Hong Kong（香港中文大学）；Amazon AWS AI Labs（亚马逊AWS人工智能实验室）；University of Cambridge（剑桥大学）
深度学习的最新进展使得基于机器学习的NLP模型在广泛的应用中得到快速采用。尽管准确性不断提高，向后兼容性也是工业应用的一个重要方面，但它很少受到研究关注。向后兼容性要求新模型不会在其前身正确处理的情况下回归。本文研究了结构化预测任务中的模型更新回归。我们选择句法依存句法分析和会话语义解析作为NLP中结构化预测任务的典型例子。首先，我们测量和分析模型更新回归在不同的模型更新设置。接下来，我们探索和基准现有的技术，减少模型更新回归，包括模型集成和知识蒸馏。我们进一步提出了一个简单而有效的方法，向后一致重新排序（BCR），考虑到结构化预测的特点。实验结果表明，BCR比模型集成和知识蒸馏方法能更好地抑制模型更新回归。
2022-10-08 cs.AI cs.CL cs.LG
Navigating Time's Possibilities: Plausible Counterfactual Explanations for Multivariate Time-Series Forecast through Genetic Algorithms
本文提出一种结合遗传算法和因果性测试的方法，用于多变量时间序列预测中的反事实解释，旨在揭示隐藏的因果关系并预测假设干预下的结果。
2026-03-01 cs.LG
Counterfactual Supervision-based Information Bottleneck for Out-of-Distribution Generalization
South China University of Technology（华南理工大学）
学习不变（因果）特征的分布外（OOD）推广最近引起了广泛的关注，其中不变风险最小化（VRM）是一个值得注意的解决方案。尽管线性回归理论上有希望，但在线性分类问题中使用递归的挑战仍然存在。通过将信息瓶颈（IB）原理引入到机器学习中，IB-SVM方法已经证明了它解决这些挑战的能力。本文从两个方面进一步改进了IB-SVM。首先，我们证明了在IB-EQUIPMENT中使用的不变特征的支持重叠的关键假设对于保证OOD泛化是强有力的，并且在没有这个假设的情况下仍然有可能实现最优解。其次，我们说明了两种故障模式，IB-ESTA（和ESTA）可能会失败的学习不变的功能，并解决这样的故障，我们提出了一个\textit{Counterfactual Supervision-based Information Bottleneck (CSIB)}学习算法，可证明恢复不变的功能。通过要求反事实推理，CSIB即使在从单个环境访问数据时也能工作。在多个数据集上的实验验证了我们的理论结果。
2023-01-16 cs.LG
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Vanderbilt University（范德堡大学）；Suning Commerce R&D Center USA, Inc（苏宁美国研发中心）；Beijing Jiaotong University（北京交通大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；National Time Service Center, Chinese Academy of Sciences（中国科学院国家授时中心）；Graduate University of Chinese Academy of Sciences（中国科学院研究生院）
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器，忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题，我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略，在每个数据点的邻域中，我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验，结果表明了所提出的方法的优点。
2016-08-16 cs.LG
GenCAR: Generative Counterfactual Alignment with Risk-Controlled Selection for Out-of-Distribution Recommendation
Southern University of Science and Technology（南方科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究针对分布外推荐的风险问题，提出GenCAR方法，通过控制代理标签错误发现率，提升了不同基准下的分布外推荐候选恢复效果。
2026-09-03 cs.IR cs.LG
Finding Regions of Counterfactual Explanations via Robust Optimization
Amsterdam Business School, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹商学院）
本文提出一种基于鲁棒优化的迭代方法，能够生成在特征扰动下仍有效的反事实解释区域，并证明了其在逻辑回归、决策树、随机森林和神经网络上的收敛性，实验验证了其高效性和全局最优性。
2023-10-26 cs.LG
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Semi-supervised learning for structured regression on partially observed attributed graphs
Temple University（天普大学）；University of Belgrade, Faculty of Organizational Sciences（贝尔格莱德大学组织科学学院）
条件概率图模型为具有复杂相关模式的时空数据集的结构化回归提供了一个强大的框架。然而，在现实生活中的应用中，很大一部分的观察往往是失踪，这可能会严重限制这些模型的代表性的权力。本文提出了一种边缘化高斯条件随机场（m-GCRF）结构回归模型，用于处理部分观测时间属性图中的缺失标签。该方法旨在使用标记和未标记的部分进行学习，并有效地预测图中的未来值。该方法甚至能够从历史上从未观察到响应变量的节点学习，这给许多可以处理缺失数据的最先进模型带来了问题。所提出的模型的特点是各种缺失机制的500合成图。新方法的好处也证明了一个具有挑战性的应用程序，预测降水的基础上，在一个时间图，跨越整个美国大陆的气候变量的部分观测。我们还表明，该方法可以通过积极减少气象站的数量来优化气候应用中的数据汇集的成本。在这些真实世界和合成数据集上的实验中，我们表明，所提出的模型始终比替代的半监督结构化模型更准确，以及使用插补来处理缺失值或完全忽略它们的模型。
2018-03-28 cs.LG stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology（代尔夫特理工大学）
本文提出将带导数的结构化核插值（D-SKI）引入标量势磁场模型，以线性复杂度实现大规模室内磁场地图的高效构建，在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
Harmless interpolation in regression and classification with structured features
Georgia Tech（佐治亚理工学院）；Michigan State University（密歇根州立大学）
过度参数化的神经网络倾向于完美地拟合有噪声的训练数据，但在测试数据上推广得很好。受这一经验观察的启发，最近的工作试图在更简单的线性模型中理解这种良性过拟合或无害插值的现象。以前的理论工作批判性地假设数据特征是统计独立的，或者输入数据是高维的;这排除了结构化特征映射的一般非参数设置。在本文中，我们提出了一个通用的和灵活的框架上界回归和分类风险的再生核希尔伯特空间。一个关键的贡献是，我们的框架描述了精确的充分条件下发生无害的插值数据克矩阵。我们的结果恢复了先前的独立特征结果（分析简单得多），但它们进一步表明，无害的插值可以发生在更一般的设置中，例如有界正交系统的特征。此外，我们的研究结果表明，分类和回归性能之间的渐近分离的方式，以前只显示高斯特征。
2022-02-21 cs.LG math.ST stat.ML
$\texttt{findr}$: Transparent and Fair Credit Risk Decisions through Semi-Structured Regressions
University of Edinburgh（爱丁堡大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
该研究提出半结构化框架findr，结合逻辑回归的可解释性与神经模型的预测能力，通过Wasserstein惩罚缓解信用风险决策的群体差异，相关诊断工具可辅助评估解释可靠性。
2026-08-26 cs.AI cs.LG q-fin.RM
