Efficiently Verifiable Proofs of Data Attribution
Morgan Stanley Machine Learning Research(摩根士丹利机器学习研究);Harvard Business School(哈佛商学院);Google Research(谷歌研究)
本文提出一种交互式验证协议,使资源受限的验证者能以PAC保证高效验证不可信证明者提供的数据归因质量,且验证工作量与数据集大小无关。
2025-08-17 cs.LG
Daunce: Data Attribution through Uncertainty Estimation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Womp Labs(Womp实验室)
针对现有训练数据归因方法可扩展性差或准确性低的问题,提出Daunce方法,通过微调扰动模型并计算损失协方差作为归因得分,在LLM等大规模模型上实现了更准确且兼容黑盒访问的数据归因。
2025-05-29 cs.LG
Certified $\ell_2$ Attribution Robustness via Uniformly Smoothed Attributions
School of Computer Science and Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学)
本文提出均匀平滑归因方法,为 $\ell_2$ 扰动下的归因余弦相似度提供可证明下界,并在三个数据集上验证其跨架构与训练方案的防御效果。
2024-05-10 cs.LG
On Baselines for Local Feature Attributions
University of Tuebingen(蒂宾根大学)
高性能的预测模型,如神经网络,通常作为黑箱运行,这引起了对其可解释性的严重担忧。局部特征归因方法有助于解释黑盒模型,因此是评估预测可靠性和公平性的有力工具。为此,大多数归因模型将输入特征的重要性与参考值(通常称为基线)进行比较。最近的研究表明,基线可以严重影响特征属性的质量。然而,在实践中,我们经常发现简单的基线,如零矢量。在本文中,我们经验表明,基线可以显着改变特征属性的判别力。我们对表格数据集进行分析,从而补充了最近的图像数据工作。此外,我们提出了一个新的分类基线方法。我们的实验研究说明了流行的归因模型对基线的敏感性,从而为更深入地讨论表格数据的合理基线方法奠定了基础。
2021-01-04 cs.LG
Scalable Data Attribution via Forward-Only Test-Time Inference
Stanford University(斯坦福大学)
本文提出一种通过单向测试时推断实现可扩展数据归因的方法,结合影响函数保真度与首阶可扩展性,降低推理成本并提升大规模应用效果。
2025-11-25 cs.LG
Adversarial Attacks on Data Attribution
University of Michigan(密歇根大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对数据归因方法的对抗鲁棒性空白,提出影子攻击与离群点攻击两种方法,可大幅抬高基于数据归因的报酬,验证了数据归因机制的安全风险。
2025-05-19 cs.LG
Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution
Stanford University(斯坦福大学);University of Washington(华盛顿大学)
针对可解释机器学习中特征归因、数据估值等任务计算成本高、难以在大数据集落地的问题,提出用带噪标签训练摊销模型的随机摊销方法,可耐受高噪声,实现一个数量级的加速。
2024-10-30 cs.LG
Shapley-Value-Based Feature Attribution for Data Masking
本研究提出基于Shapley值的特征归因框架,在特征层面解决数据隐私的风险-效用权衡,可适配各类方法,实验证实其能在保留数据效用的同时降低披露风险。
2026-08-03 cs.LG
Influence Dynamics and Stagewise Data Attribution
University College London(伦敦大学学院);Independent(独立);University of Melbourne(墨尔本大学);Timaeus
针对神经网络训练中样本影响动态变化的问题,基于奇异学习理论提出分阶段数据归因框架,预测影响非单调变化(符号翻转、尖峰),并在玩具模型和语言模型中验证与模型学习阶段的对应。
2026-06-09 cs.LG
Detecting and Filtering Unsafe Training Data via Data Attribution with Denoised Representation
University of Michigan(密歇根大学);University of Southern California(南加州大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对LLM对不安全训练数据敏感的问题,提出去噪表示归因(DRA)方法,通过去噪训练与目标表示提升数据归因检测效果,在过滤越狱和检测性别偏见任务中超越基于审核分类器的SOTA方法。
2025-10-10 cs.LG
Bergson: An Open Source Library for Data Attribution
EleutherAI;Independent
提出Bergson开源库,支持大规模语言模型和预训练数据集的多种数据归因方法,提供磁盘梯度存储和多节点分布式训练,首次开源实现MAGIC、SOURCE和TrackStar三种方法。
2026-09-28 cs.LG
Enhancing Training Data Attribution with Representational Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
AirRep通过优化表征提升训练数据归因效率,实现与先进梯度方法相当的性能,且推理效率提高近两数量级。
2025-11-26 cs.LG
Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions
University of Louisville(路易斯维尔大学);University of North Texas(德克萨斯大学)
研究针对大型语言模型代码补全易受后门攻击的问题,提出CodeTracer取证框架,它仅靠微调语料库和错误补全事件,提取行为指纹,经推理将不安全逻辑归因于特定后门数据,评估显示其有高准确性、低误识率和强鲁棒性。
2026-07-10 cs.AI cs.CR cs.IR
Model Monitoring in the Absence of Labeled Data via Feature Attributions Distributions
Faculty of Engineering and Physical Science(工程与物理科学学院);School of Electronics and Computer Science(电子与计算机科学学院)
本论文研究在测试时缺乏标注数据情况下的机器学习模型监控,围绕AI对齐与性能监控两大主题,提出利用特征归因分布及其理论性质,为模型监控推导并确立保证与见解。
2025-01-25 cs.LG
AGOP-IxG: A Gradient Covariance Filter for Local Feature Attribution on Tabular Data, with a Controlled Benchmark
Credit Karma
本文提出AGOP-IxG,一种用于表格分类器的快速样本归因方法,通过预乘样本梯度与Top-K秩截断的平均梯度外积矩阵,对比四个常用基线方法,在为AutoML从业者设计的受控表格基准上进行评估。
2026-05-15 cs.LG
Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution
University of California San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出多任务影响函数(MTIF),将数据归因扩展至多任务学习以测量实例级任务相关性,并借此设计数据选择策略有效缓解负迁移,持续提升模型性能。
2025-05-27 cs.LG
ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces
Ramchand Kumaresan(独立研究者)
ACAR是一种用于多模型集合的可审计路由框架,通过自一致性方差实现任务路由,提升准确率并避免过度融合,同时揭示归因计算的挑战。
2026-02-06 cs.AI cs.CL cs.LG
ANML: Attribution-Native Machine Learning with Guaranteed Robustness
University of Cambridge(剑桥大学)
ANML通过质量加权训练提升模型性能和归因能力,在多个数据集上显著减少误差。
2026-02-12 cs.AI cs.LG
Learning to Weight Parameters for Training Data Attribution
EPFL(苏黎世联邦理工学院);Stony Brook University(史蒂文斯理工学院);UNC Charlotte(北卡罗来纳大学夏洛特分校)
本文提出一种无需标注标签即可直接从数据学习参数重要性权重的方法,提升训练数据归因的准确性与细粒度分析能力。
2026-02-20 cs.CV cs.LG
Integrated Influence: Data Attribution with Baseline
DAMO Academy(大模型学院);Alibaba Group(阿里巴巴集团)
针对现有数据归因方法忽略集体影响且缺乏基线的问题,本文提出集成影响方法,通过定义基线数据集并沿数据退化过程累积样本影响,生成更可靠的数据归因。
2025-08-07 cs.AI cs.LG
Fast Data Attribution for Text-to-Image Models
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究);UC Berkeley(伯克利大学)
针对现有文生图模型数据归因方法计算成本高、难以落地的问题,提出将基于遗忘的慢速归因蒸馏到特征嵌入空间的高效方法,在两类模型上实现数千至数十万倍提速,性能达标。
2025-11-13 cs.CV cs.LG
$\texttt{dattri}$: A Library for Efficient Data Attribution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
针对当前缺乏综合数据归因开发与基准测试库的问题,研究团队推出开源库$\texttt{dattri}$,其具备统一易用API、模块化底层函数、含生成式AI场景的综合基准框架三大特性,已集成多种前沿高效归因方法,可支撑大规模神经网络模型的归因研究与公平基准对比。
2024-10-06 cs.CY cs.LG
On the Fragility of Data Attribution When Learning Is Distributed
Department of Computer Science and Software Engineering, Auburn University, Auburn, Alabama, USA(计算机科学与软件工程系,阿伯茨温泉大学,阿伯茨温泉,阿拉巴马州,美国);Department of Computer Science, University of Tulsa, Tulsa, Oklahoma, USA(计算机科学系,塔尔萨大学,塔尔萨,俄克拉荷马州,美国);Department of Computer Science and Information Engineering, National Central University, Taoyuan, Taiwan(计算机科学与信息工程系,国立中央大学,桃园,台湾)
研究揭示了分布式学习中数据归因的脆弱性,通过归因优先攻击展示归因值可能被人为放大,同时提出归因鲁棒和激励相容的评分机制。
2026-05-15 cs.AI cs.DC cs.LG
Influence-based Attributions can be Manipulated
University of California, San Diego(加利福尼亚大学圣迭戈分校)
该研究发现基于影响函数的归因可被敌手系统性操纵,针对ResNet特征嵌入和标准表格公平性数据集上的逻辑回归模型提出了高效攻击方法,对对抗环境下这类归因的可靠性提出了质疑。
2024-10-07 cs.AI cs.LG
Nonparametric Data Attribution for Diffusion Models
Sea AI Lab, Singapore(新加坡海人工智能实验室);Department of Mathematics, National University of Singapore(新加坡国立大学数学系);Singapore Management University(新加坡管理大学)
提出一种仅基于数据的非参数扩散模型数据归因方法,利用补丁级相似度衡量训练样本影响,性能接近梯度方法且优于现有非参数基线。
2025-10-16 cs.LG stat.ML
High-performance automatic categorization and attribution of inventory catalogs
Webstructor project(Webstructor项目)
自动文本分类的机器学习技术的应用和适应的库存目录数据属性的问题,探索不同的方法和最佳的解决方案,解决准确性和性能之间的权衡选择。
2022-02-09 cs.IR cs.LG
Sparse, Efficient and Explainable Data Attribution with DualXDA
Department of Artificial Intelligence Fraunhofer Heinrich Hertz Institute(人工智能系 汉诺威弗劳恩霍夫研究所);Department of Electrical Engineering and Computer Science Technische Universität Berlin(电气工程与计算机科学系 柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Centre of eXplainable Artificial Intelligence Technological University Dublin(可解释人工智能中心 立陶宛技术大学)
DualXDA提出了一种高效且可解释的数据归因方法,通过支持向量机理论实现快速稀疏归因,并在多个下游任务中表现出色。
2025-12-19 cs.AI cs.LG
Revisiting Data Attribution for Influence Functions
本文全面回顾了影响函数在深度学习中的数据归因能力,探讨了其理论基础、高效逆海森向量积估计算法进展,并评估了其在数据归因与误标签检测中的有效性及未来方向。
2025-08-10 cs.AI cs.LG
Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining
University of Michigan Ann Arbor(密歇根大学安娜堡分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究首次大规模实证揭示数据归因方法对超参数的敏感性,并提出基于理论分析的无重训练正则化选择流程,以低成本实现有效调优。
2025-10-23 cs.LG stat.ML
Social Media Attributions in the Context of Water Crisis
自然灾害/集体不幸的归因是一个广泛研究的政治学问题。然而,这类研究通常以调查为中心,或者依靠少数专家来权衡这一问题。在本文中,我们将探讨如何使用社交媒体数据和人工智能驱动的方法来补充传统调查并自动提取归因因素。我们专注于最近的金奈水危机,它开始作为一个区域性问题,但迅速升级为一个具有全球重要性的讨论话题后,惊人的水危机统计数据。具体来说,我们提出了一个新的预测任务归因领带检测,确定的因素负责的危机(例如,城市规划不佳,人口爆炸等)。在一个由YouTube评论构建的具有挑战性的数据集上(由43,859名用户在623个与危机相关的视频上发布的72,098条评论),我们提出了一个神经分类器来提取归因关系,实现了合理的性能(准确率:归因检测为81.34%,归因解析为71.19%)。
2020-01-06 cs.CY cs.LG
Data Attribution via Sketched Metadifferentiation
Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出MAGE和SPELL两种算法,通过从少量测量中估计大型影响矩阵,在不增加额外成本的情况下实现大规模数据归因,并在多种训练规模和预算下超越现有基线。
2026-09-21 cs.LG stat.ML
Probe-Based Data Attribution: Discovering and Mitigating Undesirable Behaviors in LLM Post-Training
California Institute of Technology(加利福尼亚理工学院)
本文提出基于探针的数据归因方法,通过分析测试提示和偏好对的激活差异向量,识别导致特定行为的数据点,并通过重新训练验证归因。该方法在OLMo 2的生产DPO训练中发现有害行为,过滤数据点可显著减少此类行为。
2026-04-27 cs.AI cs.LG
Towards Unified Attribution in Explainable AI, Data-Centric AI, and Mechanistic Interpretability
Harvard University(哈佛大学)
本文提出统一视角,指出可解释AI、以数据为中心的AI和机制可解释性中的特征、数据与组件归因方法在技术上具有根本相似性,该视角能增强现有方法理解并开辟模型编辑等新研究方向。
2025-05-29 cs.AI cs.LG
Evaluating Data Attribution for Text-to-Image Models
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院)
本文通过定制方法构建受示例影响的合成图像数据集,评估并微调DINO、CLIP和ViT等模型以解决文本到图像模型的数据归因问题,并引入软归因分数处理不确定性。
2023-08-08 cs.CV cs.LG
Data Attribution in Large Language Models via Bidirectional Gradient Optimization
EPFL, Switzerland(瑞士联邦理工学院);ETH Zurich, Switzerland(瑞士苏黎世联邦理工学院)
提出一种基于双向梯度优化的训练数据归因方法,用于自动回归大型语言模型,以识别影响模型输出的关键训练数据,提升模型可解释性。
2026-06-03 cs.CL cs.LG
A Bayesian Information-Theoretic Approach to Data Attribution
University of Amsterdam(阿姆斯特丹大学);Spotify
本文提出基于贝叶斯信息论的训练数据归因方法,通过信息损失度量归因样本,结合高斯过程近似提升可扩展性,实验显示在反事实敏感性、真实检索和聚类选择中表现优异。
2026-04-08 cs.LG stat.ML
Visual Reasoning of Feature Attribution with Deep Recurrent Neural Networks
Fuji Xerox Co Ltd(富士施乐有限公司);University of California Davis(加州大学戴维斯分校)
深度递归神经网络(RNN)在许多序列分类任务中得到了普及。除了为每个数据实例预测正确的类之外,数据科学家还希望了解数据中的哪些差异化因素在学习过程中对分类做出了贡献。我们提出了一种可视化分析方法,通过揭示RNN对所有数据实例的关注,它们在序列中的时间位置以及每个值级别的变量属性来促进这项任务。我们用真实世界的数据集证明,我们的方法可以帮助数据科学家从训练结果中理解深度RNN中的这种动态,从而指导他们的建模过程。
2019-01-17 cs.HC cs.LG
CHALLENGER: Training with Attribution Maps
Technical University of Munich(慕尼黑工业大学)
我们表明,利用属性图训练神经网络可以提高模型的正则化,从而提高性能。正则化是深度学习的关键,特别是在相对较小的数据集上训练复杂模型时。为了理解神经网络的内部工作,已经广泛地研究了诸如分层相关传播(LRP)的归因方法,特别是用于解释输入特征的相关性。我们介绍挑战者,一个模块,利用归因图的解释能力,以操纵特别相关的输入模式。因此,暴露并随后解决模糊区域以在地面实况数据流形上分离类别,这是一个特别在相当小的数据集上训练模型时出现的问题。我们的Challenger模块通过在网络中构建更多样化的滤波器来提高模型性能,并可应用于任何输入数据域。我们证明了我们的方法在只有少数样本的数据集上具有更好的分类和校准性能,直到具有数千个样本的数据集。特别是,我们表明,我们的通用域独立的方法产生的最先进的视觉,自然语言处理和时间序列任务的结果。
2022-05-30 cs.AI cs.LG
GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning
University of Tokyo(东京大学);Toyota Central Research Laboratory(丰田中央研究所);University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);National Institute of Advanced Industrial Science and Technology(国家工业科学与技术研究院)
提出GUDA方法,利用机器遗忘近似反事实模型,通过似然评分规则(ELBO)量化组别影响,实现高效的分组训练数据归因。
2026-06-01 cs.AI cs.LG
Visual Summary of Value-level Feature Attribution in Prediction Classes with Recurrent Neural Networks
University of California, Davis(加州大学戴维斯分校);Zhejiang University(浙江大学);University of California(加州大学)
深度循环神经网络(RNN)越来越多地用于时间序列的决策。然而,理解RNN模型如何产生最终预测仍然是一个重大挑战。解释用于序列预测的RNN模型的现有工作通常集中在解释单个数据实例的预测(例如,患者或学生)。由于最先进的预测模型是由数百万个参数在数百万个实例中优化而成的,因此解释单个数据实例的预测很容易错过更大的画面。此外,许多性能优异的RNN模型使用多热编码来表示特征的存在/不存在,其中缺少特征值属性的可解释性。我们提出了ViSFA,一个交互式系统,直观地总结了随着时间的推移,不同的特征值的特征属性。ViSFA可扩展到大型数据,例如包含120万个高维时间事件的电子健康记录的MIMIC数据集。我们证明了ViSFA可以帮助我们推理RNN预测,并通过将复杂的归因提炼成紧凑且易于解释的可视化来揭示数据中的见解。
2020-08-21 cs.HC cs.LG
Efficient Ensembles Improve Training Data Attribution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究提出两种高效集成策略(DROPOUT ENSEMBLE和LORA ENSEMBLE),在显著降低训练、服务及空间成本的同时,保持与独立集成相当的训练数据归因效果,推进了TDA方法的帕累托前沿。
2024-05-27 cs.AI cs.LG
Efficient Sketches for Training Data Attribution and Studying the Loss Landscape
Google DeepMind(谷歌DeepMind);Amsterdam(阿姆斯特丹)
本文提出适配现代硬件的可扩展梯度与 HVP 草图框架,在训练数据归因、Hessian 谱分析及预训练语言模型内蕴维度计算中验证其效果。
2024-10-23 cs.LG stat.ML
RoSHAP: A Distributional Framework and Robust Metric for Stable Feature Attribution
Department of Statistics(统计学系);Virginia Tech(弗吉尼亚理工大学);Transportation Institute(交通运输研究所);Department of Computer Science(计算机科学系)
本文提出RoSHAP框架和稳健度量,通过Bootstrap重采样和核密度估计建模特征归因分布,提升特征归因的稳定性与可解释性。
2026-05-14 cs.LG stat.ML
Rescaled Influence Functions: Accurate Data Attribution in High Dimension
EECS, MIT(MIT电子工程与计算机科学系)
针对高维场景下影响函数数据归因不精确的问题,提出重标度影响函数(RIF),以极小计算开销显著提升归因准确性,并能检测出欺骗IF的投毒攻击。
2025-09-09 cs.LG stat.ML
dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-尚佩恩分校);Google(谷歌)
dattri-LLM是一个统一高效的训练数据归因库,通过紧凑梯度表示和成本模型路由,实现高效、兼容和可扩展的梯度归因,平均吞吐量提升3.2倍,支持110B参数模型。
2026-10-02 cs.AI cs.LG
Intriguing Properties of Data Attribution on Diffusion Models
Singapore Management University(新加坡管理大学);Sea AI Lab(Sea AI实验室)
本研究通过广泛实验发现,扩散模型数据归因中理论上不合理的简单设计反而大幅优于现有基线,提出更高效方法并揭示理论假设在非凸场景可能限制归因性能。
2024-03-15 cs.AI cs.CV cs.LG
AXIL: Exact Instance Attribution for Gradient Boosting
Vlerick Business School(弗拉瑞克商学院)
AXIL为拟合梯度提升机提供精确实例归因方法,通过矩阵自由后向操作在O(TN)时间内计算归因向量,实现大规模数据集的高效归因。
2026-04-10 cs.AI cs.LG
Combining Feature and Instance Attribution to Detect Artifacts
University of California, Irvine(加州大学欧文分校);Northeastern University(东北大学)
训练主导NLP的深度神经网络需要大型数据集。这些通常是自动收集或通过众包,并可能表现出系统性的偏见或注释工件。后者指的是输入和输出之间的虚假相关性,这些相关性并不代表特征和类之间普遍持有的因果关系;利用这种相关性的模型可能看起来很好地执行了给定的任务,但在样本数据之外失败了。在本文中,我们评估使用不同的属性方法来帮助识别的训练数据文物。我们提出了新的混合方法,结合显着性图(突出重要的输入功能)与实例归因方法(检索训练样本影响到一个给定的预测)。我们表明,这个建议的训练特征属性可以用来有效地发现工件时,一个具有挑战性的验证集是可用的训练数据。我们还进行了一个小型的用户研究,以评估这些方法是否在实践中对NLP研究人员有用,并取得了可喜的成果。我们为本文中的所有方法和实验提供代码。
2022-03-25 cs.CL cs.LG
In-Run Data Shapley for Adam Optimizer
Mohamed bin Zayed University of Artificial Intelligence(莫萨德·本·泽德人工智能大学);University at Buffalo(布法罗大学);King Abdullah University of Science and Technology(卡布斯国王科学与技术大学)
本研究提出Adam-aware运行中数据Shapley方法,通过线性化技术实现高精度数据归因,提升现代训练流程效率。
2026-07-23 cs.AI cs.LG
Change Detection for Local Explainability in Evolving Data Streams
University of Tuebingen(蒂宾根大学)
随着复杂的机器学习模型越来越多地用于银行、交易或信用评分等敏感应用,对可靠解释机制的需求也越来越大。局部特征属性方法已经成为一种流行的技术事后和模型不可知的解释。然而,归因方法通常假设预测模型已经在其中训练并且保持稳定的静态环境。因此,通常不清楚本地属性在现实的、不断发展的环境中(如流媒体和在线应用程序)的行为。在本文中,我们讨论了时间变化对局部特征属性的影响。特别是,我们表明,本地属性可以成为过时的每次更新的预测模型或概念漂移改变数据生成分布。因此,数据流中的局部特征属性只有在与允许我们检测和响应随时间推移的局部变化的机制相结合时才能提供高的解释力。为此,我们提出了CDLEEDS,一个灵活的和模型无关的框架,用于检测局部变化和概念漂移。CDLEEDS作为基于属性的解释技术的直观扩展,用于识别过时的本地属性,并实现更有针对性的重新计算。在实验中,我们还表明,该框架可以可靠地检测本地和全球的概念漂移。因此,我们的工作有助于在线机器学习中更有意义和更强大的可解释性。
2022-09-06 cs.LG stat.ML
GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models
Department of Electrical & Computer Engineering(电气与计算机工程系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型遗忘时的意外遗忘问题,提出基于数据归因的GUARD框架,通过自适应非均匀遗忘权重分配缓解保留性能下降,在多个基准上实现更优的效用保留与相当的隐私损失。
2026-10-14 cs.AI cs.CL cs.LG
LiDDA: Data Driven Attribution at LinkedIn
LinkedIn Corporation(LinkedIn公司)
提出一种基于Transformer的统一归因方法,处理成员级、聚合级数据和外部宏观因素,并在领英大规模实施,显著提升营销效果。
2026-05-27 cs.AI cs.IR cs.LG
A Simple and Efficient Baseline for Data Attribution on Images
University of Maryland(马里兰大学);New York University(纽约大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
针对现有图像数据归因方法计算内存成本高、难扩展的问题,提出基于自监督预训练骨干特征空间的极简基线方法,模型无关易扩展,在CIFAR-10、ImageNet上性能媲美或超越SOTA且成本极低。
2023-11-03 cs.CV cs.LG
MAGIC: Near-Optimal Data Attribution for Deep Learning
Stanford Statistics(斯坦福大学统计系);MIT EECS(麻省理工学院电气工程与计算机科学系)
提出MAGIC方法,结合经典技术与元微分,在大规模非凸场景下近最优估计训练数据增减对模型预测的影响。
2025-04-23 cs.CL cs.CV cs.LG