Déjà Vu Memorization in Vision-Language Models
FAIR, Meta(Meta FAIR研究院)
该研究针对视觉-语言模型是否记忆训练数据的问题,提出déjà vu记忆衡量方法,证实OpenCLIP存在显著记忆效应,并发现文本随机化可有效缓解该问题且对下游性能影响较小。
2024-10-28 cs.CV cs.LG
Measuring Forgetting of Memorized Training Examples
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学)
本研究提出测量模型对训练样本遗忘程度的技术,发现非凸模型虽可永久记忆,但标准模型会随时间遗忘,非确定性是关键因素,早期样本可能获得隐私优势。
2023-05-09 cs.LG
Measuring memorization in RLHF for code completion
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文研究代码补全模型在 RLHF 与直接偏好学习中的训练数据记忆,发现 RLHF 更能降低敏感偏好数据被复述的风险,且结论跨数据集、任务和模型规模稳健。
2024-10-25 cs.CL cs.LG cs.SE
Losing dimensions: Geometric memorization in generative diffusion
Computing Sciences Department, Bocconi University(博科尼大学计算科学系);Bocconi Institute for Data Science and Analytics (BIDSA)(博科尼数据科学与分析研究所);Donders Institute, Radboud University(拉德堡德大学多纳尔斯研究所);OnePlanet Research Center, Wageningen(瓦赫宁根大学OnePlanet研究中心);Rensselaer Polytechnic Institute(伦斯勒理工学院);Jheronimus Academy of Data Science (JADS)(杰霍尼穆斯数据科学学院);IBM Research, Cambridge(IBM研究院,剑桥)
本文提出几何记忆理论,揭示扩散模型在低维流形上逐渐记忆训练数据的现象,通过分析学习到的分数场发现生成行为集中在少数例子上,形成一般化与精确复制之间的独特阶段。
2026-03-11 cs.LG stat.ML
The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation
UC Berkeley(伯克利大学);Google DeepMind(谷歌DeepMind)
本文研究了LLM记忆现象的机制、测量方法及缓解策略,探讨了影响记忆的因素和检测技术,并分析了其法律伦理影响及缓解措施。
2025-12-12 cs.CL cs.CR cs.LG
(Token-Level) InfoRMIA: Stronger Membership Inference and Memorization Assessment for LLMs
National University of Singapore(国立新加坡大学);Google Research(谷歌研究)
本文提出InfoRMIA,一种基于信息论的成员推理方法,在多个基准上优于RMIA且计算效率更高,并引入令牌级分析以精确定位记忆令牌,实现更强的序列级推理能力。
2025-10-09 cs.LG
Rethinking LLM Memorization through the Lens of Adversarial Compression
Carnegie Mellon University(卡内基梅隆大学)
本文提出对抗压缩率(ACR)作为评估大语言模型记忆化的新指标,通过计算比目标字符串更短的对抗提示词来判定记忆化,为监控去学习、合规性及数据使用条款提供实用工具。
2024-11-11 cs.CL cs.LG
Extractable Memorization From First Principles
Yale(耶鲁大学);AVERI(AVERI(未提及常见中文名,可直译为“应用价值与伦理研究所”之类,具体需结合实际背景));Stanford(斯坦福大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);Cornell(康奈尔大学)
研究大语言模型可提取记忆的有效性问题,提出通过匹配比较测量训练与非训练序列生成概率来判断记忆,形式化共形测试和普查两种匹配比较方式并揭示问题,完善可提取记忆定义,给出有效声明及现实预算下的生成要求。
2026-09-29 cs.CL cs.LG
Can Neural Network Memorization Be Localized?
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
该研究反驳了神经网络记忆仅存在于最后几层的观点,发现记忆局限于多层中少量神经元,提出样本绑定Dropout可精准调控记忆,大幅降低记忆样本准确率并缩小泛化差距。
2023-07-18 cs.CV cs.LG
Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models
EPFL(瑞士联邦理工学院);UCL(伦敦大学学院);Johns Hopkins University(约翰霍普金斯大学)
该研究揭示过参数化扩散模型中泛化先于记忆发生、记忆时间与数据集规模成正比的规律,提出随数据集规模缩放的早停准则可在避免记忆的同时优化泛化,为超参数迁移和隐私敏感应用提供参考。
2025-09-01 cs.LG stat.ML
Localizing Paragraph Memorization in Language Models
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
本文通过梯度空间模式定位语言模型中段落记忆的关键权重和低层注意力头,发现记忆示例更难遗忘且更难被扰动破坏。
2024-03-28 cs.CL cs.CR cs.LG
On Memorization in Diffusion Models
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea AI实验室)
本文提出有效模型记忆(EMM)度量,分析扩散模型在何种数据规模与因素下逼近只能复制训练样本的理论最优,并实证揭示随机标签条件会显著增强记忆。
2025-02-20 cs.AI cs.CV cs.LG
Leave-one-out Distinguishability in Machine Learning
National University of Singapore(新加坡国立大学);Imperial College London(帝国理工学院)
本研究提出留一法可区分性(LOOD)分析框架,以量化训练数据增减对算法输出分布的影响,通过高斯过程建模并经成员推理攻击验证,可用于分析数据记忆、信息泄露成因及最优查询下的训练数据重构。
2024-04-17 cs.LG
Loss Curvature as a Sampling-Free Proxy for Memorization in Diffusion Models
Department of Mathematics, University of California, Los Angeles(加州大学洛杉矶分校数学系);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔默电气与计算机工程学院)
本文提出输入损失曲率作为扩散模型记忆的无采样代理,从模型和样本层面研究扩散模型的记忆机制,建立样本局部损失景观与生成可能性的理论联系并通过实验验证。
2026-10-15 cs.AI cs.LG stat.ML
Making Coherence Out of Nothing At All: Measuring the Evolution of Gradient Alignment
Google AI(谷歌人工智能)
我们提出了一个新的度量($m$ -coherence)来实验研究训练过程中每个示例梯度的对齐。直观地说,给定一个大小为$m$的样本,$m$ -相干性是样本中受益于任何一个样本平均梯度上的一小步的样本数量。我们表明,相比其他常用的指标,$m$ -一致性是更可解释的,更便宜的计算($O(m)$而不是$O(m^2)$)和数学清洁。(We注意,$m$ -相干性与梯度多样性密切相关,梯度多样性是先前在某些理论界限中使用的量。使用$m$ -coherence,我们研究了ImageNet上ResNet和Inception模型中每个示例梯度对齐的演变以及带有标签噪声的几个变体,特别是从最近提出的相干相干性(CG)理论的角度来看,该理论为记忆和泛化提供了简单,统一的解释[Chatterjee,ICLR 20]。虽然我们有几个有趣的外卖,我们最令人惊讶的结果是关于记忆。人们可能会天真地认为,当使用完全随机的标签进行训练时,每个示例都是独立拟合的,因此$m$ -coherence应该接近1。然而,事实并非如此:$m$ -一致性在训练期间(100秒)达到了更高的值,表明过度参数化的神经网络即使在泛化不可能的情况下也能找到共同的模式。对这一现象的详细分析不仅提供了对CG的更深层次的确认,而且同时也揭示了该理论所缺失的东西,以便对神经网络中的泛化提供一个完整的解释。
2020-08-03 cs.LG stat.ML
Extracting Training Data from Unconditional Diffusion Models
本文提出了一种名为SIDE的新型数据提取方法,通过在生成数据上训练的分类器作为替代条件,直接从无条件扩散模型中提取训练数据,并建立了理论理解与评估指标。
2024-10-14 cs.CR cs.CV cs.LG
Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks
Seoul National University(首尔国立大学)
我们提出了一种方法来解决在无监督GANs训练过程中经常出现的两个问题。首先,由于GANs仅使用连续的潜在分布来嵌入多个数据类或数据簇,因此它们通常无法正确处理潜在空间中不同类之间的结构不连续性。其次,GANs的鉴别器很容易忘记生成器过去生成的样本,从而在对抗训练期间引起不稳定。我们认为,无监督GAN训练的这两个臭名昭著的问题可以通过生成器和鉴别器都可以访问的可学习记忆网络在很大程度上缓解。生成器可以有效地学习训练样本的表示,以理解数据的潜在聚类分布,从而缓解结构不连续性问题。同时,鉴别器可以更好地记住先前生成的样本的聚类,这减轻了遗忘问题。我们提出了一种新的端到端的GAN模型命名为memoryGAN,它涉及一个记忆网络,是unsupervisedly可训练和集成到许多现有的GAN模型。通过对Fashion-MNIST,CelebA,CIFAR 10和Chairs等多个数据集的评估,我们表明我们的模型是概率可解释的,并生成具有高视觉保真度的逼真图像样本。memoryGAN还在CIFAR 10数据集上实现了无监督GAN模型的最新初始得分,没有任何优化技巧和较弱的分歧。
2018-03-10 cs.LG stat.ML
AIDE: An algorithm for measuring the accuracy of probabilistic inference algorithms
Massachusetts Institute of Technology(麻省理工学院)
近似概率推理算法是许多领域的核心。例子包括机器人学中的序贯蒙特卡罗推理、机器学习中的变分推断和统计学中的马尔可夫链蒙特卡罗推理。从业者面临的一个关键问题是测量近似推理算法在特定数据集上的准确性。本文介绍了辅助推理发散估计器(AIDE),一种度量近似推理算法精度的算法。AIDE基于这样的观察:推理算法可以被视为概率模型,并且推理算法中使用的随机变量可以被视为辅助变量。这种观点导致一个新的估计对称库尔贝克-莱布勒散度之间的近似分布的两个推理算法。本文说明了应用程序的AIDE的算法推理回归,隐马尔可夫和Dirichlet过程混合模型。实验表明,AIDE捕获了广泛的推理算法的定性行为,并可以检测出标准推理算法所遗漏的推理算法的故障模式。
2017-11-04 cs.AI cs.LG stat.ML
Measuring Non-Probabilistic Uncertainty: A cognitive, logical and computational assessment of known and unknown unknowns
Frankfurt School of Finance & Management(法兰克福金融与管理学院);University of Bologna(博洛尼亚大学)
概率论不能充分描述不确定性有两个原因。第一种是由于独特或近乎独特的事件,这些事件要么从未实现,要么发生得太少,以至于无法可靠地测量频率。第二个是当一个人害怕某件事可能发生时,他甚至无法弄清楚,例如,如果有人问:“气候变化、金融危机、流行病、战争,接下来会发生什么?“在这两种情况下,简单的一对一的认知地图之间的可用的替代品和可能的后果最终融化。然而,这种破坏以具体、可识别和不同的方式反映在企业高管、员工和其他利益相关者不断变化的叙述中。特别是,可以分析顾问报告或致股东的信函等文本,以查明这两种不确定性对通常指导决策的因果关系的影响。我们提出了认知地图的结构措施作为衡量非概率不确定性的一种手段,最终表明,自动文本分析可以大大增加这些技术提供的可能性。预期的应用可能涉及从统计机构到企业以及一般公众的各种行为者。
2023-03-16 cs.AI cs.LG
Probabilistic Super-Resolution of Solar Magnetograms: Generating Many Explanations and Measuring Uncertainties
George Mason University(乔治梅森大学);Trinity College Dublin(都柏林圣三一学院);Dublin Institute for Advanced Studies(都柏林高等研究院);University of Oxford(牛津大学);Center for Mathematics and Computer Science (CWI)(数学与计算机科学中心(CWI));Stanford University(斯坦福大学);Element AI;Southwest Research Institute(西南研究院)
机器学习技术已经成功地应用于自然图像上的超分辨率任务,其中视觉上令人愉悦的结果是足够的。然而,在许多科学领域,这是不够的,估计误差和不确定性是至关重要的。为了解决这个问题,我们提出了一个贝叶斯框架,将不确定性分解为认知和任意的不确定性。我们测试我们的方法的有效性,通过超分辨率图像的太阳的磁场,并通过生成地图测量的范围内可能的高分辨率的解释兼容一个给定的低分辨率磁图。
2019-11-04 astro-ph.SR cs.LG eess.IV
Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming
Massachusetts Institute of Technology(麻省理工学院)
近似推理的采样算法的一个关键限制是难以量化其近似误差。广泛使用的采样方案,例如具有恢复和Metropolis-Hastings的顺序重要性采样,产生从可能远离目标后验分布的分布中提取的输出样本。本文介绍了如何上限的对称KL发散之间的输出分布的一个广泛的类序贯蒙特卡罗(SMC)采样器和他们的目标后验分布,受到一个单独的金标准采样器的准确性的假设。所提出的方法适用于采样器,结合多个粒子,多项式rescue,和复兴内核。实验表明,该技术被用来估计的SMC样本的后验推理在贝叶斯线性回归模型和Dirichlet过程的混合模型的分歧的界限。
2017-05-06 cs.AI cs.LG stat.ML
Probabilistic Margins for Instance Reweighting in Adversarial Training
Hong Kong Baptist University(香港浸会大学);University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Nanjing University of Science and Technology(南京理工大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Tokyo(东京大学)
最近已经证明,在训练期间重新加权对抗数据可以提高对抗鲁棒性,其中更接近当前决策边界的数据被认为是更关键的,并被赋予更大的权重。然而,现有的测量接近度的方法不是非常可靠:它们是离散的并且只能取几个值,并且它们是路径依赖的,即,它们可以在给定具有不同攻击路径的相同起点和终点的情况下改变。在本文中,我们提出了三种类型的概率边际(PM),它们是连续的和路径无关的,用于测量上述接近度和重新加权对抗数据。具体地,PM被定义为两个估计的类后验概率之间的差,例如,例如,给定一些自然数据,真实标签的概率减去最令人困惑的标签的概率。虽然不同的PM捕获不同的几何属性,但所有三种PM都与数据的脆弱性呈负相关:具有较大/较小PM的数据更安全/风险更大,并且应该具有较小/较大的权重。实验表明,PM是可靠的测量和PM为基础的重新加权方法优于国家的最先进的方法。
2022-03-17 cs.LG
Estimating near-verbatim extraction risk in language models with decoding-constrained beam search
AVERI;Stanford(斯坦福大学);Cornell(康奈尔大学);Google DeepMind(谷歌DeepMind)
本文提出解码约束束搜索方法,以有效估计语言模型中的近原文提取风险,揭示更多可提取序列及模型规模对风险的影响。
2026-08-03 cs.CL cs.LG
Measuring Non-Adversarial Reproduction of Training Data in Large Language Models
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
本文研究了大型语言模型在自然良性提示下非对抗性复现训练数据的现象,发现模型输出与互联网文本重叠率高达15%,最坏情况达100%,远高于人类,且提示策略虽能平均降低复现但无法解决最坏情况,需更强防御。
2024-11-15 cs.CL cs.LG
Multi-Sample Online Learning for Probabilistic Spiking Neural Networks
King’s College London(伦敦国王学院);Intel Labs(英特尔实验室)
脉冲神经网络(SNN)通过动态、在线、事件驱动的二进制时间序列处理,捕获生物大脑的一些推理和学习效率。SNN的大多数现有学习算法都是基于确定性神经元模型,如leaky integrate-and-fire,并且依赖于通过时间的反向传播的启发式近似,其强制约束,如局部性。相比之下,概率SNN模型可以直接通过原则性的在线,本地,更新规则进行训练,这些规则已被证明对资源受限的系统特别有效。本文研究了概率SNN的另一个优点,即它们在相同输入下查询时生成独立输出的能力。结果表明,多个生成的输出样本可以在推理过程中使用,以鲁棒决策和量化不确定性-确定性SNN模型无法提供的功能。此外,它们可以用于训练,以获得对数损失训练标准及其梯度的更准确的统计估计。具体而言,本文介绍了一种在线学习规则的基础上广义期望最大化(GEM),遵循三因素的形式与全球学习信号,被称为GEM-SNN。在标准神经形态数据集上的结构化输出记忆和分类的实验结果表明,当增加用于推理和训练的样本数量时,在对数似然、准确性和校准方面都有显着改善。
2021-01-05 cs.LG cs.NE eess.SP
SIDE: Surrogate Conditional Data Extraction from Diffusion Models
Fudan University(复旦大学);University of Hong Kong(香港大学)
本研究提出SIDE框架,通过构建代理条件从非条件扩散模型中定向提取训练数据,打破非条件模型安全的假设,并通过理论证明所有条件化都会放大记忆效应,重新定义扩散模型隐私威胁基准。
2025-08-01 cs.CR cs.CV cs.LG
Measuring the reliability of MCMC inference with bidirectional Monte Carlo
University of Toronto(多伦多大学)
马尔可夫链蒙特卡罗(MCMC)是概率推理的主要工具之一,但众所周知,它很难衡量近似后验样本的质量。这一挑战在黑盒推理方法中尤为突出,黑盒推理方法可以隐藏细节并掩盖推理失败。在这项工作中,我们扩展了最近推出的双向蒙特卡罗技术来评估MCMC为基础的后验推理算法。通过在模拟数据上运行退火重要性采样(AIS)链,从前到后,反之亦然,我们在期望中上界真实后验分布和近似样本分布之间的对称化KL发散。我们提出了边界分歧与反向退火(BREAD),一个协议,用于验证模拟数据实验的真实数据集的相关性,并将其集成到两个概率程序设计语言:WebPPL和斯坦。作为如何BREAD可以用来指导推理算法的设计的一个例子,我们应用它来研究不同的模型表示在WebPPL和斯坦的有效性。
2016-06-07 cs.LG stat.CO stat.ML
Bits and Memories: Measuring Verbatim Extraction Across LLM Quantization
研究语言模型量化中逐字提取情况,用Pythia模型及公共序列集,在多精度级别和模型大小下跟踪,发现量化是有选择性的遗忘器,但不足以成隐私保护手段,得出压缩非去记忆训练数据方法,从业者应关注提取的结论。
2026-07-29 cs.CR cs.LG
A Probabilistic framework for Quantum Clustering
Liverpool John Moores University(利物浦约翰摩尔斯大学);Universitat de València(瓦伦西亚大学)
量子聚类是一种在混合密度数据中检测簇的有效方法。然而,它对薛定谔方程固有的长度参数非常敏感。此外,将数据点链接到聚类中需要对协方差进行局部估计,这也是由长度参数控制的。这就提出了如何调整薛定谔方程的控制参数以实现最佳聚类的问题。我们提出了一个概率框架,提供了一个目标函数的拟合优度的数据,使控制参数进行优化的贝叶斯框架内。这自然会产生集群成员和数据分区与特定数量的集群的概率。所提出的框架进行了测试,真实的和合成的数据集,通过测量与已知的数据结构的一致性评估其有效性的Jaccard得分(JS)。这项工作还提出了一种客观的方法来衡量无监督学习的性能,与JS非常相关。
2019-02-14 cs.LG stat.ML
Beyond Indistinguishability: Measuring Extraction Risk in LLM APIs
Emory University(埃默里大学);University of Virginia(弗吉尼亚大学)
本文提出$(l, b)$-不可提取性作为衡量LLM API提取风险的新标准,通过定义提取风险上界并实验证明其在不同模型中的有效性,为模型训练、API访问和解码配置提供缓解指南。
2026-04-20 cs.CL cs.CR cs.LG
Advancing the State-of-the-Art in Empirical Privacy Auditing
Google Research(谷歌研究院)
提出通过高温采样生成合成金丝雀,用于经验隐私审计,并引入基于辅助模型的合成数据审计方法,系统研究模型容量与金丝雀熵对记忆化的交互影响。
2026-06-09 cs.AI cs.CL cs.CR
Task-agnostic Continual Learning with Hybrid Probabilistic Models
New York University(纽约大学);DeepMind(深度思维);Google Research(谷歌研究院)
不断学习新任务而不忘记不断变化的数据分布对于现实世界的问题至关重要,但对于现代深度学习来说极具挑战性。在这项工作中,我们提出了HCL,一个混合生成判别方法的持续学习分类。我们用一个标准化的流程来建模每个任务和每个类的分布。该流用于学习数据分布,执行分类,识别任务更改并避免遗忘,所有这些都利用了归一化流模型唯一启用的可逆性和精确可能性。我们使用流的生成能力,以避免灾难性遗忘通过生成重放和一种新的功能正则化技术。对于任务识别,我们使用最先进的异常检测技术的基础上测量模型的统计数据的典型性。我们展示了HCL在一系列持续学习基准测试(如split-MNIST、split-CIFAR和SVHN-MNIST)上的强大性能。
2021-06-24 cs.LG stat.ML
TCE: A Test-Based Approach to Measuring Calibration Error
The Alan Turing Institute(艾伦·图灵研究所);Newcastle University(纽卡斯尔大学);Meta Platforms, Inc.(Meta平台公司)
本文提出TCE指标,通过统计测试损失函数测量概率二元分类器校准误差,具有清晰解释、不受类别不平衡影响及增强视觉表示,并引入最优分箱准则与算法,在真实数据集和ImageNet 1000上验证其特性。
2023-06-25 cs.LG stat.ML
A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education(教育部多媒体可信感知与高效计算重点实验室);Institute of Artificial Intelligence(人工智能研究院)
本文提出A2RBench自动范式,通过生成、扩展、评估和分析流程提升抽象推理基准生成效率,发现当前LLM在抽象推理能力上存在根本缺陷,且高信息复杂度输入可简化推理过程。
2026-05-17 cs.AI cs.LG
Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning in LLMs
Department of Computer Science, Stanford University, Stanford, USA(计算机科学系,斯坦福大学,斯坦福,美国)
本文提出Putnam-AXIOM基准及其程序化变体集,通过522道Putnam竞赛题和100个抗污染变体评估大语言模型的高阶数学推理能力,并引入TFA指标,揭示模型记忆导致的性能下降问题。
2025-08-27 cs.AI cs.CL cs.LG
A Probabilistic Representation of Deep Learning for Improving The Information Theoretic Interpretability
University of Delaware(特拉华大学)
在本文中,我们提出了一种概率表示的多层感知器(MLP),以提高信息论的可解释性。最重要的是,我们证明,被i.i.d.不是对MLP的所有隐藏层都有效,因此现有的基于非参数推断方法的互信息估计器,例如,经验分布和核密度估计(KDE),是无效的测量信息流的MLP。此外,我们引入了显式的概率解释MLP:(i)我们定义了概率空间(Omega_F,t,P_F),并证明了激活函数对概率测度P_F的重要影响:(ii)证明了MLP的整个结构是Gibbs分布P;以及(iii)反向传播旨在优化MLP的所有全连接层的样本空间Omega_F,用于学习最优吉布斯分布P*,以表达输入和标签之间的统计连接。基于MLP的概率解释,我们从三个方面改进了MLP的信息论解释:(i)f的随机变量是离散的,对应的熵是有限的;(ii)如果考虑反向传播,信息瓶颈理论不能正确解释MLP中的信息流;(iii)我们提出了新的MLP推广的信息论解释。最后,我们证明了建议的概率表示和信息理论解释MLP在合成数据集和基准数据集。
2020-10-27 cs.IT cs.LG math.IT
AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models
King Abdullah University of Science and Technology (KAUST)(卡斯泰克大学);American University of Beirut (AUB)(贝鲁特美国大学)
AraLingBench通过150道人工标注的多项选择题评估阿拉伯语LLM的语言能力,揭示模型在语法和句法推理上的不足,强调了记忆与模式识别对模型性能的影响。
2025-12-09 cs.AI cs.CL cs.LG
Decomposing Probabilistic Scores: Reliability, Information Loss and Uncertainty
Kyoto University, Japan(京都大学)
本文提出概率分数分解理论,将预测损失分为可靠性项与残余不确定性项,并应用于分类任务,揭示了校准、模型聚合与提升方法中的信息损失与不确定性问题。
2026-03-22 cs.LG math.ST stat.ML
Quantifying the Ease of Reproducing Training Data in Unconditional Diffusion Models
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);Institute of Materials and Systems for Sustainability, Nagoya University(名古屋大学可持续性材料与系统研究所)
本研究提出一种基于常微分方程体积增长率的方法,量化无条件扩散模型中训练数据复现的难易程度,以检测并改进易被记忆的样本。
2025-03-25 cs.CV cs.LG
Tighter Information-Theoretic Generalization Bounds via a Novel Class of Change of Measure Inequalities
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系);Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程系)
本文提出基于数据处理不等式的一类新测度变换不等式,涵盖f-散度、Rényi散度和α-互信息,并应用于泛化误差、PAC-Bayes、差分隐私和数据记忆化,得到更紧的保证。
2026-05-26 cs.IT cs.LG math.IT
To Each (Textual Sequence) Its Own: Improving Memorized-Data Unlearning in Large Language Models
University of Warwick(华威大学)
本文提出按文本序列在LLM中的记忆程度差异化遗忘的新视角,贡献新评估指标、对抗攻击及两种遗忘方法,并通过大规模实验验证其效果。
2024-05-06 cs.AI cs.CL cs.LG