Enhancing Knowledge Tracing through Leakage-Free and Recency-Aware Embeddings
该研究针对知识追踪模型的标签泄漏问题，提出含MASK标签的无泄漏嵌入与近期编码方法，融入DKT等模型后可提升预测准确性，方法高效且适用范围广。
2026-10-06 cs.AI cs.CY cs.LG
Membership Inference on Word Embedding and Beyond
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
在文本处理上下文中，大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的，这些数据集可能包含敏感数据。在某些情况下，这种训练是独立完成的，在其他情况下，它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下，考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是，有些令人惊讶的是，对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理（NLP）任务中的影响仍然相对未被探索。在这项工作中，我们表明在现实的假设下，词嵌入很容易受到黑盒成员推断攻击。此外，我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在：分类和文本生成，即使嵌入层没有暴露给攻击者。我们表明，我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上，我们的攻击是对文本生成模型的更便宜的成员推断攻击，它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Image selective encryption analysis using mutual information in CNN based embedding space
IMT Nord Europe（IMT北欧分校）；Institut Mines-Télécom（矿业电信研究所）；Centre for Digital Systems（数字系统中心）
本文研究图像选择性加密中的信息泄露问题，提出利用互信息估计器（经验估计器和MINE框架）在深度学习、信息论与密码学交叉领域检测泄露，为图像信息泄露估计提供新方向。
2025-08-12 cs.CR cs.IT cs.LG
Modelling and Quantifying Membership Information Leakage in Machine Learning
University of Melbourne（墨尔本大学）；Macquarie University（麦考瑞大学）
机器学习模型已被证明易受成员推断攻击的攻击，即，推断个人数据是否被用于训练模型。缺乏对这些攻击成功的因素的理解激发了使用信息理论对成员信息泄漏进行建模以及调查可以减少成员信息泄漏的机器学习模型和训练算法的属性的需要。我们使用条件互信息泄漏来测量训练机器学习模型中关于训练数据集中个体存在的信息泄漏量。我们设计了一个上限，这种措施的信息泄漏使用Kullback-Leibler分歧，更适合于数值计算。我们证明了Kullback-Leibler成员信息泄漏和假设测试对手检查特定数据记录是否属于机器学习模型的训练数据集的成功概率之间的直接关系。我们证明了互信息泄漏是训练数据集大小和正则化权重的递减函数。我们还证明，如果机器学习模型（定义在相对于模型参数的适应度的导数方面）的灵敏度高，则可能泄漏更多的成员信息。这表明，与具有较少自由度的简单模型相比，复杂模型（如深度神经网络）更容易受到成员推断攻击的影响。我们发现，当使用高斯$(ε,δ)$-差分私有加性噪声时，通过$\mathcal{O}(\log^{1/2}(δ^{-1})ε^{-1})$减少了成员信息泄漏量。
2020-04-28 cs.CR cs.IT cs.LG
A Comprehensive Analysis of Information Leakage in Deep Transfer Learning
Alibaba Group（阿里巴巴集团）
迁移学习被广泛用于将知识从源域迁移到标记数据稀缺的目标域。最近，深度迁移学习在各种应用中取得了显著的进展。然而，在许多现实场景中，源数据集和目标数据集通常属于两个不同的组织，在深度迁移学习中存在潜在的隐私问题。在这项研究中，为了彻底分析深度迁移学习中潜在的隐私泄露，我们首先将以前的方法分为三类。在此基础上，我们展示了导致每个类别中无意隐私泄露的具体威胁。此外，我们还提供了一些解决方案来防止这些威胁。据我们所知，我们的研究是第一个对深度迁移学习方法中的信息泄漏问题进行彻底分析并提供潜在解决方案的研究。在两个公共数据集和一个行业数据集上进行了大量的实验，以显示不同深度迁移学习设置下的隐私泄漏和防御解决方案的有效性。
2020-09-04 cs.CL cs.LG
Measuring and Controlling Split Layer Privacy Leakage Using Fisher Information
Pennsylvania State University（宾夕法尼亚州立大学）；Meta AI；Georgia Institute of Technology（佐治亚理工学院）；Cornell University（康奈尔大学）
拆分学习和推理建议运行跨客户端设备和云拆分的大型模型的训练/推理。然而，这样的模型分割强加了隐私问题，因为流经分割层的激活可能泄漏关于客户端的私有输入数据的信息。目前还没有好的方法来量化有多少私人信息通过分离层泄露，也没有好的方法来将隐私提高到所需的水平。在这项工作中，我们提出使用Fisher信息作为隐私度量来测量和控制信息泄漏。我们表明，费舍尔信息可以提供一个直观的理解有多少私人信息泄漏通过分裂层，在一个无偏重建攻击者的错误界的形式。然后，我们提出了一个隐私增强技术，ReFIL，可以强制执行用户所需的水平的费舍尔信息泄漏在分裂层，以实现高隐私，同时保持合理的效用。
2022-09-21 cs.CR cs.LG
Leakage and Interpretability in Concept-Based Models
The Alan Turing Institute（阿尔法·图灵研究院）；Kings College London（国王学院伦敦）；University College London（大学学院伦敦）；Roche Pharmaceuticals（罗氏制药）
本文提出信息理论框架量化概念模型中的泄露问题，定义了概念-任务泄露和跨概念泄露指标，揭示了模型泄露的根源并提出减少泄露的实践指南。
2026-03-24 cs.AI cs.LG stat.ML
A Quantitative Metric for Privacy Leakage in Federated Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在联邦学习系统中，参数梯度在参与者和中央调制器之间共享，而原始数据永远不会离开其受保护的源域。然而，梯度本身可能携带足够的信息来精确推断原始数据。通过向中央服务器报告其参数梯度，客户端数据集暴露于来自对手的推理攻击。本文提出了一种基于互信息的定量度量方法，用于客户评估其梯度中的信息泄漏潜在风险。在过去的几年里，互信息在机器学习和数据采掘社区中受到越来越多的关注。然而，现有的互信息估计方法不能处理高维变量。本文提出了一种新的方法来近似高维梯度和批量输入数据之间的互信息。实验结果表明，该度量方法能够可靠地反映联邦学习中的信息泄漏程度。此外，使用所提出的度量，我们调查的风险水平的影响因素。研究表明，信息泄漏风险与任务模型的状态以及固有的数据分布有关。
2021-02-24 cs.CR cs.LG
A Graph Symmetrisation Bound on Channel Information Leakage under Blowfish Privacy
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；Australian Tax Office（澳大利亚税务局）；School of Mathematics and Statistics, University of Melbourne（墨尔本大学数学与统计学院）
Blowfish隐私是差分隐私的最新概括，它可以提高效用，同时保持具有语义保证的隐私策略，这是推动计算机科学中差分隐私流行的一个因素。本文将Blowfish隐私与通信理论界提出的一种度量信息通道隐私损失的重要方法：最小熵泄漏联系起来。输入数据相邻关系中的对称性对于差分隐私和最小熵泄漏之间的已知连接是中心的。但是，虽然差分隐私具有很强的对称性，Blowfish相邻关系对应于任意简单的图形，由于该框架的灵活的隐私政策。要绑定的最小熵泄漏的河豚私人机制，我们组织我们的分析对称分区对应的轨道图自同构群。一个满足我们的渐近相等界的构造证明了紧性。
2021-10-13 cs.CR cs.IT cs.LG
In Defense of Information Leakage in Concept-based Models
本文重新审视基于概念模型中的信息泄露问题，提出良性泄露概念，通过优化训练目标，在概念不完整时利用泄露提升准确性和可干预性。
2026-06-09 cs.AI cs.CR cs.LG
NoPeek: Information leakage reduction to share activations in distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
对于具有敏感数据的分布式机器学习，我们演示了如何最小化原始数据和中间表示之间的距离相关性，从而减少敏感原始数据模式在客户端通信中的泄漏，同时保持模型的准确性。泄漏（使用输入和中间表示之间的距离相关性进行测量）是与中间表示的原始数据的可逆性相关的风险。这可以防止持有敏感数据的客户端实体使用分布式深度学习服务。我们证明了我们的方法对这种重建攻击具有弹性，并且基于在图像数据集的训练和推理过程中减少原始数据和学习表示之间的距离相关性。我们防止这种重建的原始数据，同时保持所需的信息，以维持良好的分类精度。
2020-08-20 cs.DC cs.LG stat.ML
Data Encoding For Healthcare Data Democratisation and Information Leakage Prevention
University of Oxford（牛津大学）；IIIT Delhi（德里印度理工学院）
针对医疗领域数据民主化不足与模型信息泄露问题，提出基于随机投影和随机量子编码的不可逆数据编码方案，在保留数据语义的同时降低模型信息泄露风险。
2023-05-05 cs.CR cs.LG
Mitigating Information Leakage in Image Representations: A Maximum Entropy Approach
Michigan State University（密歇根州立大学）
图像识别系统在过去的几十年里取得了巨大的进步，部分原因是我们能够学习紧凑和鲁棒的图像表示。当我们看到这些系统的广泛采用时，必须考虑图像表示的信息意外泄漏的问题，这可能会损害数据所有者的隐私。本文研究的问题，学习的图像表示，最大限度地减少这种泄漏的用户信息。我们制定的问题作为一个对抗性的非零和游戏，找到一个好的嵌入函数，有两个相互竞争的目标：保留尽可能多的任务相关的判别图像信息，同时最大限度地减少信息量，如熵测量，关于其他敏感属性的用户。我们使用非线性系统理论的工具分析了所提出的制剂的稳定性和收敛动力学，并与相应的对抗性零和博弈制剂进行了比较，该制剂优化了作为信息内容度量的可能性。UCI，扩展耶鲁B，CIFAR-10和CIFAR-100数据集上的数值实验表明，我们提出的方法是能够学习图像表示，表现出高的任务性能，同时减少泄漏的预定义的敏感信息。
2019-04-11 cs.CV cs.LG stat.ML
Quantifying and Localizing Usable Information Leakage from Neural Network Gradients
Imperial College London（帝国理工学院）；University of Warwick（华威大学）
在协作学习中，客户端保持其数据的私密性，并且仅传达正在其本地数据上训练的深度神经网络的计算梯度。最近的几次攻击表明，人们仍然可以从共享网络的梯度中提取私人信息，从而损害客户端的隐私。本文采用可用信息论对梯度中的隐私信息泄漏进行量化。我们重点研究了两类隐私信息：数据重构攻击中的原始信息和属性推断攻击中的潜在信息。此外，对梯度进行敏感性分析，以探索信息泄漏的根本原因，并验证所提出的框架的结果。最后，我们对六个基准数据集和四个著名的深度模型进行了数值评估。我们测量训练超参数的影响，例如，批次和时期，以及潜在的防御机制，例如，dropout和差分隐私。我们提出的框架使客户能够以分层的方式定位和量化私人信息泄漏，并能够更好地了解协作学习中的信息泄漏来源，这可以被未来的研究用来衡量新的攻击和防御机制。
2022-07-25 cs.LG
Towards learning to explain with concept bottleneck models: mitigating information leakage
J.P. Morgan AI Research（摩根大通人工智能研究院）
概念瓶颈模型通过首先预测人类提供的概念列表中的哪些关于数据点是正确的来执行分类。然后，下游模型使用这些预测的概念标签来预测目标标签。预测的概念充当目标预测的基本原理。当使用软概念标签时，模型信任问题出现在这种范式中：以前已经观察到有关数据分布的额外信息泄漏到概念预测中。在这项工作中，我们将展示如何使用蒙特卡罗Dropout来实现不包含泄漏信息的软概念预测。
2022-11-07 cs.CR cs.LG
Channel Leakage, Information-Theoretic Limitations of Obfuscation, and Optimal Privacy Mask Design for Streaming Data
New York University（纽约大学）
在本文中，我们首先引入了信道泄漏的概念，作为信道输入和信道输出之间的最小互信息。正如其名称所示，信道泄漏量化了对恶意接收器的最小信息泄漏。从广义上讲，它可以被看作是信道容量的双重概念，它表征了到目标接收机的最大信息传输。我们得到明确的公式的信道泄漏的情况下，白色高斯，有色高斯的情况下，和衰落的情况下。然后，我们利用这一概念调查的基本限制混淆的隐私失真权衡（以及隐私权权衡）的流数据，特别是，我们推导出分析权衡方程的固定的情况下，非固定的情况下，和有限时间的情况下。我们的研究结果还明确指出，如何设计的隐私面具在一个最佳的方式。
2020-09-29 cs.CR cs.IT cs.LG
Speech Privacy Leakage from Shared Gradients in Distributed Learning
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Intuit AI Research（财捷人工智能研究院）
分布式机器学习范例，如联邦学习，最近已被采用在许多隐私关键的应用程序的语音分析。然而，这样的框架容易受到来自共享梯度的隐私泄露攻击。尽管在图像领域进行了广泛的努力，但对梯度语音隐私泄漏的探索非常有限。在本文中，我们探讨了在分布式学习环境中从共享梯度中恢复私人语音/说话人信息的方法。我们进行实验的关键字定位模型与两种不同类型的语音特征，通过测量原始和恢复的语音信号之间的相似性来量化泄漏的信息量。我们进一步证明了在分布式学习框架下，在不访问用户数据的情况下推断各种水平的侧信道信息（包括语音内容和说话人身份）的可行性。
2023-02-21 cs.CR cs.LG
Measuring Leakage in Concept-Based Methods: An Information Theoretic Approach
ETH Zurich Medical Data Science group（苏黎世联邦理工学院医疗数据科学组）；ETH Zurich（苏黎世联邦理工学院）
本文提出一种信息论度量来量化概念瓶颈模型中的非预期信息泄漏，并通过合成实验验证其有效性，发现维度与分类器选择影响泄漏及测量稳定性。
2025-07-20 cs.AI cs.LG
Distribution inference risks: Identifying and mitigating sources of leakage
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
大量的工作表明，机器学习（ML）模型可能会泄露有关其训练数据的敏感或机密信息。最近，由于分布推断（或属性推断）攻击而导致的泄漏正受到关注。在这种攻击中，对手的目标是推断关于训练数据的分布信息。到目前为止，对分布推断的研究主要集中在证明成功的攻击，很少注意识别泄漏的潜在原因并提出缓解措施。为了弥合这一差距，作为我们的主要贡献，我们从理论上和经验上分析了信息泄漏的来源，允许对手进行分布推断攻击。我们确定了三个泄漏源：（1）记住对手感兴趣的$\mathbb{E}[Y|X]$（给定特征值的预期标签）的特定信息，（2）模型的错误归纳偏差，以及（3）训练数据的有限性。接下来，根据我们的分析，我们提出了原则性的缓解技术，对分布推断攻击。具体来说，我们证明了因果学习技术更有弹性的一种特定类型的分布推理风险称为分布成员推理比联想学习方法。最后，我们提出了一个形式化的分布推理，允许推理更一般的对手比以前可能的。
2022-09-18 cs.CR cs.LG
A prior-free blind detection of information leakage from model predictions
Center for Molecular Cardiology, University of Zurich（苏黎世大学分子心脏病学中心）；Center for Complexity Sciences, National University of Mexico（墨西哥国立自治大学复杂性科学中心）
针对机器学习模型输出中信息泄露的检测问题，提出决策理论框架，证明校准泄露与诚实模型不可区分，但近确定性子组可被无先验检测，并在UK Biobank上验证。
2026-06-11 cs.CR cs.LG
Information Leakage Detection through Approximate Bayes-optimal Prediction
University of Potsdam（波恩大学）；University of Hanover（汉诺威大学）；Ludwig-Maximilians-University Munich（慕尼黑大学）
提出基于统计学习与信息论的理论框架，通过自动机器学习近似贝叶斯预测器的对数损失和准确率来估计互信息，从而检测信息泄露，在合成和真实OpenSSL TLS服务器数据集上优于现有方法。
2026-06-16 cs.LG stat.ML
Information Theoretic Evaluation of Privacy-Leakage, Interpretability, and Transferability for Trustworthy AI
Software Competence Center Hagenberg（哈根贝格软件能力中心）；University of Rostock（罗斯托克大学）
为了开发考虑到可信AI的指导方针和原则的机器学习和深度学习模型，引入了一种新的信息理论可信AI框架。一个统一的方法，“隐私保护的可解释性和可转移的学习”被认为是研究和优化隐私，可解释性和可转移性方面之间的权衡。变分成员映射贝叶斯模型用于分析近似的定义的信息理论措施的隐私泄漏，可解释性和可转让性。该方法包括近似的信息理论的措施，通过最大限度地利用变分优化的下限。该研究提出了一种统一的信息理论方法，以严格的分析方式研究可信AI的不同方面。该方法是通过大量的实验基准数据集和现实世界的生物医学应用程序有关的个人使用心率变异性分析的精神压力的检测证明。
2022-04-12 cs.AI cs.CR cs.LG
Generalization Bounds for Stochastic Gradient Langevin Dynamics: A Unified View via Information Leakage Analysis
Tencent AI Lab（腾讯人工智能实验室）；HongKong University of Science and Technology（香港科技大学）；Zhejiang University（浙江大学）
最近，非凸经验风险最小化范式的推广界随机梯度朗之万动力学（SGLD）已被广泛研究。从不同的角度对这一问题进行了研究，如信息论和稳定性等。在本文中，我们提出了一个统一的观点，从隐私泄漏分析调查的推广范围的SGLD，以及一个理论框架，重新推导以前的结果，在一个简洁的方式。除了理论研究结果，我们进行了各种数值研究，以实证评估SGLD的信息泄漏问题。此外，我们的理论和实证结果提供了解释先前的作品，研究SGLD的会员隐私。
2021-12-14 cs.AI cs.LG
Eliminating Information Leakage in Hard Concept Bottleneck Models with Supervised, Hierarchical Concept Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对概念瓶颈模型的信息泄漏问题，提出SupCBM，通过标签监督和分层概念集，利用干预矩阵实现标签预测，显著减少信息泄漏并提升性能。
2024-02-03 cs.AI cs.LG
Protecting Split Learning by Potential Energy Loss
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Sony AI（索尼人工智能研究院）；Ant Group（蚂蚁集团）
针对分割学习前向嵌入的标签隐私泄露问题，提出势能损失方法，通过将同类嵌入推向决策边界增加其复杂度，有效抵御微调与聚类攻击。
2024-05-29 cs.AI cs.CR cs.DC
Evaluating and Mitigating Gender Bias in Pre-trained Embeddings for ML-based Recruitment
AI Lab, Vrije Universiteit Brussel（人工智能实验室，布鲁塞尔自由大学）
研究基于机器学习的招聘中预训练嵌入的性别偏见问题，通过在合成数据集上评估模型、采用多任务对抗学习框架及多目标模型选择，发现清理性别可减少但未消除泄露，对抗学习能改善公平性，是补充策略。
2026-07-23 cs.LG
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Meta；United States Military Academy（美国军事学院）
提出LeakAgent框架，通过强化学习训练攻击智能体生成对抗性提示以提取LLM训练数据和系统提示，显著优于现有方法并能规避防御，助力安全对齐。
2025-08-08 cs.AI cs.CR cs.LG
Data Leakage via Access Patterns of Sparse Features in Deep Learning-based Recommendation Systems
University of Southern California（南加州大学）；Meta AI；Virginia Tech（弗吉尼亚理工学院）；Washington University in St. Louis（圣路易斯华盛顿大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Cornell University（康奈尔大学）；Intel（英特尔）
在线个性化推荐服务通常托管在云中，其中用户查询基于云的模型以接收推荐输入，例如感兴趣的商品或新闻提要。最先进的推荐模型依赖于稀疏和密集的特征来表示用户的个人资料信息和他们交互的项目。尽管稀疏特征占模型总规模的99%，但稀疏特征可能带来的信息泄漏问题尚未引起足够的重视。这些稀疏特征用于跟踪用户的行为，例如，他们的点击历史，对象交互等，潜在地携带每个用户的私人信息。稀疏特征表示为存储在大表中的学习嵌入向量，并且通过使用特定用户的稀疏特征来索引表来执行个性化推荐。即使使用最近提出的隐藏云中发生的计算的方法，云中的攻击者仍然能够跟踪对嵌入表的访问模式。本文探讨了私人信息，可以通过跟踪推荐模型的稀疏特征访问模式。我们首先描述了可以在不受信任的云中对推荐模型中的稀疏特征进行的攻击类型，然后演示了这些攻击中的每一种如何导致提取用户的私人信息或跟踪用户的行为。
2022-12-12 cs.CE cs.CR cs.DC
Robustifying DARTS by Eliminating Information Bypass Leakage via Explicit Sparse Regularization
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
针对DARTS因跳跃连接信息旁路泄漏导致鲁棒性差、训练与评估阶段性能有差异的问题，提出稀疏正则化近似与混合稀疏训练方案，经多搜索空间实验验证可有效增强其鲁棒性。
2023-06-12 cs.LG
Rethinking Evaluation in the Era of Time Series Foundation Models: (Un)known Information Leakage Challenges
Paderborn University, Data Analytics Group（帕德博恩大学数据分析组）
本文探讨了时间序列基础模型评估中信息泄漏问题，提出需开发新型评估方法以避免现有方法的缺陷，确保评估结果的可靠性。
2026-02-25 cs.AI cs.LG
Federated Learning with Reduced Information Leakage and Computation
University of Michigan（密歇根大学）；The Ohio State University（俄亥俄州立大学）
本文提出 Upcycled-FL 策略，通过在偶数轮更新中应用一阶近似减少一半联邦学习更新的信息泄露与计算传输开销，并结合扰动机制在多种框架中改善隐私与准确率权衡。
2024-10-01 cs.LG
Do LLMs Really Forget? Hidden-State Leakage in Model Unlearning and How to Fix it
University of Minnesota（明尼苏达大学）；Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）
本研究揭示LLM遗忘评估仅关注输出层面的局限，提出探针对抗表示抑制（PARS）方法，直接最小化隐藏表示中的信息泄漏，以实现在对抗性攻击下更强的真正遗忘保证。
2026-09-30 cs.LG
Analyzing Leakage of Personally Identifiable Information in Language Models
University of Waterloo（滑铁卢大学）；Microsoft（微软）
本文提出仅需API访问的PII黑盒提取、推理与重构攻击定义，并在GPT-2上实证表明新攻击可多提取10倍PII，差分隐私仍泄露约3%。
2023-04-23 cs.LG
