Samplability makes learning easier
Stanford（斯坦福大学）；MIT（麻省理工学院）
本文研究了可采性PAC学习与标准PAC学习的区别，展示了可采性PAC学习在样本复杂度和计算效率上的优势。
2025-12-01 cs.CC cs.DS cs.LG
Synthetic Data Can Mislead Evaluations: Membership Inference as Machine Text Detection
University of Massachusettes Amherst（马萨诸塞大学阿默斯特分校）；University of Washington（华盛顿大学）
本研究揭示成员推断攻击在LLM上误将合成数据识别为训练样本，表明其实际充当机器文本检测器，警示使用合成数据评估模型记忆和泄露可能产生误导性结论。
2025-01-20 cs.CL cs.CR cs.LG
Secure Aggregation is Not Private Against Membership Inference Attacks
Chalmers University of Technology（查尔姆斯理工大学）；AI Sweden（瑞典人工智能研究院）
该研究针对联邦学习中被广泛认为具备隐私保护能力的SecAgg机制，通过将其视为LDP机制开展隐私审计，设计单轮训练下的攻击实验，证明其高维场景下对成员推理攻击隐私防护薄弱，凸显需补充额外隐私增强机制的必要性。
2024-07-15 cs.CR cs.LG
CLMIA: Membership Inference Attacks via Unsupervised Contrastive Learning
Anhui University（安徽大学）
本文提出名为CLMIA的成员推理攻击方法，利用无监督对比学习训练攻击模型，仅需少量已知成员状态数据微调，在标记身份信息较少的真实场景下表现优于现有方法。
2024-11-17 cs.AI cs.CR cs.LG
In-Context Probing for Membership Inference in Fine-Tuned Language Models
Korea University, Seoul, South Korea（韩国大学）
本文提出ICP-MIA框架，通过上下文探查技术有效检测微调语言模型中的成员身份，提升隐私保护能力。
2025-12-21 cs.CR cs.LG
Evaluating the Dynamics of Membership Privacy in Deep Learning
本文提出动态分析框架，在样本层面量化成员推断攻击的隐私泄露动态，发现高脆弱样本的隐私风险在训练早期即已确定，为主动隐私保护训练奠定基础。
2025-08-03 cs.AI cs.LG
Exponential-Family Membership Inference: From LiRA and RMIA to BaVarIA
RISE Research Institutes of Sweden（瑞典RISE研究机构）
本文提出BaVarIA，一种基于指数族对数似然比框架的贝叶斯方差推断攻击，通过共轭先验替代阈值切换，提升成员推断攻击的稳定性和性能。
2026-08-17 cs.CR cs.LG
Overconfidence is a Dangerous Thing: Mitigating Membership Inference Attacks by Enforcing Less Confident Prediction
University of British Columbia（不列颠哥伦比亚大学）
本文提出无需额外数据的防御方法 HAMP，通过高熵软标签和熵正则化强制模型低置信度预测，统一模糊成员与非成员样本差异，在五个数据集上实现了优于七种先进防御的隐私-效用权衡。
2023-07-04 cs.AI cs.CR cs.LG
Level Up: Defining and Exploiting Transitional Problems for Curriculum Learning
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
本文提出了一种新的方法，通过定义和利用过渡问题来改进课程学习，该方法能够根据模型能力的提升动态调整训练难度，从而更有效地提升模型性能。
2026-06-03 cs.AI cs.LG
Why Does Differential Privacy with Large Epsilon Defend Against Practical Membership Inference Attacks?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Vanderbilt University（范德堡大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出新隐私概念 PMP 以建模实际攻击者的不确定性，定量分析表明大 DP 参数能转化为更小的 PMP 参数，从而解释了大 Epsilon 差分隐私防御实际成员推理攻击的有效性，并为参数选择提供指导。
2024-02-14 cs.AI cs.CR cs.LG
Modularity in Query-Based Concept Learning
University of California, Berkeley（加州大学伯克利分校）
我们定义并研究了模块化概念学习问题，即学习一个概念是一个组件概念的交叉产品。如果一个元素在概念中的成员资格仅仅取决于它在组件中的成员资格，那么学习整个概念就可以简化为学习组件。我们分析这个问题，相对于不同类型的Oracle接口，定义不同的查询集。如果一个给定的oracle接口不能回答关于组件的问题，学习可能会很困难，即使组件很容易通过相同类型的oracle查询学习。虽然从超集查询中学习很容易，但从成员关系、等价关系或子集查询中学习却很难。然而，我们表明，这些问题变得容易处理时，甲骨文给出了一个积极的例子，并允许要求成员查询。
2019-11-07 cs.AI cs.LG stat.ML
CheckMIABench: Firm Foundations For Membership Inference Attacks on Language Models
Harvard University（哈佛大学）；Harvard Business School（哈佛商学院）
为解决成员推理攻击评估中的分布偏移问题，提出基于训练中固定点前后数据同分布的基准框架，在Pythia和OLMo模型上评估多种攻击，并开源模块化库。
2026-06-17 cs.LG
Membership Inference Risks in Quantized Models: A Theoretical and Empirical Study
Université Paris-Saclay, CNRS, Laboratoire de mathématiques d’Orsay, France（巴黎萨克雷大学，法国国家科学研究中心，奥赛数学实验室，法国）；Université Paris-Saclay, ILLS, MILA, ÉTS, Montreal, Canada（巴黎萨克雷大学，ILLs，MILA，ÉTS，加拿大蒙特利尔）；ILLS, MILA, CNRS, CentraleSupélec, Montreal, Canada（ILLs，MILA，法国国家科学研究中心，中央超导学院，加拿大蒙特利尔）
本文通过理论分析和实证方法，研究后训练量化对机器学习模型成员推断隐私风险的影响，并提出新的成员推断安全指标。
2026-05-26 cs.LG stat.ML
On the Sample Complexity of Active Learning with Membership Queries
University of Arizona（亚利桑那大学）；University of Southern California（南加利福尼亚大学）
本文研究主动学习中合成查询的能力，发现其能显著改变学习难度，使某些类别从多项式误差衰减变为指数级可学习，并提出了充分条件与推测性视角。
2026-10-19 cs.LG math.ST stat.ML
Confidence Is All You Need for MI Attacks
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
针对成员推理攻击威胁数据机密性的问题，本文提出基于模型预测置信度判定数据点是否属于训练集的新方法，还推出无需真实标签的攻击变体，优于现有依赖标签的方法。
2024-06-19 cs.AI cs.CR cs.LG
Unlearning Inversion Attacks for Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；North Carolina State University（北卡罗来纳州立大学）
本文提出TrendAttack方法，通过识别置信度陷阱和自适应预测机制，揭示图去学习中存在关键隐私漏洞。
2025-12-05 cs.AI cs.CR cs.LG
Exploring the limits of strong membership inference attacks on large language models
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）；University of Washington（华盛顿大学）；Imperial College London（伦敦帝国学院）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹中心）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
本研究通过扩展LiRA攻击至GPT-2模型，揭示了强成员推断攻击在大型语言模型上的有效性及局限性，发现其在实际应用中仍存在显著的AUC限制和决策不稳定问题。
2026-01-08 cs.AI cs.CR cs.LG
Making Hard Problems Easier with Custom Data Distributions and Loss Regularization: A Case Study in Modular Arithmetic
FAIR at Meta（Meta 的 FAIR 部门）；Duke University（杜克大学）
针对ML攻击在复杂LWE场景扩展难的问题，本文开发自定义数据分布和损失函数技术提升模型模运算性能，使模型能处理N=128元素模q≤974269求和，应用于LWE可恢复2倍难的秘密，还改善其他任务性能。
2025-08-25 cs.LG
Detecting Training Data of Large Language Models via Expectation Maximization
University of California, Santa Barbara（加州大学圣巴巴拉分校）；AWS AI Lab（AWS人工智能实验室）
本文提出EM-MIA方法，通过期望最大化策略检测大型语言模型的训练数据，实验表明其在分布重叠明显时表现优异，揭示了当前方法的局限性。
2026-01-26 cs.AI cs.CL cs.CR
Semantic Information G Theory and Logical Bayesian Inference for Machine Learning
机器学习的一个重要问题是，当标号数n>2时，构造和优化一组学习函数是非常困难的，我们希望优化后的学习函数在先验分布P（x）（其中x是一个实例）改变时仍然有用。为了解决这个问题，语义信息G理论、逻辑贝叶斯推理（LBI）和一组信道匹配（CM）算法共同形成了一个系统的解决方案。G理论中的语义通道由一组真值函数或隶属函数组成。与常用的似然函数、贝叶斯后验函数和Logistic函数相比，隶属度函数可以更方便地用作学习函数，而不存在上述问题。在逻辑贝叶斯推理（LBI）中，每个标签的学习是独立的。对于多标签学习，我们可以直接从一个足够大的带有标签的样本中获得一组优化的隶属函数，而无需为不同的标签准备不同的样本。提出了一组用于机器学习的信道匹配算法。对于二维特征空间上具有高斯分布的三个类的最大互信息（MMI）分类，对于大多数初始划分，2-3次迭代可以使三个类与三个标签之间的互信息超过MMI的99%。对于混合模型，改进了EM算法，使之成为CM-EM算法，在混合比例不平衡或存在局部收敛时，CM-EM算法的性能优于EM算法。CM迭代算法需要结合神经网络用于高维特征空间上的MMI分类。法律解释学需要进一步研究，以实现统计学与逻辑学的统一。
2022-12-23 cs.AI cs.LG
EasyVideoR1: Easier RL for Video Understanding
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院）
本文提出EasyVideoR1框架，通过高效预处理、统一奖励系统和混合训练策略，提升视频理解任务的训练效率与性能。
2026-04-18 cs.CV cs.LG
Less Emphasis on Difficult Layer Regions: Curriculum Learning for Singularly Perturbed Convection-Diffusion-Reaction Problems
Yantai University（烟台大学）；East China Normal University（华东师范大学）；Shandong Normal University（山东师范大学）
虽然物理信息神经网络（PINN）已经成功地应用于各种科学和工程领域，但是在稍微具有挑战性的对流扩散反应问题中，它们不能准确地预测潜在的解决方案。在本文中，我们从域分布的角度研究了这种失败的原因，并发现同时学习多尺度域会使网络无法推进其训练，并且容易陷入局部极小值。我们发现，在高损耗层区域采样更多配置点的广泛经验几乎无助于优化，甚至可能恶化的结果。这些发现激发了一种新的课程学习方法的开发，该方法鼓励神经网络优先考虑在较容易的非层区域上学习，而淡化在较难的层区域上的学习。该方法有助于PINN自动调整学习重点，从而促进优化过程。典型基准方程的数值结果表明，所提出的课程学习方法减轻了PINN的故障模式，并可以产生非常尖锐的边界层和内部层的准确结果。我们的工作表明，对于解具有较大尺度差异的方程，较少关注高损失区域可能是准确学习它们的有效策略。
2023-03-24 cs.LG cs.NA math.NA
