Losing dimensions: Geometric memorization in generative diffusion
Computing Sciences Department, Bocconi University（博科尼大学计算科学系）；Bocconi Institute for Data Science and Analytics (BIDSA)（博科尼数据科学与分析研究所）；Donders Institute, Radboud University（拉德堡德大学多纳尔斯研究所）；OnePlanet Research Center, Wageningen（瓦赫宁根大学OnePlanet研究中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Jheronimus Academy of Data Science (JADS)（杰霍尼穆斯数据科学学院）；IBM Research, Cambridge（IBM研究院，剑桥）
本文提出几何记忆理论，揭示扩散模型在低维流形上逐渐记忆训练数据的现象，通过分析学习到的分数场发现生成行为集中在少数例子上，形成一般化与精确复制之间的独特阶段。
2026-03-11 cs.LG stat.ML
Beyond Mode Collapse: Generating Diverse Synthetic Expert Conversations via Generative Flow Networks
University of Michigan（密歇根大学）
本文提出用生成流网络生成多样化合成专家对话，解决数据模式坍缩问题，在辅导和情感支持领域优于强化学习和端到端LLM基线，提升下游任务训练信号。
2026-10-01 cs.AI cs.CL cs.LG
A Formal Framework for Assessing and Mitigating Emergent Security Risks in Generative AI Models: Bridging Theory and Dynamic Risk Mitigation
College of IST（信息科学与技术学院）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一个形式化框架，通过分层方法整合实时监控、持续红队测试和对抗模拟，对生成式AI中潜在空间利用、多模态交叉攻击及反馈回路退化等新兴安全风险进行分类与动态缓解，为未来实证研究提供方法论和评估指标。
2024-10-15 cs.CR cs.LG
Finding Needles in Haystack: Formal Generative Models for Efficient Massive Parallel Simulations
RWTH Aachen University（亚琛工业大学）
自治系统复杂性的增加伴随着对数据驱动的开发和验证策略的需求。计算机图形学和云集群的进步为大规模并行高保真模拟开辟了道路，以定性地解决大量的操作场景。然而，探索所有可能的情景仍然是昂贵的，情景的结果通常是未知的先验。为此，作者提出了一种基于baidu优化的方法，以有效地学习生成模型，这些模型将以高概率提供期望的结果（例如碰撞）。该方法集成在一个端到端的框架中，该框架使用OpenSCENARIO标准来描述场景，并在虚拟测试床集群上部署场景参与者的高度可配置的数字孪生。
2023-01-03 cs.LG cs.SY eess.SY
Why Are Conditional Generative Models Better Than Unconditional Ones?
Tsinghua University（清华大学）；Renmin University of China（中国人民大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
大量的经验证据表明，条件生成模型更容易训练，并通过利用数据的标签比无条件的表现更好。基于分数的扩散模型也是如此。本文对这一现象进行了形式化的分析，指出条件学习的关键是对数据进行合理的划分。受分析的启发，我们提出了自适应扩散模型（SCDM），这是训练条件上的索引聚类的k-means算法的特征提取的模型预训练在一个自我监督的方式。SCDM显著改进了跨各种数据集的无条件模型，并在ImageNet 64 x64上实现了3.94的破纪录FID。此外，SCDM在CIFAR 10上获得了比相应条件模型稍好的FID。
2022-12-01 cs.LG
Beyond Solver Verdicts: Generative Reward Models for Autoformalization
Case Western Reserve University（凯斯西储大学）；Amazon Web Services（亚马逊云服务）
针对自动形式化中求解器无法检测指称不忠实的问题，提出生成式验证模型GenV，通过蒸馏Z3等价性预言机实现无参考验证，达到0.961 AUROC并提升下游准确率11.3点。
2026-09-14 cs.CL cs.LG
Deep Learning and Hierarchal Generative Models
MIT（麻省理工学院）
有人认为，深度学习对于从分层生成模型生成的数据是有效的。这种生成模型的示例包括小波散射网络、组成结构的函数和深度渲染模型。不幸的是，到目前为止，对于所有这些模型，要么不严格知道它们可以有效地学习，要么不知道为了学习它们需要“深度算法”。我们提出了一个简单的家庭的“生成层次模型”，可以有效地学习和“深度”算法是必要的学习。我们对“深度”算法的定义是基于经验观察，即深度网络必须使用特征之间的相关性。更正式地说，我们表明，在一个半监督的设置，考虑到访问低阶矩的标记数据和所有的未标记数据，这是信息理论上不可能进行分类，而在同一时间有一个有效的算法，即所有标记和未标记的数据，完美的标签所有未标记的数据具有很高的概率。为了证明，我们使用并加强了这样一个事实，即信念传播不允许线性函数的良好近似。
2018-09-04 cs.LG
Empirical Privacy Evaluations of Generative and Predictive Machine Learning Models -- A review and challenges for practice
Netherlands eScience Center（荷兰eScience中心）；Institute of Data Science, Maastricht University（马斯特里赫特大学数据科学学院）
本文综述了生成式和预测式机器学习模型的经验隐私评估方法，指出其在百万级训练记录场景下存在计算可行性与威胁模型现实性之间的关键权衡，并为未来研究提出建议。
2024-11-19 cs.LG
GAR: Generative Adversarial Reinforcement Learning for Formal Theorem Proving
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
GAR通过生成对抗强化学习框架提升形式定理证明的效率和性能
2026-03-01 cs.AI cs.LG
GenCtrl -- A Formal Controllability Toolkit for Generative Models
Apple（苹果公司）；Universitat Pompeu Fabra（庞培法布拉大学）；Stanford（斯坦福大学）
GenCtrl 提出了一种理论框架，用于评估生成模型的可控性，并通过实验展示了可控性在不同任务中的脆弱性。
2026-01-09 cs.AI cs.LG cs.SY
Formal Safety Verification and Refinement for Generative Motion Planners via Certified Local Stabilization
Georgia Institute of Technology（佐治亚理工学院）
提出一种通过小型神经跟踪控制器稳定GMP采样参考并应用神经网络验证的方法，实现生成式运动规划器的形式化安全验证，在不重训练下提升仿真与硬件上的安全性。
2025-09-24 cs.LG cs.RO cs.SY
MACE: A Flexible Framework for Membership Privacy Estimation in Generative Models
Microsoft（微软）；Insitro；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
生成式机器学习模型越来越被视为机构之间共享敏感数据的一种方式。虽然已经有开发差异私有生成建模方法的工作，但这些方法通常导致低于标准的样本质量，限制了它们在现实世界应用中的使用。另一项工作集中在开发生成模型，这些模型可以产生更高质量的样本，但目前缺乏任何正式的隐私保证。在这项工作中，我们提出了第一个正式的框架成员隐私估计生成模型。我们制定的成员隐私风险作为训练样本和保持样本之间的统计分歧，并提出基于样本的方法来估计这种分歧。与以往的工作相比，我们的框架，使更现实和灵活的假设。首先，我们提供了一个可推广的度量作为替代的准确性度量，特别是不平衡的数据集。其次，我们放松了从以前的研究中可以完全访问底层分布的假设，并提出了基于样本的估计与理论保证。第三，在基于最优成员优势的群体级成员隐私风险估计的基础上，提出了基于个体隐私风险的个体级成员隐私风险估计。第四，我们的框架允许对手通过自定义查询访问训练模型，而之前的工作需要特定的属性。
2022-10-12 cs.CR cs.LG
Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences
University of Washington（华盛顿大学）
通过理论分析证明，基于多个奖励函数进行策展的递归训练可以避免生成模型崩溃，并收敛到满足加权纳什议价解的稳定分布。
2026-06-03 cs.AI cs.LG
Generate and Verify: Semantically Meaningful Formal Analysis of Neural Network Perception Systems
HRL Laboratories LLC（HRL实验室有限责任公司）
测试仍然是评估神经网络感知系统准确性的主要方法。神经网络感知模型的形式化验证的先前工作已被限制到相对于个体图像输入的分类的局部对抗鲁棒性的概念。在这项工作中，我们提出了一个概念的全局正确性的神经网络感知模型进行回归生成神经网络与语义有意义的潜在空间。也就是说，针对生成模型在其潜在空间的间隔上产生的无限图像集，我们采用神经网络验证来证明该模型将始终在地面真实的某些误差范围内产生估计。在感知模型失败的地方，我们获得语义上有意义的反例，这些反例携带感兴趣的系统的具体状态的信息，这些信息可以在没有人类检查相应生成的图像的情况下以编程方式使用。我们的方法，生成和验证，提供了一种新的技术来收集洞察神经网络感知系统的故障情况，并提供有意义的保证，在安全关键应用程序的正确行为。
2020-12-16 cs.LG cs.LO
A Non-generative Framework and Convex Relaxations for Unsupervised Learning
我们给了一个新的正式的理论框架无监督学习有两个鲜明的特点。首先，它不假设任何生成模型，并基于最坏情况下的性能指标。第二，它是比较性的，即绩效是相对于给定的假设类来衡量的。这允许避免已知的计算硬度结果和基于凸松弛的不适当算法。我们展示了几个家庭的无监督学习模型，这是以前只分析概率假设下，否则证明是棘手的，可以有效地学习在我们的框架凸优化。
2016-12-27 cs.DS cs.LG stat.ML
ManiFPT: Defining and Analyzing Fingerprints of Generative Models
USC Information Sciences Institute（南加州大学信息科学研究所）；USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明赫氏电气与计算机工程系）
本文形式化生成模型伪影与指纹定义并提出计算算法，用于区分多种生成模型和模型归因，且指纹结构可预测设计选择影响。
2024-02-29 cs.CV cs.LG
Symplectic Generative Networks (SGNs): A Hamiltonian Framework for Invertible Deep Generative Modeling
University of Louisiana at Lafayette（路易斯安那州立大学）；Presidency College
本研究提出基于哈密顿力学的辛生成网络SGN，通过辛结构实现隐空间到数据空间的可逆保体积映射，无需雅可比行列式计算即可精确估计似然，并建立了含理论证明、复杂度分析等的完整理论框架，为后续研究与应用奠基。
2025-10-29 cs.LG stat.ML
Is Generation Required for Data-Efficient Perception?
研究生成式与非生成式方法实现组合泛化的程度，通过理论刻画归纳偏差，表明生成范式可能更易实现组合泛化，实验发现生成式方法泛化性更好。
2026-07-07 cs.CV cs.LG
Generative Modeling with Diffusion
Arizona State University（亚利桑那州立大学）
本文概述扩散模型的生成原理，定义加噪去噪过程并介绍其训练与生成算法，同时探索该模型在提升不平衡数据分类器性能上的潜在应用。
2025-06-11 cs.LG math.PR stat.ML
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt（达姆施塔特工业大学）；SAP SE（思爱普公司）
我们提出了两个信息泄漏攻击，优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断，而无需对生成模型的类型进行假设。与以前的生成模型评估指标（如核密度估计）相反，它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器，以实现较高的隶属推理精度。此外，以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者，以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估，生成对抗网络（GANs）和变分自编码器（VAE），在标准图像数据集上训练。我们的研究结果表明，这两种攻击产生的成功率优于以前的工作在大多数数据集，而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合，特别有用。例如，在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中，我们的工作激励了GANs的使用，因为它们在产生详细样本的同时，被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
On Provable Copyright Protection for Generative Models
Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）；Kempner Institute for the Study of Natural and Artificial Intelligence（肯普纳自然与人工智能研究所）
该研究提出生成式模型的近无访问性（NAF）定义及对应概率界，设计黑盒式修改的学习算法以降低采样受版权保护内容的概率，实验验证其在语言和图像生成模型上防护性强且输出质量退化极小。
2023-07-21 cs.LG stat.ML
Context-aware Multimodal AI Reveals Hidden Pathways in Five Centuries of Art Evolution
Soongsil University（崇实大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Indiana University（印第安纳大学）；Pohang University of Science and Technology（浦项科技大学）
研究利用Stable Diffusion提取西方绘画的形式与情境潜在表征，证明情境信息更能区分艺术时期、风格与艺术家，并通过生成实验再现艺术随社会演进的轨迹。
2025-03-15 cs.AI cs.CV cs.CY
