Random gradient extrapolation for distributed and stochastic optimization
H. Milton Stewart School of Industrial & Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
在本文中，我们考虑一类有限和凸最优化问题，定义在一个分布式多智能体网络与$m$代理连接到一个中央服务器。特别地，目标函数由与每个网络代理相关联的$m$（$\ge 1$）平滑分量的平均值以及强凸项组成。我们的主要贡献是开发了一种新的随机增量梯度算法，即随机梯度外推法（RGEM），它不需要对初始点进行任何精确的梯度计算，但可以实现求解有限和问题的最佳${\cal O}(\log(1/ε))$复杂度界（以梯度计算的分量函数的总数为界）.此外，我们证明了随机有限和最优化问题，RGEM保持最佳的${\cal O}(1/ε)$复杂性（达到一定的对数因子）的随机梯度计算的数量方面，但达到${\cal O}(\log(1/ε))$复杂性的通信轮（每轮只涉及一个代理）。值得注意的是，前者的界限是独立的代理$m$的数量，而后者仅线性依赖于$m$，甚至$\sqrt m$病态问题。据我们所知，这是第一次，这些复杂性界已获得分布式和随机最优化问题。此外，我们的算法开发的基础上一个新的双重角度Nesterov的加速梯度法。
2017-11-15 cs.CC cs.LG math.OC
Deep Extrapolation for Attribute-Enhanced Generation
Salesforce Research（Salesforce研究院）；NTU（南洋理工大学）
样本生成中的属性外推对于在训练分布之外操作的深度神经网络是具有挑战性的。我们制定了一个新的任务外推序列生成，专注于自然语言和蛋白质，并提出GENhance，生成框架，通过学习的潜在空间，增强属性。通过对电影评论和计算蛋白质稳定性数据集的训练，GENhance可以生成强阳性的文本评论和高度稳定的蛋白质序列，而不会在训练过程中暴露于类似的数据。我们发布了我们的基准任务和模型，以促进生物学和化学中生成建模外推和数据驱动设计的研究。
2021-10-25 cs.CL cs.LG q-bio.QM
How many faces can be recognized? Performance extrapolation for multi-class classification
Stanford University（斯坦福大学）；Hebrew University（希伯来大学）
多类分类的难度一般随着类的数量增加而增加。使用来自类的子集的数据，我们可以预测分类器随着类数量的增加而扩展的程度吗？假设类是采样交换，并假设分类器是生成的（如QDA或朴素贝叶斯），我们表明，预期的准确性时，分类器训练$k$类是$k-1$的第一时刻的\emph{conditional accuracy distribution}，这可以从数据中估计。这为基于伪验概率、无偏估计和高维渐近性的性能外推提供了理论基础。我们研究了我们的方法的鲁棒性非生成分类器在模拟和一个光学字符识别的例子。
2016-06-16 cs.CV cs.IT cs.LG
CF-CGN: Channel Fingerprints Extrapolation for Multi-band Massive MIMO Transmission based on Cycle-Consistent Generative Networks
National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究中心）；Purple Mountain Laboratories（紫金山实验室）；Department of Electrical and Computer Engineering, University of Delaware（德克萨斯大学电气与计算机工程系）
针对多频段大规模MIMO传输中信道指纹外推问题，提出基于循环一致生成网络的CF-CGN方法，通过图像翻译、耦合生成网络及联合训练等策略提升外推精度，误差比基准低5-17dB，和速率性能接近完美CSI。
2024-12-30 cs.IT cs.LG eess.SP
DynaGen: Unifying Temporal Knowledge Graph Reasoning with Dynamic Subgraphs and Generative Regularization
Zhejiang Normal University（浙江师范大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）；Southeast University（东南大学）
DynaGen通过动态子图和生成正则化统一了时序知识图谱推理，提升插值和外推任务的性能。
2026-01-09 cs.AI cs.LG
Deep Generative Models for Ultra-High Granularity Particle Physics Detector Simulation: A Voyage From Emulation to Extrapolation
Ludwig-Maximilians-Universität München（慕尼黑大学）
本论文针对Belle II实验PXD探测器的超高粒度模拟挑战，提出了IEA-GAN和YonedaVAE两种深度生成模型，首次实现了事件内相关性建模与分布外模拟，在双倍亮度下达到合理精度。
2024-03-05 cs.AI cs.LG hep-ex
How Far Can You Grow? Characterizing the Extrapolation Frontier of Graph Generative Models for Materials Science
Texas A\&M University College Station Texas USA；Ankara University Ankara Turkey；Texas A\&M University at Qatar Doha Qatar；College of Science \& Engineering Hamad Bin Khalifa University Doha Qatar；Texas A\&M University；Ankara University；Texas A\&M University at Qatar；College of Science \& Engineering Hamad Bin Khalifa University
提出RADII基准，通过半径分辨的纳米粒子结构评估晶体生成模型的外推能力，发现模型在训练半径外误差增加，且外推前沿可预测。
2026-05-29 cond-mat.mes-hall cond-mat.mtrl-sci cs.LG
Principled Knowledge Extrapolation with GANs
University of Science and Technology of China（中国科学技术大学）；Ant Research（蚂蚁研究院）；Alibaba Group（阿里巴巴集团）
人类可以很好地外推，将日常知识概括为看不见的场景，提出并回答反事实问题。为了通过生成模型来模仿这种能力，以前的工作已经广泛地研究了将结构因果模型（SCM）显式编码到生成器网络的架构中。然而，这种方法限制了生成器的灵活性，因为它们必须精心制作以遵循因果图，并且需要具有强可验证性假设的地面真值SCM作为先验，这在许多真实场景中是一个不平凡的假设。因此，许多当前的因果GAN方法无法生成高保真度的反事实结果，因为它们不能容易地利用最先进的生成模型。在本文中，我们建议从知识外推的新视角来研究反事实合成，其中数据分布的给定知识维度被外推，但剩余的知识与原始分布保持不可区分。我们表明，一个封闭形式的知识的对抗游戏可以用来解决知识外推问题，和一个新的主要知识下降方法可以有效地估计外推分布通过对抗游戏。我们的方法在许多情况下都享有优雅的理论保证和优越的性能。
2022-05-21 cs.AI cs.LG
Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models
Genentech（基因泰克公司）；Princeton University（普林斯顿大学）；University of California Berkeley（加州大学伯克利分校）
针对离线设置下AI驱动设计问题中奖励模型未知易致过度优化，提出扩散模型保守微调方法BRAID，通过优化带分布外惩罚的保守奖励模型，结合外推能力避免生成无效设计，超越离线数据最佳设计。
2024-05-31 cs.AI cs.LG stat.ML
Neon: Negative Extrapolation From Self-Training Improves Image Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Rice University（莱斯大学）
针对生成模型自训练导致模型崩溃的问题，提出Neon方法，通过反转梯度外推纠正数据分布偏差，仅需少量合成样本和计算即可提升图像生成质量，在ImageNet上达到SOTA FID 1.02。
2025-10-13 cs.AI cs.GR cs.LG
Generative time series models using Neural ODE in Variational Autoencoders
Technical University of Denmark (DTU)（丹麦技术大学）
在本文中，我们实现了神经常微分方程的生成时间序列建模的变分自编码器设置。代码采用面向对象的方法，以便于开发和研究，本文中使用的所有代码都可以在这里找到：https://github.com/simonmoesorensen/neural-ode-project结果最初被重新创建，重建与基线长短期记忆自动编码器进行了比较。然后，该模型使用LSTM编码器进行扩展，并受到由弹簧振荡形式的时间序列组成的更复杂数据的挑战。该模型显示出了希望，并且能够以比基线模型更小的RMSE重建所有复杂数据的真实轨迹。然而，它能够捕获解码器中已知数据的时间序列的动态行为，但对于任何复杂的弹簧数据，都不能很好地产生遵循真实轨迹的外推。最后进行了一项实验，该模型还提供了68天的太阳能发电数据，即使在数据非常少的情况下，也能够像基线一样重建。最后，将模型的训练时间与基线进行比较。结果发现，对于少量数据，NODE方法在训练时比基线慢得多，而对于大量数据，NODE方法在训练时会相等或更快。本文结束了未来的工作部分，其中描述了许多自然的扩展本文中提出的工作，与实例正在进一步调查的重要性，输入数据，包括外推在基线模型或测试更具体的模型设置。
2022-01-12 cs.AI cs.LG
From Identifiable Causal Representations to Controllable Counterfactual Generation: A Survey on Causal Generative Modeling
University of Arkansas（阿肯色大学）；Clemson University（克莱姆森大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本综述系统梳理因果生成建模，涵盖因果表征学习与可控反事实生成，并探讨其理论、方法、应用及未来方向。
2024-05-23 cs.AI cs.LG stat.ML
Generative Model Selection Using a Scalable and Size-Independent Complex Network Classifier
Sharif University of Technology（谢里夫理工大学）
真实网络表现出非平凡的拓扑特征，如重尾度分布、高聚类性和小世界性。研究人员已经开发了几种生成模型，用于合成结构上与真实网络相似的人工网络。一个重要的研究问题是确定最适合目标网络的生成模型。在本文中，我们研究这个问题，我们的目标是选择能够生成类似于给定网络实例的图的模型。通过生成具有七个优秀生成模型的合成网络，我们利用机器学习方法开发了用于模型选择的决策树。我们提出的方法，这是命名为“复杂网络的生成模型选择”（GMSCN），优于现有的方法在准确性，可扩展性和大小无关性。
2014-02-01 cs.LG cs.SI physics.soc-ph
Generative x-vectors for text-independent speaker verification
National University of Singapore（新加坡国立大学）
使用深度神经网络嵌入的说话人确认（SV）系统，即所谓的x向量系统，由于其优于i向量系统的良好性能而变得流行。这些系统的融合提供了改进的性能，受益于区别性训练的x向量和生成的i向量捕获不同的扬声器特性。本文提出了一种新的方法来包含i向量和x向量的互补信息，即生成x向量。生成x向量利用从背景数据的i向量和x向量表示学习的变换模型。应用典型相关分析推导出该转换模型，该模型随后用于将注册和测试段的标准x向量转换为相应的生成x向量。在NIST SRE 2010数据集上进行的SV实验表明，使用生成x向量的系统提供了比基线i向量和x向量系统更好的性能。此外，生成的x-向量优于i-向量和x-向量系统的融合，用于长持续时间的话语，同时产生可比较的结果，用于短持续时间的话语。
2018-09-17 cs.LG cs.SD eess.AS
Robotic and Generative Adversarial Attacks in Offline Writer-independent Signature Verification
Nottingham Trent University（诺丁汉特伦特大学）
本研究探讨如何机器人和生成方法可以用来安装成功的虚假接受对抗攻击签名验证系统。最初，探索和调整了卷积神经网络拓扑结构和数据增强策略，为2,640个人类签名的验证产生了87.12%的准确率模型。然后，两个机器人的任务是伪造50个签名，其中25个用于验证攻击，其余25个用于调整模型以抵御它们。对系统的对抗攻击表明存在信息安全风险; Line-us机器人手臂可以在24%的时间内欺骗系统，iDraw 2.0机器人可以在32%的时间内欺骗系统。一个有条件的GAN发现了类似的成功，大约30%的伪造签名被误分类为真实签名。在对机器人和生成数据进行微调迁移学习之后，机器人和GAN都将对抗攻击降低到模型阈值以下。据观察，调整模型可以将机器人攻击的风险降低到8%和12%，当呈现25张图像时，条件生成对抗攻击可以降低到4%，当呈现1000张图像时，可以降低到5%。
2022-04-14 cs.CV cs.LG cs.RO
ANGLE: Angular Neural Generative Learning via Engression
LPSM, Sorbonne Université（索邦大学LPSM）；SAFIR, Sorbonne University Abu Dhabi（索邦大学阿布扎赫德分校）；Indian Institute of Management, Kozhikode（印度管理学院科钦分校）
针对圆形数据回归问题，提出ANGLE轻量级深度生成框架，通过广义圆能量得分损失优化生成映射学习角度响应全条件分布，建立理论性质，提供统一工具箱，经模拟和实际应用验证其有效性。
2026-07-15 cs.LG math.ST stat.ML
SAFLEX: Self-Adaptive Augmentation via Feature Label Extrapolation
University of Maryland（马里兰大学）
本文提出SAFLEX方法，通过高效双层优化学习上游增强样本的权重和软标签，以极低计算成本降低噪声和标签错误，在少样本学习与分布外泛化中表现优异，并兼容多种增强策略和框架。
2024-10-03 cs.AI cs.LG
GEN2: A Generative Prediction-Correction Framework for Long-time Emulations of Spatially-Resolved Climate Extremes
本文提出GEN2生成式预测-校正框架，结合条件高斯模拟器与非高斯机器学习校正，在单一变暖情景训练下实现对不同气候情景极端事件统计量的准确长期模拟与外推。
2025-08-21 cs.LG nlin.CD physics.comp-ph
Deep Generative Neural Embeddings for High Dimensional Data Visualization
Siemens Medical Solutions USA（美国西门子医疗系统公司）
我们提出了一种可视化技术，利用神经网络嵌入和生成网络重建原始数据。该方法允许通过其非参数结构独立操作各个图像嵌入，比传统的自动编码器方法提供更大的灵活性。我们已经评估了这种技术在数据可视化中的有效性，并将其与t-SNE和VAE方法进行了比较。此外，我们还通过ImageNet数据集上的可视化展示了我们方法的可扩展性。我们的技术在人在环训练中具有潜在的应用，因为它允许独立编辑嵌入位置而不影响优化过程。
2023-01-25 cs.CV cs.HC cs.LG
ALIGN-FL: Architecture-independent Learning through Invariant Generative component sharing in Federated Learning
International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery (CyberC)（2025国际计算机增强分布式计算和知识发现会议）
ALIGN-FL通过在联邦学习中共享不变生成组件，实现隐私保护的分布式学习，有效处理非独立同分布数据中的隐私与效用平衡问题。
2025-12-15 cs.AI cs.LG
From Independent to Correlated Diffusion: Generalized Generative Modeling with Probabilistic Computers
Department of Electrical and Computer Engineering, University of California, Santa Barbara（加州大学圣塔芭芭拉分校电气与计算机工程系）
本文提出一种基于概率计算机的通用生成建模方法，通过引入马尔可夫链蒙特卡洛动态替代独立噪声注入，利用Ising耦合结构实现更符合目标系统的空间相关性建模。
2026-08-11 cs.ET cs.LG
DreamSAC: Learning Hamiltonian World Models via Symmetry Exploration
UC San Diego（加州大学圣地亚哥分校）；Sun Yat-sen University（中山大学）
DreamSAC通过基于哈密顿的对称探索方法，学习物理不变性以提升3D物理模拟中的外推泛化能力。
2026-03-08 cs.AI cs.CV cs.LG
C-Disentanglement: Discovering Causally-Independent Generative Factors under an Inductive Bias of Confounder
University of Maryland, College Park（马里兰大学帕克分校）
本文提出C-Disentanglement框架，首次通过领域标签显式引入混杂变量归纳偏置，并设计方法在任意混杂偏置下识别因果解耦因子，在合成与真实数据上取得有竞争力的结果。
2023-10-26 cs.AI cs.CV cs.LG
Learning Kinetic Monte Carlo stochastic dynamics with Deep Generative Adversarial Networks
Department of Physics, University of Genova（基因瓦大学物理系）；Department of Materials Science, University of Milano-Bicocca（米兰-比科卡大学材料科学系）；Institut Lumière Matière, UMR5306 Université Lyon 1—CNRS（光与物质研究所，里昂1大学-CNRS）
本研究提出用条件GAN学习动力学蒙特卡洛随机动力学，经改进的网络在二维多粒子系统上可低计算成本复现平衡与动力学性质，偏差仅几个百分点。
2025-07-29 cond-mat.mtrl-sci cond-mat.stat-mech cs.AI
Zatom-2: Multitask Pretraining on Atomistic Data for Generative Modeling across Domains
Zatom-2是在OMol25和OMat24数据集上预训练的原子生成模型，采用多尺度Transformer与条件流匹配，提升了分子生成保真度，增强了低数据下的蛋白质生成能力。
2026-10-14 cs.AI cs.LG
Imaginative Generative AI: Crossing the Entropy Wall into Worlds Beyond Imitation
The Chinese University of Hong Kong（香港中文大学）
该研究提出IGA框架，通过熵约束投影实现从模仿到想象的生成，可修复数据多样性并实现可控频谱外推，相关方法适用于DDPM等扩散模型。
2026-08-12 cs.AI cs.CV cs.LG
Path-independent Flow Matching for Multi-parameter Generative Dynamics
Université de Montréal（蒙特利尔大学）；Mila；Concordia University（康科迪亚大学）；Royal Military College of Canada（加拿大皇家军事学院）；Queen’s University（皇后大学）
本文提出路径无关流匹配方法，用于学习多参数生成动力学中的路径无关传输，通过结构条件确保变换一致性，并在合成和现实数据中优于其他方法。
2026-05-13 cs.LG
On the Power of Edge Independent Graph Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Boston University（波士顿大学）；ISI Foundation（ISI基金会）
为什么许多现代基于神经网络的图生成模型无法再现典型的现实世界网络特征，例如高三角形密度？在这项工作中，我们研究了边独立的随机图模型的局限性，其中每个边都以一定的概率独立地添加到图中。这些模型包括经典的Erdös-Rényi和随机块模型，以及现代生成模型，如NetGAN，变分图自动编码器和CELL。我们证明，受有界重叠条件，这确保了该模型不简单地记住一个单一的图形，边缘独立的模型是固有的能力有限，以产生高三角形和其他子图密度的图形。值得注意的是，已知这种高密度出现在现实世界的社交网络和其他图中。我们用一个简单的生成模型来补充我们的负面结果，该模型平衡了重叠和准确性，在重建许多图统计数据时对更复杂的模型进行了验证。
2021-10-29 cs.LG cs.SI
Physics-Guided Generative Adversarial Networks for Sea Subsurface Temperature Prediction
Ocean University of China（中国海洋大学）；University of Southampton（南安普顿大学）
海洋次表层温度是水生生物、水下动力学和与海面热交换的重要组成部分，受全球气候变暖的影响。现有的研究通常基于基于物理的数值模型或基于数据的模型。物理建模和机器学习传统上被认为是海洋次表层温度预测任务的两个不相关的领域，具有非常不同的科学范式（物理驱动和数据驱动）。然而，我们认为这两种方法是相辅相成的。物理建模方法可以提供超出观测条件的外推潜力，而数据驱动的方法在适应数据方面很灵活，并且能够检测出意外的模式。这两种方法的结合是非常有吸引力的，并提供潜在的性能改进。本文提出了一种基于生成对抗网络（GAN）结合数值模型的海洋次表层温度预测框架。首先，使用基于GAN的模型来学习数值模型中的表面温度和目标地下温度之间的简化物理关系。然后，观测数据被用来校准基于GAN的模型参数，以获得更好的预测。我们评估建议的框架，预测每日海次表层温度在中国南海。大量的实验表明，所提出的框架相比，现有的国家的最先进的方法的有效性。
2021-11-04 cs.LG eess.IV
Compact Binary Systems Waveform Generation with Generative Pre-trained Transformer
Beijing Normal University（北京师范大学）；Peng Cheng Laboratory（鹏城实验室）
针对天基引力波探测中波形处理的难题，提出可解释预训练大模型CBS-GPT，三类致密双星波形预测精度最高达99%，展现强泛化性，为引力波领域相关研究提供新方向。
2024-03-06 astro-ph.IM cs.LG gr-qc
Disentanglement Beyond Generative Models with Riemannian ICA
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出黎曼ICA，一种不依赖生成模型的解缠方法，通过引入解缠张量来研究局部解缠特性，为理解无生成假设下的特征解缠提供了理论基础。
2026-05-21 cs.LG
Y-Shaped Generative Flows
Arip Asadulaev（独立研究者）；Semyon Semenov（独立研究者）；Abduragim Shtanchaev（独立研究者）；Eric Moulines（独立研究者）；Fakhri Karray（独立研究者）；Martin Takac（独立研究者）
Y形生成流通过共享路径和分叉终点，改进生成模型对现实数据层次结构的建模能力。
2026-02-04 cs.AI cs.LG
Constrained Tabular Diffusion for Finance
University of Virginia（弗吉尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Visa Inc（Visa公司）
提出CTDF方法，通过将训练时无约束的表格扩散与采样时的可行性操作结合，在金融数据生成中实现硬约束满足，零违规且提升稀缺数据效用。
2026-06-27 cs.AI cs.LG
