Differentially Private Coordinate Descent for Composite Empirical Risk Minimization
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ Montpellier(蒙彼利埃大学);Institut Universitaire de France(法国大学研究院)
机器学习模型可能会泄露有关用于训练它们的数据的信息。为了缓解这个问题,已经设计了像随机梯度下降(DP-SGD)这样的优化算法的差分私有(DP)变体,以在经验风险最小化(ERM)问题中权衡隐私的效用。在本文中,我们提出了一种新的方法,差分私人邻近坐标下降(DP-CD),解决复合DP-ERM问题。我们通过一个新的理论分析,不精确的坐标下降得到效用保证。我们的研究结果表明,由于更大的步长,DP-CD可以利用梯度坐标的不平衡,优于DP-SGD。我们还证明了新的下限复合DP-ERM坐标明智的规律性假设下,几乎匹配的DP-CD。对于实际的实现,我们建议使用我们的理论中出现的坐标阈值来裁剪梯度,避免昂贵的超参数调整。在真实数据和合成数据上的实验支持了我们的结果,并表明DP-CD优于DP-SGD。
2022-10-21 cs.CR cs.LG stat.ML
Hedging Complexity in Generalization via a Parametric Distributionally Robust Optimization Framework
Columbia University(哥伦比亚大学)
本文提出参数化分布鲁棒优化框架,通过参数化分布族近似随机扰动,以DRO控制模型误设误差,显著改善高维复杂问题中的泛化界,并在分布偏移和上下文优化中表现优越。
2023-09-24 cs.LG math.OC
How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance
Rensselaer Polytechnic Institute(伦斯勒理工学院);New Jersey Institute of Technology(新泽西理工学院);Michigan State University(密歇根州立大学);IBM Research(IBM研究院)
本研究通过高斯混合模型理论分析单隐层神经网络在群体不平衡下的泛化,首次给出ERM的群体层面泛化界,发现中等协方差和近零均值时性能最优,且增加少数群体比例不一定改善其泛化。
2024-03-19 cs.LG stat.ML
High-Dimensional Private Empirical Risk Minimization by Greedy Coordinate Descent
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Univ Montpellier(蒙彼利埃大学);Institut Universitaire de France (IUF)(法兰西大学研究院)
针对高维差分隐私经验风险最小化效用随维度多项式下降的问题,提出DP-GCD算法,通过沿梯度最大元素方向执行坐标级梯度步并利用准稀疏等结构特性,实现对维度的对数级依赖。
2023-04-09 cs.CR cs.LG stat.ML
Secure Approximation Guarantee for Cryptographically Private Empirical Risk Minimization
Nagoya Institute of Technology(名古屋工业大学);Mie University(三重大学);University of Tsukuba(筑波大学)
隐私问题在许多机器学习(ML)问题中越来越重要。研究了安全多方计算框架下的经验风险最小化问题。MPC的主要技术工具是基于密码学开发的。当前加密私有ML的局限性之一是计算非线性函数(如对数函数或指数函数)在计算上难以处理。因此,对于一类ERM问题,如逻辑斯谛回归,其中需要非线性函数的评估,人们只能得到近似解。在本文中,我们介绍了一种新的加密私有工具称为安全近似保证(SAG)方法。SAG方法的关键特性是,在密码安全计算框架下,对于任意的近似解,它都能提供一个非概率的近似质量上界.我们证明了SAG方法的好处,通过将其应用到几个问题,包括一个实际的隐私保护数据分析任务的基因组和临床信息。
2016-02-15 cs.CR cs.LG stat.ML
On the Limitations of General Purpose Domain Generalisation Methods
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);Samsung AI Centre, Cambridge(三星剑桥人工智能中心)
本文探讨了领域泛化中学习算法的性能极限,证明了在多种设置下ERM难以被显著超越,并提出了优化ERM的策略,通过实验验证了理论假设。
2024-05-23 cs.LG stat.ML
On the Relationship Between CoCoA and ADMM for Distributed Empirical Risk Minimization
Department of Industrial & Systems Engineering, University of Wisconsin–Madison(工业与系统工程系,威斯康星大学麦迪逊分校)
本文从统一原始-对偶视角揭示CoCoA与ADMM两类分布式ERM算法的内在联系,证明岭正则化下CoCoA等价于特定近端ADMM方案,并给出ADMM型方法的统一收敛分析和早停准则。
2026-06-28 cs.LG math.OC stat.ML
PARIS: Pruning Algorithm via the Representer theorem for Imbalanced Scenarios
Department of Physics and Astronomy(物理与天文学系);Queen Mary University of London(伦敦女王玛丽大学);University of Colorado(科罗拉多大学);SWx-TREC (Space Weather Technology Research and Education Center)(空间天气技术研究与教育中心)
PARIS通过优化训练集实现不平衡回归的高效剪枝,有效提升稀有事件预测性能。
2025-12-07 cs.LG physics.space-ph stat.ML
Poly-time universality and limitations of deep learning
EPFL(洛桑联邦理工学院);MIT(麻省理工学院)
本文的目标是描述深度学习可以或不能在多时间内学习的函数分布。证明了基于SGD的深度学习的普适性结果和基于GD的深度学习的非普适性结果;这也给出了基于SGD的深度学习和统计查询算法之间的分离:(1){具有SGD的\it深度学习是有效通用的。}可以从多时间中的样本学习的任何函数分布也可以通过使用SGD在多时间初始化上训练的多大小神经网络来学习,该多时间初始化具有多步骤,多速率和可能的多噪声。因此,深度学习提供了一种通用的学习范式:众所周知,近似和估计误差可以使用多尺寸神经网络,使用NP-hard的ERM来控制;这一新结果表明,优化误差也可以在多时间内使用SGD来控制。(2){ \it结果(1)不适用于GD:}在具有多步、多范围和至少多噪声的任何初始化上用GD(全梯度或足够大的批次)训练的多尺寸神经网络不能学习任何具有超多项式的函数分布{ \it交叉可预测性,}其中交叉可预测性给出了“平均”函数相关性的度量--讨论了与统计维度的关系和区别。特别地,当且仅当$k$是常数时,具有这些约束的GD可以有效地学习次数为$k$的单项式。因此,(1)和(2)指出了一个有趣的对比:SGD是通用的,即使有一些多噪声,而全GD或SQ算法不是(例如,parities)。
2020-01-07 cs.CC cs.IT cs.LG
Provable limitations of deep learning
EPFL(洛桑联邦理工学院);MIT(麻省理工学院)
随着深度学习的成功越来越多,人们也想想象一下深度学习的潜在局限性。本文给出了第一组结果,证明某些深度学习算法在学习某些可有效学习的函数时失败。结果提出了一个概念的交叉可预测性的特点,当这种故障发生。奇偶函数提供了一个极端的例子,交叉可预测性呈指数衰减,而仅仅是超多项式衰减的交叉可预测性被证明是足以获得失败。文中还讨论了社区发现和算术学习中的实例。回想一下,众所周知,具有多项式网络大小的神经网络(NN)类可以表示可以在多项式时间内实现的任何函数,并且它们的样本复杂度与网络大小成多项式比例。挑战在于优化错误(ERM是NP难的),深度学习背后的成功是用下降算法训练深度NN。本文中所示的失败适用于在低交叉可预测性的函数分布上训练多大小NN,该下降算法要么在每个样本的有限内存下运行,要么在初始化并以足够的随机性运行。我们进一步声称,这种类型的约束是必要的,以获得失败,在精确的SGD与仔细的非随机初始化可以学习奇偶校验。我们的研究结果中的交叉可预测性在统计查询(SQ)算法中起着类似的作用,并在论文中解释了区别。证明技术基于展示算法约束,这些约束意味着测试模型上的算法输出与测试模型上的算法输出之间的统计不一致性。零模型,使用信息度量来约束总变化距离。
2019-04-29 cs.CC cs.IT cs.LG
Understanding Domain Generalization: A Noise Robustness Perspective
National University of Singapore(新加坡国立大学)
本文从标签噪声视角探究域泛化算法优于经验风险最小化的原因,发现DG算法具有隐式噪声鲁棒性,但真实基准上其性能优势并不明显。
2024-03-18 cs.CV cs.LG
Spurious Correlations and Where to Find Them
Michigan State University(密歇根州立大学)
针对数据驱动学习中虚假相关性的缓解方案因缺乏联合指标而难超ERM基线的问题,研究收集相关假设,用因果图合成数据集探究其对标准ERM基线的影响,发现假设与模型设计选择的关联模式。
2023-08-21 cs.LG stat.ML
From Inverse Optimization to Feasibility to ERM
Simon Fraser University(西蒙菲莎大学);Inria(法国国家信息与自动化研究所);Coordinated Science Laboratory (CSL), UIUC(伊利诺伊大学厄巴纳-香槟分校协调科学实验室)
研究上下文逆线性规划(CILP),将其归约为凸可行性问题与经验风险最小化(ERM),利用交替投影和一阶优化方法在保持理论收敛保证的同时,实现大型非凸问题的高效求解并提升泛化与实际性能。
2024-06-05 cs.LG math.OC
Cross Domain Generative Augmentation: Domain Generalization with Latent Diffusion Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对域泛化中域间分布偏移问题,提出基于潜在扩散模型的CDGA增强方法,在域对邻域生成合成图像以降低非iid性,并在Domainbed上超越SOTA。
2023-12-08 cs.LG
Robustness through Data Augmentation Loss Consistency
University of Southern California(南加州大学);Georgia Institute of Technology(佐治亚理工学院);Meta AI;Google Research(谷歌研究院)
虽然通过经验风险最小化(ERM)的深度学习已经成功地在各种复杂任务中实现了人类水平的性能,但ERM对分布偏移或对抗攻击并不鲁棒。合成数据增强后的经验风险最小化(DA-ERM)是一种简单且广泛使用的解决方案,以提高ERM的鲁棒性。此外,可以应用一致性正则化,以进一步提高模型的鲁棒性,通过迫使原始样本和增强样本的表示是相似的。然而,现有的一致性正则化方法不适用于协变数据增强,其中增强样本中的标签依赖于增强函数。例如,当我们用一个新的命名实体来扩充数据时,对话状态会随着命名实体而变化。在本文中,我们提出了数据增强的损失不变正则化(DAIR),一种简单形式的一致性正则化,直接应用于损失水平,而不是中间特征,使其广泛适用于不变和协变数据增强,无论网络架构,问题设置和任务。我们将DAIR应用于涉及协变数据增强的现实学习问题:鲁棒的面向神经任务的对话状态跟踪和鲁棒的视觉问答。我们还将DAIR应用于涉及不变数据增强的任务:鲁棒回归,针对对抗攻击的鲁棒分类,以及分布偏移下的鲁棒ImageNet分类。我们的实验表明,DAIR始终优于ERM和DA-ERM几乎没有边际计算成本,并设置新的国家的最先进的结果在几个基准涉及协变数据增强。我们所有实验的代码可在https://github.com/optimization-for-data-driven-science/DAIR.git上获得
2023-01-24 cs.AI cs.CL cs.CV
Towards a framework on tabular synthetic data generation: a minimalist approach: theory, use cases, and limitations
University of Michigan(密歇根大学);Wells Fargo(富国银行);H2O.ai(H2O.ai公司);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出一种极简表格合成数据生成框架,结合无监督 SparsePCA 编码器与 XGboost 解码器,在信用评分等场景中验证其可解释性和鲁棒性测试价值。
2024-11-19 cs.LG stat.ME stat.ML
From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition
Boston University(波士顿大学)
针对图像识别模型易受虚假相关性影响的问题,提出从假到真(FFR)两步训练流程,先在平衡合成数据预训练,再用真实数据微调,在三个数据集上使最差组准确率较SOTA提升最高20%
2026-08-11 cs.CV cs.LG
A Synthetic Benchmark to Explore Limitations of Localized Drift Detections
Politecnico di Torino(都灵理工大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文探索数据流中的局部漂移现象,基于 Agrawal 生成器构建合成数据集,评估多种漂移检测技术,发现常用方法难以检测小规模子群体中的漂移,并公开了源代码。
2024-08-26 cs.LG
Differential Privacy Under Class Imbalance: Methods and Empirical Insights
New York University(纽约大学);Columbia University(哥伦比亚大学)
本研究针对类别不平衡下的差分隐私问题,提出多种预处理与处理中方法的DP变体,实证表明私有合成数据预处理有效,高维下类别加权ERM为替代方案。
2024-11-08 cs.CR cs.LG
Assessment of Conditional Diffusion Model for Synthetic Histopathology Image Generation
本研究针对合成组织病理学图像生成的评估问题,提出基于数字病理学预训练基础模型改进的FID、IS及精确率-召回率指标,实验发现改进后的IS与下游细胞核分割性能相关性更高,且生成数据多样性对分割性能的提升作用强于单张图像视觉保真度。
2026-08-05 cs.LG
Data Can Speak for Itself: Quality-guided Utilization of Wireless Synthetic Data
School of Computer Science, Peking University(北京大学计算机科学学院);University of Pittsburgh(匹兹堡大学);Key Laboratory of High Confidence Software Technologies, Ministry of Education (PKU)(高等教育部高可信软件技术重点实验室(PKU))
针对无线合成数据质量不可预测导致性能提升无保障的问题,提出量化亲和度与多样性的SynCheck方案,在训练中优化数据质量,即使原方法性能下降13.4%仍能提升4.3%。
2025-06-29 cs.AI cs.LG
Synthetic Time Series Generation via Complex Networks
研究针对时间序列数据获取受限问题,探讨用复杂网络映射生成合成时间序列,聚焦逆分位数图框架。通过综合实证研究评估其生成序列的保真度和实用性,结果显示该框架能保留边际分布和短期依赖,但捕获长程或高阶动态有局限。
2026-10-09 cs.LG
AIM-Fair: Advancing Algorithmic Fairness via Selectively Fine-Tuning Biased Models with Contextual Synthetic Data
Queen Mary University of London(伦敦玛丽女王大学)
AIM-Fair提出利用上下文感知LLM引导扩散模型生成无偏合成数据,并通过选择性微调仅更新对偏差敏感的参数,从而在无人口统计标签条件下同时提升模型公平性与效用。
2025-03-07 cs.CV cs.LG
Harnessing Synthetic Data from Generative AI for Statistical Inference
Harvard T.H. Chan School of Public Health(哈佛T.H. Chan公共卫生学院);Harvard University(哈佛大学)
本文探讨了生成AI合成数据在统计推断中的应用,分析了其生成模型、使用场景、局限性及潜在问题,并提出了原则性使用框架和实践建议。
2026-03-05 cs.LG stat.ML
Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation
University of Seoul(首尔市立大学)
本文提出用非对称拉普拉斯分布无限混合作为VAE解码器,以突破高斯性假设限制,并建立其与分位估计的理论联系,在合成数据生成中展现出灵活调节数据隐私水平的优势。
2023-10-27 cs.LG stat.ML
Achilles' Heel of Mamba: Essential difficulties of the Mamba architecture demonstrated by synthetic data
Shanghai Jiao Tong University(上海交通大学);Shanghai Seres Information Technology Co., Ltd(上海赛勒斯信息技术有限公司)
本文通过合成数据揭示Mamba架构的非线性卷积导致的不对称偏差问题,指出其在处理对称模式和逆序列匹配任务时的局限性,并提出架构改进方向。
2026-01-21 cs.LG
Reasoning Limitations of Multimodal Large Language Models. A Case Study of Bongard Problems
Warsaw University of Technology, Warsaw, Poland(华沙技术大学);AGH University of Krakow, Krakow, Poland(克拉科夫AGH大学)
本研究通过多策略测试多模态大语言模型在Bongard问题上的表现,发现其弱性能源于抽象视觉推理的普遍局限,而非领域特异性,并引入Bongard-RWR数据集验证。
2025-06-23 cs.AI cs.CV cs.LG
HydraGAN A Multi-head, Multi-objective Approach to Synthetic Data Generation
合成数据生成克服了现实世界机器学习的局限性。传统方法对于增加昂贵的数据集是有价值的,但只能优化一个标准:真实性。在本文中,我们解决了生成优化多个标准的合成数据的问题。当真实数据被合成数据取代以保护隐私时,这个目标是必要的。我们介绍了HydraGAN,一种新的方法来合成数据生成,引入多个生成器和代理到系统中。多代理GAN优化了隐私保护和数据真实性的目标。为了促进多智能体训练,我们采用博弈论原理来提供均衡保证。我们观察到,HydraGAN在三个数据集的多个标准上优于基线方法,这些标准包括最大限度地提高数据真实性,最大限度地提高模型准确性,以及最大限度地降低重新识别风险。
2021-11-13 cs.LG
Boosting Statistic Learning with Synthetic Data from Pretrained Large Models
Shanghai University of Finance and Economics(上海财经大学);The Hong Kong Polytechnic University(香港理工大学);School of Mathematics and Statistics, Wuhan University(武汉大学数学与统计学院)
本文提出一种端到端框架,通过领域特定统计方法筛选预训练大模型生成的合成数据,选择性整合高质量样本,在多种设置下一致提升预测性能,同时揭示生成模型在数据增强中的固有局限。
2025-05-08 cs.LG stat.AP stat.ML
Temporal Knowledge Graph Forecasting under Distribution Shifts: A Synthetic Evaluation
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);SAP Signavio(思爱普公司 Signavio)
研究在分布转移下时态知识图谱预测问题,借助合成TKG生成器编码时间和结构属性,评估七种预测架构,发现其鲁棒性依赖信号,循环和周期性规律在平稳时可恢复,结构突变暴露模型适应性局限,增进对TKG模型的理解。
2026-07-13 cs.LG
Privacy-preserving data sharing via probabilistic modelling
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学);Aalto University(阿尔托大学)
差异隐私允许量化访问敏感个人数据造成的隐私损失。对底层数据的重复访问会导致越来越多的损失。将数据作为隐私保护合成数据发布可以避免这种限制,但会留下设计什么样的合成数据的问题。我们建议通过概率建模来制定私人数据发布的问题。这种方法将设计合成数据的问题转换为选择数据模型,还允许包括先验知识,这提高了合成数据的质量。我们在一项流行病学研究中以经验证明,统计发现可以从合成数据中可靠地重现。我们希望该方法在创建用于研究的关键数据集的高质量匿名数据双胞胎方面具有广泛的用途。
2021-03-01 cs.CR cs.LG stat.ML
$S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google DeepMind(谷歌DeepMind)
提出S^3-R1框架,通过合成数据生成和密集奖励信号,解决强化学习后训练中稀疏奖励和缺乏多跳问题数据的问题,提升模型搜索与问答能力。
2026-09-09 cs.LG
Robust Spectral Watermark for Synthetic Tabular Data
University of Pennsylvania(宾夕法尼亚大学);University of Michigan(密歇根大学)
本文提出TAB-DRW水印方案,通过频域嵌入和秩基伪随机生成提升合成表格数据的鲁棒性和效率,实验显示其在抗后处理攻击和保持数据保真度方面表现优异。
2026-05-09 cs.CR cs.LG
Synthetic Data Characterization via Training Dynamics
Universidade da Coruña(拉科鲁尼亚大学);Graz University of Technology(格拉茨工业大学)
本研究通过样本级可学习性刻画LLM生成数据,对比不同模型家族和规模,并评估基于该信号的数据选择策略对合成与人类数据的不同影响。
2026-10-01 cs.CL cs.LG
Synthetic Data and Simulators for Recommendation Systems: Current State and Future Directions
NVIDIA(英伟达)
合成数据和模拟器有可能显著提高推荐系统的性能和鲁棒性。这些方法已经在其他机器学习驱动的领域产生了有益的影响。我们确定并讨论了一个关键的数据保真度和隐私之间的权衡在过去的工作合成数据和推荐系统的模拟器。对于根据合成数据的真实数据预测算法排名的重要用例,我们提供了动机和当前的成功与局限性。最后,我们概述了一些令人兴奋的推荐系统,我们认为值得进一步关注和工作的未来方向,包括混合真实和合成数据,在数据集生成的反馈,强大的模拟和隐私保护的方法。
2021-12-21 cs.IR cs.LG
Challenges and Limitations of Generative AI in Synthesizing Wearable Sensor Data
Institute for Informatics and Telematics of the Nationa Research Council (IIT-CNR)(意大利国家研究 council 信息与电信研究所)
本文探讨了生成式AI在合成可穿戴传感器数据中的挑战与局限,评估了现有模型在多模态处理、长依赖性和条件生成方面的不足,并提出了未来研究方向以提升生成模型的实用性。
2025-12-03 cs.AI cs.LG
MedEqualizer: A Framework Investigating Bias in Synthetic Medical Data and Mitigation via Augmentation
The Ohio State University(俄亥俄州立大学)
本研究评估了基于GAN的合成医疗数据在人口统计属性上的公平性,发现存在显著失衡,并提出模型无关的增强框架MedEqualizer,通过在生成前丰富代表性不足的子组来显著改善数据集的人口统计平衡。
2025-11-02 cs.LG
An Interpretability-Guided Framework for Responsible Synthetic Data Generation in Emotional Text
本文提出一种基于SHAP的可解释性引导框架,用于生成情感文本的合成数据,提升少数情绪类别的分类性能,同时揭示合成文本在词汇丰富性和表达复杂性上的局限性。
2025-11-20 cs.LG
Synthetic Tabular Data: Methods, Attacks and Defenses
Meta and University of Warwick(Meta 和 战略研究学院)
本文综述表格合成数据生成方法,梳理概率图模型与深度学习范式,并分析针对原始敏感数据的隐私攻击、局限及未来开放问题。
2025-06-06 cs.CR cs.LG
Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data
McGill University(麦吉尔大学);Mila - Québec AI Institute(米拉-魁北克人工智能研究所)
本研究探索基于图的合成数据作为训练信号,通过监督微调增强LLM在归纳与空间推理任务上的能力,且不影响其他基准表现。
2024-12-16 cs.CL cs.LG
Design and evaluation of an agentic workflow for crisis-related synthetic tweet datasets
Department of Computer Science, University College London, London, United Kingdom(伦敦大学学院计算机科学系,伦敦,英国);National Institute of Informatics, Tokyo, Japan(日本信息学研究院,东京,日本)
本文提出一种代理工作流生成危机相关合成推文数据集,以解决真实数据获取困难和标注成本高的问题,通过迭代生成、评估和反馈机制,实现灵活可扩展的合成数据生成。
2026-03-13 cs.CL cs.LG cs.MA
Privacy-Preserving Synthetic Review Generation with Diverse Writing Styles Using LLMs
Department of Computer Science and Engineering(计算机科学与工程系);Santa Clara University(圣克拉拉大学);eBay(eBay公司)
针对LLM合成评论文本的多样性与隐私风险,本文建立多维评估指标,揭示现有模型局限,并提出基于提示的方法以增强风格多样性并保护隐私。
2025-07-24 cs.CL cs.CR cs.LG
Generative AI for Synthetic Data Generation: Methods, Challenges and the Future
Nanyang Technological University (NTU)(南洋理工大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文聚焦生成式AI中利用大语言模型生成合成数据的方向,梳理相关方法、评估技术与应用,分析局限性并给出未来研究路径,为低资源场景的数据难题提供可行思路。
2024-03-07 cs.AI cs.CL cs.LG
HandCraft: Dynamic Sign Generation for Synthetic Data Augmentation
本文提出基于CMLPe的轻量级手语生成模型HandCraft,结合合成数据预训练提升手语识别性能,并在LSFB和DiSPLaY数据集上取得新SOTA结果。
2025-08-22 cs.CV cs.LG
Synthetic Data Reveals Generalization Gaps in Correlated Multiple Instance Learning
Tufts University(塔夫茨大学)
针对传统多实例学习(MIL)忽略实例上下文关系的问题,本文设计了需考虑相邻实例特征的合成分类任务,量化现有MIL方法与最优贝叶斯估计器的性能差距,发现新关联MIL方法在万级样本训练下仍未达最佳性能。
2025-11-12 cs.LG
Artificial Conversations, Real Results: Fostering Language Detection with Synthetic Data
University of Milan(米兰大学)
本研究提出一种合成数据生成流程,通过分析提示策略等因素对意大利语招聘广告包容性语言检测任务的影响,证明基于合成数据微调的LLMs在真实与合成测试集上均表现更优。
2025-03-31 cs.AI cs.CL cs.LG
Joint Selection: Adaptively Incorporating Public Information for Private Synthetic Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院);Tumult Labs(塔姆尔特实验室)
针对现有差分隐私合成数据生成方法难用公共数据、预训练初始化法依赖预定义模型结构的问题,本文提出jam-pgm机制,拓展自适应测量框架以联合选择公私数据测量,在公共数据分布有偏时仍优于现有方法。
2024-03-12 cs.AI cs.LG
Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark
Aarhus University(奥胡斯大学);University of Cambridge(剑桥大学);University of Belgrade(贝尔格莱德大学)
本文提出一个以数据为中心的综合基准框架,通过在11个表格数据集上评估5种先进生成模型,揭示数据画像对提升合成数据代表性及分类性能的关键作用。
2023-10-25 cs.LG
Does Synthetic Data Make Large Language Models More Efficient?
The Institute of Electrical and Electronics Engineers(电气和电子工程师协会);Illinois Institute of Technology(伊利诺伊理工大学)
本文研究合成数据对大语言模型效率的影响,聚焦基于模板的问题生成,通过实证评估其优势与局限,强调合成与真实数据的平衡,以指导NLP实践。
2023-10-11 cs.AI cs.CL cs.LG
Facial Affect Analysis: Learning from Synthetic Data & Multi-Task Learning Challenges
Huazhong University of Science and Technology(华中科技大学);Ant Group(蚂蚁集团)
面部情感分析仍然是一个具有挑战性的任务,其设置从实验室控制过渡到野外的情况。在本文中,我们提出了新的框架来处理两个挑战,在第四届情感行为分析在野外(ABAW)的竞争:i)多任务学习(MTL)的挑战和ii)从合成数据(LSD)的挑战。对于MTL的挑战,我们采用了SMM-predictionNet与更好的集成策略的特征向量。对于LSD挑战,我们提出了相应的方法来解决单一标签,不平衡分布,微调限制和模型架构选择的问题。在竞赛的官方验证集上的实验结果表明,我们提出的方法大大优于基线。该代码可在https://github.com/sylyoung/ABAW4-HUST-ANT上获得。
2022-07-20 cs.CV cs.LG
Generating Synthetic Ground Truth Distributions for Multi-step Trajectory Prediction using Probabilistic Composite Bézier Curves
Fraunhofer IOSB(弗劳恩霍夫应用信息处理研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
针对基准数据集缺乏真实轨迹分布、难以使用 Wasserstein 距离等指标评估概率预测模型的问题,提出基于复合概率 Bézier 曲线生成完整轨迹概率分布的方法,并示范模型评估。
2024-04-05 cs.LG
Time-series Transformer Generative Adversarial Networks
Imperial College London(帝国理工学院)
许多现实世界的任务都受到数据限制的困扰:在某些情况下,只有很少的数据可用,而在其他情况下,数据受到隐私执行法规(例如GDPR)的保护。我们认为,具体的时间序列数据的限制,并提出了一个模型,可以生成合成的时间序列,可以用来代替真实的数据。生成合成时间序列数据的模型有两个目标:1)捕获实序列的逐步条件分布,以及2)忠实地对整个实序列的联合分布进行建模。通过最大似然估计训练的自回归模型可以用于反馈先前预测并用于预测未来预测的系统中;在这种模型中,误差会随着时间的推移而累积。此外,需要一个合理的初始值,使基于MLE的模型不是真正的生成。许多下游任务学习对时间序列的条件分布进行建模,因此,从生成模型提取的合成数据除了执行2)之外还必须满足1)。我们提出了TsT-GAN,这是一个利用Transformer架构来满足需求的框架,并将其性能与五个数据集上的五个最先进模型进行比较,并表明TsT-GAN在所有数据集上实现了更高的预测性能。
2022-05-23 cs.LG
Generative Correlation Manifolds: Generating Synthetic Data with Preserved Higher-Order Correlations
Eindhoven University of Technology(埃因霍温理工大学)
本文提出生成式相关流形(GCM)方法,通过Cholesky分解保留数据完整相关结构,实现计算高效的合成数据生成,适用于隐私保护、稳健训练与模拟。
2025-10-24 cs.AI cs.LG
Provably Improving Generalization of Few-Shot Models with Synthetic Data
FPT Software AI Center(FPT软件人工智能中心);Hanoi University of Science(河内科学大学);VinUniversity(文大学);University of Warwick(沃里克大学)
针对少样本分类中合成数据导致的性能下降问题,提出一种集成原型学习的理论框架算法,优化数据划分与模型训练,有效弥合真实与合成数据分布差距并显著提升泛化性能。
2025-06-25 cs.CV cs.LG