Creating Synthetic Datasets via Evolution for Neural Program Synthesis
Wayfair Research(Wayfair 研究院);Northeastern University(东北大学)
程序合成是自动生成符合给定规范的程序的任务。指定程序的一种自然方式是提供所需输入-输出行为的示例,并且许多当前的程序合成方法在随机生成的输入-输出示例上进行训练后已经取得了令人印象深刻的结果。然而,最近的工作已经发现,这些方法中的一些推广较差的数据分布不同的随机生成的例子。我们表明,这个问题也适用于其他国家的最先进的方法,以及目前的方法来抵消这个问题是不够的。然后,我们提出了一种新的,对抗性的方法来控制合成数据分布的偏差,并表明它优于当前的方法。
2020-07-25 cs.LG stat.ML
Proxy Synthesis: Learning with Synthetic Classes for Deep Metric Learning
NAVER/LINE Vision;NAVER Clova Speech
深度度量学习的主要目的之一是构建一个嵌入空间,该嵌入空间在可见(训练)类和不可见(测试)类上都具有良好的泛化嵌入。大多数现有的工作都试图实现这一目标,使用不同类型的度量目标和硬样本挖掘策略与给定的训练数据。然而,仅使用训练数据的学习可能过拟合到可见的类,导致对不可见的类缺乏泛化能力。为了解决这个问题,我们提出了一个简单的正则化器,称为代理合成,它利用合成类在深度度量学习中进行更强的泛化。所提出的方法生成合成嵌入和代理,作为合成类工作,它们在计算基于代理的损失时模仿看不见的类。代理合成推导出一个嵌入空间,考虑到类关系和光滑的决策边界的鲁棒性上看不见的类。我们的方法适用于任何基于代理的损失,包括softmax及其变体。在四个著名的图像检索任务的基准上进行的大量实验表明,代理合成显着提高了基于代理的损失的性能,并实现了最先进的性能。
2021-03-29 cs.CV cs.IR cs.LG
Deep Generative Models, Synthetic Tabular Data, and Differential Privacy: An Overview and Synthesis
Queensland University of Technology(昆士兰科技大学)
该综述聚焦表格数据集场景,梳理了深度生成模型用于合成数据生成的最新进展,阐明其在隐私敏感数据场景的价值、优势与底层概念,分析了应用挑战,为相关研究者和从业者提供参考。
2023-08-27 cs.LG stat.AP stat.CO
PDPK: A Framework to Synthesise Process Data and Corresponding Procedural Knowledge for Manufacturing
XITASO GmbH IT & Software Solutions(XITASO IT与软件解决方案有限公司);University of Augsburg(奥格斯堡大学)
针对制造业缺乏公开的过程数据与过程性知识配对数据集的问题,本文提出可跨领域适配的PDPK合成框架,并通过嵌入方法比较和真实数据集验证建立基线。
2023-08-16 cs.AI cs.LG
SynthRCT: Scalable Conditional Deformation Synthesis for Synthetic Repeat CT Generation
Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
SynthRCT提出可扩展条件生成框架,基于条件变分自编码器合成3D解剖形变,用于质子治疗稳健性评估,实现患者特有的合理变换采样。
2026-09-09 cs.AI cs.CV cs.LG
VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL
University of Washington(华盛顿大学);Western Washington University(西华盛顿大学)
本文提出大规模合成视觉逻辑推理数据集VisualSphinx及规则到图像的合成流水线,通过GRPO训练显著提升VLM在逻辑推理及其他相关推理任务上的性能。
2026-11-02 cs.AI cs.CV cs.LG
FLAMES: Improving LLM Math Reasoning via a Fine-Grained Analysis of the Data Synthesis Pipeline
Amazon AGI Foundations(亚马逊人工智能基础研究机构);Dartmouth College(达特茅斯学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出FLAMES框架,系统分析10种数学推理数据合成策略,揭示难度与多样性平衡的关键规律,并据此设计新策略和数据集,使Qwen2.5-Math-7B在MATH上达到81.4%,超越更大模型。
2025-08-22 cs.AI cs.CL cs.LG
Knowledge Refactoring for Inductive Program Synthesis
KU Leuven(鲁汶大学);Oxford(牛津大学)
人类不断重组知识,以更有效地利用它。我们的目标是赋予机器学习系统类似的能力,以便它能够更有效地学习。我们介绍的\textit{knowledge refactoring}问题,其目标是重组一个学习者的知识库,以减少其大小,并尽量减少冗余it.We专注于归纳逻辑程序设计,其中的知识库是一个逻辑程序。我们介绍克诺尔夫,一个系统,解决了重构问题,使用约束优化。我们评估我们的方法上的两个程序感应域:现实世界中的字符串变换和乐高结构的建设。我们的实验表明,从重构的知识中学习可以将预测精度提高四倍,并将学习时间减少一半。
2020-11-24 cs.AI cs.LG stat.ML
Less is More: Unsupervised Mask-guided Annotated CT Image Synthesis with Minimum Manual Segmentations
National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Royal Brompton Hospital(皇家布朗普顿医院);Centre for Cardiovascular Science, University of Edinburgh(爱丁堡大学心血管科学中心);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
作为一种实用的数据增强工具,数据合成通常会为基于深度学习的医学图像分析带来性能回报。然而,为合成医学图像生成相应的分割掩模是费力且主观的。为了获得成对的合成医学图像和分割,提出了使用分割掩模作为合成条件的条件生成模型。然而,这些分割掩码条件生成模型仍然依赖于大型,多样和标记的训练数据集,并且它们只能对人体解剖结构提供有限的约束,导致不切实际的图像特征。此外,不变的像素级条件可能会减少合成病变的多样性,从而降低数据增强的有效性。为了解决这些问题,在这项工作中,我们提出了一种新的策略,医学图像合成,即无监督掩模(UM)引导的合成,以获得合成图像和分割使用有限的手动分割标签。我们首先开发了一个基于超像素的算法来生成无监督的结构指导,然后设计了一个条件生成模型,在半监督的多任务设置中同时从这些无监督的掩模合成图像和注释。此外,我们设计了多尺度多任务Fréchet起始距离(MM-FID)和多尺度多任务标准差(MM-STD)来利用合成CT图像的保真度和多样性评估。通过在不同尺度上进行多重分析,我们可以产生具有高重现性的稳定图像质量测量结果。与分割掩模引导合成相比,我们的UM引导合成提供了高质量的合成图像,具有显著更高的保真度、多样性和实用性($p<0.05$通过Wilcoxon符号秩检验)。
2023-03-19 cs.CV cs.LG eess.IV
Federated Learning with GAN-based Data Synthesis for Non-IID Clients
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学)
联邦学习(FL)是近年来兴起的一种保护隐私的协作学习模式。然而,它受到客户端之间的非独立同分布(非IID)数据的影响。在本文中,我们提出了一种新的框架,命名为合成数据辅助联邦学习(SDA-FL),以解决这个非IID的挑战,通过共享合成数据。具体地,每个客户端预训练本地生成对抗网络(GAN)以生成差异私有合成数据,这些数据被上传到参数服务器(PS)以构建全局共享合成数据集。为了为合成数据集生成可信的伪标签,我们还提出了一种由PS执行的迭代伪标签机制。本地私有数据集和具有可信伪标签的合成数据集的组合导致客户端之间几乎相同的数据分布,这提高了本地模型之间的一致性,有利于全局聚合。大量的实验证明,该框架优于基线方法的大幅度在几个基准数据集下的监督和半监督设置。
2022-06-11 cs.LG
SyntheticHLS: Building Diverse Synthetic High-Level Synthesis Datasets using LLMs
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
针对HLS数据集稀缺且多样性不足的问题,提出SyntheticHLS框架,利用LLM的迭代反馈引导变异和定量指标生成多样化合成数据集,经交叉验证表明其训练语料库泛化性最佳。
2026-10-02 cs.AR cs.LG
Program synthesis performance constrained by non-linear spatial relations in Synthetic Visual Reasoning Test
University of Nottingham(诺丁汉大学);Dalhousie University(达尔豪斯大学);Vector Institute(矢量研究所);Cardiff University(卡迪夫大学)
尽管机器在自动视觉识别方面取得了显着进步,但一些视觉任务对机器来说仍然具有挑战性。Fleuret等人(2011年)引入了合成视觉推理测试(SVRT)来强调这一点,该测试要求仅使用几个示例,基于隐藏的抽象规则对由随机生成的形状组成的图像进行分类。Ellis et al.(2015)证明,程序合成方法可以解决一些无监督的、少样本学习的SVRT问题,而对于用数千个样本训练的几个卷积神经网络来说,它们仍然具有挑战性。在这里,我们重新考虑了人类和机器实验,因为它们遵循不同的协议,产生不同的统计数据。因此,我们提出了一个定量的重新解释的数据之间的协议,使我们可以作出公平的比较人类和机器的性能。通过对图像解析的修正,改进了程序合成分类器,并将其结果与其他机器代理和人类受试者的性能进行了比较。根据分类的核心特征:形状规范和位置关系,我们将SVRT问题分为不同的类型。我们发现,程序合成分类器不能解决涉及形状距离的问题,因为它依赖于符号计算,其与输入维度的比例很差,并且将距离添加到这样的计算中会增加与图像中的形状数量相结合的维度。因此,尽管程序合成分类器能够进行抽象推理,但其性能受到图像解析中可访问信息的高度约束。
2019-11-19 cs.LG stat.ML
Diversity-Driven Synthesis: Enhancing Dataset Distillation through Directed Weight Adjustment
Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Institute of High Performance Computing(高性能计算研究所);XiDian University(西安电子科技大学);National University of Singapore(新加坡国立大学);Hubei University(湖北大学)
本文针对数据集蒸馏中合成样本冗余问题,提出通过动态定向权重调整增强合成数据多样性,并在多个基准上以较低计算开销取得优越性能。
2024-11-19 cs.CV cs.LG
Developing Synthesis Flows Without Human Knowledge
EPFL(洛桑联邦理工学院);SUNY Buffalo(纽约州立大学布法罗分校)
设计流程是设计转换的显式组合,主要涉及综合,布局和布线过程,以完成集成电路(IC)和片上系统(SoC)的设计。大多数情况下,流程是根据专家的知识制定的。然而,由于设计流程的大的搜索空间和增加的设计复杂性,开发提供高结果质量(QoR)的知识产权(IP)专用合成流程是极具挑战性的。这项工作提出了一个完全自主的框架,人工产生设计特定的合成流没有人的指导和基线流,使用卷积神经网络(CNN)。通过成功设计三个大规模设计的逻辑综合流程进行了论证。
2019-01-24 cs.DC cs.LG
A knowledge-driven AutoML architecture
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出一种知识驱动的AutoML架构,统一处理流水线与深度特征合成,通过共享知识系统交互式指导操作与特征选择,并结合运行时部分解结果进行决策,以提升AutoML的可解释性与领域知识利用能力。
2023-11-28 cs.AI cs.LG cs.SE
Training Language Models on Synthetic Edit Sequences Improves Code Synthesis
New York University(纽约大学)
针对代码合成中顺序编辑数据稀缺问题,提出合成数据生成算法LintSeq,通过代码检查工具重构程序为合成编辑序列,微调后的模型在多项基准上匹配或优于基线,且性能优于类似规模现有模型。
2025-02-11 cs.CL cs.LG
Generative Adversarial Networks for Synthetic Data Generation: A Comparative Study
School of Social Sciences, University of Manchester(曼彻斯特大学社会科学学院);Alliance Manchester Business School, University of Manchester(曼彻斯特大学联盟曼彻斯特商学院)
生成对抗网络(GANs)作为一种合成数据的手段越来越受到关注。到目前为止,这项工作的大部分已经应用于数据保密领域之外的用例,其中一个常见的应用是人工图像的生成。在这里,我们考虑了GANs的潜在应用,以生成合成的人口普查微观数据。我们采用了一组效用度量和披露风险度量(目标正确归因概率)来比较表格GANs产生的数据与使用传统数据合成方法产生的数据。
2021-12-03 cs.LG
Amortized Tree Generation for Bottom-up Synthesis Planning and Synthesizable Molecular Design
Massachusetts Institute of Technology(麻省理工学院)
分子设计和合成规划是分子发现过程中的两个关键步骤,我们建议将其制定为条件合成途径生成的单一共享任务。我们报告一个摊销的方法来产生合成途径作为一个马尔可夫决策过程的条件下,目标分子嵌入。这种方法使我们能够进行自自底向上的【形】的方式进行合成规划和设计合成的分子,从优化的条件代码解码,展示了潜在的同时解决设计和合成的问题。该方法利用神经网络概率建模的合成树,一个反应步骤的时间,根据反应规则编码在一个离散的行动空间的反应模板。我们在成千上万的人工路径上对这些网络进行训练,这些人工路径是从一个采购化合物池和一系列专家策划的模板中产生的。我们验证了我们的方法与(a)使用条件生成的分子的恢复,(b)可合成的结构类似物的鉴定,和(c)分子结构的优化给定的oracle功能相关的药物发现。
2022-03-12 cs.LG q-bio.QM
Permutation-Invariant Tabular Data Synthesis
TU Delft(代尔夫特理工大学);University of Torino(都灵大学)
表格数据合成是一种新兴的方法,可以规避严格的数据隐私法规,同时通过大数据发现知识。虽然最先进的基于AI的表格数据合成器,例如,table-GAN、CTGAN、TVAE和CTAB-GAN在生成合成表格数据时是有效的,它们的训练对输入数据的列排列敏感。在本文中,我们首先进行了广泛的实证研究,揭示了这样一个性质的排列不变性和深入分析现有的合成器。我们发现,由于表格数据的编码和网络架构,改变输入列的顺序将真实数据和合成数据之间的统计差异降低了38.67%。为了充分释放大合成表格数据的潜力,我们提出了两种解决方案:(i)AE-GAN,一种使用自动编码器网络来表示表格数据和GAN网络来合成潜在表示的合成器,以及(ii)一种特征排序算法,用于为基于CNN的合成器找到合适的输入数据列顺序。我们在五个数据集上评估了所提出的解决方案对列排列的敏感性、合成数据的质量以及在下游分析中的实用性。我们的研究结果表明,我们增强了训练合成器时的置换不变性,并进一步提高了合成数据的质量和效用,高达22%,相比现有的合成器。
2022-11-17 cs.LG
Text is All You Need: Personalizing ASR Models using Controllable Speech Synthesis
Apple(苹果公司)
由于个性化数据的稀缺性,使通用语音识别模型适应特定个体是一个具有挑战性的问题。最近的工作已经提出使用个性化的文本到语音合成来提高训练数据的量。在这里,我们提出了关于这种策略的两个基本问题:合成数据何时对个性化有效,以及为什么在这些情况下有效?为了解决第一个问题,我们采用了一个国家的最先进的自动语音识别(ASR)模型的目标扬声器从四个基准数据集代表不同的扬声器类型。我们表明,合成数据的ASR个性化在所有情况下都是有效的,但特别是当(i)目标说话人在全局数据中代表性不足,以及(ii)全局模型的容量有限时。为了解决第二个问题,为什么个性化的合成数据是有效的,我们使用可控的语音合成来生成具有不同风格和内容的语音。令人惊讶的是,我们发现,文本内容的合成数据,而不是风格,是重要的发言人适应。这些结果使我们提出了一个数据选择策略的基础上语音内容的ASR个性化。
2023-03-27 cs.LG cs.SD eess.AS
Time Series Synthesis via Multi-scale Patch-based Generation of Wavelet Scalogram
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出了一种基于单样本学习的无条件生成合成时间序列的框架。该框架的目的是捕捉补丁的时间序列的小波尺度图使用单图像生成模型的分布,并产生逼真的小波系数的合成时间序列的生成。结果表明,该框架是有效的保真度和多样性的时间序列无关紧要的趋势。此外,对于生成具有相同持续时间的样本(重新洗牌)而不是更长的样本(重定向),性能更有希望。
2022-10-21 cs.AI cs.LG eess.SP
Synthesis of COVID-19 Chest X-rays using Unpaired Image-to-Image Translation
Concordia Institute for Information Systems Engineering(康考迪亚大学信息系统工程研究所);Concordia University(康考迪亚大学)
由于缺乏2019冠状病毒病(COVID-19)阳性患者的胸部X光照片的公开数据集,我们通过利用类条件反射和对抗训练,使用无监督域自适应方法构建了首个高保真的COVID-19胸部X光合成图像的开放数据集。我们的贡献是双重的。首先,当使用合成图像作为额外的训练集时,我们使用各种深度学习架构对COVID-19检测进行了相当大的性能改进。其次,我们展示了我们的图像合成方法如何通过仅在合成数据上训练时实现可比的检测性能来作为数据匿名化工具。此外,所提出的数据生成框架为COVID-19检测以及一般的医学图像分类任务提供了可行的解决方案。我们公开的基准数据集由21,295张合成COVID-19胸部X射线图像组成。从该数据集中收集的见解可用于抗击COVID-19大流行的预防措施。
2020-10-20 cs.CV cs.LG eess.IV
Statistical Theory of Differentially Private Marginal-based Data Synthesis Algorithms
Tsinghua University(清华大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Pennsylvania(宾夕法尼亚大学);University of California, Los Angeles(加州大学洛杉矶分校)
基于边缘的方法在美国国家标准与技术研究所(NIST)主办的合成数据竞赛中取得了令人满意的性能。为了处理高维数据,合成数据的分布由概率图形模型(例如,贝叶斯网络),而原始数据分布由低维边缘的集合近似。差分隐私(DP)是通过引入随机噪声,每个低维边缘分布保证。尽管其在实践中有前途的性能,基于边缘的方法的统计特性很少在文献中研究。本文从统计学的角度研究了基于贝叶斯网络的DP数据综合算法。我们建立了一个严格的精度保证BN为基础的算法,其中的错误是衡量的总变差(TV)的距离或$L^2$距离。与下游机器学习任务相关,还导出了DP合成数据的效用误差的上限。为了完成这幅图,我们建立了适用于每个$ε$ -DP合成数据生成器的TV精度下限。
2023-01-25 cs.LG stat.ML
Population Synthesis using Incomplete Information
针对微观样本因隐私或数据收集限制存在属性缺失的问题,本文提出带掩码矩阵的WGAN人口合成模型,经瑞典全国出行调查验证,其生成的合成人口接近完整数据训练结果与实际人口,为不完整数据下的人口合成提供鲁棒方案。
2025-10-01 cs.LG
Synthesis of standard 12-lead electrocardiograms using two dimensional generative adversarial network
Advanced Algorithm Research Center, Philips Healthcare(飞利浦医疗保健高级算法研究中心)
本文提出了一个二维(2D)双向长短期记忆生成对抗网络(GAN),以产生合成的标准12导联ECG对应于四种类型的信号:左心室肥大(LVH),左分支束传导阻滞(LBBB),急性心肌梗死(ACUTMI),和正常。它使用全自动端到端过程来生成和验证合成ECG,无需任何目视检查。所提出的模型能够产生合成标准的12导联ECG信号,LVH的成功率为98%,LBBB为93%,ACUTMI为79%,正常为59%。数据的统计学评价证实,合成ECG不偏向于或过度拟合于训练ECG,并且跨越广泛的形态特征。这项研究表明,它是可行的,使用2D GAN,以产生标准的12导联心电图适合人工增强真实心电图的多样化的数据库,从而提供了一个可能的解决方案,广泛的心电图数据集的需求。
2021-06-02 cs.LG eess.SP
Text Generation with Speech Synthesis for ASR Data Augmentation
Meta AI
本文探索用大规模预训练神经网络进行ASR文本增强,再经TTS合成语音扩充训练数据,在三个数据集上相对WER降低9%-15%,优于传统方法。
2023-05-22 cs.AI cs.CL cs.LG
Unsupervised Traffic Scene Generation with Synthetic 3D Scene Graphs
TUM(慕尼黑工业大学);BMW AG(宝马股份公司);JHU(约翰斯·霍普金斯大学);Google(谷歌)
由计算机图形学驱动的图像合成最近取得了显着的现实主义,但这种方式产生的合成图像数据显示了一个显着的领域差距,相对于真实世界的数据。在自动驾驶场景中尤其如此,这代表了克服利用合成数据训练神经网络的关键方面。提出了一种基于区域不变场景表示的交通场景图像合成方法。具体来说,我们依赖于合成场景图作为我们的内部表示,并引入了一个无监督的神经网络架构的现实交通场景合成。我们增强合成场景图的空间信息的场景,并证明我们的方法通过场景操作的有效性。
2023-03-15 cs.CV cs.LG cs.RO
Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis
The University of Tennessee(田纳西大学)
知识蒸馏(KD)已被证明是深度神经网络压缩的有效方法,其通过从预训练的、过参数化的网络(教师)转移知识来学习紧凑的网络(学生)。在传统的知识库中,传递的知识通常是通过将训练样本馈送到教师网络以获得类概率来获得的。然而,由于存储成本或隐私问题,原始训练数据集并不总是可用的。在这项研究中,我们提出了一种新的无数据KD方法,通过用多元正态分布建模教师的中间特征空间,并利用分布生成的软目标标签来合成伪样本作为转移集。与使用原始训练集和其他无数据KD方法训练的网络相比,使用这些合成传递集训练的几个学生网络呈现出具有竞争力的性能。
2021-04-10 cs.LG
Two-Stage Data Synthesization: A Statistics-Driven Restricted Trade-off between Privacy and Prediction
Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University(智能决策与机器学习中心,管理学院,西安交通大学);Department of Mathematics, Hong Kong Baptist University(数学系,香港 Baptist 大学);School of Mathematics and Statistics, University of Sydney(数学与统计学学院,悉尼大学)
本文提出了一种两阶段数据合成方法,结合统计学优势,在隐私与预测之间实现受限权衡,通过核岭回归和混合操作提升预测性能。
2026-02-09 cs.LG stat.ME
Synthesising Multi-Modal Minority Samples for Tabular Data
Amazon(亚马逊公司)
现实世界的二进制分类任务在许多情况下是不平衡的,其中少数类比多数类小得多。这种偏斜对机器学习算法来说是一个挑战,因为它们往往关注大多数人,而对少数人进行错误分类。在训练模型之前向数据集添加合成少数样本是解决这一困难的流行技术,通常通过插值少数样本来实现。表格数据集通常是多模态的,并且除了连续的特征之外还包含离散(分类)特征,这使得样本的插值非平凡。为了解决这个问题,我们提出了一个潜在空间插值框架,该框架(1)使用自动编码器将多模态样本映射到密集的连续潜在空间;(2)通过在潜在空间中插值来应用过采样;以及(3)将合成样本映射回原始特征空间。我们定义了直接评估少数数据质量的指标,并表明我们的框架比现有方法生成更好的合成数据。此外,在下游二进制分类任务中,优越的合成数据产生更好的预测质量,如在使用27个公开可用的真实世界数据集的广泛实验中所证明的那样
2021-05-17 cs.LG
Collaborative Watermarking for Adversarial Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(国立情报学研究所)
本文提出用于合成语音水印的协作训练方案,使HiFi-GAN声码器与ASVspoof 2021基线模型协作,在保持感知质量的同时提升检测性能与鲁棒性。
2024-01-02 cs.AI cs.LG cs.SD
Spatial Knowledge Graph-Guided Multimodal Synthesis
Zhejiang University(浙江大学);Nanjing University of Science and Technology(南京理工大学);Huzhou University(湖州大学);Harbin Institute of Technology(哈尔滨工业大学)
SKG2DATA通过空间知识图引导多模态合成,提升多模态大语言模型的空间感知与推理能力。
2025-11-23 cs.AI cs.CL cs.CV
ECG synthesis with Neural ODE and GAN models
Maynooth University(梅努斯大学);Dublin City University(都柏林城市大学)
连续的医学时间序列数据,如心电图,由于其动态和高维的特性,是最复杂的时间序列之一。此外,由于其敏感性,隐私问题和法律限制,使用实际数据进行不同的医学研究往往甚至很复杂。因此,产生连续的医疗时间序列是一个非常关键的研究领域。一些研究工作已经表明,生成对抗网络(GANs)在连续医疗时间序列生成的情况下的能力是有前途的。大多数医学数据生成工作,如ECG合成,主要由GAN模型及其变体驱动。另一方面,神经元常微分方程(Neural ODE)的一些最新研究表明,它具有很强的抗信息缺失、高维以及连续时间序列动态特性的能力。神经常微分方程不把连续时间序列看作离散时间序列,而是能够连续地、实时地对连续时间序列进行训练。在这项工作中,我们使用基于神经ODE的模型来生成合成正弦波和合成ECG。介绍了一种新的基于神经元常微分方程的生成器和鉴别器的生成对抗网络的设计方法。我们开发了三种新模型来合成连续的医疗数据。然后使用不同的评估度量来定量地评估所生成的合成数据的质量,以用于真实世界的应用和数据分析。这项工作的另一个目标是结合GAN和神经ODE的优势来生成合成的连续医疗时间序列数据,如ECG。我们还评估了GAN模型和神经ODE模型,以了解GAN和神经ODE家族模型在医疗数据合成中的比较效率。
2022-06-06 cs.LG
Improving Text-to-Image Synthesis Using Contrastive Learning
Georgia State University(佐治亚州立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
文本到图像合成的目标是生成与给定文本描述匹配的视觉上逼真的图像。在实际应用中,人类对同一幅图像标注的字幕在内容和词语的选择方面具有很大的差异。同一图像的字幕之间的语言差异导致合成图像偏离地面真实。为了解决这个问题,我们提出了一种对比学习方法来提高合成图像的质量并增强其语义一致性。在预训练阶段,我们利用对比学习的方法来学习一致的文本表示对应于同一图像的字幕。此外,在接下来的GAN训练阶段,我们采用对比学习方法来增强从与同一图像相关的字幕生成的图像之间的一致性。我们评估我们的方法在两个流行的文本到图像的合成模型,AttnGAN和DM-GAN,分别在数据集CUB和COCO。实验结果表明,我们的方法可以有效地提高合成图像的质量方面的三个指标:IS,FID和R-精度。特别是,在具有挑战性的COCO数据集上,我们的方法比AttnGAN显著提高了FID 29.60%,比DM-GAN提高了21.96%。
2021-11-28 cs.LG
Preference Optimization for Molecule Synthesis with Conditional Residual Energy-based Models
The Pennsylvania State University(宾夕法尼亚州立大学);Google DeepMind(谷歌DeepMind);University of Southern California(南加利福尼亚大学)
本文提出基于条件残差能量模型(CREBM)的通用框架,通过引入额外能量函数优化分子合成路线质量,以即插即用方式提升各策略性能,并在top-1准确率上超越先前最先进方法2.5%。
2024-06-04 cs.LG q-bio.BM
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)(坎皮纳斯大学)
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前,深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果,我们需要解决缺乏注释数据的问题,这是昂贵的,需要专家的大量努力。为了绕过这个问题,我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知,我们的结果是第一个显示视觉上吸引人的合成图像,包括临床意义的信息。
2019-02-08 cs.CV cs.LG
Neural Circuit Synthesis from Specification Patterns
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Google Research(谷歌研究院)
我们训练分层Transformers的任务,直接从线性时间时序逻辑(LTL)的高级逻辑规范合成硬件电路。LTL合成问题是一个著名的算法挑战,具有悠久的历史,每年都会组织一次竞赛,以跟踪算法和工具的改进。使用机器学习的新方法可能会在这一领域带来很多可能性,但缺乏足够的训练数据。在本文中,我们考虑了一种生成大量附加训练数据的方法,即,对规范和实现它们的电路。我们确保这个合成数据是足够接近人类编写的规格,通过挖掘共同的模式,在合成比赛中使用的规格。我们表明,在此合成数据上训练的分层Transformers解决了合成竞赛中的大部分问题,甚至解决了最近案例研究中的分布示例。
2021-07-25 cs.LG cs.LO
Enhanced Magnetic Resonance Image Synthesis with Contrast-Aware Generative Adversarial Networks
Friedrich-Alexander Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校);Technical University of Applied Sciences Amberg-Weiden(安贝格-魏登应用技术大学);Siemens Healthcare GmbH(西门子医疗有限公司)
磁共振成像(MRI)检查通常包括采集多个MR脉冲序列,这是可靠诊断所需的。可以通过影响MR图像对比度、信噪比、分辨率或扫描时间的多个采集参数来参数化每个序列。随着生成式深度学习模型的兴起,开发了用于合成MR图像的方法,以合成额外的MR对比度、生成合成数据或增强现有数据以进行AI训练。然而,用于合成MR图像的当前生成方法仅在具有特定采集参数值集合的图像上训练,这限制了这些方法的临床价值,因为在临床实践中使用了各种采集参数设置集合。因此,我们训练了一个生成对抗网络(GAN),以生成以各种采集参数(重复时间、回波时间、图像方向)为条件的合成MR膝关节图像。这种方法使我们能够合成具有可调图像对比度的MR图像。在视觉图灵测试中,两位专家错误标记了40.5%的真实和合成MR图像,证明生成的合成和真实MR图像的图像质量相当。这项工作可以在MR序列参数化期间通过预览产生的MR对比度来支持放射科医生和技术人员,可以作为放射学培训的有价值的工具,并且可以用于定制数据生成以支持AI培训。
2021-03-01 cs.CV cs.LG eess.IV
Synthesis of Realistic ECG using Generative Adversarial Networks
Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(Insight数据分析中心)
由于医疗数据的敏感性,其访问受到高度限制,阻止社区将这些数据用于研究或临床培训。为实现数据共享而实施的通用去身份化方法有时不足以保护数据中所包含的个人。在我们的研究中,我们研究了生成对抗网络(GANs)产生真实医疗时间序列数据的能力,这些数据可以在不考虑隐私的情况下使用。目的是生成代表正常ECG波形的合成ECG信号。GANs已成功用于生成高质量的合成时间序列,并已被证明可以防止重新识别单个记录。在这项工作中,开发了一系列GAN架构来生成合成正弦波和合成ECG。然后使用两个评估指标来定量评估合成数据是否适合现实世界的应用,如临床培训和数据分析。最后,我们讨论了与共享GANs产生的合成数据相关的隐私问题,并测试了它们抵御简单成员推断攻击的能力。我们第一次定量和定性地证明了GAN架构可以成功地生成时间序列信号,这些信号不仅在结构上与训练集相似,而且在生成的样本中具有多样性。我们还报告了它们抵御简单成员推断攻击的能力,保护了训练集的隐私。
2019-09-19 cs.LG eess.SP stat.ML
Differentially Private Tabular Data Synthesis using Large Language Models
Emory University(埃默里大学)
本文提出DP-LLMTGen框架,利用预训练大语言模型通过两阶段微调和新型损失函数实现差分隐私表格数据合成,在多数据集和隐私设置下优于现有机制并具备可控生成能力。
2024-06-03 cs.CL cs.CR cs.LG
Subject-Specific Lesion Generation and Pseudo-Healthy Synthesis for Multiple Sclerosis Brain Images
Imperial College London(帝国理工学院);UK Dementia Research Institute(英国痴呆症研究所)
了解脑病变的强度特征是神经学研究中定义基于图像的生物标志物以及预测疾病负担和结果的关键。在这项工作中,我们提出了一种新的前景为基础的生成方法建模的局部病变特征,既可以生成合成病变的健康图像和合成特定的伪健康图像从病理图像。此外,所提出的方法可以用作数据增强模块来生成用于训练脑图像分割网络的合成图像。在磁共振成像(MRI)上采集的多发性硬化症(MS)脑图像上的实验表明,该方法可以生成高度逼真的伪健康和伪病理脑图像。与传统的数据增强方法以及最近的病变感知数据增强技术CarveMix相比,使用合成图像的数据增强提高了脑图像分割性能。该代码将在https://github.com/dogabasaran/lesion-synthesis上发布。
2022-08-03 cs.CV cs.LG eess.IV
DPD-fVAE: Synthetic Data Generation Using Federated Variational Autoencoders With Differentially-Private Decoder
Hasso Plattner Institute(哈索·普拉特纳研究所)
联邦学习(FL)在处理医疗保健等领域常见的敏感分布式数据集方面越来越受到关注。而不是直接在这些数据集上训练分类模型,最近的工作已经考虑了训练数据生成器能够合成一个新的数据集,这是不受任何隐私限制。因此,任何人都可以使用合成数据,这使得能够进一步评估机器学习架构和研究问题。作为隐私保护的附加层,可以将差分隐私引入训练过程。我们提出了DPD-fVAE,一个联邦变分自编码器与差分私有解码器,合成一个新的,标记的数据集,为后续的机器学习任务。通过仅将解码器组件与FL同步,我们可以降低每个时期的隐私成本,从而实现更好的数据生成器。在我们对MNIST,Fashion-MNIST和CelebA的评估中,我们展示了DPD-fVAE的好处,并在Fréchet Inception Distance和在合成数据集上训练的分类器的准确性方面报告了相关工作的竞争性能。
2022-11-21 cs.CR cs.CV cs.LG
Synt++: Utilizing Imperfect Synthetic Data to Improve Speech Recognition
Apple(苹果公司)
随着语音合成的最新进展,合成数据正在成为训练语音识别模型的真实数据的可行替代方案。然而,由于合成数据和真实数据分布之间的差距,使用合成数据的机器学习并不是微不足道的。合成数据集可能包含真实数据中不存在的伪影,例如结构化噪声,内容错误或不切实际的说话风格。此外,由于数据流形的不均匀采样,合成过程可能引入偏差。我们在训练过程中提出了两种新的技术来缓解由于分布间隙引起的问题:(i)拒绝采样算法和(ii)对真实和合成样本使用单独的批量归一化统计。我们表明,这些方法显着提高训练的语音识别模型使用合成数据。我们评估所提出的方法对关键字检测和自动语音识别(ASR)的任务,并观察到高达18%和13%的相对误差减少,分别相比,天真地使用合成数据。
2021-10-21 cs.LG cs.SD eess.AS
Forecasting-based Biomedical Time-series Data Synthesis for Open Data and Robust AI
School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(韩国成均馆大学电气工程学院);Department of Applied AI, Hansung University, Seoul, Republic of Korea(汉城市立大学应用人工智能系)
本文提出基于预测模型的生物医学时间序列数据合成方法,通过高保真复现EEG和EMG信号,提升AI模型性能并促进开放数据共享。
2025-11-24 cs.LG eess.SP
ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?
Columbia University(哥伦比亚大学);NYU(纽约大学);Google Research(谷歌研究);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Google(谷歌)
提出ContinuousBench基准,通过持续更新的数据集评估差分隐私合成文本能否传递原始语料库中的新知识,实验表明非隐私合成能有效转移知识,而最先进的DP合成方法即使在高隐私预算下也基本失败。
2026-06-02 cs.CL cs.CR cs.LG
Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks
NVIDIA Corporation(英伟达公司);MGH & BWH Center for Clinical Data Science(麻省总医院与布列根和妇女医院临床数据科学中心);Mayo Clinic(妙佑医疗国际)
在训练深度学习模型时,数据多样性是成功的关键。医学成像数据集通常是不平衡的,因为病理结果通常是罕见的,这在训练深度学习模型时带来了重大挑战。在这项工作中,我们提出了一种方法来生成合成异常MRI图像与脑肿瘤的训练生成对抗网络使用两个公开的数据集的脑MRI。我们证明了合成图像提供的两个独特的好处。首先,我们通过利用合成图像作为数据增强的形式来说明肿瘤分割的改进性能。其次,我们证明了生成模型作为匿名化工具的价值,当在合成数据上训练时与在真实受试者数据上训练时,实现了可比的肿瘤分割结果。总之,这些结果为医学成像中机器学习面临的两个最大挑战提供了潜在的解决方案,即病理发现的发生率很小,以及围绕共享患者数据的限制。
2018-09-13 cs.CV cs.LG stat.ML
Parallel Universes for Temporal Evaluation and Knowledge Updating in LLMs
Georgia Institute of Technology(佐治亚理工学院);Zhejiang University(浙江大学)
针对大语言模型知识过时问题,提出ParallelEvents基准与Synapse训练框架,实现无人工标注的可扩展知识插入,性能较现有方法提升14.23%。
2026-10-28 cs.CL cs.LG
Structural MRI Synthesis for Alzheimer's Disease via Conditional Diffusion on Anatomical Masks
Fairleigh Dickinson University(Fairleigh Dickinson大学);University of Colorado at Colorado Springs(科罗拉多州立大学)
针对阿尔茨海默病结构MRI合成中细微解剖变化难以捕捉的问题,本文扩展Med-DDPM条件扩散模型,以解剖分割掩膜为条件生成3D结构MRI,实验表明合成数据训练的模型Dice分数与真实数据相当,混合数据训练则显著提升性能。
2026-06-18 cs.LG eess.IV
Perturbation-Assisted Sample Synthesis: A Novel Approach for Uncertainty Quantification
University of Minnesota(明尼苏达大学);Stanford University(斯坦福大学);School of Statistics, University of Minnesota(明尼苏达大学统计学院);Department of Statistics, Stanford University(斯坦福大学统计学院)
本文提出扰动辅助推断(PAI)框架及扰动辅助样本合成(PASS)方法,通过生成模型创建保留秩性质的合成数据,在复杂数据场景下实现具有统计保证的不确定性量化。
2024-02-13 cs.LG stat.ML
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University(密歇根州立大学)
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中,我们提出了一个名为DeepTalk的韵律编码网络,用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合,进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中,以生成合成语音。对合成语音的详细分析表明,DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外,基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks
ETH Zurich(苏黎世联邦理工学院);Merantix GmbH(Merantix 有限公司);KU Leuven(鲁汶大学)
为新品牌设计徽标是设计师和客户之间漫长而乏味的来回过程。在本文中,我们将探讨机器学习在多大程度上可以解决设计师的创造性任务。为此,我们建立了一个数据集- LLD -从万维网上抓取的600 k+徽标。在这种多模态数据上训练生成对抗网络(GANs)进行徽标合成并不简单,并且对于一些最先进的方法会导致模式坍塌。我们建议使用通过聚类获得的合成标签来解开和稳定GAN训练。我们能够产生一个高多样性的似是而非的标志,我们展示了潜在的空间探索技术,以减轻互动方式的标志设计任务。此外,我们在CIFAR 10上验证了所提出的聚类GAN训练,当使用通过对ImageNet分类器的特征进行聚类而获得的合成标签时,获得了最先进的Inception分数。GANs可以通过聚类实现的合成标签来处理多模态数据,我们的研究结果显示了这种技术在徽标合成和操作方面的创造性潜力。我们的数据集和模型将在https://data.vision.ee.ethz.ch/cvl/lld/上公开提供。
2017-12-12 cs.CV cs.LG stat.ML
Bias-Corrected Data Synthesis for Imbalanced Learning
Department of Biostatistics & Bioinformatics, Duke University(生物统计学与生物信息学系,杜克大学);Department of Electrical & Computer Engineering, Duke University(电气与计算机工程系,杜克大学);Department of Statistics, Rutgers University(统计学系,罗格斯大学);Department of Computer Science, Duke University(计算机科学系,杜克大学)
本文提出一种偏差校正的数据合成方法,用于提高不平衡学习中分类模型的预测准确性并减少过拟合风险。
2026-09-14 cs.LG stat.ME stat.ML
Beyond Photo Realism for Domain Adaptation from Synthetic Data
NYU(纽约大学);Google Brain(谷歌大脑)
随着合成图像在训练深度模型中的使用越来越频繁,了解不同的合成技术如何影响这些模型的性能非常重要。在这项工作中,我们进行了彻底的评估的有效性,几种不同的合成技术和它们的影响的复杂性分类领域自适应的“真正的”底层数据分布,他们试图复制。此外,我们提出了一种新的学习合成技术,以更好地训练分类器模型比国家的最先进的离线图形方法,同时使用显着更少的计算资源。我们通过学习生成模型来完成这一点,以执行合成几何形状的着色,条件是渲染场景的“g缓冲区”表示,以及低采样蒙特卡罗渲染图像。主要贡献是(i)允许比较同一场景的真实和合成版本的数据集,(ii)增强数据表示,提高学习的稳定性并提高数据集的准确性,(iii)三种不同的部分可微渲染技术,其中学习了照明,去噪和阴影,以及(iv)我们改进了最先进的生成对抗网络(GAN)通过使用训练模型的集合来生成数据集的方法,所述数据集接近在真实数据上的训练的性能并且超过完全全局光照的性能渲染。
2019-09-04 cs.CV cs.LG stat.ML
Spectral Synthesis for Satellite-to-Satellite Translation
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);Bay Area Environmental Research Institute(湾区环境研究所);Microsoft Research AI(微软研究院人工智能);California State University Monterey Bay(加利福尼亚州立大学蒙特雷湾分校)
携带多光谱传感器的地球观测卫星被广泛用于监测大气、土地和海洋的物理和生物状态。这些卫星在地球上方具有不同的有利位置和不同的光谱成像波段,导致彼此之间的图像不一致。这对构建下游应用程序提出了挑战。如果我们能从所有域的联合中为现有的卫星生成合成波段会怎么样?我们解决的问题,生成合成光谱图像的多光谱传感器作为一个无监督的图像到图像的翻译问题与部分标签,并引入了一种新的共享光谱重建损失。通过丢弃一个或多个光谱带进行的模拟实验表明,跨域重建优于从第二有利点获得的测量。在下游云检测任务中,我们证明了使用我们的模型生成合成波段可以提高分割性能,超出我们的基线。我们提出的方法,使多光谱数据的同步,并提供了更均匀的遥感数据集的基础。
2020-10-12 cs.CV cs.LG eess.IV