Synthetic Context Generation for Question Generation
Rice University(莱斯大学);Adobe(奥多比公司)
针对问题生成任务中带上下文的领域数据集难获取的问题,提出用大语言模型基于问答对生成合成上下文来训练QG模型,实验证明合成上下文有效,微调小模型性能优于提示大模型,且与真实上下文效果相当。
2024-06-19 cs.CL cs.LG
Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations
Purdue University(普渡大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本研究探讨了利用大型语言模型生成文本分类合成数据的有效性,发现任务和实例层面的主观性与模型性能负相关,揭示了其潜力与局限。
2023-10-13 cs.AI cs.CL
Enhancing Table Representations with LLM-powered Synthetic Data Generation
University of Delaware(特拉华大学);Capital One(第一资本金融公司)
针对表格表示学习中数据质量不足的问题,提出利用LLM代码生成与数据操作能力构建合成数据流水线,生成大规模数据集以增强表格表示,并在表格推荐任务上验证了其有效性。
2024-11-04 cs.AI cs.LG
The Power of LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Technical University Dortmund(多特蒙德工业大学)
本文提出利用 LLM 离线生成合成数据并结合主动学习筛选最具信息量样本,以少量标注数据提升在线政治讨论中立场检测模型的性能,超越全量标注微调的基线模型。
2025-03-12 cs.CL cs.LG
FairTabGen: High-Fidelity and Fair Synthetic Health Data Generation from Limited Samples
University of California, Irvine(加州大学尔湾分校);TU Wien (Vienna University of Technology)(维也纳技术大学);Heidelberg University(海德堡大学)
FairTabGen通过结合上下文学习、提示整理和结构约束,以更少的数据生成高保真且公平的合成医疗数据,提升公平性的同时保持预测效用。
2026-02-18 cs.AI cs.LG
Synthetic Data Generation in Low-Resource Settings via Fine-Tuning of Large Language Models
University College London(伦敦大学学院);University of Hong Kong(香港大学)
本文研究在低资源环境下,通过微调教师LLMs生成合成数据来训练更小的模型,实验证明该方法在文本分类与生成任务上显著提升了下游模型性能且仅需少量原始数据。
2024-01-08 cs.CL cs.LG
Multi-Document Grounded Multi-Turn Synthetic Dialog Generation
IBM Research AI(IBM研究院人工智能部门)
本研究提出一种多文档多轮合成对话生成技术,结合分类驱动的CoT用户查询、轮次级检索更新文档及LLM-as-a-Judge过滤,生成的对话质量高,且以此微调的模型在四个公开基准上优于人类数据微调的模型。
2024-09-17 cs.AI cs.CL
Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses
ASAPP, Inc.(ASAPP公司)
针对幻觉检测标注昂贵且易过时的问题,提出通过改写系统响应自动构造忠实与幻觉样本的数据生成方法,使微调后的T5-base在准确率和延迟上优于现有零样本检测器与合成方法。
2024-07-07 cs.AI cs.CL
Private Seeds, Public LLMs: Realistic and Privacy-Preserving Synthetic Data Generation
Information Sciences and Technology, The Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院)
本文提出RPSG方法,通过隐私种子和差分隐私机制生成高保真且隐私保护的合成数据,实验验证其在隐私与效用平衡上的优势。
2026-07-14 cs.AI cs.CR
SynHING: Synthetic Heterogeneous Information Network Generation for Graph Learning and Explanation
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
本文提出SynHING框架,通过自底向上生成和后剪枝技术合成异构信息网络,为图学习与GNN解释模型评估提供基线数据集及真实motifs。
2024-05-29 cs.AI cs.LG cs.SI
Privacy-Preserving Synthetic Review Generation with Diverse Writing Styles Using LLMs
Department of Computer Science and Engineering(计算机科学与工程系);Santa Clara University(圣克拉拉大学);eBay(eBay公司)
针对LLM合成评论文本的多样性与隐私风险,本文建立多维评估指标,揭示现有模型局限,并提出基于提示的方法以增强风格多样性并保护隐私。
2025-07-24 cs.CL cs.CR cs.LG
On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey
Zhejiang University(浙江大学);Harbin Institute of Technology(哈尔滨工业大学)
该综述针对深度学习中数据量与质量的长期困境,基于合成数据生成通用工作流梳理LLMs驱动的合成数据生成、筛选与评估相关研究,指出研究空白并展望未来方向,以推动学界业界的深入系统研究。
2024-06-14 cs.CL
Synthetic News Generation for Fake News Classification
本文研究利用大语言模型通过事实操纵生成合成假新闻,提出连贯性、差异性和正确性评估指标,并证明BERT等Transformer模型可有效利用合成数据提升假新闻检测性能,其中事实核查特征效果最佳。
2025-04-09 cs.CL
Compression Robust Synthetic Speech Detection Using Patched Spectrogram Transformer
Purdue University(普渡大学);Politecnico di Milano(米兰理工大学)
本文提出PS3DT检测器,将语音转为梅尔频谱图并用Transformer分块处理,在ASVspoof2019和In-the-Wild数据集上表现出优于现有方法的泛化能力与压缩鲁棒性。
2024-02-22 cs.CV cs.LG cs.SD
Reasoning-Driven Synthetic Data Generation and Evaluation
EPFL(瑞士联邦理工学院洛桑);Google(谷歌);Google Deepmind(谷歌DeepMind)
本文提出Simula框架,通过无种子、代理化方法生成大规模合成数据,提供可解释且可控的生成流程,验证了其在多种数据集上的有效性,为合成数据机制设计和大规模生成评估提供指导。
2026-03-31 cs.AI cs.CL cs.LG
Why Synthetic Isn't Real Yet: A Diagnostic Framework for Contact Center Dialogue Generation
本文提出一种诊断框架,用于评估客服对话生成中合成数据的真实性和实用性,揭示当前生成策略在情感和对话真实性方面的不足。
2026-02-16 cs.AI cs.CL
Data-Driven Approach for Formality-Sensitive Machine Translation: Language-Specific Handling and Synthetic Data Generation
Korea University(高丽大学);Upstage
本文提出一种面向形式敏感性机器翻译的数据驱动方法,通过特定语言数据处理与基于大模型的合成数据生成两项核心策略,显著超越基线并提升翻译性能。
2023-06-27 cs.AI cs.CL
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法,结合MetaTree Transformer架构,以更低计算成本实现与真实数据或最优树预训练相当的性能,推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
MedSyn: LLM-based Synthetic Medical Text Generation Framework
MIL Team(MIL团队);Sber AI Lab(Sber人工智能实验室)
MedSyn框架结合大语言模型与医学知识图谱生成合成临床记录,在ICD代码预测中最高提升17.8%准确率,并发布超4.1万样本的俄语开源数据集。
2024-08-04 cs.CL cs.LG
Synthetic Language Generation and Model Validation in BEAST2
生成合成语言有助于测试和验证未来的计算语言模型和方法。本文扩展了BEAST2系统发育框架,增加了多模型下的语言序列生成。新的插件,然后使用两个广泛使用的phylolinguistic模型下的推理过程中的词借用现象的影响进行测试。
2016-07-27 cs.CL
Fact-Enhanced Synthetic News Generation
Worcester Polytechnic Institute(伍斯特理工学院);Arizona State University(亚利桑那州立大学);Illinois Institute of Technology(伊利诺伊理工学院)
先进的文本生成方法在文本摘要、语言翻译和综合新闻生成方面取得了巨大的成功。然而,这些技术可能会被滥用,产生虚假信息和假新闻。为了更好地了解合成新闻的潜在威胁,我们开发了新一代方法FactGen来生成高质量的新闻内容。现有的文本生成方法要么提供有限的补充信息,要么失去了输入和输出之间的一致性,这使得合成新闻不太可信。为了解决这些问题,FactGen检索外部事实以丰富输出,并从生成的内容中重建输入声明,以提高输入和输出之间的一致性。在真实世界数据集上的实验结果表明,FactGen生成的新闻内容一致,包含丰富的事实。我们还讨论了可能的防御方法,以识别这些合成新闻片,如果FactGen被用来生成合成新闻。
2020-12-13 cs.CL
Synthetic QA Corpora Generation with Roundtrip Consistency
Google Research(谷歌研究院)
我们介绍了一种新的方法来生成合成问答语料库相结合的问题生成和答案提取模型,并通过过滤的结果,以确保往返的一致性。通过对所得到的语料库进行预训练,我们在SQuAD 2和NQ上获得了显着的改进,在后者上建立了一个新的最先进的水平。我们的合成数据生成模型,问题生成和答案提取,可以完全复制通过微调一个公开的BERT模型SQuAD 2和NQ的提取子集。我们还描述了一个更强大的变体,它可以为问题生成进行完整的序列到序列预训练,从SQuAD 2上的人类表现中获得精确匹配和F1,其精确匹配率低于0.1%和0.4%。
2019-06-12 cs.CL
Image-Text Out-Of-Context Detection Using Synthetic Multimodal Misinformation
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(情报学研究所);The University of Tokyo(东京大学)
针对多模态虚假信息,提出基于合成数据生成的图像-文本上下文外检测方法,创建专用数据集并开发高效检测器,实验验证其有效性。
2024-01-29 cs.AI cs.CL cs.CV
Differentially Private Synthetic Text Generation for Retrieval-Augmented Generation (RAG)
NEC Corporation(日本电报电话公司);Institute of Science Tokyo(东京科学研究院);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出DP-SynRAG框架,通过生成差分隐私合成RAG数据库提升隐私保护下的RAG性能,避免重复噪声注入并保持固定隐私预算。
2026-05-12 cs.CL cs.CR cs.LG
Synthetic Text Detection: Systemic Literature Review
Texas A&M University - San Antonio(德州农工大学圣安东尼奥分校)
在文本分析和处理领域,生成的文本攻击比以往任何时候都更容易创建。为了对抗这些攻击,开源模型和数据集已经成为创建自动检测算法以防御真实性的主要趋势。为此,合成文本检测已成为一个越来越可行的研究课题。这篇综述的目的是创建一个当前文献的状态快照,并为未来的作者降低进入门槛。为了实现这一目标,我们确定了这一领域的一些研究趋势和挑战。
2022-10-01 cs.CL
Private Synthetic Text Generation with Diffusion Models
Technical University of Darmstadt(达姆施塔特工业大学);University Alliance Ruhr(鲁尔大学联盟);Ruhr University Bochum(波鸿鲁尔大学)
本文针对差分隐私训练下扩散模型的合成文本生成能力开展实验,复现评估过往LLM私有文本生成研究并发现其隐私保障漏洞,证实隐私场景下开源LLM表现优于扩散模型,同时公开了相关实验资源。
2024-10-30 cs.CL
Evaluation Metrics of Language Generation Models for Synthetic Traffic Generation Tasks
Amazon(亚马逊公司)
本文指出常见NLG指标不适用于合成流量生成(STG)任务,提出多个比较生成流量与真实用户文本分布的新指标,并通过自动验证和人工标注证明其有效性,将人类判断一致性提升20%。
2023-11-21 cs.CL
Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models
Google Research(谷歌研究院)
众所周知,合成数据生成可以提高神经语法纠错(GEC)系统的准确性,但现有方法往往缺乏多样性或过于简单,无法生成人类作者所犯的各种语法错误。在这项工作中,我们使用错误类型标签自动注释工具,如ERRANT指导合成数据的生成。我们比较了几种模型,可以产生一个不符合语法的句子给出一个干净的句子和错误类型标签。我们使用这些模型来建立一个新的,大的合成预训练数据集与错误标签频率分布匹配给定的开发集。我们的合成数据集产生了巨大而一致的增益,提高了在ESTA-19和CoNLL-14测试集上的最新水平。我们还表明,我们的方法是特别有效的,在适应GEC系统,培训混合本地和非本地英语,以英语为母语的测试集,甚至超过真正的训练数据组成的高质量的句子对。
2021-05-27 cs.CL
Diverse and Effective Synthetic Data Generation for Adaptable Zero-Shot Dialogue State Tracking
Emory University(埃默里大学)
提出一种全自动合成对话生成方法,构建涵盖1000多个领域的D0T数据集以训练零样本DST模型,在MultiWOZ上提升联合目标准确率6.7%。
2024-06-13 cs.CL
End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
AWS AI(亚马逊云科技人工智能);Google(谷歌)
我们提出了一个端到端的合成QA数据生成方法。我们的模型包括一个基于transformer的编码器-解码器网络,该网络经过端到端训练,可以生成答案和问题。简而言之,我们向编码器提供一个段落,并要求解码器逐个令牌地生成一个问题和一个答案。在生成过程中产生的可能性被用作过滤得分,这避免了对单独的过滤模型的需要。我们的生成器是通过使用最大似然估计微调预训练的LM来训练的。实验结果表明,在领域自适应的QA模型优于当前国家的最先进的方法显着改善。
2020-10-12 cs.CL
Synthetic Voice Detection and Audio Splicing Detection using SE-Res2Net-Conformer Architecture
KLASS Engineering and Solutions Pte Ltd(KLASS工程与解决方案私人有限公司)
合成语音和拼接音频片段已被生成,以欺骗互联网用户和人工智能(AI)技术,如语音认证。现有的研究工作将欺骗对策视为二元分类问题:善意与欺骗。本文通过涉及最近的Conformer块来扩展现有的Res 2Net,以进一步利用声学特征的局部模式。在ASVspoof 2019数据库上的实验结果表明,所提出的SE-Res 2Net-Conformer架构能够提高逻辑访问场景的欺骗对策性能。此外,本文还提出了重新制定现有的音频拼接检测问题。检测拼接段的边界比识别完整的拼接段更有用。此外,可以使用深度学习方法来解决该问题,这与以前的信号处理技术不同。
2022-11-29 cs.CL cs.CR eess.AS