Synthetic Data Generation Using Large Language Models: Advances in Text and Code
Faculty of Mathematics and Computer Science, Babeş-Bolyai University(巴贝什-博耶亚大学数学与计算机科学系);KlusAI Research Lab(KlusAI研究实验室)
本文探讨了利用大语言模型生成合成数据在文本和代码领域的新进展,分析了其在低资源任务和代码应用中的潜力及挑战。
2025-07-22 cs.CL
WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and Scalable Reinforcement Learning
针对开源智能体缺乏在复杂信息检索中降低极端不确定性的推理模式,提出WebSailor后训练方法,通过合成高不确定性任务、RFT冷启动及DUPO算法,成功匹敌专有智能体性能并弥合能力鸿沟。
2025-09-16 cs.CL cs.LG
CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Xiaohongshu Inc(小红书公司)
提出可扩展偏好模型预训练流程CodePMP,利用大规模合成代码偏好对预训练奖励模型,有效缓解高质量偏好数据稀缺问题,显著提升大型语言模型在数学与逻辑推理任务上的性能。
2025-05-29 cs.AI cs.CL
ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models
Chinese Information Processing Laboratory(中国科学院信息处理实验室);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
ScaleBox通过自动化特殊判题生成与管理、细粒度并行执行和配置驱动的评估套件,提升大规模代码训练的验证准确性和效率,显著优于基线方法。
2026-04-30 cs.CL cs.SE
Scaling Laws of Synthetic Data for Language Models
Microsoft(微软公司);HKUST(香港科技大学);Peking University(北京大学);Penn State University(宾夕法尼亚州立大学)
针对大语言模型预训练网络数据耗尽的问题,提出可扩展框架SynthLLM,通过图算法重组文档高层概念生成合成数据,验证其符合缩放定律且性能优于现有方法,为模型性能持续提升提供可行路径。
2025-10-05 cs.AI cs.CL
CraftRTL: High-quality Synthetic Data Generation for Verilog Code Models with Correct-by-Construction Non-Textual Representations and Targeted Code Repair
NVIDIA Corporation(英伟达公司)
本文提出CraftRTL方法,通过构造即正确的非文本表示数据和自动化定向代码修复数据生成,微调Starcoder2-15B,在三个Verilog基准上显著超越先前最优结果。
2025-02-06 cs.AR cs.CL
UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai AI Laboratory(上海人工智能实验室)
针对代码生成中预训练数据质量不一致、指令合成多样性有限等问题,提出UnitCoder流水线,结合单元测试引导验证与包检索生成500K+可验证程序,微调模型在多个基准测试上性能提升显著。
2025-02-17 cs.CL cs.SE
X-Coder: Advancing Competitive Programming with Synthetic Tasks, Solutions, and Tests
Tsinghua University(清华大学);Microsoft Research(微软研究院);Wuhan University(武汉大学)
X-Coder通过完全合成数据提升竞争性编程模型性能,采用领域特定进化和双验证策略,在LiveCodeBench上取得显著成果。
2026-09-01 cs.CL cs.LG
Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs
The Beacom College of Computer and Cyber Sciences(贝科姆计算机与网络科学学院);Dakota State University(达科他州立大学)
本文研究利用LLM结合合成数据生成与求职评论数据集进行内部威胁情绪检测,通过对比专家评分验证其有效性,并提出一种克服数据获取伦理与后勤障碍的可扩展检测方案。
2025-04-07 cs.AI cs.CL cs.CR
Code Review Without Borders: Evaluating Synthetic vs. Real Data for Review Recommendation
Holon Institute of Technology(霍隆理工学院)
针对新兴编程语言审查标记数据不足的问题,提出用LLM将资源充足语言的代码变更转换为低资源语言的合成数据训练审查分类器,实验证明该方法可有效启动审查推荐系统,缩小低资源场景下的性能差距。
2025-09-05 cs.CL cs.LG cs.SE
Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning
School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院);National Key Laboratory for Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室)
针对多模态持续指令微调中工程瓶颈问题,提出Prism插件式代码库,通过轻量级插件注册机制分离算法开发与骨干实现,支持大规模训练流水线,实现可复现、可扩展的实验。
2026-05-25 cs.CL cs.CV cs.LG
Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning
NVIDIA Santa Clara, CA 15213, USA(英伟达圣克拉拉分校)
本研究提出将现有编码基准转换为评分排序数据集的方法,配套多维度评估指标,发布四个新基准,实验证实推理可提升测试用例生成效果、增加测试用例数能提高合成验证准确率。
2025-07-30 cs.AI cs.CL cs.LG
Decoding Data Quality via Synthetic Corruptions: Embedding-guided Pruning of Code Data
UC Los Angeles(加州大学洛杉矶分校);FAIR at Meta(Meta 基础人工智能研究院);DatologyAI
本文提出 SCIP 方法,利用合成损坏分析低质量代码的嵌入特征并设计剪枝指标,在 HumanEval 和 MBPP 上优于现有嵌入方法,最高提升 3%。
2023-12-05 cs.AI cs.CL cs.LG
Dynamic Context Evolution for Scalable Synthetic Data Generation
Honda Research Institute, USA, Inc.(本田研究所美国公司)
本文提出动态上下文演化(DCE)框架,通过尾部采样、语义记忆和自适应提示演化机制,有效缓解跨批次模式崩溃问题,提升生成多样性与概念结构 richness。
2026-04-08 cs.AI cs.CL cs.LG
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法,结合MetaTree Transformer架构,以更低计算成本实现与真实数据或最优树预训练相当的性能,推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text
TCS Research(塔塔咨询服务公司研究院);IIT Gandhinagar(印度理工学院甘地纳加尔分校)
在这个共同的任务中,我们寻求参与团队调查的影响因素的代码混合文本生成系统的质量。我们使用两种不同的方法综合生成代码混合的印度式英语句子,并聘请人类注释器来评价生成质量。我们提出了两个子任务,质量评级预测和注释者的分歧预测的合成Hinglish数据集。提出的子任务将提出对影响混合语码文本质量和人类感知的因素的推理和解释。
2021-08-04 cs.CL
Improved Sentiment Detection via Label Transfer from Monolingual to Synthetic Code-Switched Text
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
多语种作家和演讲者经常在一个语篇中交替使用两种语言,这种做法被称为“语码转换”。现有的情感检测方法通常在情感标记的单语文本上训练。手动标记的代码转换文本,特别是涉及少数民族语言的文本,是非常罕见的。因此,最好的单语方法在代码转换文本上的表现相对较差。我们提出了一种有效的技术,从标记的单语文本,这是更容易获得的标记代码转换的文本。我们的想法是取代精心挑选的子树的选区分析的句子中的资源丰富的语言与合适的令牌跨度从自动翻译到资源贫乏的语言。通过用大量的合成代码转换文本来增强稀缺的人类标记的代码转换文本,我们在三种不同的语言对(英语-印地语,英语-西班牙语和英语-孟加拉语)的情感标签准确率(1.5%,5.11%,7.20%)方面取得了显着的提高。我们还在仇恨言论检测方面获得了显着的收益:仅使用合成文本时提高了4%,如果使用真实文本进行增强,则提高了6%。
2019-06-13 cs.CL
Gauravarora@HASOC-Dravidian-CodeMix-FIRE2020: Pre-training ULMFiT on Synthetically Generated Code-Mixed Data for Hate Speech Detection
Jio Haptik Technologies Limited(Jio Haptik科技有限公司)
本文描述了提交给Dravidian-Codemix-HASOC 2020的系统:Dravidian语言(泰米尔语-英语和马拉雅拉姆语-英语)的仇恨语音和攻击性内容识别。该任务旨在识别从社交媒体收集的德拉维语评论/帖子的代码混合数据集中的攻击性语言。我们参与了子任务A和子任务B,子任务A旨在识别混合脚本(本地和罗马脚本的混合)中的冒犯性内容,子任务B旨在识别德拉威语的罗马脚本中的冒犯性内容。为了解决这些任务,我们提出了在综合生成的代码混合数据上预训练ULMFiT,这些数据是通过使用马尔可夫链将代码混合数据生成建模为马尔可夫过程而生成的。我们的模型在子任务B中获得了0.88的加权F1分数,并在排行榜上获得了第二名。此外,我们的模型在子任务A中为混合脚本马拉雅拉姆语-英语获得了0.91加权F1分数(第4等级),在子任务B中为代码混合马拉雅拉姆语-英语获得了0.74加权F1分数(第5等级)。
2020-10-19 cs.CL
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
本文提出一种语音引导的机器翻译框架,通过融合语音和文本提升多语言翻译性能,并在多个基准上取得新突破。
2026-03-03 cs.CL
Exploring Text-to-Text Transformers for English to Hinglish Machine Translation with Synthetic Code-Mixing
The University of British Columbia(不列颠哥伦比亚大学)
我们描述的模型集中在未充分研究的问题之间的翻译单语和代码混合语言对。更具体地说,我们提供了广泛的模型,将单语英语文本转换为印度式英语(代码混合印地语和英语)。鉴于预训练语言模型最近的成功,我们还测试了两个最近的基于transformer的编码器-解码器模型(即,mT5和mBART)的任务,发现两者都工作得很好。由于缺乏训练数据的代码混合,我们还提出了一个独立的方法,从双语分布式表示,我们利用提高语言模型的性能产生代码混合的文本。特别是,有了这些额外的数据,我们采用了一种课程学习方法,首先在合成数据上微调语言模型,然后在金码混合数据上微调。我们发现,虽然简单,我们的合成代码混合的方法是有竞争力的(在某些情况下,甚至优于)几个标准的方法(回译,方法的基础上等价约束理论)在不同的条件下。我们的工作表明,mT5模型,微调后的课程学习程序,实现最佳的翻译性能(12.67 BLEU)。我们的模型在英语-印度式英语官方共享任务的总体排名中排名第一。
2021-05-18 cs.CL
Learning Programmatic Idioms for Scalable Semantic Parsing
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
程序员通常使用高级编码模式或惯用结构(如嵌套循环、异常处理程序和递归块)来组织可执行源代码,而不是将其作为单独的代码标记。相比之下,现有技术(SOTA)语义解析器仍然通过一次一个节点地构建代码语法树来将自然语言指令映射到源代码。在本文中,我们介绍了一种迭代法来提取代码成语从大型源代码语料库中反复折叠的最频繁的深度2子树的语法树,并训练语义解析器在解码过程中应用这些成语。将基于习语的解码应用于最近的上下文相关的语义解析任务,使SOTA的BLEU分数提高了2.2%,同时减少了50%以上的训练时间。这种改进的速度使我们能够通过在扩展的训练集上训练来扩展模型,该训练集大5 $\times$,以进一步将SOTA提高额外的2.3\% BLEU和0.9\%精确匹配。最后,当训练数据有限时,习惯用法还显著提高了ATIS-SQL数据集上SQL的语义解析的准确性。
2019-09-06 cs.CL
OmniChat: Enhancing Spoken Dialogue Systems with Scalable Synthetic Data for Diverse Scenarios
Zhejiang University(浙江大学);Meituan(美团)
本文提出利用大规模合成数据构建 ShareChatX 数据集,并基于此设计多轮对话系统 OmniChat,通过异构特征融合优化多样场景下的对话能力,在 DailyTalk 上取得最先进结果。
2025-01-02 cs.CL cs.HC cs.SD
CodeBenchGen: Creating Scalable Execution-based Code Generation Benchmarks
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出CodeBenchGen框架,利用大语言模型将自然代码片段自动沙箱化为含测试用例的评估示例,并构建包含1,931个示例的Exec-CSN数据集,以支持跨场景的基于执行的代码生成评估。
2024-10-02 cs.CL cs.SE
CodeAlchemy: Synthetic Code Rewriting at Scale
MIT-IBM Watson AI Lab, IBM Research(MIT-IBM沃森人工智能实验室,IBM研究院)
提出CodeAlchemy框架,通过5种策略生成超过500B token的合成代码数据,引入DevEval和TraceEval基准,3B模型在多项任务上超越10倍大小的前沿模型。
2026-06-08 cs.CL cs.LG
Synthetic Clinical Notes for Rare ICD Codes: A Data-Centric Framework for Long-Tail Medical Coding
针对医疗NLP中ICD编码极端长尾分布导致稀有编码预测性能低的问题,提出以数据为中心的合成临床笔记框架,生成覆盖7902个编码的9万条合成笔记,微调模型后宏F1适度提升且微F1保持良好,优于现有技术,为长尾编码预测公平性提供新方法。
2025-11-18 cs.AI cs.CL
Training Language Models on Synthetic Edit Sequences Improves Code Synthesis
New York University(纽约大学)
针对代码合成中顺序编辑数据稀缺问题,提出合成数据生成算法LintSeq,通过代码检查工具重构程序为合成编辑序列,微调后的模型在多项基准上匹配或优于基线,且性能优于类似规模现有模型。
2025-02-11 cs.CL cs.LG
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple(苹果公司)
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中,我们研究如何优化基于神经传感器的双语自动语音识别(ASR)模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况,我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能,并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率(MER)的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比,以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS