Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework
MOSTLY AI
提出一个多维评估框架,通过基于留出集的基准测试策略,结合分布比较、嵌入相似性和最近邻度量,量化合成表格数据的分布保真度与隐私保护,支持可解释质量诊断与可重复性。
2025-04-02 cs.AI cs.LG
Artificial Societies Benchmark: A Validation Framework for Synthetic Research
University of Oxford(牛津大学);Artificial Societies(人工社会)
提出人工社会基准框架,通过十一项效度测试和九个语言模型比较,评估合成人群是否支持预期研究分析,并生成记分卡以指导证据使用。
2026-10-02 cs.CL
Benchmarking AutoML algorithms on a collection of synthetic classification problems
Cedars-Sinai Medical Center(西达赛奈医学中心);University of Pennsylvania(宾夕法尼亚大学);AGH University of Science and Technology(AGH科技大学)
自动机器学习(AutoML)算法由于其高性能和适应不同问题和数据集的灵活性而越来越受欢迎。随着AutoML算法数量的增加,决定哪种算法最适合给定的问题变得越来越困难。因此,必须使用复杂且具有挑战性的基准测试,以区分AutoML算法。本文比较了四种不同的AutoML算法的性能:基于树的管道优化工具(TPOT),Auto-Sklearn,Auto-Sklearn 2和H2O AutoML。我们使用多样性和生成性ML基准(DIGEN),这是一组来自生成函数的合成数据集,旨在突出常见机器学习算法性能的优势和劣势。我们确认AutoML可以识别在所有包含的数据集上表现良好的管道。大多数AutoML算法的性能相似;然而,根据所使用的特定数据集和指标,存在一些差异。
2023-03-09 cs.LG
Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark
Aarhus University(奥胡斯大学);University of Cambridge(剑桥大学);University of Belgrade(贝尔格莱德大学)
本文提出一个以数据为中心的综合基准框架,通过在11个表格数据集上评估5种先进生成模型,揭示数据画像对提升合成数据代表性及分类性能的关键作用。
2023-10-25 cs.LG
Synthetic Graph Generation to Benchmark Graph Learning
University of Bonn(波恩大学);The University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
图学习算法在许多图分析任务上已经达到了最先进的性能,例如节点分类、链接预测和聚类。然而,追踪该领域的迅速发展已经变得很难。一个原因是由于在实践中用于对图学习算法的性能进行基准测试的数据集数量非常少。这个令人震惊的小样本量(~10)只允许对问题进行有限的科学洞察。在这项工作中,我们的目标是解决这一缺陷。我们建议生成合成图,并研究在受控情况下的图学习算法的行为。我们开发了一个功能齐全的合成图生成器,可以对不同的模型进行深入检查。我们认为,合成图生成允许算法的彻底调查,并提供了更多的见解比过拟合三个引文数据集。在案例研究中,我们展示了我们的框架如何提供对无监督和监督图神经网络模型的洞察。
2022-04-04 cs.LG cs.SI
CausalProfiler: Generating Synthetic Benchmarks for Rigorous and Transparent Evaluation of Causal Machine Learning
Department of Computer Science, University of Bath, UK(英国巴斯大学计算机科学系);Ekimetrics, Paris, France(法国巴黎Ekimetrics公司);TAU, LISN, Inria Saclay, France(法国萨克雷Inria研究所);INSA Rouen Normandie, Normandie University, LITIS, Rouen, France(法国鲁昂Normandie大学)
CausalProfiler是一种生成合成因果基准的工具,用于严格和透明评估因果机器学习方法,通过随机采样不同条件下的因果模型、数据和查询,提供覆盖保证和透明假设。
2026-08-20 cs.AI cs.LG
Benchmarking the Fidelity and Utility of Synthetic Relational Data
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
针对关系型数据合成方法缺乏统一实证评估的问题,研究整合最佳实践与新型鲁棒检测方法构建基准工具,对比6种方法后发现无方法能合成与原数据无差异的数据,且真实与合成数据在预测性能、特征重要性上呈中等相关。
2024-10-04 cs.DB cs.LG
CogniLoad: A Synthetic Natural Language Reasoning Benchmark With Tunable Length, Intrinsic Difficulty, and Distractor Density
UiT - The Arctic University of Norway(UiT - 北极大学);Integreat - Norwegian Centre for knowledge-driven machine learning(Integreat - 挪威知识驱动机器学习中心);University of Oslo(奥斯陆大学)
CogniLoad是一个基于认知负荷理论、可独立调节难度、干扰项密度和长度的合成自然语言推理基准,用于精确剖析LLM推理局限,发现任务长度是主导约束。
2025-09-25 cs.AI cs.CL cs.LG
A Synthetic Benchmark to Explore Limitations of Localized Drift Detections
Politecnico di Torino(都灵理工大学);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文探索数据流中的局部漂移现象,基于 Agrawal 生成器构建合成数据集,评估多种漂移检测技术,发现常用方法难以检测小规模子群体中的漂移,并公开了源代码。
2024-08-26 cs.LG
Measuring What Matters: Synthetic Benchmarks for Concept Bottleneck Models
University of California, San Diego(加州大学圣地亚哥分校)
本文开发了用于概念瓶颈模型的合成基准,通过控制数据模态、概念选择、标注质量和完整性等属性,评估模型在决策支持和自动化场景下的性能,并诊断失败模式。
2026-11-19 cs.AI cs.LG
ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object
KAIST(韩国科学技术院);University of Michigan(密歇根大学);McGill University(麦吉尔大学);MILA(蒙特利尔学习算法研究所)
本文提出利用扩散模型生成多样化图像构建新基准 ImageNet-D,用于测试视觉感知模型鲁棒性,实验显示该基准使从 ResNet 到 CLIP 等模型的准确率最高降低 60%。
2024-03-27 cs.AI cs.CV cs.LG
From Synthetic Priors to Model Behavior: Structural Coverage in Tabular Foundation Models
CSIRO(联邦科学与工业研究组织)
本文从分布归因角度,通过结构覆盖和归一化密度衡量四种表格基础模型的合成预训练先验对基准任务的覆盖,发现更强支持与更好性能相关,提出结构覆盖作为诊断工具。
2026-09-09 cs.AI cs.LG
Synthetic Dataset Generation for Adversarial Machine Learning Research
Intel Corporation(英特尔公司);The MITRE Corporation(米特雷公司)
现有的对抗性示例研究集中在现有自然图像数据集之上的数字插入扰动。这种对抗性示例的构建是不现实的,因为由于感知和环境影响,攻击者可能很难甚至不可能在现实世界中部署这种攻击。为了更好地理解对抗网络物理系统的例子,我们建议通过模拟来近似真实世界。在本文中,我们描述了我们的合成数据集生成工具,该工具可以通过现实的对抗性示例来可扩展地收集这样的合成数据集。我们使用CARLA模拟器来收集这样的数据集,并演示模拟攻击,这些攻击经历与真实图像相同的环境变换和处理。我们的工具已被用于收集数据集,以帮助评估对抗性示例的有效性,可以在https://github.com/carla-simulator/carla/pull/4992上找到。
2022-07-21 cs.AI cs.CV cs.LG
CoMedBench: A Multi-Source Benchmark of Synthetic Medical Data Fidelity and Downstream Utility
CoMedBench是涵盖多源合成医疗数据的可复现基准,评估多生成器在静态表格和时序ICU任务上的保真度与下游效用,实验显示合成数据可保留多数下游信号,不同生成器表现存在差异。
2026-08-19 cs.LG
A Synthetic Reliability-Aware PINN Benchmark for Offshore Wind Turbine Support-Structure Monitoring with Bayesian Inverse Identification
School of Artificial Intelligence and Data Science, Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校人工智能与数据科学学院);School of Management and Entrepreneurship, Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校管理与创业学院)
提出Digi Turbine基准,结合物理信息神经网络、贝叶斯逆识别和FORM筛选,用于海上风机单桩支撑结构监测,验证基于NREL 5MW参考风机。
2026-06-24 cs.CL stat.CO
LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有长上下文推理基准覆盖不足的问题,本文提出通过上下文扩展构建的合成基准LongReason,对21个大语言模型评估后发现多数模型随上下文变长性能显著下降,该基准已开源。
2025-11-17 cs.CL
Development of Hybrid Artificial Intelligence Training on Real and Synthetic Data: Benchmark on Two Mixed Training Strategies
Faculty of Engineering and Computer Science(工程与计算机科学学院);Osnabrück University of Applied Sciences(奥斯纳布鲁克应用科学大学);Institute of Cognitive Science(认知科学研究所);Osnabrück University(奥斯纳布鲁克大学)
针对合成与真实数据的域差距导致ANN训练后泛化性差的问题,本研究通过不同架构和混合数据集系统评估两种混合训练策略的效果,为优化合成数据使用、提升模型鲁棒性提供参考。
2025-06-30 cs.AI cs.LG
Improving the Realism of Synthetic Clinical Benchmarks Under Utility Constraints
Oracle Health and Life Sciences(甲骨文健康与生命科学部门)
本文针对合成临床基准的结构不真实问题,提出在不破坏下游效用检查的前提下提升其真实性的方法,通过确定性修正改善基准指标,明确需将效用作为约束而非真实性的充分证据。
2026-08-07 cs.AI cs.DB cs.LG
SAIL-VOS 3D: A Synthetic Dataset and Baselines for Object Detection and 3D Mesh Reconstruction from Video Data
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
从视频数据中提取物体的详细三维信息是整体场景理解的重要目标。虽然最近的方法在从单个图像重建物体的网格时已经显示出令人印象深刻的结果,但是由于物体的一部分未被观察到,结果通常保持模糊。此外,现有的基于图像的数据集的网格重建不允许研究模型,集成时间信息。为了缓解这两个问题,我们提出了SAIL-VOS 3D:一个合成的视频数据集,扩展了SAIL-VOS的逐帧网格注释。我们还开发了通过时间模型从视频数据重建3D网格的第一基线。我们证明了SAIL-VOS 3D和Pix 3D的建议基线的有效性,表明时间信息提高了重建质量。有关资源和其他信息,请访问http://sailvos.web.illinois.edu。
2021-05-18 cs.CV cs.GR cs.LG
Psych-ECA: A Reproducible Semi-Synthetic Benchmark for Synthetic Control Arms in Longitudinal Psychiatry
Sapien Labs(萨皮恩实验室)
该研究针对精神病药物研发缺乏符合监管要求的合成对照组基准的问题,构建了Psych-ECA半合成基准,评估多种估计器性能,发现Scribe方法兼具准确性与校准性,逆强度校正可降低信息性采样偏差,成果可复现。
2026-07-31 cs.LG stat.AP
DSLOB: A Synthetic Limit Order Book Dataset for Benchmarking Forecasting Algorithms under Distributional Shift
University of Southern California(南加州大学);J.P.Morgan AI Research(摩根大通人工智能研究院)
在电子交易市场中,限价订单簿(LOB)提供关于给定证券在不同价格水平的待决买入/卖出订单的信息。最近,人们对使用LOB数据来解决下游机器学习任务(例如,预测)。然而,处理分布外(OOD)LOB数据是具有挑战性的,因为在当前公开可用的LOB数据集中,分布偏移是未标记的。因此,构建一个带有标记的OOD样本的合成LOB数据集作为开发模型的测试平台至关重要,这些模型可以很好地推广到看不见的场景。在这项工作中,我们利用多智能体市场模拟器来构建一个合成LOB数据集,命名为DSLOB,有和没有市场压力的情况下,它允许设计的控制分布转移基准。使用所提出的合成数据集,我们提供了一个全面的分析三种不同的国家的最先进的预测方法的预测性能。我们的研究结果反映了需要增加研究人员的努力,以开发具有鲁棒性的算法,在高频时间序列数据的分布变化。
2022-11-17 cs.AI cs.LG q-fin.ST
Benchmarking the Benchmark -- Analysis of Synthetic NIDS Datasets
The University of Queensland(昆士兰大学)
本文分析了三个合成NIDS数据集与两个真实网络数据集的统计特性,发现合成数据集与真实数据集存在显著差异,质疑了基于合成数据集训练的ML分类器在真实网络中的泛化能力。
2021-04-19 cs.CR cs.LG cs.NI
Nighttime Dehazing with a Synthetic Benchmark
The University of Sydney(悉尼大学);University of Science and Technology of China(中国科学技术大学)
提高夜间朦胧图像的可见度是具有挑战性的,因为来自主动人工光源的不均匀照明和薄雾吸收/散射。缺乏大规模基准数据集阻碍了这一领域的进展。为了解决这个问题,我们提出了一种新的合成方法,称为3R模拟夜间朦胧的图像从白天清晰的图像,首先重建场景的几何,然后模拟光线和物体的反射率,最后渲染的阴霾效果。在此基础上,我们通过从先验经验分布中采样真实世界的光颜色来生成逼真的夜间朦胧图像。在合成基准上的实验表明,这些退化因素共同降低了图像质量。为了解决这个问题,我们提出了一个最佳规模的最大反射率之前解开的颜色校正,从烟雾消除和解决它们顺序。此外,我们还设计了一个简单而有效的基于学习的基线,它具有基于MobileNet-v2骨干网的编码器-解码器结构。实验结果表明,他们的优越性比国家的最先进的方法在图像质量和运行时间。数据集和源代码都将在https://github.com/chaimi2013/3R上提供。
2020-10-19 cs.CV cs.LG eess.IV
Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation
Concordia University(康科德大学)
本文构建真实世界类级别代码生成基准,发现LLMs从合成基准的84-89%正确率骤降至25-34%,并证明检索增强比完整文档更能提升性能,为生产代码辅助提供改进方向。
2026-11-17 cs.AI cs.LG cs.SE
SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data
University College London(伦敦大学学院);Decode Research(Decode研究)
SynthSAEBench通过生成大规模真实合成数据,提供标准化基准模型,用于评估稀疏自编码器架构的改进和失败模式。
2026-07-14 cs.AI cs.LG
Seq2Synth: Benchmarking Temporal Fidelity in Synthetic Sequential Tabular Data
UNIST(蔚山国立科学技术院);HUFS(韩国外国语大学);JP Morgan AI Research(摩根大通人工智能研究部)
研究合成序列表格数据生成模型的时间保真度问题,提出分类法引导评估协议,通过数据集的四个属性确定评估维度,测量多项指标,应用于多数据集多模型,发现传统与时间评估排名差异大,强调应在时间轴测量时间保真度。
2026-09-01 cs.LG stat.ML
Dyna-bAbI: unlocking bAbI's potential with dynamic synthetic benchmarking
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for AI(艾伦人工智能研究院);Bar-Ilan University(巴伊兰大学);Tel-Aviv University(特拉维夫大学);Stanford University(斯坦福大学)
虽然神经语言模型在自然语言理解(NLU)任务中的表现通常令人惊讶,但它们的优势和局限性仍然知之甚少。因此,受控合成任务是诊断模型行为的越来越重要的资源。在这项工作中,我们专注于故事理解,这是NLU系统的核心能力。然而,故事理解的主要合成资源,bAbI基准,缺乏这样一个系统的可控任务生成机制。我们开发Dyna-bAbI,一个动态的框架,提供细粒度的控制任务生成bAbI。我们证明了我们的想法,通过构建三个新的任务,需要组成的泛化,一个重要的评估设置,从原来的基准缺席。我们测试了为bAbI开发的专用模型以及最先进的预训练方法,发现虽然这两种方法都解决了原始任务(>99%的准确率),但这两种方法都没有在合成泛化设置中取得成功,这表明原始训练数据的局限性。我们探索了增强原始数据的方法,发现尽管多样化的训练数据远比简单地增加数据集大小有用,但它仍然不足以驱动强大的组合泛化(复杂组合的准确率<70%)。我们的研究结果强调了高度可控的任务生成器对于通过模型和数据开发的良性循环创建强大的NLU系统的重要性。
2021-11-30 cs.AI cs.CL
ImagiNet: A Multi-Content Benchmark for Synthetic Image Detection
Stanford University(斯坦福大学)
针对现有合成图像检测数据集内容单一、检测器泛化性差的问题,提出多内容基准数据集ImagiNet,构建双轨评估体系,训练的基线模型性能优异且泛化性强,同时公开代码与数据。
2025-01-14 cs.CV cs.LG
AbsoluteDegradation: A Physics-Inspired Synthetic Film-Degradation Pipeline and Archival Film Restoration Benchmark
Wrocław University of Science and Technology(沃拉布大学科学与技术学院)
提出物理启发的合成退化流程AbsoluteDegradation和包含81,576帧的真实档案基准,解决训练数据缺失和评估标准不足问题,实验表明该方法提升模型泛化能力。
2026-11-05 cs.CV cs.LG
KazakhOCR: A Synthetic Benchmark for Evaluating Multimodal Models in Low-Resource Kazakh Script OCR
Pittsford Sutherland High School(皮茨福德萨瑟兰高中);Edison Academy Magnet School(埃德ison学院磁性学校)
本文构建了包含7219张图像的合成OCR数据集,用于评估多模态大语言模型在低资源库尔德语手写体OCR和语言识别中的性能,发现传统OCR在字符错误率上优于MLLMs。
2026-02-17 cs.CL cs.CV
Grounding Synthetic Data Evaluations of Language Models in Unsupervised Document Corpora
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本研究提出了一种自动化方法,利用文档语料生成事实性合成数据评估,以提高语言模型在无监督文档中的评估效率和准确性。
2026-01-25 cs.AI cs.CL
Zero-Shot Contextual Embeddings via Offline Synthetic Corpus Generation
Delft University of Technology(代尔夫特理工大学)
提出零样本上下文适应框架ZEST,通过离线合成紧凑代理语料库替代真实语料库访问,在无需微调或重训练的情况下生成领域适应嵌入,性能接近完全访问目标语料库的模型。
2025-06-30 cs.CL cs.IR
CARES: A Controlled Synthetic Benchmark of Speaker Reactions to Sound
Inria(法国国家信息与自动化研究所);AMIAD
本研究提出CARES基准,包含10,000个受控双说话者场景,定义声音显著性为说话者反应,并评测六个音频语言模型,发现它们能识别声音但忽略说话者反应。
2026-10-08 cs.LG cs.SD
Improving benchmarks for autonomous vehicles testing using synthetically generated images
AGH University of Technology(AGH科技大学)
如今,自主技术是一个非常深入的探索领域,特别是计算机视觉作为车辆感知的主要组成部分。整个神经网络视觉系统的质量依赖于训练数据集,而世界上大多数国家的交通标志数据集都很难找到。这意味着来自美国的自动驾驶汽车将无法在立陶宛行驶,无法识别沿途的所有路标。在本文中,我们提出了一个解决方案,如何更新模型使用一个小的数据集,从国家的车辆将被用于。值得一提的是,这不是灵丹妙药,而是小规模的升级,可以促进数据访问有限的国家的自动驾驶汽车发展。我们实现了约10%的质量提高,并期望在未来的实验中取得更好的结果。
2019-04-23 cs.CV cs.LG cs.RO
Amodal Intra-class Instance Segmentation: Synthetic Datasets and Benchmark
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
针对类内遮挡场景下非模态感知任务缺乏大规模标注数据集的问题,本文构建了两个含超26.7万张图像的非模态数据集,并提出带层级先验的点监督实例分割方法,性能超越现有全监督SOTA方法。
2023-11-07 cs.CV cs.LG
Synthetic Data Generation for Brain-Computer Interfaces: Overview, Benchmarking, and Future Directions
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan, China(华中科技大学人工智能与自动化学院,武汉,中国);Zhongguancun Academy, Beijing, China(中关村学院,北京,中国)
本文综述了用于脑机接口的合成脑数据生成方法,讨论了不同生成方法的分类、基准实验、评估指标和应用,以及未来研究方向,旨在提升数据效率和隐私保护的脑机接口系统。
2026-05-19 cs.AI cs.LG eess.SP
SUB: Benchmarking CBM Generalization via Synthetic Attribute Substitutions
Technical University of Munich, Helmholtz Munich, Munich Center for Machine Learning (MCML)(慕尼黑技术大学、亥姆霍兹慕尼黑、慕尼黑机器学习中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信、巴黎理工学院)
针对概念瓶颈模型(CBM)在分布偏移下概念识别可靠性差的问题,研究提出含38400张合成图像的SUB基准及绑定扩散引导(TDG)生成方法,可严格评估CBM等可解释模型的鲁棒性。
2025-07-31 cs.AI cs.CV cs.LG
Generating Synthetic Electronic Health Record Data: a Methodological Scoping Review with Benchmarking on Phenotype Data and Open-Source Software
Department of Biostatistics, University of Michigan(生物统计学系,密歇根大学);Department of Biomedical Informatics and Data Science, Yale University(生物医学信息学与数据科学系,耶鲁大学);Department of Biostatistics, Yale University(生物统计学系,耶鲁大学)
本文通过范围综述和开源基准测试系统评估合成EHR数据生成方法,发现方法选择取决于下游指标重要性,并提供决策树指导实践者选择合适方法。
2025-06-03 cs.AI cs.LG stat.ML
Analyzing and reducing the synthetic-to-real transfer gap in Music Information Retrieval: the task of automatic drum transcription
Umeå university(于默奥大学);Universidad EAFIT(EAFIT大学)
本文研究自动鼓点转录中合成到真实的迁移差距问题,提出并评估了三种提高合成数据真实性的策略,构建了新数据集并验证其能有效降低迁移差距,同时揭示了无限数据训练的局限性及克服方法。
2024-07-29 cs.IR cs.LG cs.SD
Building a Neural Machine Translation System Using Only Synthetic Parallel Data
Seoul National University(首尔大学)
最近的工作表明,翻译模型自动生成的合成并行数据可以有效地用于各种神经机器翻译(NMT)问题。在这项研究中,我们建立NMT系统只使用合成并行数据。作为一种有效的替代真正的并行数据,我们还提出了一种新的类型的合成并行语料库。所提出的伪并行数据与以前的作品不同,因为在句子对的两侧混合了地面真值和合成示例。捷克-德国和法国-德国的翻译实验表明,建议的伪平行语料库,这不仅显示出增强的结果,双向翻译任务,但也有很大的改善与地面真实的真实平行语料库的帮助下的有效性。
2017-09-17 cs.CL
Struct-Bench: A Benchmark for Differentially Private Structured Text Generation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
提出Struct-Bench框架与基准,利用上下文无关文法评估含自然语言的结构化差分隐私合成数据,并提供标准化平台与案例研究以改进生成方法。
2025-09-12 cs.CL cs.LG
Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses
ASAPP, Inc.(ASAPP公司)
针对幻觉检测标注昂贵且易过时的问题,提出通过改写系统响应自动构造忠实与幻觉样本的数据生成方法,使微调后的T5-base在准确率和延迟上优于现有零样本检测器与合成方法。
2024-07-07 cs.AI cs.CL
Image-Text Out-Of-Context Detection Using Synthetic Multimodal Misinformation
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(情报学研究所);The University of Tokyo(东京大学)
针对多模态虚假信息,提出基于合成数据生成的图像-文本上下文外检测方法,创建专用数据集并开发高效检测器,实验验证其有效性。
2024-01-29 cs.AI cs.CL cs.CV
Reasoning-Driven Synthetic Data Generation and Evaluation
EPFL(瑞士联邦理工学院洛桑);Google(谷歌);Google Deepmind(谷歌DeepMind)
本文提出Simula框架,通过无种子、代理化方法生成大规模合成数据,提供可解释且可控的生成流程,验证了其在多种数据集上的有效性,为合成数据机制设计和大规模生成评估提供指导。
2026-03-31 cs.AI cs.CL cs.LG
JOBSKAPE: A Framework for Generating Synthetic Job Postings to Enhance Skill Matching
EPFL(洛桑联邦理工学院);IT University of Copenhagen(哥本哈根 IT 大学)
本文提出JobSkape框架,生成合成职位发布数据以增强技能匹配,创建了SkillSkape数据集,并通过多步骤LLM流水线在真实数据上超越基线,展示了其有效性与适应性。
2024-02-05 cs.CL
Can we Evaluate RAGs with Synthetic Data?
IRLab, Informatics Institute, UvA, Amsterdam, the Netherlands(IR实验室、信息研究所、乌得勒支大学、阿姆斯特丹、荷兰);AI Lab, Pegasystems, Amsterdam, the Netherlands(AI实验室、佩加系统的阿姆斯特丹分部);LIACS, Leiden University, Leiden, the Netherlands(LIACS、莱顿大学、莱顿、荷兰)
本研究探讨用LLM生成的合成QA数据替代人工标注基准评估RAG的可行性,发现合成基准可可靠排序不同检索器配置的RAG,但对生成器架构的排序可靠性不足,原因或为任务不匹配与风格偏差。
2025-10-21 cs.AI cs.CL
A Multi-Faceted Evaluation Framework for Assessing Synthetic Data Generated by Large Language Models
Santa Clara University(圣克拉拉大学);eBay Inc.(eBay公司)
本文提出开源框架 SynEval,从保真度、效用和隐私保护三方面量化评估 LLM 生成的表格合成数据,并在 ChatGPT、Claude 和 Llama 的产品评论数据上验证其指标权衡分析能力。
2025-07-24 cs.AI cs.CL cs.LG
Out-of-Distribution Detection using Synthetic Data Generation
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对OOD数据难以获取的问题,提出利用LLM生成合成OOD代理数据的检测方法,在多任务多数据集上显著降低假阳性率且保持分布内任务高精度。
2025-10-01 cs.AI cs.CL cs.LG
Aligning Large Language Models through Synthetic Feedback
NAVER Cloud(NAVER云);NAVER AI Lab(NAVER人工智能实验室);KAIST AI(韩国科学技术院人工智能学院);SNU AI Center(首尔国立大学人工智能中心)
提出不依赖大量人类标注和专有LLMs的合成反馈对齐学习框架,通过对比不同原始LLMs的回复进行奖励建模,并利用强化学习优化模型,最终在对齐基准和人类评估中优于近期开源模型。
2023-10-21 cs.AI cs.CL cs.LG
SynCPKL: Harnessing LLMs to Generate Synthetic Data for Commonsense Persona Knowledge Linking
本文提出SynCPKL流水线,利用大语言模型生成合成数据训练常识人物知识链接器,并发布数据集SynCPKL及最佳模型Derberta-SynCPKL,在CPKL挑战中F1分数提升16%获得第一名。
2024-07-21 cs.CL
Evaluating the efficacy of LLM Safety Solutions : The Palit Benchmark Dataset
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本研究构建Palit恶意提示基准数据集,对比评估7款LLM安全工具,发现基线ChatGPT-3.5-Turbo误报率过高,Lakera Guard与ProtectAI LLM Guard综合表现最优,并提出提升透明度等多项行业建议。
2025-05-20 cs.AI cs.CL cs.CR
Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning
NVIDIA Santa Clara, CA 15213, USA(英伟达圣克拉拉分校)
本研究提出将现有编码基准转换为评分排序数据集的方法,配套多维度评估指标,发布四个新基准,实验证实推理可提升测试用例生成效果、增加测试用例数能提高合成验证准确率。
2025-07-30 cs.AI cs.CL cs.LG
From Synthetic to Native: Benchmarking Multilingual Intent Classification in Logistics Customer Service
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);J&T Express(J&T快递)
本文提出一个基于真实物流客户服务日志的多语言意图分类基准,包含3万条去标识用户查询,涵盖英语、西班牙语、阿拉伯语及零样本语言,通过对比合成与真实数据测试,揭示现有基准对真实场景的过度乐观估计问题。
2026-03-24 cs.CL
PULSAR at MEDIQA-Sum 2023: Large Language Models Augmented by Synthetic Dialogue Convert Patient Dialogues to Medical Records
University of Manchester(曼彻斯特大学);National University of Singapore(新加坡国立大学);University of Melbourne(墨尔本大学)
PULSAR系统通过领域预训练与合成数据增强训练大语言模型,将医患对话转为临床记录,在MEDIQA-Sum 2023任务B中获第二、三名,并发现扩大模型规模最有效。
2023-07-05 cs.CL