Seed-Free Synthetic Data Generation Framework for Instruction-Tuning LLMs: A Case Study in Thai
Bangkok Christian International School(曼谷基督教国际学校);School of Information Science and Technology, VISTEC(VISTEC信息科学与技术学院)
本文针对低资源语言泰语,提出一种无种子数据的合成指令微调框架,通过融合流畅性、多样性和文化语境三个关键属性,仅用5,000条指令即可达到与大规模数据训练的最先进泰语LLMs相当的竞争力。
2024-11-23 cs.CL
OpenCharacter: Training Customizable Role-Playing LLMs with Large-Scale Synthetic Personas
Tencent AI Lab(腾讯AI实验室)
本文提出基于Persona Hub大规模合成角色档案,并通过回复重写与生成构建角色对齐指令数据,用LLaMA-3 8B进行SFT,使模型在角色扮演对话上达到接近GPT-4o的表现。
2025-02-18 cs.CL
Leveraging LLMs for Dialogue Quality Measurement
Computer Science & Engineering, Michigan State University(密歇根州立大学计算机科学与工程系);Amazon AGI Foundations(亚马逊AGI基础研究部门)
本文探索利用LLMs进行自动对话质量评估,通过调整模型规模、上下文示例选择与CoT推理等配置,发现微调及具备充分推理能力的LLMs能显著提升评估准确性与泛化性。
2024-06-25 cs.CL
Scaling Low-Resource MT via Synthetic Data Generation with LLMs
University of Helsinki(赫尔辛基大学);University of Cambridge(剑桥大学)
本文研究利用LLM生成合成数据来提升低资源机器翻译性能,构建了覆盖147个语言对的合成语料库并发布SynOPUS资源库,实验证明即使数据含噪声也能显著改善低资源语言翻译效果。
2025-09-22 cs.CL
Leveraging Open-Source Large Language Models for Native Language Identification
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);CLTL(语言与技术计算实验室)
本研究探索开源大型语言模型在母语识别任务中的潜力,发现开箱即用时性能不及闭源模型,但微调后可达到与商业模型相当的水平。
2025-01-19 cs.CL
LLMs for Doctors: Leveraging Medical LLMs to Assist Doctors, Not Replace Them
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对LLMs在医疗中误导患者的问题,构建医生导向数据集DoctorFLAN(92K问答,22任务,27专科)及基准,调优LLMs辅助医生,实验证明其能显著提升开源模型在医生场景的表现。
2024-06-26 cs.CL
From Annotation to Adaptation: Metrics, Synthetic Data, and Aspect Extraction for Aspect-Based Sentiment Analysis with Large Language Models
Saint Mary’s University(圣玛丽大学);York University(约克大学)
针对新领域ABSA中的隐式方面抽取,本文构建合成体育反馈数据集评估开放权重LLM,并提出面向生成式模型的方面抽取评估指标,揭示其潜力与局限。
2025-03-26 cs.CL
Beyond Traditional Algorithms: Leveraging LLMs for Accurate Cross-Border Entity Identification
Financial Information & Central Credit Register Department(西班牙银行财务信息与中央信贷登记部门)
针对跨境金融实体识别中传统算法假阳性率高的问题,研究探索利用LLMs作为替代方案,实验证明基于接口的LLMs在准确率和F1分数上优于传统方法。
2025-07-15 cs.CL
Leveraging LLMs for Translating and Classifying Mental Health Data
Department of Computer Science and Engineering, University of Ioannina(计算机科学与工程系,希腊伊奥亚纳大学);LT3, IDLab, Universiteit Gent(LT3,IDLab,比利时根特大学);Department of Informatics, Athens University of Economics and Business(信息系,希腊经济与商业大学);Archimedes/AthenaRC, Greece(阿基米德/阿提卡RC,希腊)
本研究利用大语言模型在希腊语中检测抑郁症严重程度,发现GPT3.5-turbo在非英语语言中的表现不一致,强调了进一步研究和人类监督的重要性。
2026-10-14 cs.CL
Harnessing LLMs for API Interactions: A Framework for Classification and Synthetic Data Generation
New York University(纽约大学);George Washington University(乔治华盛顿大学)
本研究提出一个整合大语言模型的API交互框架,可实现自然语言到API调用的分类及定制化样本数据集自动生成,实验验证了其在模型测试选型中的有效性。
2024-09-18 cs.CL
Leveraging Interview-Informed LLMs to Model Survey Responses: Comparative Insights from AI-Generated and Human Data
University of Arkansas(阿肯色大学);University of Wyoming(怀俄明大学);University of South Carolina(南卡罗来纳大学)
本研究探讨利用个人访谈引导大语言模型预测人类调查回复,发现访谈数据、精心设计的提示和低温度设置能增强模型与人类回复的一致性,揭示了该方法连接定性与定量方法的潜力及局限性。
2025-05-28 cs.CL
Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs
IIIT Hyderabad(海得拉尔印度理工学院);IIT Kharagpur(克拉格浦尔印度理工学院);Adobe Research India(印度Adobe研究)
针对大语言模型微调成本高的问题,提出ID-SPAM,利用自注意力根据输入生成软提示,以少量可训练参数提升任务表现与零样本领域迁移能力。
2025-06-05 cs.CL
LIAR: Leveraging Inference Time Alignment (Best-of-N) to Jailbreak LLMs in Seconds
University of Central Florida(中央佛罗里达大学);University of Maryland, College Park(马里兰大学 College Park 分校);Princeton University(普林斯顿大学);Capital One(Capital One 公司)
本文提出 LIAR,一种无需训练的黑盒 Best-of-N 采样越狱攻击方法,将越狱重新定义为推理时失对齐问题,在保持顶尖成功率的同时将攻击时间从小时级降至秒级,并引入理论指标量化安全对齐强度。
2025-07-03 cs.CL
ECKGBench: Benchmarking Large Language Models in E-commerce Leveraging Knowledge Graph
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝天猫集团);City University of Hong Kong(香港城市大学)
针对电商领域大语言模型事实性评估存在的可靠性不足、成本高、缺领域知识等问题,提出基于知识图谱构建的ECKGBench基准数据集,采用简单问答范式并融入电商专业知识,实现高效可靠的评估并探究模型知识边界。
2025-03-20 cs.CL
Peeking Inside LLMs: Leveraging Internal Artifacts of LLMs for Enhancing Reliability in Legal Classification
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
针对LLM在法律领域易产生错误或幻觉的问题,提出利用模型内部构件特征构建下游分类器检测预测正确性,在保释决策和法规违规预测任务上验证了有效性。
2026-06-23 cs.AI cs.CL
Case2Code: Scalable Synthetic Data for Code Generation
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对现有基于教师模型的合成数据难以扩展的问题,本文提出Case2Code归纳推理任务,结合LLMs生成程序输入并执行获取输出以大规模合成数据,训练后的模型在相关任务上性能提升,验证了该方法的潜力。
2025-02-08 cs.CL
Leveraging Large Language Models for Concept Graph Recovery and Question Answering in NLP Education
University of Tokyo(东京大学);Smartor Inc.(思玛特公司);Yale University(耶鲁大学);INRIA(法国国家信息与自动化研究所);Duke-NUS Medical School(杜克-新加坡国立大学医学院)
本文研究大型语言模型在NLP教育中的概念图恢复与问答能力,提出经专家验证的TutorQA基准和结合概念图的CGLLM流水线,在零样本概念图恢复和问答任务上均取得显著F1提升。
2024-02-22 cs.CL
Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baichuan Intelligent Technology(百川智能科技)
本文提出SlimPLM方法,利用轻量代理模型检测大语言模型缺失的知识,精准决定检索时机与内容,在降低推理成本的同时显著提升了问答任务的端到端性能。
2024-05-30 cs.CL
Knowledge Collapse in LLMs: When Fluency Survives but Facts Fail under Recursive Synthetic Training
Holistic AI;University College London(伦敦大学学院)
该研究定义了大语言模型递归合成训练下的三阶段知识坍缩现象,揭示其与指令格式的关联,提出领域专属合成训练的缓解策略,并构建了可复现的坍缩评估框架。
2025-09-05 cs.CL
Privacy-Preserving Synthetic Review Generation with Diverse Writing Styles Using LLMs
Department of Computer Science and Engineering(计算机科学与工程系);Santa Clara University(圣克拉拉大学);eBay(eBay公司)
针对LLM合成评论文本的多样性与隐私风险,本文建立多维评估指标,揭示现有模型局限,并提出基于提示的方法以增强风格多样性并保护隐私。
2025-07-24 cs.CL cs.CR cs.LG
Advancing NLP Security by Leveraging LLMs as Adversarial Engines
Center for AI Security Research(人工智能安全研究中心)
本文提出将 LLM 用作多样化对抗攻击生成引擎,扩展词级攻击至补丁、通用扰动和定向攻击,以发现漏洞并提升 NLP 系统安全性。
2024-10-23 cs.AI cs.CL
Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval
本文提出通过提示大型语言模型生成合成硬负样本,用于密集检索模型训练,通过在10个BEIR基准数据集上评估发现,生成模型性能不优于传统方法。
2026-05-10 cs.CL cs.IR
Distilled Self-Critique of LLMs with Synthetic Data: a Bayesian Perspective
Komorebi AI
该研究从贝叶斯视角将RLAIF解读为贝叶斯推理,提出仅需合成数据的蒸馏式自我批判(dSC)方法,经吉布斯采样优化输出再蒸馏为微调模型,验证了其作为低成本大语言模型对齐方案的可行性。
2024-04-11 cs.CL cs.LG
Parallel Universes for Temporal Evaluation and Knowledge Updating in LLMs
Georgia Institute of Technology(佐治亚理工学院);Zhejiang University(浙江大学)
针对大语言模型知识过时问题,提出ParallelEvents基准与Synapse训练框架,实现无人工标注的可扩展知识插入,性能较现有方法提升14.23%。
2026-10-28 cs.CL cs.LG
LLMs4Synthesis: Leveraging Large Language Models for Scientific Synthesis
TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学与技术信息中心)
本文提出LLMs4Synthesis框架,利用开源和专有LLMs生成高质量科学综合,结合强化学习与AI反馈优化质量,并建立九项评估标准以提升生成与评估过程。
2024-09-27 cs.AI cs.CL cs.DL
Refined Direct Preference Optimization with Synthetic Data for Behavioral Alignment of LLMs
Komorebi AI
本文提出rDPO方法,通过教师LLM自我批评生成合成数据,结合外部奖励模型的广义DPO损失函数蒸馏至学生LLM,无需人工标注即可有效提升LLM在安全性、鲁棒性和减少谄媚性等行为对齐任务上的表现。
2024-02-12 cs.CL cs.LG
Out-of-Context Abduction: LLMs Make Inferences About Procedural Data Leveraging Declarative Facts in Earlier Training Data
该研究探究大语言模型的脱离上下文溯因能力,通过实验发现GPT 4o可借助训练过的虚构聊天机器人行为描述推断其名称、强化对应行为,为LLM情境感知与AI安全研究提供参考。
2025-08-01 cs.AI cs.CL
Surface Reading LLMs: Synthetic Text and its Styles
University of California, Berkeley(加州大学伯克利分校)
本文针对批判性人工智能研究可能忽视LLMs从现象学层面重塑意义构建的问题,提出“表层完整性”符号学,主张整合表层风格分析与深度批判,通过案例研究揭示LLMs作为文化机器对意义生成传播条件的改变。
2025-11-15 cs.CL cs.CY
Syntriever: How to Train Your Retriever with Synthetic Data from LLMs
Korea University(高丽大学);SK Telecom(SK电信)
针对黑盒LLM无法提供输出概率导致现有蒸馏方法失效的问题,提出Syntriever两阶段训练框架,通过LLM合成并验证数据、用聚类损失训练检索器及部分Plackett-Luce排序对齐偏好,在多领域基准nDCG@K上获最优性能。
2025-02-14 cs.AI cs.CL
Turning Dust into Gold: Distilling Complex Reasoning Capabilities from LLMs by Leveraging Negative Data
Beijing Institute of Technology(北京理工大学);Xiaohongshu Inc(小红书公司)
提出利用负样本数据从大语言模型蒸馏推理能力至小模型的框架,通过训练到推理的三步递进过程,在算术推理任务上验证了负数据对提升蒸馏效果的作用。
2023-12-20 cs.AI cs.CL
Better as Generators Than Classifiers: Leveraging LLMs and Synthetic Data for Low-Resource Multilingual Classification
Kempelen Institute of Intelligent Technologies(克姆佩尔智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院)
本研究利用大语言模型生成合成数据,训练更小的多语言模型,发现生成器在低资源语言中表现更优。
2026-01-22 cs.AI cs.CL cs.LG
SynLexLM: Scaling Legal LLMs with Synthetic Data and Curriculum Learning
Georgia Institue of Technology(佐治亚理工学院)
针对法律领域数据匮乏与通用预训练不足的问题,提出SynLexLM方法,结合课程学习与Gemini Pro合成数据增强预训练法律LLM,旨在提升BigLaw-Bench等基准性能并普及法律AI。
2025-04-29 cs.CL cs.LG
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对LLMs长上下文检索与推理能力不足的问题,提出在合成数值键值检索数据集上微调模型,显著提升了长上下文检索能力且不损害通用基准表现,有效避免幻觉。
2024-10-14 cs.AI cs.CL cs.LG
The ProLiFIC dataset: Leveraging LLMs to Unveil the Italian Lawmaking Process
Sant'Anna School of Advanced Studies Pisa(圣安娜高级研究学院皮萨);DTU Technical University of Denmark(丹麦技术大学)
针对法律领域流程挖掘受数据集可及性与质量限制的问题,研究团队构建了1987-2022年意大利立法过程的ProLiFIC事件日志数据集,基于Normattiva门户非结构化数据、借助LLMs结构化生成,可作为法律流程挖掘的基准推动领域发展。
2025-08-25 cs.CL cs.CY cs.LG
EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
Yonsei University(延世大学)
提出EMCEE框架,通过从LLM自身提取并融合语言特定知识,结合推理输出,显著提升多语言任务性能,尤其在低资源语言上平均提升31.7%。
2026-05-29 cs.AI cs.CL
A Case Study Exploring the Current Landscape of Synthetic Medical Record Generation with Commercial LLMs
Department of Computer Science University of California Los Angeles(计算机科学系,加州大学洛杉矶分校);Bioinformatics IDP University of California Los Angeles(生物信息学IDP,加州大学洛杉矶分校);Department of Computational Medicine University of California Los Angeles(计算医学系,加州大学洛杉矶分校)
本研究评估商业大语言模型生成合成电子健康记录的能力,发现模型在小特征子集上表现可靠,但随维度增加难以保持真实分布与相关性,限制跨医院泛化。
2025-04-25 cs.AI cs.CL cs.LG
Leveraging the true depth of LLMs
University of Geneva(日内瓦大学);EPFL(瑞士联邦理工学院);FAIR at META(META 的 FAIR)
通过重构计算图并并行评估连续层对,提升大语言模型的推理效率,同时保持较高的准确率。
2026-01-06 cs.CL cs.LG
UMASS_BioNLP at MEDIQA-Chat 2023: Can LLMs generate high-quality synthetic note-oriented doctor-patient conversations?
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
UMASS_BioNLP团队在MEDIQA-Chat 2023 Task-C中提出医患循环LLMs协作系统,生成高质量医患对话数据集,在多项自动指标上表现合理,并与ChatGPT和GPT-4对比验证了其有效性。
2023-06-29 cs.AI cs.CL
Generalizable LLM Learning of Graph Synthetic Data with Post-training Alignment
University of Washington(华盛顿大学);Xi’an Jiaotong University(西安交通大学);University of Notre Dame(圣母大学);Google(谷歌)
本文提出用基于合成图数据的后训练对齐替代直接监督微调,通过设计基于解和基于过程的奖励并结合GRPO、DPO等算法,提升大语言模型从合成图任务到真实世界隐式图结构任务的泛化能力,在5个数据集上平均提升12.9%。
2025-08-17 cs.CL cs.LG
Extract Information from Hybrid Long Documents Leveraging LLMs: A Framework and Dataset
Microsoft(微软公司);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Ant Group(蚂蚁集团)
本文提出自动化信息提取框架AIE,使大语言模型能够处理超出令牌限制的混合长文档,并发布财务报告数值提取数据集FINE,从内容选择、表格序列化、框架适应性和提示工程四个方面验证了方法的有效性。
2024-12-31 cs.AI cs.CL
Leveraging LLMs for Bangla Grammar Error Correction:Error Categorization, Synthetic Data, and Model Evaluation
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文通过构建含12类错误的孟加拉语GEC数据集Vaiyakarana并对LLMs进行指令微调,使模型在语法错误识别上接近人类水平,GEC性能较零样本提升3-7个百分点。
2025-06-05 cs.AI cs.CL
ANGOFA: Leveraging OFA Embedding Initialization and Synthetic Data for Angolan Language Model
Masakhane NLP;Department of Computer Science University College London(计算机科学系伦敦大学学院);University College London(伦敦大学学院)
本文提出四个针对安哥拉语言定制的预训练语言模型,采用多语言自适应微调方法,通过有意识的嵌入初始化和合成数据提升模型性能,优于SOTA AfroXLMR-base和OFA模型。
2026-05-07 cs.AI cs.CL
Estimating Causal Effects of Text Interventions Leveraging LLMs
本文提出CausalDANN方法,通过大语言模型处理复杂文本数据,解决传统因果推断方法在高维文本数据中的不足,实现对文本干预效果的稳健估计。
2026-03-14 cs.AI cs.CL
Leveraging Large Language Models for Entity Matching
National Taiwan University of Science & Technology(台湾科技大学)
该愿景论文探讨了利用GPT-4等大型语言模型(LLMs)的先进语义理解能力解决实体匹配(EM)任务,分析了其优势与挑战,并回顾了LLMs如何增强弱监督和无监督方法及未来研究方向。
2024-05-31 cs.AI cs.CL
MIND: Math Informed syNthetic Dialogues for Pretraining LLMs
NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学);Boston University(波士顿大学)
提出MIND方法,基于OpenWebMath生成合成对话构建MIND-OWM语料库,通过引入知识差距和重构原始数据,显著提升LLM的数学推理及多任务性能。
2025-04-25 cs.AI cs.CL
Leveraging LLMs for Structured Data Extraction from Unstructured Patient Records
University of Kentucky(肯塔基大学);University of Kentucky College of Medicine(肯塔基大学医学院)
本文提出利用本地部署的LLMs,通过RAG和结构化响应方法,实现从非结构化患者记录中高效提取结构化数据,提升临床研究效率。
2025-12-03 cs.AI cs.CL
Leveraging Parameter Space Symmetries for Reasoning Skill Transfer in LLMs
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Capital One(Capital One公司)
针对任务算术在大语言模型技能迁移中易受参数发散负干扰的问题,提出利用Transformer参数空间对称性先对齐再迁移的方法,适配GQA与SwiGLU层,可高效迁移推理技能,性能优于标准任务算术。
2025-11-13 cs.AI cs.CL cs.LG
RouteNator: A Router-Based Multi-Modal Architecture for Generating Synthetic Training Data for Function Calling LLMs
Adobe Inc.(Adobe公司)
提出基于路由器的多模态架构RouteNator,利用领域资源和多模态语言模型生成高质量合成数据,解决LLM函数调用微调中真实数据缺失问题,显著提升分类与参数选择性能。
2025-05-15 cs.CL cs.LG
Artificial Conversations, Real Results: Fostering Language Detection with Synthetic Data
University of Milan(米兰大学)
本研究提出一种合成数据生成流程,通过分析提示策略等因素对意大利语招聘广告包容性语言检测任务的影响,证明基于合成数据微调的LLMs在真实与合成测试集上均表现更优。
2025-03-31 cs.AI cs.CL cs.LG
Towards Self-Improvement of LLMs via MCTS: Leveraging Stepwise Knowledge with Curriculum Preference Learning
University of Maryland, College Park(马里兰大学学院公园分校);Tencent AI Lab(腾讯AI实验室)
针对现有MCTS行为蒸馏方法未充分利用轨迹信息的问题,提出含逐步轨迹对构建和课程偏好学习的AlphaLLM-CPL框架,显著提升大语言模型数学推理能力。
2024-10-09 cs.CL cs.LG
Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tencent(腾讯)
该研究挑战大语言模型默认使用自然语言的模式,提出让模型自主选择推理与通信格式,可显著提升推理效率、降低多智能体通信token消耗,且设计的格式具备跨模型迁移性。
2024-06-19 cs.AI cs.CL
Split, Unlearn, Merge: Leveraging Data Attributes for More Effective Unlearning in LLMs
IBM Research(IBM研究院)
本文提出 SPUNGE 框架,通过按数据属性分割遗忘数据、分别遗忘并合并模型,增强任意机器遗忘方法的效果,并在最先进 LLM 上验证其安全性提升与通用能力保持。
2024-06-17 cs.AI cs.CL cs.LG
Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment
ELLIS Alicante, Spain(阿利坎特ELLIS研究所,西班牙);Universitat d’Alacant, Spain(阿利坎特大学,西班牙);École Polytechnique Fédérale de Lausanne, EPFL, Switzerland(洛桑联邦理工学院,瑞士)
针对教育领域论证挖掘中纯解码器模型未被充分探索的问题,提出利用开源小型LLMs通过小样本提示和微调完成论证成分分割、分类与质量评估,在相关数据集上验证了其在部分任务中优于基线的性能,凸显其教育应用潜力。
2025-11-12 cs.CL cs.HC
LegalLens: Leveraging LLMs for Legal Violation Identification in Unstructured Text
Darrow AI Ltd.(达罗人工智能有限公司)
本研究利用大语言模型构建数据集,针对集体诉讼案件,实现非结构化文本中法律违规检测及受害者关联,F1分别达62.69%和81.02%,并公开数据集与代码。
2024-02-06 cs.AI cs.CL cs.LG