ARDA: Automatic Relational Data Augmentation for Machine Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Chicago(芝加哥大学)
自动机器学习(\AML)是一系列用于自动化训练预测模型的技术,旨在提高性能并使机器学习更容易获得。虽然最近的许多工作集中在机器学习管道的各个方面,如模型选择,超参数调整和特征选择,相对较少的工作集中在自动数据增强。自动数据增强涉及以最小的“人在环”参与来发现与用户的预测任务相关的新特征。我们提出了\system,一个端到端的系统,作为输入的数据集和数据存储库,并输出一个增强的数据集,这样训练预测模型在这个增强的数据集的结果在提高性能。我们的系统有两个不同的组成部分:(1)一个框架,搜索和连接数据与输入数据,根据输入的各种属性,和(2)一个有效的特征选择算法,修剪出噪音或不相关的功能,从产生的连接。我们进行了广泛的经验评估不同的系统组件和基准我们的特征选择算法在现实世界的数据集。
2020-03-21 cs.DB cs.LG stat.ML
Listen to the Context: Towards Faithful Large Language Models for Retrieval Augmented Generation on Climate Questions
Machine Learning and Human Language Technology, RWTH Aachen University, Germany(机器学习与人类语言技术,亚琛工业大学,德国);AppTek GmbH, Aachen, Germany(AppTek GmbH,亚琛,德国)
针对气候问题检索增强生成中模型输出不忠实的问题,本文提出自动评估方法,并通过排除不忠实训练数据开发ClimateGPT Faithful+,将忠实度从30%提升至57%。
2025-05-21 cs.AI cs.CL cs.LG
Learning data augmentation policies using augmented random search
National University of Defense Technology(国防科技大学);Northeastern University(东北大学)
以前的数据增强尝试是手动设计的,并且增强策略是特定于磁盘集的。最近,提出了一种使用强化学习的自动数据增强方法,称为AutoAugment。AutoAugment在离散搜索空间中搜索增强策略,这可能导致次优解决方案。在本文中,我们采用增强随机搜索方法(ARS),以提高自动增强的性能。我们的主要贡献是将离散的搜索空间转化为连续的空间,这将提高搜索性能并保持子策略之间的差异。使用所提出的方法,在CIFAR-10,CIFAR-100和ImageNet上实现了最先进的精度(没有额外的数据)。我们的代码可在https://github.com/gmy2013/ARS-Aug上获得。
2018-11-12 cs.CV cs.LG
Stationarity-Aware Retrieval-Augmented Time Series Forecasting
University of Birmingham(伯明翰大学);Siemens AG(西门子有限公司)
提出SARAF框架,通过自适应平衡检索相关性与多样性,并利用平稳性感知聚合,提升非平稳时间序列预测的准确性和鲁棒性。
2026-06-02 cs.LG
Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs
Amazon Web Services(亚马逊云服务)
本研究审计了八种自动归因评分器在三个评估构念上的表现,发现没有评分器能在所有数据集上保持最佳性能,指标排名会反转,且简单选择最佳平均评分器会导致显著遗憾。
2026-09-18 cs.CL cs.IR cs.LG
RuAG: Learned-rule-augmented Generation for Large Language Models
Eindhoven University of Technology(埃因霍温理工大学);Microsoft(微软公司);University of Liverpool(利物浦大学);King’s College London(伦敦国王学院);Peking University(北京大学)
RuAG框架通过自动蒸馏数据为一阶逻辑规则并注入LLM,利用MCTS搜索规则,提升多领域任务推理能力。
2024-11-04 cs.AI cs.CL cs.LG
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited(香港应用科技研究院有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于Transformer的神经网络由于其固有的基于结构的优势,在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构,但很少关注位置编码模块。在本文中,我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外,我们提出了一种增强的Transformer架构,该架构编码有额外的语言知识,例如词性(POS)标记,以提高某些自然语言生成任务的性能,例如,自动翻译和摘要任务。实验表明,该架构达到不断优于香草相比,Transformer的结果。
2019-10-30 cs.CL cs.LG
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich(慕尼黑技术大学);Faculty of Computer Science, Ruhr University Bochum(博德姆鲁尔大学计算机科学系)
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性,发现噪声增强训练在提升含噪语音性能的同时,也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
OR-Toolformer: Modeling and Solving Operations Research Problems with Tool Augmented Large Language Models
Alibaba Business School(阿里巴巴商业学院);Hangzhou Normal University(杭州师范大学)
针对运筹学任务中闭源API的隐私问题与开源模型训练成本高的痛点,提出OR-Toolformer,通过半自动数据合成流水线微调Llama-3.1-8B-Instruct并增强外部求解器调用能力,在基准测试与零样本评估中均取得优于基线的表现。
2025-09-24 cs.AI cs.LG
Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校)
我们研究的问题,训练命名实体识别(NER)模型,只使用距离标记的数据,这可以自动获得匹配的实体提到的原始文本中的实体类型的知识库。远程监督NER的最大挑战是远程监督可能会导致不完整和嘈杂的标签,从而使直接应用的监督学习变得无效。在本文中,我们提出了(1)一个噪声鲁棒的学习计划,包括一个新的损失函数和噪声标签去除步骤,用于训练远距离标记数据的NER模型,和(2)一个自训练方法,使用由预训练的语言模型创建的上下文增强,以提高泛化能力的NER模型。在三个基准数据集上,我们的方法实现了卓越的性能,显著优于现有的远程监督NER模型。
2021-09-10 cs.CL cs.LG
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Amazon Inc.(亚马逊公司);Salesforce Research(赛富时研究院);University of Pittsburgh(匹兹堡大学);Chinese University of Hong Kong(香港中文大学)
关键词生成是自动预测给定一段长文本的关键词的任务。非英语语言中的关键词生成虽然近年来蓬勃发展,但尚未得到广泛的研究。在本文中,我们提请注意一个新的设置名为多语言关键词生成,我们贡献了两个新的数据集,EscherceMKP和AcademicMKP,涵盖六种语言。在技术上,我们提出了一种检索增强的方法,用于多语言的关键词生成,以减轻数据短缺的问题,在非英语语言。检索增强模型利用英语数据集中的关键短语注释,以促进在低资源语言中生成关键短语。给定非英语段落,跨语言密集段落检索模块找到相关的英语段落。然后,相关联的英语关键词作为外部知识的关键词生成在当前语言。此外,我们开发了一个检索器生成器迭代训练算法来挖掘伪平行通道对,以加强跨语言通道检索器。综合实验和烧蚀表明,所提出的方法优于所有基线。
2022-06-01 cs.AI cs.CL cs.LG
BlenderRAG: High-Fidelity 3D Object Generation via Retrieval-Augmented Code Synthesis
University of Bologna(博洛尼亚大学);Ferrari S.p.A.(法拉利公司)
BlenderRAG通过检索增强的代码合成方法,利用500个专家验证的多模态数据集提升Blender代码生成的准确性和一致性,无需微调或专用硬件。
2026-05-01 cs.AI cs.CV cs.GR
RACE: Retrieval-Augmented Commit Message Generation
Xi’an Jiaotong University(西安交通大学);Sun Yat-sen University(中山大学);Fudan University(复旦大学);Microsoft Research(微软研究院);The University of Newcastle(纽卡斯尔大学)
提交消息对于软件开发和维护非常重要。许多基于神经网络的方法已经被提出并在自动提交消息生成方面显示出有希望的结果。但是,生成的提交消息可能是重复的或冗余的。在本文中,我们提出了RACE,一种新的检索增强神经提交消息生成方法,它将检索到的类似提交作为范例,并利用它来生成准确的提交消息。由于检索到的提交消息可能并不总是准确地描述当前代码差异的内容/意图,我们还提出了一个范例引导器,它学习检索到的和当前代码差异之间的语义相似性,然后基于相似性引导提交消息的生成。我们在一个大型公共数据集上用五种程序设计语言进行了广泛的实验。实验结果表明,RACE算法的性能优于所有的基线算法。此外,RACE可以提高现有Seq 2Seq模型在提交消息生成中的性能。
2022-10-22 cs.AI cs.LG cs.SE
PARCO: Phoneme-Augmented Robust Contextual ASR via Contrastive Entity Disambiguation
Graduate School of Informatics(信息科学研究生院);Nagoya University(名古屋大学);AI Lab(人工智能实验室);CyberAgent(CyberAgent公司);Information Technology Center(信息技术中心)
针对ASR系统在领域特定命名实体尤其是同音字识别上的难点,提出整合音素感知编码等模块的PARCO方法,通过对比实体检索消歧提升识别效果,在多数据集上显著优于基线且跨域鲁棒性强。
2025-09-04 cs.AI cs.CL cs.LG
Classifier-Augmented Generation for Structured Workflow Prediction
IBM Research(IBM研究院)
提出分类器增强生成(CAG)方法,将自然语言转换为可执行ETL工作流,自动预测结构、配置和属性,相比基线提高准确性并减少令牌使用,是首个全面评估此类任务的系统。
2025-10-10 cs.AI cs.CL cs.DB