Submodularity-Inspired Data Selection for Goal-Oriented Chatbot Training Based on Sentence Embeddings
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院);Swisscom AG(瑞士电信股份公司)
口语语言理解(SLU)系统(例如面向目标的聊天机器人或个人助理)依赖于初始自然语言理解(NLU)模块来确定意图并从它们作为输入的用户查询中提取相关信息。SLU系统通常帮助用户解决相对狭窄领域内的问题,并且需要大量的域内训练数据。这导致了严重的数据可用性问题,阻碍了成功系统的开发。为了缓解这个问题,我们提出了一种在低数据制度,使我们能够训练更少的标记句子,从而更小的标签成本的数据选择技术。我们提出了一个子模块启发的数据排序函数,比率惩罚边际增益,选择数据点标记的基础上只从文本嵌入空间中提取的信息。我们表明,嵌入空间中的距离是一个可行的信息来源,可用于数据选择。我们的方法优于两个已知的主动学习技术,并使成本效益的NLU单元的培训。此外,我们提出的选择技术不需要在选择步骤之间重新训练模型,这也使其具有时间效率。
2018-07-08 cs.CL
Intent-calibrated Self-training for Answer Selection in Open-domain Dialogues
Shandong University(山东大学);Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所)
针对开放域对话答案选择标注数据稀缺问题,提出ICAST自训练框架,用伪意图标签校准伪答案标签,并在低标注比例下显著提升F1性能。
2023-07-13 cs.CL
ToReMi: Topic-Aware Data Reweighting for Dynamic Pre-Training Data Selection
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University(上海数据科学 key 实验室,计算机科学学院,复旦大学)
ToReMi提出两阶段主题感知数据重加权框架,动态调整预训练样本权重,加速困惑度下降并提升下游任务性能。
2025-04-20 cs.CL
The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Saarland University(萨尔兰大学);Microsoft Corporation(微软公司)
我们提出了一个共享的任务训练实例选择Few-Shot神经文本生成。大规模的预训练语言模型在Few-Shot文本生成方面取得了巨大的进步。尽管如此,几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。选择策略的研究可以帮助我们(1)在下游任务中充分利用我们的注释预算,(2)更好地基准测试Few-Shot文本生成模型。我们欢迎提交,介绍他们的选择策略和对一代质量的影响。
2021-08-14 cs.CL
AIR: Post-training Data Selection for Reasoning via Attention Head Influence
Beihang University(北洋大学);Independent Researcher(独立研究者)
AIR通过注意力头影响机制,提升大语言模型推理能力的后训练数据选择效率。
2025-12-15 cs.CL
Challenging Instances are Worth Learning: Generating Valuable Negative Samples for Response Selection Training
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信AI模式识别中心)
基于检索的聊天机器人根据上下文从候选者中选择适当的响应,这在很大程度上取决于响应选择模块。响应选择模块通常是用于评估候选者的评分模型,并且通常在注释的积极响应和采样的消极响应上进行训练。对阴性响应进行抽样会导致两种风险:a)。抽样的否定实例,特别是随机抽样方法的否定实例,大多与对话上下文无关,并且在训练阶段太容易拟合,同时导致在真实场景中的弱模型。(b)。所谓的负实例可能是正的,这就是所谓的假负问题。为了解决上述问题,我们采用预训练的语言模型,如DialoGPT来构建更具挑战性的否定实例,以增强模型的鲁棒性。具体来说,我们为预训练模型提供乱码上下文以生成响应并过滤假的负面响应。这样,我们的负面实例是流畅的,上下文相关的,更具有挑战性的模型学习,而不能是积极的。大量的实验表明,我们的方法带来了显着的和稳定的对话响应选择能力的改善。
2021-09-14 cs.CL
Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能);Allen Institute for AI(艾伦人工智能研究所)
设计QA系统的一个重要任务是回答句子选择(AS2):从一组检索到的相关文档中选择包含(或构成)问题答案的句子。在本文中,我们提出了三个新的文档级Transformer预训练目标,这些目标在文档内和跨文档包含段落级语义,以提高AS2的Transformers的性能,并减轻对大型标记数据集的需求。具体来说,该模型的任务是预测:(i)是否从同一段落中提取了两个句子,(ii)是否从给定段落中提取了给定句子,以及(iii)是否从同一文档中提取了两个段落。我们在三个公共和一个工业AS2数据集上的实验证明了我们的预训练Transformers相对于基线模型(如AS2的RoberTa和ELECTRA)的经验优势。
2022-10-20 cs.CL
LADM: Long-context Training Data Selection with Attention-based Dependency Measurement for LLMs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Zhongguancun Academy, Beijing, China(中关村学院,北京,中国);Wuhan AI Research(武汉人工智能研究所)
针对LLM长上下文训练数据质量难以衡量的问题,提出基于注意力依赖度量的数据选择框架LADM,利用注意力机制捕捉上下文依赖以高效筛选高质量数据,仅用1B tokens持续训练即显著提升多任务性能。
2025-10-13 cs.CL
TRAMS: Training-free Memory Selection for Long-range Language Modeling
Westlake University(西湖大学);Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出TRAMS,一种无需训练的记忆选择策略,通过简单指标筛选高注意力令牌,在WikiText-103和enwik8上提升长程语言建模性能,无需额外训练或参数。
2023-12-20 cs.CL
Training ELECTRA Augmented with Multi-word Selection
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
预训练的文本编码器,如BERT及其变体,最近在许多NLP任务上取得了最先进的性能。虽然有效,但这些预训练方法通常需要大量的计算资源。为了加速预训练,ELECTRA训练了一个预测器,该预测器预测每个输入令牌是否被生成器替换。然而,这个新的任务,作为一个二元分类,是语义信息较少。在这项研究中,我们提出了一种新的文本编码器预训练方法,改进了基于多任务学习的ELECTRA。具体来说,我们训练的搜索引擎,同时检测替换令牌和选择原始令牌从候选集。我们进一步开发了两种技术来有效地结合所有预训练任务:(1)针对特定任务的头部使用基于注意力的网络,以及(2)共享生成器和训练器的底层。在GLUE和SQuAD数据集上的大量实验证明了该方法的有效性和效率。
2022-03-03 cs.CL
Efficient Code LLM Training via Distribution-Consistent and Diversity-Aware Data Selection
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
本文提出一种分布一致且多样性感知的参数化代码数据选择方法,仅用10K样本即在HumanEval和MBPP上超越92K全量基线,显著提升训练效率与模型性能。
2025-07-03 cs.CL
OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration
SJTU(上海交通大学);Alibaba(阿里巴巴)
OPUS通过在优化器诱导的更新空间中动态选择数据,提升大语言模型预训练的效率和效果,尤其在数据稀缺和低质量情况下表现优异。
2026-02-07 cs.CL
External Knowledge Selection with Weighted Negative Sampling in Knowledge-grounded Task-oriented Dialogue Systems
LG AI Research(LG人工智能研究院)
构建一个健壮的基于口语对话的对话系统比书面对话更具挑战性。在这方面,提出了DSTC 10-Track 2-Task 2,其目的是建立一个面向任务的对话(TOD)系统,将非结构化的外部知识的口语会话,扩展DSTC 9-Track 1。本文介绍了我们的系统包含四个先进的方法:数据构建,加权负采样,后训练,风格转移。我们首先自动构建一个大的训练数据,因为DSTC 10-Track 2不发布官方训练集。对于知识选择任务,我们提出了加权负采样的训练模型更细粒度的方式。我们还采用后训练和风格转移的响应生成任务,以生成一个适当的响应与目标响应相似的风格。在实验中,我们考察了加权负采样、后训练和风格迁移的效果。我们的模型在客观评价中排名16支球队中的7支,在人工评价中排名6支。
2022-09-06 cs.CL
BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection
School of Computer Technology and Application, Qinghai University(青海大学计算机技术与应用学院);Tsinghua University(清华大学);Ant Group Security and Intelligence Laboratory (SIL)(蚂蚁集团安全与智能实验室)
BEAVER通过结构感知的层次提示压缩方法,在不依赖训练的情况下提升长文档理解的效率与效果,实验证明其在多个基准测试中性能优异且效率显著提升。
2026-03-20 cs.CL
Generative Deduplication For Socia Media Data Selection
The Hong Kong Polytechnic University(香港理工大学);Research Centre on Data Science & Artificial Intelligence(数据科学与人工智能研究中心)
本文提出一种基于自监督生成模型的社交媒体数据去重框架,通过预测关键词捕获语义并加入时间维度高斯噪声,在减少训练样本的同时提升模型性能。
2024-10-03 cs.CL
Adversarial Training for Community Question Answer Selection Based on Multi-scale Matching
Pennsylvania State University(宾夕法尼亚州立大学);Apple(苹果公司);Google(谷歌);Microsoft(微软)
基于社区的问答网站是一个重要的信息来源。因此,将最有价值的答案与其对应的问题相匹配的问题已经成为一个越来越热门的研究课题。我们将此任务定义为二元(相关/不相关)分类问题,并提出了一个对抗性训练框架来缓解标签不平衡问题。我们采用生成模型来迭代地对具有挑战性的阴性样本的子集进行采样,以欺骗我们的分类模型。这两个模型交替优化使用REINFORCE算法。该方法完全不同于以往的方法,即直接使用训练集中的负样本或对负样本进行均匀下采样。此外,我们建议使用多尺度匹配,它明确检查不同粒度级别的单词和ngrams之间的相关性。我们在SemEval 2016和SemEval 2017数据集上评估了所提出的方法,并实现了最先进或类似的性能。
2018-11-16 cs.CL
On Training Instance Selection for Few-Shot Neural Text Generation
Saarland University(萨尔大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
大规模预训练的语言模型在文本生成方面取得了巨大的进步。通过仅对少量实例进行微调(Few-Shot设置),可以实现令人印象深刻的性能。尽管如此,几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。在这项工作中,我们提出了一个在Few-Shot神经文本生成的训练实例选择的研究。选择决策仅基于未标记的数据,以便在一定的标记成本预算下识别最值得注释的数据点。基于Few-Shot训练样本应该具有多样性并代表整个数据分布的直觉,我们提出了一种简单的K均值聚类选择策略。我们表明,即使与天真的基于聚类的方法,生成模型始终优于随机抽样的三个文本生成任务:数据到文本生成,文档摘要和问题生成。我们希望,这项工作将呼吁更多地关注这一基本上未经探索的领域。
2021-07-07 cs.CL cs.LG
AutoData: Agentic Search for Pre-training Data Selection
University of Amsterdam(阿姆斯特丹大学);Weco AI
AutoData将预训练数据选择视为智能体搜索问题,通过迭代优化可执行选择算法,发现优于人工流程的配方并提升下游指标。
2026-09-18 cs.AI cs.CL
An Effective Domain Adaptive Post-Training Method for BERT in Response Selection
Korea University(高丽大学)
我们专注于多轮响应选择检索为基础的对话系统。在本文中,我们利用强大的预训练语言模型双向编码器表示从Transformer(BERT)的多轮对话系统,并提出了一个高效的特定领域的语料后训练方法。虽然BERT很容易被各种NLP任务采用,并且优于每个任务的先前基线,但如果任务语料库过于集中于某个领域,它仍然存在局限性。在特定领域语料库上进行后训练(例如,Ubuntu语料库)帮助模型训练不出现在一般语料库中的上下文化表示和单词(例如,English Wikipedia).实验结果表明,我们的方法实现了新的国家的最先进的两个响应选择基准(即,Ubuntu Corpus V1,Advising Corpus)性能提升5.9%,R@1上提升6%。
2020-07-27 cs.CL cs.LG
Impact of Training Dataset Size on Neural Answer Selection Models
University of Stavanger(斯塔万格大学)
众所周知,深度神经网络需要大数据集来训练有效的模型。然而,大型数据集,特别是具有高质量标签的数据集,获取成本可能很高。本研究旨在调查(i)数据集必须有多大才能训练性能良好的模型,以及(ii)数据集大小的分数变化会产生什么影响。研究这些问题的一种实用方法是使用初始数据集的不同大小的分数子集来训练一组深度神经答案选择模型。我们观察到,数据集大小对其中一些模型的训练明显缺乏影响,从而使底层算法受到质疑。
2019-01-29 cs.CL cs.IR
Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation
Kyoto University(京都大学);National Institute of Information and Communications Technology(信息通信研究机构)
已知使用大型单语数据的序列到序列(S2S)预训练可以提高低资源环境中各种S2S NLP任务的性能。然而,大型单语语料库可能并不总是可用于感兴趣的语言(LOI)。为此,我们建议利用其他语言的单语语料库,以补充单语语料库的稀缺性的LOI。低资源日英神经机器翻译(NMT)的案例研究表明,利用大型中文和法文单语语料库可以分别帮助克服日语和英语单语语料库的不足,用于S2S预训练。我们进一步展示了如何利用脚本映射(中文到日文),以增加两个单语语料库之间的相似性,从而进一步提高翻译质量。此外,我们还提出了在预训练之前使用的简单数据选择技术,这些技术会显著影响S2S预训练的质量。我们提出的方法的实证比较表明,利用辅助语言单语语料库,数据选择和脚本映射是非常重要的NMT预训练在低资源的情况下。
2020-01-23 cs.CL cs.LG
Cross-language Sentence Selection via Data Augmentation and Rationale Training
Columbia University(哥伦比亚大学);University of Maryland(马里兰大学);Penn State University(宾夕法尼亚州立大学)
本文提出了一种低资源环境下的跨语言句子选择方法。它使用数据增强和负采样技术的噪音平行句子数据直接学习跨语言嵌入的查询相关性模型。结果表明,该方法的性能与在相同并行数据上训练的多个最先进的机器翻译+单语检索系统一样好或更好。此外,当应用基本原理训练次要目标以鼓励模型匹配来自基于短语的统计机器翻译模型的单词对齐提示时,在各种最先进的基线上,在三种语言对(英语-索马里语、英语-斯瓦希里语和英语-塔吉语)中看到了一致的改进。
2021-06-04 cs.CL cs.IR
On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
神经网络的领域自适应通常依赖于三个训练阶段:预训练、选择数据训练和微调。数据选择通过在依赖于目标域数据的小样本识别的预训练数据上进一步训练来改进目标领域泛化。本文研究了语言建模和机器翻译的数据选择的好处。我们的实验评估了选择与微调的互补性,并得出了实际的建议:(i)选择的数据必须与微调域相似,但不能太多,以侵蚀微调的互补效果;(ii)在选择少量数据以获得快速但有限的进展或选择大量数据以获得缓慢但持久的进展之间存在权衡;(iii)数据选择可以在预训练早期应用,性能增益与长时间预训练会话相当;(iv)从域分类器中选择数据通常比流行的对比数据选择方法更有效。
2021-09-15 cs.CL cs.LG
A Graph Reasoning Network for Multi-turn Response Selection via Customized Pre-training
Northeastern University(东北大学);Alibaba Group(阿里巴巴集团)
我们研究了基于检索的聊天机器人中多轮对话的响应选择。现有的研究更多地关注话语与应答之间的匹配,基于学习到的特征计算匹配分数,导致模型推理能力不足。在本文中,我们提出了一个图推理网络(GRN)来解决这个问题。GRN首先基于ALBERT进行预训练,使用专门为响应选择设计的下一个话语预测和话语顺序预测任务。这两个定制的预训练任务可以赋予我们的模型捕捉话语之间的语义和时间依赖的能力。然后,我们微调的模型与序列推理和图形推理结构的集成网络。序列推理模块从全局的角度出发,基于高度概括的话语-应答对的上下文向量进行推理。图推理模块从局部角度对话语级图神经网络进行推理。在两个会话推理数据集上的实验表明,我们的模型可以显着优于强基线方法,并可以达到接近人类水平的性能。
2021-01-15 cs.AI cs.CL
Context-Aware Transformer Pre-Training for Answer Sentence Selection
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出三种模仿上下文答案句子选择下游任务的预训练目标,通过在公开和工业数据集上微调 RoBERTa 和 ELECTRA,将基线准确率提升多达 8%。
2023-05-24 cs.CL cs.LG
Efficient RLVR Training via Weighted Mutual Information Data Selection
InSight通过加权互信息数据选择方法提升RLVR训练效率,实现性能和加速的显著提升。
2026-03-02 cs.CL cs.LG
Compute-Constrained Data Selection
Johns Hopkins University(约翰斯·霍普金斯大学);Cornell University(康奈尔大学)
本文研究计算预算约束下的数据选择问题,通过成本感知效用函数建模选择与训练的权衡,实验发现廉价数据选择方法通常比昂贵方法更具计算最优性,并给出了困惑度和梯度方法的模型规模比阈值。
2025-04-07 cs.AI cs.CL cs.LG
PPL-Factory: Task-Aware and Budget-Aware Data Selection from Language Modeling to Reasoning
McGill University(麦吉尔大学)
研究如何从语言建模到推理进行任务和预算感知的数据选择,提出PPL-Factory框架,结合任务感知困惑度得分与数据预算感知标准,实验表明该框架在GSM8K等任务上仅用少量训练集就能超越其他方法,有效提升微调效率。
2026-07-21 cs.CL cs.LG
Training for Fast Sequential Prediction Using Dynamic Feature Selection
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
我们提出了配对学习和推理算法,用于显着减少计算和提高分类器中向量点积的速度,这些分类器是许多NLP组件的核心。这是通过将特征划分为一系列模板来实现的,这些模板是有序的,使得通常仅使用所有特征的一小部分就可以达到高置信度。安排参数估计以最大化该序列中的准确度和早期置信度。我们在WSJ上进行了从左到右的词性标注实验,结果表明,我们可以保持97%以上的准确率,运行时间减少了五倍以上。
2014-12-19 cs.AI cs.CL
Minimizing Manual Annotation Cost In Supervised Training From Corpora
基于语料库的自然语言处理方法通常使用监督训练,需要昂贵的人工注释训练语料库。本文研究通过{ \it样本选择}来降低标注成本的方法。在这种方法中,在训练过程中,学习程序会检查许多未标记的示例,并只选择在每个阶段信息量最大的示例进行标记(注释)。这就避免了对没有什么新信息的示例进行冗余注释。本文扩展了我们以前的工作{ \it委员会为基础的样本选择}的概率分类。我们描述了一个家庭的方法,以委员会为基础的样本选择,并报告随机词性标注的任务的实验结果。我们发现,所有的变体实现了显着降低注释成本,虽然它们的计算效率不同。特别是,最简单的方法,它没有参数调整,给出了很好的结果。我们还表明,样本的选择产生了显着减少所使用的标签的模型的大小。
1996-06-24 cmp-lg cs.CL
Single Training Dimension Selection for Word Embedding with PCA
Apple(苹果公司)
本文提出了一种基于主成分分析的快速可靠的词嵌入维数选择方法。首先,我们训练一个具有较大上限(例如1,000)的嵌入。然后,我们使用PCA对嵌入进行变换,并在记录嵌入在语言任务上的表现的同时,一次一个地递增地去除较小的维度。最后,我们在平衡模型大小和准确性的同时选择维度数量。使用各种数据集和语言任务的实验表明,我们能够训练训练10倍的嵌入集,同时保持最佳性能。对于那些有兴趣为下游任务(如情感分析、问答和上位词提取)训练性能最佳的嵌入的研究人员,以及那些对嵌入压缩感兴趣的研究人员,应该会发现这种方法很有帮助。
2019-08-30 cs.CL cs.LG
Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning
Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学);Sun Yat-sen University Shenzhen Campus(中山大学深圳校区)
DATAMASK通过联合学习优化质量和多样性度量,显著提升大规模预训练数据选择效率和模型性能
2025-12-30 cs.CL cs.LG
Dynamic Data Selection for Curriculum Learning via Ability Estimation
Department of IT, Analytics, and Operations, University of Notre Dame(圣母大学IT、分析与运营系);Department of Computer Science, University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校计算机科学系);College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
课程学习方法通常依赖于数学来估计训练样本的难度或模型的能力。在这项工作中,我们建议用学习的难度参数来代替难度计算。我们还提出了动态数据选择课程学习通过能力估计(DDaCLAE),一个策略,探测模型的能力,在每个训练时期选择最好的训练样本在这一点上。我们发现,模型学习困难和/或能力优于基于经验的课程学习模型的GLUE分类任务。
2020-10-30 cs.CL cs.LG
An enhanced computational feature selection method for medical synonym identification via bilingualism and multi-corpus training
Peking University(北京大学)
医学同义词识别是医学自然语言处理的重要组成部分。然而,在中医药同义词识别领域,存在着准确率和召回率不高的问题。为了解决这一问题,本文提出了一种识别中医同义词的方法。我们首先选择了13个功能,包括中文和英文功能。然后研究了每个特征单独使用以及不同特征组合的同义词识别结果。通过对识别结果的比较,提出了一种用于中医同义词识别的最佳特征组合。实验表明,我们选择的特征达到了97.37%的准确率,96.00%的召回率和97.33%的F1得分。
2018-12-05 cs.CL cs.IR
Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection
Google Research(谷歌研究院)
测量数据的领域相关性并识别或选择适合机器翻译(MT)的领域数据是一个研究得很好的主题,但去噪还没有。去噪涉及不同类型的数据质量,并试图减少数据噪声对MT训练,特别是神经MT(NMT)训练的负面影响。本文总结了域MT数据的测量和选择方法,并将其应用于去噪NMT训练。所提出的方法使用可信的数据和在线数据选择实现的去噪课程。该方法的内在和外在的评价表明,其显着的有效性NMT训练的数据与严重的噪音。
2018-08-31 cs.CL cs.LG stat.ML
GMTS: Gradient Magnitude-based Token Selection Improves RLVR Training for LLM Reasoning
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);Institute of Natural Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院)
本研究针对RLVR训练中高熵令牌重要性机制不明的问题,提出GMTS方法量化令牌重要性,实验显示其在多领域、多模型规模下性能优于熵基选择。
2026-09-01 cs.AI cs.CL cs.LG
Optimizing Large Language Models for Turkish: New Methodologies in Corpus Selection and Training
Yildiz Technical University(伊兹密尔技术大学)
本研究针对土耳其语这类资源不足的语言,通过适配大型语言模型生成数据集、翻译英语数据集并整合训练,结合模型合并策略,显著提升了模型在少样本、零样本场景的准确率及处理逻辑查询的能力,强调了优化语料库选择的重要性。
2024-12-03 cs.AI cs.CL cs.LG
Span Selection Pre-training for Question Answering
IBM Research AI(IBM研究院人工智能部门);IISC(印度科学学院)
BERT(来自Transformers的双向编码器表示)和相关的预训练的Transformers在许多语言理解任务中提供了很大的增益,实现了新的最先进的(SOTA)。BERT在两个辅助任务上进行预训练:掩蔽语言模型和下一句预测。在本文中,我们引入了一个新的预训练任务的启发阅读理解,以更好地调整从记忆到理解的预训练。跨度选择预训练(SSPT)提出了类似完形填空的训练实例,但不是从模型的参数中得出答案,而是从相关的段落中选择。我们发现,在多个阅读理解(MRC)数据集上,BERT-BASE和BERT-LARGE都有显著且一致的改进。具体来说,我们提出的模型具有强有力的经验证据,因为它在自然问题(一个新的基准MRC数据集)上获得了SOTA结果,在简短答案预测上优于BERT-LARGE 3个F1点。我们还在HotpotQA中表现出了显著的影响,将答案预测F1提高了4分,并将事实预测F1支持了1分,并且优于之前的最佳系统。此外,我们表明,当训练数据有限时,我们的预训练方法特别有效,大大改善了学习曲线。
2020-06-18 cs.AI cs.CL cs.LG
SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large Language Models by Summarizing Training Trajectories of Small Models
University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校);Department of Computer Science(计算机科学系);Department of Computational Medicine(计算医学系)
本文提出 SmallToLarge(S2L)数据选择方法,利用小模型训练轨迹指导大模型 SFT,在数学推理和临床摘要任务中以少量数据达到或超过全量训练性能,并降低选择成本。
2024-12-05 cs.AI cs.CL cs.LG
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
自动语音识别(ASR)训练过程中,应用场景匹配数据的选取是一个重要环节,但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度(SCD)的无监督目标感知数据选择方法,该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列,并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后,我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比,SCD数据选择方法可以关注更多的声学细节,并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明,提出的SCD数据选择可以实现14.8%的相对改善随机选择,相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection
LMU Munich(慕尼黑大学);Munich Research Center, Huawei Technologies(慕尼黑研究中心,华为技术);METEOR;School of Computer Science, Wuhan University(武汉大学计算机学院);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对多模态大语言模型视觉指令数据冗余问题,提出一种免训练框架PRISM,通过隐式重中心化消除视觉特征各向异性导致的全局语义漂移,实现高效数据选择,在降低计算成本的同时提升模型性能。
2026-08-31 cs.AI cs.CL cs.CV