Guiding In-Context Learning of LLMs through Quality Estimation for Machine Translation
Tilburg University(蒂尔堡大学)
针对大语言模型机器翻译中上下文示例选择依赖参考译文或人工判断的问题,提出由领域特定质量估计引导搜索的上下文学习方法,借助XGLM无需参考译文选示例,性能优于现有ICL方法及微调的mBART-50。
2024-09-18 cs.CL
Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning
Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学);Sun Yat-sen University Shenzhen Campus(中山大学深圳校区)
DATAMASK通过联合学习优化质量和多样性度量,显著提升大规模预训练数据选择效率和模型性能
2025-12-30 cs.CL cs.LG
Smaller Language Models are capable of selecting Instruction-Tuning Training Data for Larger Language Models
University of California San Diego(加利福尼亚大学圣迭戈分校);Halıcıoğlu Data Science Institute, University of California San Diego(加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院)
本文提出基于样本学习百分比的训练数据选择方法,发现较小语言模型能为较大模型筛选高质量指令微调数据,在降低成本的同时实现相当或更优的性能。
2024-02-16 cs.CL
DaMoC: Efficiently Selecting the Optimal Large Language Model for Fine-tuning Domain Tasks Based on Data and Model Compression
Ant Group, China(蚂蚁集团)
针对开源大语言模型数量多、难快速选出最优微调模型的问题,提出DaMoC框架,通过数据过滤压缩与模型层裁剪稀疏合并,在4个数据集上实现选优的同时节省约20倍训练时间。
2025-09-04 cs.AI cs.CL cs.LG
GATEAU: Selecting Influential Samples for Long Context Alignment
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Peking University(北京大学);DeepLang AI;Institute for AI, Tsinghua University(清华大学人工智能研究院)
针对长上下文对齐中数据质量难以保证的问题,提出GATEAU框架,通过衡量长程依赖带来的生成与理解难度来识别高影响力样本,从而有效提升模型的指令遵循与长上下文理解能力。
2025-09-15 cs.AI cs.CL
Lightweight reranking for language model generations
AWS AI Labs(AWS AI 实验室)
本文提出一种基于生成结果间轻量成对统计量的LLM重排序方法,可视为自洽性的扩展,在代码生成、自动形式化、摘要和翻译等任务中显著提升最佳生成选择质量。
2024-01-11 cs.AI cs.CL cs.LG
Instruction Mining: Instruction Data Selection for Tuning Large Language Models
LinkedIn(领英);Microsoft Research(微软研究院);Lehigh University(理海大学)
本文提出InstructMining方法,利用自然语言指标自动评估并选择高质量的指令微调数据,结合BlendSearch在10万条数据中筛选出最佳子集,在主流基准上取得SOTA性能。
2024-07-26 cs.AI cs.CL cs.LG
IterSelectTune: An Iterative Training Framework for Efficient Instruction-Tuning Data Selection
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出IterSelectTune迭代训练框架,在几乎不依赖人工和GPT-4的情况下,仅用约20%源数据选择高质量指令数据,并在多个基准上超越全量数据微调效果,从而降低指令微调的计算成本。
2024-10-17 cs.CL
RoSE: Round-robin Synthetic Data Evaluation for Selecting LLM Generators without Human Test Sets
Kempelen Institute of Intelligent Technologies(凯姆佩尔智能技术研究所)
提出RoSE方法,通过训练小模型在候选生成器输出上,并在其他LLM合成样本上评估,以选择最佳LLM生成器,无需人工测试集,在多个语言和任务中优于其他内在启发式方法。
2026-06-16 cs.CL
Mashee at SemEval-2024 Task 8: The Impact of Samples Quality on the Performance of In-Context Learning for Machine Text Classification
College of Information Engineering(信息工程学院);Al-Nahrain University(纳赫兰大学);Software Engineering(软件工程)
本文研究少样本学习中样本质量对上下文学习(ICL)性能的影响,提出使用卡方检验筛选高质量样本,实验证明高质量样本能全面提升机器文本分类的各项评估指标表现。
2024-05-28 cs.CL
Clustering and Ranking: Diversity-preserved Instruction Selection through Expert-aligned Quality Estimation
Huawei(华为);Northeastern University(东北大学);NiuTrans Research(牛转研究)
本文提出一种工业友好且保持多样性的指令数据选择方法CaR,通过专家对齐的评分模型排序和聚类两步流程,仅用1.96%的Alpaca数据便使模型性能平均提升32.1%,同时大幅降低成本。
2024-11-18 cs.CL
FIRE: Flexible Integration of Data Quality Ratings for Effective Pre-Training
Peking University(北京大学);Beihang University(北航);Tsinghua University(清华大学);Meituan(美团)
提出FIRE框架,集成多个数据质量评估器并采用渐进式选择方案,以少于随机基线37.5%的数据显著提升LLM预训练性能。
2025-05-22 cs.CL
SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
HKUST(GZ)(香港科技大学(广州))
提出SkillCoach框架,通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹,并利用演化准则筛选高质量训练数据,提升技能使用能力。
2026-07-03 cs.AI cs.CL
CoheMark: A Novel Sentence-Level Watermark for Enhanced Text Quality
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学)
CoheMark利用句子间衔接关系,通过模糊c均值聚类选句和下一句选择标准,在保持文本质量的同时实现强鲁棒性的句子级水印。
2025-04-24 cs.CL
WaterJudge: Quality-Detection Trade-off when Watermarking Large Language Models
ALTA Institute, Department of Engineering, University of Cambridge(剑桥大学工程系ALTA研究所)
本文提出WaterJudge分析框架,利用比较评估可视化大语言模型水印的质量-检测权衡,并在摘要与翻译任务上验证其跨模型、跨任务分析能力。
2024-03-28 cs.CL
Empower Entity Set Expansion via Language Model Probing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加利福尼亚大学圣地亚哥分校)
实体集扩展是一项重要的任务,它的目标是用属于同一语义类的新实体来扩展一个小的种子实体集,这有利于许多下游的自然语言处理和信息检索应用,如问答、查询理解和分类构造。现有的集合扩展方法通过自适应地选择上下文特征和提取新的实体来引导种子实体集合。实体集扩展的一个关键挑战是避免选择模糊的上下文特征,这将改变类的语义,并导致在以后的迭代中累积错误。在这项研究中,我们提出了一种新的迭代集扩展框架,利用自动生成的类名来解决语义漂移问题。在每次迭代中,我们通过探测预先训练的语言模型来选择一个正类名和几个负类名,并根据所选类名对每个候选实体进行进一步评分。在两个数据集上的实验表明,我们的框架生成高质量的类名,并显着优于以前的最先进的方法。
2020-06-29 cs.CL
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL(洛桑联邦理工学院)
本研究提出多语言适配方法,将英文质量分类器转为多语言变体,用于100余种语言的LLM预训练数据选择,实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
Qtok: A Comprehensive Framework for Evaluating Multilingual Tokenizer Quality in Large Language Models
Neapolis University Pafos(帕福斯那不勒斯大学)
本文提出Qtok框架,通过语言覆盖率、token完整性和分布等指标评估多语言分词器质量,分析了58个模型的13个分词器,为多语言LLM分词策略的评估与改进提供了系统方法和实用工具。
2024-10-16 cs.AI cs.CL
Quality Over Quantity? LLM-Based Curation for a Data-Efficient Audio-Video Foundation Model
University of Rochester(罗切斯特大学);Microsoft Research(微软研究院)
针对多模态基础模型训练中音频视觉数据整合的挑战,AVVA框架通过LLM数据筛选、双编码器结构及对比学习,用192小时筛选数据实现视频到音频检索top-k准确率超DenseAV,证明数据质量优先的有效性。
2025-11-10 cs.CL cs.IR cs.MM
Selecting Parallel In-domain Sentences for Neural Machine Translation Using Monolingual Texts
Tilburg University(蒂尔堡大学)
不断增长的数据量导致更大的通用模型。特定的用例通常被忽略,因为通用模型在特定领域的情况下往往表现不佳。我们的工作解决了这一差距,从通用域(平行文本)语料库中选择域数据的方法,机器翻译的任务。该方法根据句子与单语领域数据集的余弦相似度,对并行通用领域数据中的句子进行排序。然后,我们选择具有最高相似度分数的前K个句子来训练一个新的机器翻译系统,该系统针对特定的域内数据进行调整。我们的实验结果表明,在该域内数据上训练的模型优于在通用数据或通用数据和域数据的混合数据上训练的模型。也就是说,我们的方法以较低的计算成本和数据大小选择高质量的特定于领域的训练实例。
2022-02-06 cs.AI cs.CL cs.LG
Learning Opinion Summarizers by Selecting Informative Reviews
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
传统上,意见摘要采用无监督、弱监督和少样本学习技术。在这项工作中,我们收集了超过31,000种产品的摘要与用户评论配对的大型数据集,从而实现了监督训练。然而,每个产品的评论数量很大(平均320个),这使得总结-特别是培训总结者-不切实际。此外,许多评论的内容并没有反映在人类撰写的摘要中,因此,在随机评论子集上训练的摘要器产生了幻觉。为了应对这两个挑战,我们制定的任务,共同学习选择信息子集的评论和总结这些子集中表达的意见。评论子集的选择被视为一个潜在变量,由一个小而简单的选择器预测。然后将子集输入到更强大的摘要器中。对于联合训练,我们使用摊销变分推理和策略梯度方法。我们的实验证明了选择信息丰富的评论的重要性,从而提高了摘要的质量,减少了幻觉。
2021-09-09 cs.AI cs.CL cs.LG
Selecting Backtranslated Data from Multiple Sources for Improved Neural Machine Translation
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Dublin City University(都柏林城市大学)
机器翻译(MT)已经受益于使用源自翻译单语语料库的合成训练数据,这是一种被称为回译的技术。将来自不同来源的反向翻译数据组合在一起,比单独使用这些数据会产生更好的结果。在这项工作中,我们分析了基于规则,基于短语的统计和神经MT系统翻译的数据对新的MT系统的影响。我们使用一个真实世界的低资源用例(巴斯克语到西班牙语在临床领域)以及高资源语言对(德语到英语)来测试不同的场景与回译,并采用数据选择来优化合成语料库。我们采用不同的数据选择策略,以减少使用的数据量,同时保持高质量的MT系统。我们进一步调整的数据选择方法,考虑到质量的MT系统用于回译和词汇多样性的语料库。我们的实验表明,将来自不同来源的反向翻译数据合并可能是有益的,并且利用数据选择可以提高性能。
2020-05-01 cs.CL
Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection
Google Research(谷歌研究院)
测量数据的领域相关性并识别或选择适合机器翻译(MT)的领域数据是一个研究得很好的主题,但去噪还没有。去噪涉及不同类型的数据质量,并试图减少数据噪声对MT训练,特别是神经MT(NMT)训练的负面影响。本文总结了域MT数据的测量和选择方法,并将其应用于去噪NMT训练。所提出的方法使用可信的数据和在线数据选择实现的去噪课程。该方法的内在和外在的评价表明,其显着的有效性NMT训练的数据与严重的噪音。
2018-08-31 cs.CL cs.LG stat.ML
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);University of Wollongong(伍伦贡大学)
最近的工作将预训练的词嵌入(如BERT嵌入)纳入神经主题模型(NTM),生成高度连贯的主题。然而,有了高质量的上下文文档表示,我们真的需要复杂的神经模型来获得连贯和可解释的主题吗?在本文中,我们进行了深入的实验表明,直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM,也实现了更高的效率和简单性。
2022-04-21 cs.CL
There's no Data Like Better Data: Using QE Metrics for MT Data Filtering
Google(谷歌)
本研究探讨利用质量估计(QE)指标过滤神经机器翻译训练数据中的低质量句对,证实筛选高质量句对可在训练数据减半的同时提升翻译质量,并对比了该方法与传统语料过滤方法的差异。
2023-11-09 cs.CL
Retrieval-based Text Selection for Addressing Class-Imbalanced Data in Classification
Virginia Tech(弗吉尼亚理工大学)
本文提出一种基于检索的文本选择方法,利用SHAP构建查询集,结合向量搜索、语义搜索和机器学习分类器,在标注数量受限时解决类不平衡问题,实验证明提高了少数类别的F1分数。
2023-11-09 cs.CL
Sigmoid Head for Quality Estimation under Language Ambiguity
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出Sigmoid头模块,通过改进语言模型的概率估计方法,解决语言歧义导致的输出质量评估不准确问题,提升模型在非领域场景下的鲁棒性。
2026-03-27 cs.CL
Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection
Tsinghua University(清华大学);Microsoft Research(微软研究院);The Hong Kong Polytechnic University(香港理工大学)
针对大语言模型预训练数据选择中评分法忽略多样性导致性能下降的问题,提出ODiS算法,通过PCA分解多维度评分为正交维度并各选高分数据,兼顾质量与多样性,实验验证其效果优于基线。
2025-10-21 cs.AI cs.CL
Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学技术高等学院);Unbabel
本文首次系统研究机器翻译质量评估(QE)指标的性别偏见,发现其在性别未披露时偏向阳性屈折、惩罚中性表达,并在上下文消歧和下游数据过滤与解码中产生不利影响,呼吁开发以性别为中心的QE指标。
2025-06-02 cs.CL
DNN adaptation by automatic quality estimation of ASR hypotheses
FBK-Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
在本文中,我们提出利用ASR假设的自动质量估计(QE)来执行深度神经网络建模声学概率的无监督自适应。我们的假设是,可以通过以下方式实现显著的改进:i)自动转录我们当前试图识别的评估数据,以及ii)基于QE组件预测的单词出错率(WER)分数,从其中选择“高质量”实例的子集。为了验证这一假设,我们对CHiME-3挑战发布的评估数据集进行了几次实验。首先,我们在人工翻译的评估数据可用的条件下进行操作,从而使我们能够计算“真”句子WER。在这种情况下,我们使用不同数量的数据进行自适应,这些数据的特点是不同的质量水平。然后,我们转向现实条件,其中评估数据的手动传输不可用。在这种情况下,对根据QE组件“预测”的WER分数选择的数据执行适配。我们的研究结果表明:i)QE预测使我们能够接近在oracle条件下获得的自适应结果,ii)基于所提出的QE驱动自适应方法的总体ASR性能明显优于最新的强CHiME-3基线。
2017-02-06 cs.CL
Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection
University of Michigan(密歇根大学);University of New Mexico(新墨西哥大学);Emory University(埃默里大学);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
语言模型越来越依赖于大量的Web转储来获取各种文本数据。然而,这些来源充斥着不良内容。因此,维基百科、书籍和新闻专线等资源通常作为锚点,用于自动选择最适合语言建模的Web文本,这一过程通常称为质量过滤。使用一个新的美国高中报纸文章数据集-由来自全国各地的学生撰写-我们调查了GPT-3使用的质量过滤器首选的语言。我们发现,来自规模较大的学校,位于富裕,受过教育,城市邮政编码的报纸更有可能被归类为高质量。然后,我们证明了过滤器的质量测量与其他合理的指标,如真实性或文学赞誉不一致。我们认为,将任何语料库作为高质量的需要一种语言意识形态,和更多的照顾,需要建设训练语料库的语言模型,更好的透明度和理由,包括或排除各种文本。
2022-01-26 cs.AI cs.CL
NoRefER: a Referenceless Quality Metric for Automatic Speech Recognition via Semi-Supervised Language Model Fine-Tuning with Contrastive Learning
aiXplain Inc.(aiXplain公司)
本文提出无参考ASR质量度量NoRefER,通过对比学习和孪生网络微调多语言模型,实现无需真实转录的假设排序,与参考度量高度相关,适用于ASR评估和A/B测试。
2023-06-21 cs.CL cs.SD eess.AS
Self-Alignment with Instruction Backtranslation
Meta
本研究提出指令回译的自对齐方法,通过种子模型自增强、自筛选构建训练数据迭代微调LLaMa,在不依赖蒸馏数据的Alpaca榜单上超越同类模型。
2024-03-12 cs.CL
TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning
South China University of Technology(南方科技大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院)
TsqLoRA通过质量感知数据采样和基于层敏感性的动态秩分配,在提升参数高效微调效率的同时保持或提升多种NLP任务性能。
2025-09-23 cs.AI cs.CL
Agreeing to Disagree: Annotating Offensive Language Datasets with Annotators' Disagreement
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
由于最先进的攻击性语言检测方法依赖于监督学习,因此快速使其适应不断发展的社交媒体场景至关重要。虽然已经提出了几种方法从算法的角度来解决这个问题,以减少对注释数据的需求,但对这些数据的质量关注较少。遵循最近出现的趋势,我们专注于注释者之间的协议水平,同时选择数据来创建攻击性语言数据集,这是一项涉及高度主观性的任务。我们的研究包括创建三个新的英语推文数据集,涵盖不同的主题,每个数据集有五个群众来源的判断。我们还提出了一组广泛的实验表明,选择训练和测试数据,根据不同水平的注释者的协议有很强的影响分类器的性能和鲁棒性。我们的研究结果在跨域实验中得到了进一步验证,并使用流行的基准数据集进行了研究。我们表明,这种困难的情况下,低协议是目前,不一定是由于质量差的注释,我们主张在未来的数据集,特别是在测试集中,更好地考虑到不同的观点表达在线的模糊的情况下,更高的存在。
2021-09-28 cs.AI cs.CL cs.CY