Target-Aware Language Modeling via Granular Data Sampling
AI at Meta(Meta AI);Virginia Tech(弗吉尼亚理工大学);Iowa State University(爱荷华州立大学)
本研究提出基于多粒度n-gram特征的重要性采样方法,通过低维特征选择大规模预训练数据,使语言模型在特定领域表现优异且不损害其他任务性能,仅需约1%数据即可达到完整数据集效果。
2024-09-23 cs.AI cs.CL
SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models
Upstage AI;Mathpresso Inc.(Mathpresso公司)
提出 SAAS 顺序学习策略,通过先 CoT 后 PoT 的训练顺序增强 LLM 的数学推理与解题能力,并在多个基准上达到 SOTA。
2024-10-02 cs.AI cs.CL
UniMax: Fairer and more Effective Language Sampling for Large-Scale Multilingual Pretraining
Google Research(谷歌研究院)
本文提出UniMax采样方法,通过限制低资源语言重复次数并均匀覆盖高资源语言,在多语言预训练中优于传统温度采样,并发布29万亿字符的mC4语料库及umT5模型检查点。
2023-04-18 cs.CL
Preventing Catastrophic Forgetting: Behavior-Aware Sampling for Safer Language Model Fine-Tuning
针对微调中的灾难性遗忘,提出行为感知采样框架,基于指令响应行为与语义多样性选择安全示例,仅用0.5%额外数据将有害性降低41%。
2025-10-23 cs.AI cs.CL
Accelerating Large Language Model Decoding with Speculative Sampling
DeepMind(深度思维)
我们提出了推测采样,一种算法,用于加速Transformer解码,使多个令牌的生成,从每个Transformer调用。我们的算法依赖于这样的观察,即由更快但功能更弱的草稿模型生成的短延续的并行评分的延迟与从更大的目标模型中采样单个令牌的延迟相当。这是结合了一种新的修改拒绝采样方案,保留了硬件数值内的目标模型的分布。我们用Chinchilla(一个700亿参数的语言模型)对推测性采样进行基准测试,在分布式设置中实现了2- 2.5倍的解码加速,而不影响样本质量或对模型本身进行修改。
2023-02-02 cs.CL
Preference-Guided Reflective Sampling for Aligning Language Models
National University of Singapore(新加坡国立大学)
本文提出偏好引导反思采样(PRS),通过基于树的生成框架和自适应自反思技术提升采样效率,并支持自然语言偏好优化,从而在AlpacaEval和Arena-Hard上显著优于重复随机采样,且适用于迭代离线RL训练。
2024-10-04 cs.CL
Gradient-Based Constrained Sampling from Language Models
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
大型的预训练语言模型生成流畅的文本,但众所周知,很难可控地从中采样。在这项工作中,我们研究约束抽样从这样的语言模型:生成满足用户定义的约束的文本,同时保持流畅性和模型的性能在下游任务。我们提出了MuCoLa --一种采样过程,它将语言模型的对数似然与单个能量函数中的任意(可微)约束相结合,然后以非自回归方式生成样本。具体地说,它将整个输出序列与噪声叠加,并遵循由Langevin Dynamics使用能量函数的梯度定义的马尔可夫链。我们评估了MuCoLa在文本生成方面的软约束和硬约束以及它们的组合,在毒性避免,情感控制和关键词引导生成方面获得了显着的改进。
2022-11-08 cs.CL
Solving Quantitative Reasoning Problems with Language Models
Google Research(谷歌研究院)
语言模型在需要自然语言理解的广泛任务上取得了卓越的性能。然而,最先进的模型通常难以处理需要定量推理的任务,例如解决大学水平的数学,科学和工程问题。为了帮助缩小这一差距,我们引入了Minerva,这是一个在一般自然语言数据上预训练并在技术内容上进一步训练的大语言模型。该模型在不使用外部工具的情况下实现了技术基准的最先进性能。我们还评估了我们的模型在物理学,生物学,化学,经济学和其他需要定量推理的科学中的200多个本科生水平的问题,并发现该模型可以正确回答近三分之一的问题。
2022-07-01 cs.AI cs.CL cs.LG
Flaming-hot Initiation with Regular Execution Sampling for Large Language Models
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance Inc.(字节跳动公司)
针对大型语言模型(LLMs)推理任务中高效获取优质数据的挑战,提出FIRE采样方法,该方法可提升推理生成质量、助力对齐训练,并通过促进多样性及不同位置应用优化性能。
2025-02-13 cs.AI cs.CL cs.LG
RISCORE: Enhancing In-Context Riddle Solving in Language Models through Context-Reconstructed Example Augmentation
本文提出RISCORE方法,通过上下文重构示例增强少样本提示,显著提升语言模型在垂直和横向谜语解决任务中的表现。
2024-12-17 cs.CL
EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对固定温度难以兼顾生成质量与多样性的问题,本文提出基于熵动态调整温度的EDT采样方法,并在4个生成基准上验证其显著优于现有策略。
2024-04-03 cs.CL
Do LLMs Play Dice? Exploring Probability Distribution Sampling in Large Language Models for Behavioral Simulation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本研究探讨大型语言模型智能体在行为模拟中理解与采样概率分布的能力,发现其能理解概率但采样困难,整合编码工具可部分改善,但仍难以精确模拟人类行为。
2024-12-18 cs.CL
Accelerating Diffusion Large Language Models with SlowFast Sampling: The Three Golden Principles
EPIC Lab, Shanghai Jiao Tong University(上海交通大学 EPIC 实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出SlowFast采样策略,通过三大原则动态切换探索与加速解码阶段,提升扩散语言模型的生成速度与效率。
2026-03-31 cs.AI cs.CL cs.LG
Inevitable Trade-off between Watermark Strength and Speculative Sampling Efficiency for Language Models
University of Maryland(马里兰大学)
针对大型语言模型无法同时实现水印注入与推测采样加速的问题,本文证明二者最高性能不可兼得的不可能性定理,并提出两种分别保全效率或水印强度的方法。
2024-10-27 cs.AI cs.CR
FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Beijing University of Posts and Telecommunications(北京邮电大学);OpenBMB
FR-Spec提出频率排序的投机采样框架,通过将起草搜索限制在频率优先的token子集来压缩词表空间,在保证输出分布等价的前提下将LM Head计算开销降低75%,相对EAGLE-2平均加速1.12倍。
2025-03-11 cs.AI cs.CL cs.LG
DIDS: Domain Impact-aware Data Sampling for Large Language Model Training
The Hong Kong University of Science and Technology(香港科学与技术大学);MetaX;Alibaba Group(阿里巴巴集团);Zhejiang Normal University(浙江师范大学);Soochow University(苏州大学)
DIDS通过梯度聚类保持领域内一致性,并利用Fisher信息矩阵引导的领域影响度量与损失学习轨迹优化多领域采样比例,在保持训练效率的同时将大语言模型平均性能提升3.4%。
2025-08-22 cs.AI cs.CL cs.LG
Weighted Ensemble Sampling for Rare-Event Estimation in Language Models
Tulane University(杜兰大学)
该研究针对语言模型稀有事件概率估计效率低的问题,提出无训练的加权集成(WE)框架,利用LLM内部表示分配采样预算,经实验验证可提升估计的效率与可靠性。
2026-10-15 cs.CL
Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland College Park(马里兰大学学院市分校);Washington University in St. Louis(圣路易斯华盛顿大学)
提出将自适应采样建模为马尔可夫决策过程,使用强化学习训练轻量级控制器,在答案正确性、延迟和计算成本之间取得平衡。
2026-06-02 cs.CL
Creative Problem Solving in Large Language and Vision Models -- What Would it Take?
Georgia Institute of Technology(佐治亚理工学院);Tufts University(塔夫茨大学)
本文主张将计算创造力原则深度整合到大型语言和视觉模型中,以弥补其在创造性问题解决方面的关键不足,并通过初步实验验证了该思路的可行性。
2024-10-01 cs.AI cs.LG
Logic-of-Thought: Empowering Large Language Models with Logic Programs for Solving Puzzles in Natural Language
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Shenzhen University(深圳大学)
提出Logic-of-Thought框架,结合大语言模型与回答集程序,将自然语言谜题转为逻辑程序求解,在网格和动态谜题上达到近乎完美准确率。
2025-05-22 cs.AI
Do Vision-Language-Models show human-like logical problem-solving capability in point and click puzzle games?
Institute of Artificial Intelligence, University of Stuttgart, Stuttgart, Germany(斯图加特大学人工智能研究所)
本文提出VLATIM基准测试,用于评估在经典物理谜题游戏The Incredible Machine 2中人类般的逻辑问题解决能力,发现尽管大模型在规划方面表现优异,但精确的视觉定位仍存在问题,尚未达到人类水平。
2026-05-17 cs.AI
Test-time reward-guided alignment of language models by importance sampling on pre-logit space
NTT, Inc.(NTT公司);Toyohashi University of Technology(东邦大学);The University of Osaka(大阪大学)
提出一种基于预逻辑空间自适应重要性采样的测试时对齐方法AISP,通过高斯扰动和重要性采样优化奖励期望,在样本效率上优于最佳-of-n采样和其他测试时对齐方法。
2026-06-03 cs.AI cs.LG
Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models
Google Research(谷歌研究院)
本文提出 Arithmetic Sampling 框架,利用大语言模型隐式定义的算术码本实现可并行、可证明多样且无偏一致的采样,并在 WMT 翻译上显著降低奖励估计方差、缩小与束搜索的 BLEU 差距。
2023-06-01 cs.CL cs.LG stat.ML
Attention-Based Sampler for Diffusion Language Models
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(计算机科学与工程系,香港科学与技术大学)
针对扩散语言模型采样中忽略全局序列结构的问题,提出基于注意力矩阵列和的采样顺序优化方法,实现无训练的高质量并行采样。
2026-06-03 cs.CL cs.LG
End-to-End Bangla AI for Solving Math Olympiad Problem Benchmark: Leveraging Large Language Model Using Integrated Approach
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出结合模型配置评估、数据集微调与 RAG 的集成方法,提升 LLM 在孟加拉语奥林匹克级数学问题中的多语言推理能力。
2025-01-08 cs.CL
Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval
The Hong Kong University of Science and Technology(香港科技大学)
针对现有代码生成基准无法区分问题求解与语言编码瓶颈的问题,构建多语言基准 PseudoEval,以伪代码为输入隔离瓶颈,发现 Python 瓶颈在问题求解、Rust 在语言编码,且问题求解可跨语言迁移。
2025-02-26 cs.CL cs.SE
Priority Sampling of Large Language Models for Compilers
Rice University(莱斯大学);Meta AI
针对编译器代码生成中 Nucleus Sampling 依赖温度、重复或不连贯的问题,提出确定性的 Priority Sampling,按置信度枚举唯一结构化样本,并显著提升优化性能。
2024-02-28 cs.CL cs.LG cs.PF
Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models
Dartmouth College(达特茅斯学院);IISc Bangalore(印度科学研究所班加罗尔分校);Xero
本文提出架构采样,一种无需训练的方法,通过重用解码器层块改变前向计算路径,在冻结视觉语言模型中生成多样候选,平均提升pass@9达6.58个百分点,并改善测试时强化学习效果。
2026-10-02 cs.AI cs.CV
An Empirical Study of Multi-Generation Sampling for Jailbreak Detection in Large Language Models
University of Nottingham(诺丁汉大学)
本研究通过JailbreakBench数据集和多种生成模型,评估了基于输出的jailbreak检测方法,发现单输出评估低估了模型漏洞,多代采样能更准确检测有害行为。
2026-04-20 cs.CL cs.LG
Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information
Sungkyunkwan University(成均馆大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
提出“随机硅抽样”方法,仅依据群体级人口统计分布让大语言模型生成调查回答,发现其可高度近似美国真实民调结果,并揭示社会偏见导致不同群体与主题间的可复制性差异。
2024-02-28 cs.AI cs.CY
Hot or Cold? Adaptive Temperature Sampling for Code Generation with Large Language Models
Academy of Military Sciences(军事科学院);Peking University(北京大学);Advanced Institute of Big Data(大数据高级研究院)
本文提出自适应温度采样方法,根据代码令牌难度动态调整温度,显著提升代码生成性能。
2023-12-28 cs.CL cs.SE
Robust Navigation with Language Pretraining and Stochastic Sampling
Microsoft Research AI(微软研究院AI);Peking University(北京大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
视觉和语言导航(VLN)挑战的核心是构建鲁棒的指令表示和动作解码方案,这些方案可以很好地推广到以前看不见的指令和环境。在本文中,我们报告了两种简单但非常有效的方法来解决这些挑战,并导致一个新的国家的最先进的性能。首先,我们调整大规模预训练的语言模型来学习文本表示,这些文本表示可以更好地概括以前看不见的指令。其次,我们提出了一个随机抽样方案,以减少训练中的专家行动和测试中的抽样行动之间的相当大的差距,使代理可以学习,以纠正自己的错误,在长期的序列动作解码。结合这两种技术,我们在房间到房间基准测试中实现了一个新的技术水平,在路径长度度量加权的成功率上比之前的最佳结果(47% -> 53%)有6%的绝对增益。
2019-09-05 cs.CL cs.CV cs.LG
Online Language Adaptive Sampling for Better Distributed Cross-lingual Gains
Ontario Tech University(安大略理工大学);Doctrine(Doctrine公司);Stanford University(斯坦福大学);University of the Andes(安第斯大学);University of Toronto(多伦多大学)
针对多语言模型跨语言对齐中均匀采样次优的问题,提出在线自适应采样策略,按损失动态调整各语言采样概率,提升极低资源语言性能并均衡增益。
2026-09-15 cs.AI cs.CL
A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation
Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学)
本文研究了自回归语言模型中被广泛采用的祖先抽样算法,这在文献中没有被广泛研究。我们使用质量多样性(Q-D)权衡调查三个流行的采样算法(top-k,核和回火采样)。我们专注于开放式语言生成的任务。我们首先表明,现有的采样算法具有类似的性能。在仔细检查了不同采样算法定义的变换后,我们确定了它们之间共享的三个关键属性:熵减少,顺序保持和斜率保持。为了验证所确定的属性的重要性,我们设计了两组新的采样算法:一组中,每个算法满足所有三个属性,和一组中,每个算法违反至少一个属性。我们将它们的性能与现有的采样算法进行比较,发现违反所确定的属性可能会导致急剧的性能下降,如Q-D权衡所测量的。另一方面,我们发现,满足这些属性的采样算法集与现有的采样算法表现相当。我们的数据和代码可在https://github.com/moinnadeem/characterizing-sampling-algorithms上获得
2020-09-15 cs.AI cs.CL cs.LG
A Principled Framework for Evaluating on Typologically Diverse Languages
Aalborg University(奥胡斯大学);KU Leuven(库勒芬大学);Aalborg University Department of Computer Science(奥胡斯大学计算机科学系);KU Leuven Department of Computer Science(库勒芬大学计算机科学系)
本文提出一个基于语言类型学的语言抽样框架,用于选择高度类型学多样的语言,以提高多语言NLP模型评估的泛化性,并通过指标比较证明其优于现有方法。
2025-09-08 cs.CL
Human-guided Collaborative Problem Solving: A Natural Language based Framework
University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Research India(微软印度研究院);Washington State University(华盛顿州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Pennsylvania(宾夕法尼亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑的问题,人机协作问题解决的规划任务加上自然语言通信。我们的框架由三个组成部分-一个自然语言引擎,解析的语言话语的正式表示,反之亦然,一个概念学习者,诱导广义概念的计划的基础上有限的互动与用户,和一个HTN计划,解决了任务的基础上,人类的互动。我们说明了这个框架的能力,以解决协作解决问题的关键挑战,通过演示它在一个基于Minecraft的blocksworld域的协作建设任务。随附的演示视频可在https://youtu.be/q1pWe4aahF0上获得。
2022-07-19 cs.AI cs.CL cs.HC
A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors
National University of Singapore(新加坡国立大学);University of Copenhagen(哥本哈根大学);ETH Zürich(苏黎世联邦理工学院)
本文研究人类偏好对齐语言模型中采样质量与概率的关系,形式化证明平均奖励与先验模型平均对数似然之间存在权衡,并说明采样适配器可调节二者交换比例。
2024-10-28 cs.CL
Truncation Sampling as Language Model Desmoothing
Stanford University(斯坦福大学)
来自神经语言模型的长文本样本的质量可能很差。截断抽样算法--如top- $p$或top- $k$ --通过在每一步将某些单词的概率设置为零来解决这个问题。这项工作提供了框架的截断的目的,并为该目的的改进算法。我们建议将神经语言模型视为真实分布和平滑分布的混合物,以避免无限的困惑。在这种情况下,截断算法的目的是执行去平滑,估计真实分布的支持度的子集。找到一个好的子集是至关重要的:我们表明,顶级$p$不必要地截断高概率的话,例如,导致它截断所有的话,但特朗普的文件开始与唐纳德。我们引入了$η$ -采样,它截断低于熵相关概率阈值的单词。与以前的算法相比,$η$ -sampling生成更合理的长英文文档根据人类,是更好地打破重复,并表现出更合理的电池上的测试分布。
2022-10-27 cs.CL
Solving Historical Dictionary Codes with a Neural Language Model
DiDi Labs(滴滴实验室)
我们解决困难的基于单词的替代代码,通过构建一个解码格和搜索该格与神经语言模型。我们将我们的方法应用于从美国国会图书馆获得的18世纪末和19世纪初美国陆军将军詹姆斯·威尔金森与西班牙王室特工之间交换的一组加密信件。我们能够正确地破译75.1%的密码令牌。
2020-10-09 cs.CL
Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
Aalborg University(奥尔堡大学)
本文研究了扩散语言模型的记忆化现象,提出通用概率提取框架并验证其理论,显示DLMs在记忆化信息泄露方面优于自回归模型。
2026-03-02 cs.CL
Stop Jostling: Adaptive Negative Sampling Reduces the Marginalization of Low-Resource Language Tokens by Cross-Entropy Loss
本文提出自适应负采样技术,通过减少交叉熵损失对低资源语言标记的边缘化影响,提升模型对低资源语言的表示能力。
2026-01-30 cs.CL
Puzzle Solving without Search or Human Knowledge: An Unnatural Language Approach
PeopleTec, Inc.(PeopleTec公司);University of Maryland, College Park(马里兰大学学院市分校)
应用生成式预训练Transformer(GPT-2)来学习文本存档的游戏符号,为探索稀疏奖励游戏提供了一个模型环境。Transformer架构被证明可以在描述迷宫、魔方和数独求解器的已解决文本档案上进行训练。该方法受益于微调的Transformer架构可视化合理的战略以外的任何指导,从人类的经验或领域的专业知识。游戏的大搜索空间($>10^{19}$)提供了一个谜题环境,其中解决方案几乎没有中间奖励和解决挑战的最后一步。
2021-09-07 cs.AI cs.CL cs.LG
Frame Sampling Strategies Matter: A Benchmark for small vision language models
本文提出首个小规模视频视觉语言模型的帧准确基准测试,揭示了不同帧采样策略对模型性能的影响,强调了标准化采样策略的重要性。
2026-03-16 cs.CL cs.CV
Efficient and Training-Free Control of Language Generation
Central Conservatory of Music(中央音乐学院);Tsinghua University(清华大学)
近年来,人们对能够生成具有可控属性的文本的语言模型的开发越来越感兴趣。虽然已经提出了几种方法,但其中许多方法需要特定条件的数据或大量的计算资源。在这项研究中,我们提出了一种新的方法,称为伽玛采样,使可控的语言生成,而不需要任何训练数据,并保持快速的生成速度。Gamma Sampling将属性相关信息合并到采样过程中,有效地指导语言模型生成具有所需属性的文本。我们的实验结果表明,伽马采样,当应用于GPT2,优于代表性的基线的多样性,属性相关性,和生成的样本的整体质量。
2023-02-21 cs.CL
Target Conditioned Sampling: Optimizing Data Selection for Multilingual Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
为了改进具有多语言语料库的低资源神经机器翻译(NMT),仅使用最相关的高资源语言进行训练通常比使用所有可用数据更有效(Neubig和Hu,2018)。然而,智能数据选择策略可能会进一步改善来自其他辅助语言的数据的低资源NMT。在本文中,我们试图在所有多语言数据上构建一个抽样分布,以便最大限度地减少低资源语言的训练损失。在此基础上,我们提出了一个有效的算法,目标条件采样(TCS),它首先采样一个目标句子,然后有条件地采样其源句子。实验表明,TCS在我们测试的四种语言中的三种语言上带来了高达2 BLEU的显着增益,并且训练开销最小。
2019-05-20 cs.CL
Hitachi at SemEval-2020 Task 12: Offensive Language Identification with Noisy Labels using Statistical Sampling and Post-Processing
Research & Development Center, Hitachi India Pvt Ltd.(日立印度私人有限公司研发中心);Research & Development Group, Hitachi, Ltd.(日立有限公司研发集团)
在本文中,我们介绍了我们参与SemEval-2020 Task-12 Subtask-A(英语语言)的情况,该任务侧重于从嘈杂的标签中识别攻击性语言。为此,我们开发了一个混合系统与BERT分类器训练的推文选择使用统计抽样算法(SA)和后处理(PP),使用一个进攻性的词表。我们开发的系统取得了第34位的宏观平均F1得分(宏观F1)的0.90913在进攻和非进攻类。我们进一步展示了全面的结果和错误分析,以协助未来的研究在攻击性语言识别与嘈杂的标签。
2020-05-01 cs.CL cs.LG
Subword Sampling for Low Resource Word Alignment
Volkswagen AG(大众汽车集团);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
注释投影是NLP中的一个重要领域,可以为低资源语言创建语言资源。单词对齐在此设置中起着关键作用。然而,大多数现有的单词对齐方法是针对机器翻译中的高资源设置而设计的,在该高资源设置中,数百万个并行句子是可用的。当处理现有的IBM模型失败的低资源语言时,这个数量减少到几千个句子。在本文中,我们提出了基于子字采样的文本单元对齐。该方法的假设是,对于某些语言对,不同粒度的文本的聚合可以帮助词级对齐。对于某些语言的黄金标准的对齐存在,我们提出了一个迭代贝叶斯优化框架,以优化选择可能的子词从空间的可能的子词表示的源和目标句子。我们表明,子词抽样方法始终优于单词级对齐的六种语言对:英语-德语,英语-法语,英语-罗马尼亚语,英语-波斯语,英语-印地语,英语-因纽特语。此外,我们还表明,为某些语言对学习的超参数可以在没有监督的情况下应用于其他语言,并不断改善对齐结果。我们观察到,使用$5K$平行句子与我们提出的子词采样方法一起,我们获得了类似的F1分数使用$100K$的平行句子在现有的词级快速对齐/eflomal对齐方法。
2021-06-15 cs.CL
On Sampling-Based Training Criteria for Neural Language Modeling
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
随着现代基于单词的语言模型的词汇量越来越大,许多基于采样的训练准则被提出和研究。这些采样方法的本质是,可以简化整个词汇表上与softmax相关的遍历,从而与基线相比提高了速度。我们注意到的一个问题是,这种抽样方法目前的情况是缺乏系统的比较和一些关于偏爱一个而不是另一个的神话。在这项工作中,我们考虑蒙特卡罗抽样,重要性采样,一种新的方法,我们称之为补偿部分求和,和噪声对比估计。链接回三个传统的标准,即均方误差,二进制交叉熵,交叉熵,我们得到的理论解决方案的训练问题。与一些常见的信念相反,我们表明,所有这些抽样方法可以同样好地执行,只要我们纠正预期的类后验概率。在Switchboard和LibriSpeech上的语言建模和自动语音识别的实验结果支持我们的主张,所有基于采样的方法都显示出类似的困惑和单词出错率,同时给出了预期的加速。
2021-06-17 cs.CL cs.SD eess.AS
Corrector Sampling in Language Models
FAIR at Meta(Meta FAIR)
针对自回归语言模型从左到右生成导致的错误累积问题,提出 RPT 采样方法,通过迭代重采样先前文本窗口中的 token 来校正错误,并在 8B 模型上验证其可显著提升推理与编程性能。
2025-06-06 cs.CL cs.LG
Self-Normalized Importance Sampling for Neural Language Modeling
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
为了缓解神经语言模型的softmax标准化中必须遍历全部词汇的问题,提出了基于采样的训练标准,并在大词汇量基于单词的神经语言模型的上下文中进行了研究。这些训练标准通常享有更快的训练和测试的好处,但代价是在困惑方面的性能略有下降,并且单词出错率几乎没有明显下降。虽然噪声对比估计是最受欢迎的选择之一,但最近我们发现,只要进行额外的校正步骤,其他基于采样的标准也可以表现良好,其中从原始模型输出中恢复预期的类后验概率。在这项工作中,我们提出了自归一化重要性采样。与我们以前的工作相比,在这项工作中考虑的标准是自归一化的,没有必要进一步进行校正步骤。通过自规范化语言模型训练和格重评分实验,我们表明,我们提出的自规范化重要性采样是面向研究和面向生产的自动语音识别任务的竞争力。
2022-06-17 cs.CL cs.SD eess.AS
Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);SalesForce
低资源的自动语音识别(ASR)是具有挑战性的,因为低资源的目标语言数据不能很好地训练ASR模型。为了解决这个问题,元学习将每个源语言的ASR公式化为许多小的ASR任务,并对来自不同源语言的所有任务进行元学习,以快速适应看不见的目标语言。然而,不同源语言由于数据规模和语音系统的差异,其任务量和难度差异很大,导致任务量和任务难度不平衡,从而导致多语言元学习ASR(MML-ASR)的失败。在这项工作中,我们通过开发一种新的对抗性Meta采样(AMS)方法来改善MML-ASR来解决这个问题。当在MML-ASR中对任务进行抽样时,AMS自适应地确定每个源语言的任务抽样概率。具体而言,对于每种源语言,如果查询损失较大,则意味着其任务在数量和难度方面没有很好地采样以训练ASR模型,因此应该更频繁地采样以进行额外的学习。受此启发,我们将所有源语言域的历史任务查询损失馈送到网络中,以学习一种任务采样策略,从而对抗性地增加MML-ASR的当前查询损失。因此,学习任务抽样策略可以掌握每种语言的学习情况,从而预测每种语言的良好任务抽样概率,以实现更有效的学习。最后,在两个多语言数据集上的实验结果表明,AMS在MML-ASR上的应用效果显著,并证明了AMS对其他低资源语音任务和迁移学习ASR方法的适用性。
2021-04-12 cs.CL cs.SD eess.AS
Exploring Sampling Techniques for Generating Melodies with a Transformer Language Model
Institute of Computational Perception, Johannes Kepler University Linz(约翰开普勒林茨大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室);LIT AI Lab, Linz Institute of Technology(林茨理工学院LIT人工智能实验室)
本文训练高容量 Transformer 生成爱尔兰民间旋律,对比核采样、典型采样与祖先采样在模型校准及性能退化场景下的主客观表现,揭示概率截断对多样性、结构和音乐性的不同影响。
2023-08-18 cs.CL cs.SD eess.AS
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管实现了最先进的zero-shot性能,现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习(MAML)是Few-Shot迁移学习的自然替代方案,但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型(如CLIP)上的使用。虽然许多文献一直致力于探索替代的优化策略,我们确定了有效的Few-Shot迁移学习,任务采样,这是以前只被视为数据预处理的一部分,在MAML的另一个重要方面。为了显示任务采样的影响,我们提出了一个简单的算法,模型无关的多任务微调(MAMF),它区分经典的微调只对均匀采样多个任务。尽管它的简单性,我们表明,MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明,MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作,并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM
CDLM: Consistency Diffusion Language Models For Faster Sampling
CDLM通过一致性建模和块状因果注意力掩码,显著降低扩散语言模型的推断延迟,同时保持在数学和编码任务上的准确性。
2026-02-20 cs.CL cs.LG