Empirical Evaluation of Post-Training Quantization Methods for Language Tasks
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
像BERT这样的基于transformer的架构在广泛的自然语言任务中取得了巨大的成功。尽管它们的性能不错,但这些模型仍然有许多参数和高计算复杂性,阻碍了它们在资源受限环境中的部署。训练后量化(PTQ)可以在不进行额外训练的情况下进行低位计算,可能是一种很有前途的工具。在这项工作中,我们对BERT-Base和BERT-Large上的三种PTQ方法进行了实证评估:线性量化(LQ),分析限幅量化(ACIQ)和异常通道分裂(OCS)。OCS算法在最小化均方量化误差和避免权值异常值失真方面优于其他算法。这与GLUE基准测试的大多数语言任务和阅读理解任务SQuAD的评估结果一致。此外,低比特量化的BERT模型可以在几个小的语言任务上优于相应的32比特基线,我们将其归因于过度参数化的缓解。我们进一步探讨了量化位的限制,并表明OCS可以将BERT-Base和BERT-Large扩展到3位,并相应地保持GLUE基准测试的98%和96%的性能。此外,我们对整个BERT族进行量化,即,BERT模型在不同的配置,并全面评估其性能上的GLUE基准和SQuAD,希望提供有价值的指导方针,其部署在各种计算环境。
2022-10-29 cs.CL
An Empirical Study on Crosslingual Transfer in Probabilistic Topic Models
University of Colorado Boulder(科罗拉多大学博尔德分校)
概率主题建模是跨语言任务的第一步,以实现知识转移和提取多语言特征的流行选择。虽然已经开发了许多多语言主题模型,但它们对训练语料库的假设是相当不同的,并且不清楚这些模型在各种训练条件下的应用情况。在本文中,我们系统地研究了不同的多语言主题模型背后的知识转移机制,并通过一系列广泛的实验与四个模型的10种语言,我们提供了经验性的见解,可以告知多语言主题模型的选择和未来的发展。
2019-06-10 cs.CL
Empirical Evaluation of Supervision Signals for Style Transfer Models
Technical University of Darmstadt(达姆施塔特工业大学);Merck KGaA(默克集团)
近年来,语篇风格迁移越来越受到研究界的关注。然而,所提出的方法在许多方面各不相同,这使得很难评估模型组成部分的单独贡献。在风格转换中,最重要的组成部分是用于在缺乏并行训练数据的情况下指导学习的优化技术。在这项工作中,我们经验性地比较了在训练过程中提供监督信号的主导优化范式:反向翻译,对抗训练和强化学习。我们发现,反向翻译具有特定于模型的限制,这抑制了训练风格迁移模型。强化学习表现出最好的性能增益,而对抗训练尽管很受欢迎,但并没有提供比后一种选择更好的优势。在这项工作中,我们还尝试了最小风险训练,这是机器翻译社区中的一种流行技术,据我们所知,尚未在风格转换任务中进行经验评估。我们填补了这一研究空白,并以经验证明其有效性。
2021-01-15 cs.CL cs.LG
Can Post-Training Turn LLMs into Good Medical Coders? An Empirical Study of Generative ICD Coding
Northwestern University(西北大学)
通过对比提示、监督微调和强化学习(GRPO及新提出的PHI课程)在ICD编码任务上的表现,发现后训练(尤其是SFT和GRPO)能显著提升生成式LLM的编码性能,提示评估瓶颈在于模型适应而非生成范式本身。
2026-06-15 cs.CL
What Training Data Teaches RL Memory Agents: An Empirical Study of Curriculum Effects in Memory-Augmented QA
Columbia University(哥伦比亚大学);Independent Researcher(独立研究者);Johns Hopkins University(约翰霍普金斯大学);Northeastern University(东北大学)
通过控制实验,研究训练课程(领域内、混合、领域外)对强化学习记忆体代理在记忆增强问答中的技能获取和专业化影响,发现课程组成作为专业化的细粒度杠杆,混合课程在整体F1上最优,而窄领域外课程可转移特定技能(如时间推理),并报告了将GRPO适配到单GPU环境的实用经验。
2026-05-21 cs.CL
An Empirical Study of Mini-Batch Creation Strategies for Neural Machine Translation
NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学基础研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学);Japan Science and Technology Agency(日本科学技术振兴机构)
神经机器翻译(NMT)模型的训练通常使用小批量来提高效率。在小批量训练过程中,为了有效计算,需要填充小批量中的较短句子,使其长度等于其中的最长句子。以前的工作已经注意到,在进行小批量处理之前,根据句子长度对语料库进行排序,减少了填充量,提高了处理速度。然而,尽管小批量创建是NMT训练中的一个重要步骤,但广泛使用的NMT工具包实现了不同的策略,这些策略尚未经过经验验证或比较。本文研究了小批量创建策略,并在两个不同的数据集上进行了实验。我们的研究结果表明,小批量创建策略的选择对NMT训练有很大的影响,与简单的洗牌相比,一些基于长度的排序策略并不总是有效。
2017-06-19 cs.CL
An Empirical Investigation of Beam-Aware Training in Supertagging
Carnegie Mellon University(卡内基梅隆大学);MSR Montreal(微软研究院蒙特利尔分院)
结构化预测通常通过用最大似然训练局部归一化模型并用束搜索近似解码来实现。这种方法导致不匹配,因为在训练期间,模型不会暴露于其错误并且不使用束搜索。波束感知训练旨在解决这些问题,但不幸的是,由于缺乏对它如何影响性能、何时最有用以及它是否稳定的了解,它尚未被广泛使用。最近,Negrinho等人(2018)提出了一种元算法,该算法捕获了波束感知训练算法并提出了新的算法,但不幸的是没有提供经验结果。在本文中,我们开始了一项实证研究:我们训练Vaswani等人的超级标记模型。(2016)和一个更简单的模型,其中包含元算法的实例。我们探讨了各种设计选择的影响,并提出了选择它们的建议。我们观察到,波束感知训练提高了这两种模型的性能,其中较简单的模型有很大的改进,它必须有效地管理解码过程中的不确定性。我们的研究结果表明,一个模型必须与搜索学习,以最大限度地提高其有效性。
2020-10-10 cs.CL cs.LG
An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker
National Taiwan University(国立台湾大学)
数据驱动的面向任务的对话系统在大规模数据集的支持下得到了快速发展。然而,由于缺乏高质量的数据,低资源语言的对话系统的进展远远落后。为了推进构建对话系统的跨语言技术,DSTC 9引入了跨语言对话状态跟踪的任务,我们在资源丰富的训练数据集下使用低资源语言测试DST模块。本文研究了跨语言生成对话状态跟踪系统的可移植性,使用多语言预训练seq2seq模型。我们在不同的设置下进行实验,包括跨语言和跨本体数据集的联合训练或预训练。我们也发现了我们的方法的跨语言可移植性低,并提供了调查和讨论。
2021-01-27 cs.CL
Data Ordering Patterns for Neural Machine Translation: An Empirical Study
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
最近的工作表明,训练数据的排序影响神经机器翻译的模型性能。分析了基于课程学习的动态数据排序和数据分片的几种方法的性能增益和更快的收敛速度。在这项工作中,我们提出了经验研究的几个排序方法的训练数据基于不同的指标,并评估其对模型性能的影响。我们的研究结果表明,基于来自预训练模型的困惑分数预先确定训练数据的顺序执行得最好,并且优于每个时期随机洗牌训练数据的默认方法。
2019-09-23 cs.CL cs.LG
Characterizing Model Behavior Under Synthetic Data Training: An Empirical Study Across Scales and Mixing Ratios
Independent Research Collaboration(独立研究者)
本研究通过Pythia模型套件在五个任务上的受控实验,系统考察了合成数据比例对模型性能、校准和输出特征的影响,发现20%以内性能稳定、超过30%退化加速,且大模型更鲁棒,为合成数据预算提供了实用指导。
2025-10-01 cs.CL
LIONs: An Empirically Optimized Approach to Align Language Models
Columbia University(哥伦比亚大学)
本文通过系统分析三阶段对齐训练流程中的关键设计选择,提出LIONs方法,并在Gemma-2b和LLama-3-8b上训练出超越官方指令模型的性能。
2024-10-02 cs.CL
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models
Meta AI Research(Meta人工智能研究院)
尽管它们被广泛采用,但非常大语言模型的潜在训练和记忆动态并没有得到很好的理解。我们实证研究因果和掩蔽语言建模中的精确记忆,跨模型大小和整个训练过程。我们测量了数据集大小、学习率和模型大小对记忆的影响,发现较大的语言模型在所有设置中都能更快地记忆训练数据。令人惊讶的是,我们发现较大的模型可以在过度拟合之前记住更大部分的数据,并且在整个训练过程中忘记的数据较少。我们还分析了不同的语音部分的记忆动态,发现模型首先记忆名词和数字;我们假设并提供了经验证据,名词和数字作为记忆个人训练样本的唯一标识符。总之,这些发现提出了另一个更广泛的难题,即试图理解随着模型变大,实际上会改善什么。
2022-11-02 cs.CL
Empirical Gaussian priors for cross-lingual transfer learning
Center for Language Technology(语言技术中心);University of Copenhagen(哥本哈根大学)
序列模型学习算法通常最大化对数似然减去模型的范数(或最小化汉明损失+范数)。在跨语言词性(POS)标记中,我们的目标语言训练数据由句子序列组成,这些句子序列具有从$k$语言中的翻译投射的逐词标签,我们通过单词对齐标记了这些语言的数据。因此,我们的训练数据非常嘈杂,如果Rademacher复杂度很高,学习算法很容易过拟合。基于范数的正则化假设一个恒定的宽度和零均值先验。相反,我们建议使用$k$源语言模型来估计高斯先验的参数,以学习新的POS标签。这导致在多源传输设置中显著更好的性能。我们还提出了一个辍学的版本,注入(经验)高斯噪声在在线学习。最后,我们注意到,使用经验高斯先验导致更低的Rademacher复杂性,并且优于最优加权模型插值。
2016-01-09 cs.CL
Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey
Politecnico di Torino(都灵理工大学)
本文研究了训练方法、训练语料库规模和文本主题相关性等因素对词嵌入特征在推文、歌词、电影评论和项目评论的情感分析中的作用。我们还探索了特定的训练或后处理方法,可用于提高词嵌入在某些任务或领域的性能。我们的经验观察表明,用大而丰富的词汇量的多主题文本训练的模型在回答句法和语义词类比问题时是最好的。我们进一步观察到,主题相关性的影响是更强的电影和电话评论,但较弱的推文和歌词。后两个领域对语料库大小和训练方法更敏感,Glove优于Word2vec。从词典“注入”额外的智能或生成情感特定的词嵌入是提高词嵌入特征性能的两个突出的替代方案。
2019-02-02 cs.CL cs.IR
Training and Evaluating with Human Label Variation: An Empirical Study
School of Computing and Information Systems, University of Melbourne(计算与信息系统学院,墨尔本大学);Mohamed bin Zayed University of Artificial Intelligence(莫德尔·比兹·扎耶德人工智能大学)
针对人类标签变化(HLV)问题,利用模糊集理论提出可微评估指标并作为训练目标,通过6个数据集和14种方法的实证研究发现,使用分解标注或软标签训练效果最佳,且软微平均F1分数是评估HLV数据的最佳指标之一。
2025-10-13 cs.CL cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems
NTT Communication Science Laboratories(日本电信电话公司通信科学实验室)
近年来,基于Transformer编码器-解码器模型,已经提出了几种高性能的会话系统。虽然以前的研究分析了模型参数和解码方法对主观对话评价的影响与整体指标,他们没有分析微调数据集的差异如何影响用户的详细印象。此外,基于transformer的方法仅针对英语进行了验证,而不适用于日语等语言间距离较大的语言。在这项研究中,我们开发了大规模的基于transformer的日语对话模型和日语聊天数据集,以研究基于transformer的方法构建聊天对话系统的有效性。我们评估和分析了人类对话在不同微调数据集、模型参数和附加信息使用中的印象。
2021-09-11 cs.AI cs.CL
An Empirical Analysis of Discrete Unit Representations in Speech Language Modeling Pre-training
Laboratoire Informatique d'Avignon, Avignon University, Avignon, France(阿维尼翁信息实验室,阿维尼昂大学,法国);Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004, Nantes, France(南特大学,南特中央理工学院,CNRS,LS2N,UMR 6004,法国);Zenidoc, Marseille, France(Zenidoc公司,法国)
本文实证分析语音语言模型预训练中离散单元表示,探究模型架构、数据表示及聚类粒度对语音建模的影响,并揭示聚类数据选择与领域匹配对鲁棒性的关键作用。
2025-09-03 cs.AI cs.CL eess.AS
Mix and Match: An Empirical Study on Training Corpus Composition for Polyglot Text-To-Speech (TTS)
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
使用单语语料库训练多语言神经文本转语音(NTTS)模型已经成为构建基于语音克隆的多语言NTTS系统的流行方式。为了训练这些模型,了解训练语料库的组成如何影响多语言语音合成的质量是至关重要的。在这种情况下,经常会听到这样的问题:“考虑到两种语言的接近性,包括更多的西班牙语数据是否有助于我的意大利语合成?".不幸的是,我们发现关于这一主题的现有文献在这方面缺乏完整性。在目前的工作中,我们进行了广泛的消融研究,旨在了解各种因素的培训语料库,如语言的家庭关系,性别组成,和扬声器的数量,有助于多语言合成的质量。我们的研究结果包括观察到,女性说话者数据在大多数情况下是首选的,它并不总是有益的,有更多的发言者从目标语言变体的训练语料库。本文的研究结果对语料的获取和语料库的建立有一定的参考价值。
2022-07-04 cs.CL cs.LG eess.AS
Empirical Evaluation of Parallel Training Algorithms on Acoustic Modeling
Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯人工智能实验室)
深度学习模型(DLM)是语音识别中最先进的技术。然而,训练良好的DLM可能非常耗时,特别是对于生产规模的模型和语料库。虽然已经提出了几种并行训练算法来提高训练效率,但由于缺乏系统和公平的比较,因此没有明确的指导来选择哪一种。在本文中,我们旨在通过比较语音识别中四种流行的并行训练算法来填补这一空白,即异步随机梯度下降(ASGD),分块模型更新滤波(BMUF),批量同步并行(BSP)和弹性平均随机梯度下降(EASGD),在1000小时的LibriSpeech语料库上使用前馈深度神经网络(DNN)和卷积,长短期记忆,DNN(CLDNN)。根据我们的实验,我们建议使用BMUF作为训练声学模型的首选,因为它最稳定,可随GPU数量扩展,可以实现可重现的结果,并且在许多情况下甚至优于单GPU SGD。在某些情况下,ASGD可用作替代品。
2017-07-26 cs.CL cs.LG cs.SD
Direct Preference Optimization for Chatbot Fine-Tuning: An Empirical Study
University of Science and Technology of China(中国科学技术大学)
本文实证研究直接偏好优化(DPO)在聊天机器人微调中的应用,表明其简化训练流程、提升计算效率且性能有竞争力,但存在训练不稳定性。
2026-06-15 cs.CL cs.LG
An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation
Tencent AI Lab(腾讯AI实验室)
我们提出了一个基于transformer的预训练自回归语言模型的开放域对话生成任务的实证调查。采用预训练和微调的训练范式进行参数学习。分别收集了中文新闻语料库和英文维基百科语料库用于预训练阶段。在微调阶段,对话上下文和响应被连接成单个序列,用作模型的输入。一个加权的联合预测模式的上下文和响应的设计,以评估模型的性能与上下文预测的损失项或没有。采用各种解码策略,例如贪婪搜索、束搜索、top-k采样等来进行响应文本生成。在典型的单话轮和多话轮对话语料库如微博、豆瓣、Reddit、DailyDialog和Persona-Chat上进行了大量的实验。报告了语言模型以及基线方法生成结果的相关性和多样性的自动评估指标的详细数量。
2020-03-09 cs.AI cs.CL
Towards Robust and Generalizable Training: An Empirical Study of Noisy Slot Filling for Input Perturbations
Beijing University of Posts and Telecommunications(北京邮电大学);Huazhong University of Science and Technology(华中科技大学);University of Surrey(萨里大学);Meituan Group(美团集团)
针对现有槽填充模型抗输入噪声能力弱、鲁棒性研究受限于规则合成数据集的问题,本文构建含五类真实人工标注噪声的Noise-SF数据集,整合鲁棒训练方法并通过实验验证了框架的有效性,还提出了前瞻性研究建议。
2023-10-05 cs.AI cs.CL cs.DS
An Empirical Investigation of Global and Local Normalization for Recurrent Neural Sequence Models Using a Continuous Relaxation to Beam Search
Carnegie Mellon University(卡内基梅隆大学);Deepmind(深度思考);University of California, San Diego(加利福尼亚大学圣迭戈分校)
全局归一化神经序列模型被认为优于其局部归一化等效模型,因为它们可以改善标签偏差的影响。然而,当考虑对整个输入序列有条件的高容量神经参数化时,两个模型类在它们能够表示的分布方面理论上是等价的。因此,在现代神经方法的背景下,全局归一化的实际优势仍然不清楚。在本文中,我们试图通过实证研究来阐明这一问题。我们通过束搜索的连续松弛来扩展搜索感知训练的方法(Goyal等人,2017 b),以便通过简单的反向传播来训练全局归一化的递归序列模型。然后,我们使用这种技术进行全球规范化,高容量编码器和搜索感知优化之间的相互作用的实证研究。我们观察到,在不精确搜索的背景下,全局归一化神经模型仍然比局部归一化模型更有效。此外,由于我们的训练方法对预训练模型的热启动敏感,我们还提出了一种新的基于自归一化的初始化策略,用于预训练全局归一化模型。我们在两个任务上对我们的方法进行了分析:CCG超级标记和机器翻译,并在使用搜索感知训练的同时,在不同条件下展示了全局规范化的重要性。
2019-04-15 cs.CL cs.LG stat.ML
Data Generation Using Large Language Models for Text Classification: An Empirical Case Study
Microsoft Corporation(微软公司)
本研究实证分析LLM生成合成数据用于文本分类时,提示词、任务复杂性和数据质量等影响因素,并提出改进数据生成实践的建议。
2024-07-19 cs.AI cs.CL
Hallucination, Monofacts, and Miscalibration: An Empirical Investigation
University of Pennsylvania(宾夕法尼亚大学);Department of Computer and Information Science(计算机与信息科学系)
本文通过实验证明,选择性加权可有效降低大型语言模型的幻觉,同时保持准确性,揭示了优化目标间的内在矛盾。
2026-03-03 cs.AI cs.CL
An Empirical Study of Training End-to-End Vision-and-Language Transformers
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Corporation(微软公司)
视觉和语言(VL)预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明,完全基于transformer的VL模型可以比以前的基于区域特征的方法更有效,但它们在下游任务上的性能往往会显着下降。在本文中,我们提出了METER,一个多模式端到端的Transformer框架,通过它,我们研究了如何以端到端的方式设计和预训练一个完全基于transformer的VL模型。具体来说,我们沿着多个维度剖析模型设计:视觉编码器(例如,CLIP-ViT、Swin Transformer)、文本编码器(例如,RoBERTa,DeBERTa),多模态融合模块(例如,合并注意力对共同注意力),建筑设计(例如,仅编码器对编码器-解码器),以及预训练目标(例如,掩码图像建模)。我们进行全面的实验,并提供有关如何训练一个高性能的VL Transformer的见解。METER仅使用4 M图像进行预训练,在VQAv 2测试标准集上实现了77.64%的准确率,超过了最先进的基于区域特征的模型1.04%,并超过了之前最好的完全基于transformer的模型1.6%。值得注意的是,当进一步扩大规模时,我们最好的VQA模型的准确率达到80.54%。代码和预训练模型在https://github.com/zdou0830/METER上发布。
2022-03-18 cs.CL cs.CV cs.LG
Empirical Capacity Model for Self-Attention Neural Networks
Maastricht University(马斯特里赫特大学)
本文通过常见训练算法与合成数据研究Transformer的记忆容量,提出经验容量模型ECM,用于在给定目标记忆能力时设计参数数量最优的任务专用Transformer。
2024-07-31 cs.AI cs.CL cs.LG
Parameter Efficient Instruction Tuning: An Empirical Study
AdaBit AI
针对预训练语言模型全参数指令微调成本过高问题,本研究系统探究代表性参数高效微调(PEFT)方法,揭示其超参数、模型规模等影响,发现理想设置下LoRA和适配器接近全微调效果。
2024-11-25 cs.AI cs.CL cs.LG
What is Missing from AI Post-Training AI: An Empirical Analysis
Tsinghua University(清华大学);University of Electronic Science and Technology of China(电子科技大学);Renmin University of China(中国人民大学)
本文通过实证分析发现,LLM智能体后训练时存在策略锁定问题,其缺失的是执行过程中自发重新评估训练策略的机制,而非经验、指导或推理计算。
2026-09-29 cs.AI cs.CL cs.LG
An Empirical Investigation of the Role of Pre-training in Lifelong Learning
Carnegie Mellon University(卡内基梅隆大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
本研究实证探究预训练在终身学习中缓解灾难性遗忘的作用,发现其通过引导更宽的损失极小值减轻遗忘,并提出联合优化任务损失与盆地锐度的方法,在多种任务上优于现有持续学习算法。
2023-08-29 cs.AI cs.CL cs.CV