Finetuning Language Models to Emit Linguistic Expressions of Uncertainty
Google DeepMind（谷歌DeepMind）
本研究通过监督微调使语言模型生成校准的不确定性语言表达，实验表明该方法在问答任务中有效，尤其适用于单主张答案。
2024-09-18 cs.CL cs.LG
CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
CRAFT提出一种无需微调的通用工具创建与检索框架，通过为任务生成并验证代码片段形成工具集，在推理时检索执行，显著提升LLM在视觉-语言、表格和数学推理任务上的表现。
2024-03-13 cs.AI cs.CL cs.LG
Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective
针对交叉熵平等加权导致模型偏重高频低信息 token 的问题，本文提出按语料频率幂律衰减重加权的 PDL 损失，并从理论上说明其可提升文本生成质量、多样性与信息量。
2025-06-09 cs.CL cs.LG
LIMIT: Less Is More for Instruction Tuning Across Evaluation Paradigms
Princeton University（普林斯顿大学）；MosaicML；Databricks
本研究探究指令微调中数据规模与多样性的影响，发现1k-6k条样本足以在传统NLP基准和基于模型的评估上取得良好性能，且混合教科书式与开放式问答数据可优化两种范式下的表现。
2023-11-22 cs.AI cs.CL cs.LG
Instruction Following without Instruction Tuning
Stanford University（斯坦福大学）
本文提出隐式指令微调，发现仅在响应上训练或在窄领域数据上训练均可产生指令遵循，并假设对语言模型分布进行简单改变即可实现该能力。
2024-09-21 cs.CL
Controlling Large Language Models Through Concept Activation Vectors
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Key Lab of AI Safety of Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对LLM受控生成资源消耗大或控制粒度粗的问题，提出轻量级GCAV框架，通过训练并引导概念激活向量实现毒性、情感、风格和主题的精确控制。
2025-01-10 cs.CL
WAFFLE: Finetuning Multi-Modal Models for Automated Front-End Development
Purdue University（普渡大学）
WAFFLE通过结构感知注意力机制和对比微调方法，提升多模态模型在UI到HTML代码生成中的表现。
2026-10-21 cs.CL cs.CV cs.SE
Learn-To-Learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM
University of Science and Technology of China（中国科学技术大学）
提出一种超网络驱动的元门控机制，通过动态调整SwiGLU块中的β参数，使LLM适应不同文本条件，优于微调和元学习基线。
2026-06-17 cs.CL cs.LG
Composer Style Classification of Piano Sheet Music Images Using Language Model Pretraining
Harvey Mudd College（哈维穆德学院）
本文主要研究作曲家对钢琴组曲音乐形象的风格分类。以前的作曲家分类任务的方法受到数据稀缺的限制。我们通过两种方式解决这个问题：（1）我们将问题重新设计为基于原始乐谱图像而不是符号音乐格式，以及（2）我们提出了一种可以在未标记数据上训练的方法。我们的方法首先将乐谱图像转换成一个序列的音乐“词”的基础上的盗版功能表示，然后将该序列输入到一个文本分类器。我们表明，它是可能的，以显着提高分类器的性能，首先训练一个语言模型上的一组未标记的数据，初始化分类器与预训练的语言模型的权重，然后微调分类器上少量的标记数据。我们在IMSLP中的所有钢琴乐谱图像上训练AWD-LSTM、GPT-2和RoBERTa语言模型。我们发现基于transformer的架构优于CNN和LSTM模型，并且预训练将GPT-2模型的分类准确率从46%提高到70%。训练后的模型也可以用作特征提取器，将钢琴乐谱投影到表征作曲风格的特征空间中。
2020-07-29 cs.CL cs.CV cs.LG
Just CHOP: Embarrassingly Simple LLM Compression
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Institute for Language, Cognition and Computation, University of Edinburgh（爱丁堡大学语言、认知与计算研究所）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
针对大语言模型压缩中剪枝策略忽视预训练后微调范式的问题，提出LayerChop方法，通过层剪枝加持续自监督预训练微调，在7B规模模型上实现优于结构化、半结构化压缩及蒸馏的效果与推理效率。
2024-07-09 cs.CL
SAND: Boosting LLM Agents with Self-Taught Action Deliberation
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Adobe Research（Adobe研究院）；University of New South Wales（新南威尔士大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
本文提出SAND框架，通过自洽采样与执行引导批评让LLM智能体在行动前进行自学习审议，并以迭代微调提升决策质量，在两个交互任务上平均提升20%并超越现有最优方法。
2025-08-20 cs.CL
Outcome-Constrained Large Language Models for Countering Hate Speech
University of North Texas（北得克萨斯大学）；Peking University（北京大学）；University of Arizona（亚利桑那大学）
本文提出用结果约束的大语言模型生成反向言论，通过指令提示、微调和强化学习实现低不文明性和非仇恨重新融入两个目标，并验证了方法的有效性。
2024-10-01 cs.CL
LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures
Atlassian（Atlassian公司）；NYU（纽约大学）；Brown University（布朗大学）
本文提出LLM-JEPA，将视觉领域的联合嵌入预测架构应用于大语言模型的预训练和微调，在多个数据集和模型上显著优于标准训练目标，且对过拟合具有鲁棒性。
2025-10-07 cs.AI cs.CL
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
本文提出Style-Talker框架，通过微调音频LLM和基于风格的TTS模型，结合用户输入音频的转录与语音风格生成响应，在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University（卡内基梅隆大学）
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功，特别是在自然语言处理（NLP）中。然而，虽然已经有几次尝试在不同的域上训练Transformers，但是这些域之间通常有明确的关系，例如，代码摘要，其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中，我们使用多域文本到文本转换Transformers（MD-T5）在两个域（Python Code和Chess）的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验：Bert风格的联合预训练+连续微调，GPT风格的联合预训练+连续微调，以及GPT风格的联合预训练+联合微调。此外，我们还根据四个指标对模型进行了评估- Play Score，Eval Score，BLEU Score和Multi-Domain Learning Score（MDLS）。这些指标衡量各种任务和多领域学习的性能。我们发现，虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战，但GPT风格的联合预训练+联合微调策略在多领域，多任务学习中表现最好，因为它在所有四个任务中表现良好，同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
Counteracts: Testing Stereotypical Representation in Pre-trained Language Models
Purdue University（普渡大学）
本文提出使用反例检验预训练语言模型中的内部刻板印象知识，在9种完形填空式提示上评估7个模型，发现其对无关信息和浅层语言线索具鲁棒性但缺乏按意义解释信息的能力，为中立微调与评估提供启示。
2023-04-07 cs.CL
Fake News in Sheep's Clothing: Robust Fake News Detection Against LLM-Empowered Style Attacks
National University of Singapore（新加坡国立大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
针对LLM风格攻击导致的假新闻检测脆弱性（F1下降38%），提出SheepDog检测器，通过风格多样性训练、风格无关方案和内容归因，在三个基准上实现风格鲁棒检测。
2024-08-20 cs.CL
Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed?
University of Zurich（苏黎世大学）；Textshuttle；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
本文研究英语中心大语言模型实现跨语言泛化所需的最少多语言微调量，发现仅用两到三种语言进行多语言指令微调即可有效激发跨语言能力，且对生成式任务尤其有益。
2024-10-03 cs.CL
Learning to Reason for Long-Form Story Generation
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本文提出一种基于可验证奖励的强化学习方法，利用未标注书籍数据训练模型推理并规划下一章，生成的长篇故事在人工评估中优于基线和监督微调，尤其在科幻和奇幻类型中效果显著。
2025-09-08 cs.CL
Large Language Models Still Exhibit Bias in Long Text
Yonsei University（延世大学）；Seoul National University（首尔国立大学）
针对现有公平性基准忽视长文本生成偏见的问题，提出LTF-TEST框架评估LLM在长文本中的偏见，并设计FT-REGARD微调方法，显著降低性别偏见并提升性能。
2025-08-07 cs.CL
DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration
Center for Computational Evolutionary Intelligence, Duke University（计算进化智能中心，杜克大学）
本文提出DA-Cramming框架，通过整合依赖协议信息提升语言模型预训练效果，采用双阶段流程和四个专用子模型捕捉依赖协议并生成嵌入，实验证明其在多种任务上表现优于现有方法。
2026-09-23 cs.AI cs.CL
TRACE: Trajectory Correction from Cross-layer Evidence for Hallucination Reduction
Independent Researcher（独立研究者）
本文提出TRACE算法，通过跨层证据在推理时修正LLM中的幻觉，无需训练或标注，通过内部证据选择修正策略，提升多个基准测试的性能。
2026-09-09 cs.AI cs.CL
ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback
Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本文提出 ParroT 框架，基于开源 LLM 与人工翻译及反馈数据，通过翻译、对比和错误引导指令增强聊天翻译能力，并在 Flores 与 WMT22 上验证其效果。
2023-11-02 cs.CL
Bounding Hallucinations: Merlin-Arthur Protocols for Mutual-Information Bounds in Language Models
Aleph Alpha Research（Aleph Alpha研究机构）；Lab1141（Lab1141实验室）
通过Merlin-Arthur协议训练RAG系统，提升模型对证据的依赖性，减少幻觉并增强信息论指标。
2026-08-11 cs.AI cs.CL cs.LG
RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Petuum Inc.（Petuum公司）
在使大型预训练的语言模型（LM）能够执行各种NLP任务方面，特别是当只有很少的下游数据可用时，编译已经取得了令人印象深刻的成功。然而，自动为每个任务找到最佳提示是具有挑战性的。大多数现有的工作采取调整软提示（例如，嵌入），其缺乏可解释性、跨LM的可重用性以及当梯度不可访问时的适用性。另一方面，离散提示难以优化，并且通常通过“枚举”（例如，释义）-然后选择”的策略，不系统地探索提示空间。提出了一种基于强化学习（RL）的高效离散提示优化方法RLPrompt。RLPrompt制定了一个参数有效的策略网络，该网络在带奖励的训练后生成所需的离散提示。为了克服大型LM环境中奖励信号的复杂性和随机性，我们引入了有效的奖励稳定性，大大提高了训练效率。RLPrompt可灵活地应用于不同类型的LM，例如掩码（例如，BERT）和从左到右模型（例如，GPT），用于分类和生成任务。在Few-Shot分类和无监督文本风格转换上的实验表明，该方法优于现有的各种微调或提示方法。有趣的是，所得到的优化提示通常是不合语法的胡言乱语文本;并且令人惊讶的是，这些胡言乱语提示可以在不同的LM之间转移以保持显著的性能，这表明LM提示可能不遵循人类语言模式。
2022-10-22 cs.CL cs.LG
RAFT: Adapting Language Model to Domain Specific RAG
UC Berkeley（加州大学伯克利分校）
本文提出检索增强微调（RAFT）训练方法，通过训练模型忽略干扰文档并逐字引用相关文档内容结合思维链提升推理能力，在多个数据集上显著改进了特定领域 RAG 的性能。
2024-06-05 cs.AI cs.CL
Code-enabled language models can outperform reasoning models on diverse tasks
MIT（麻省理工学院）；Inria（法国国家科研机构）；Harvard University（哈佛大学）
本文提出CodeAdapt方法，结合CodeAct框架与少样本上下文学习，使标准指令微调语言模型无需微调即可在多样任务上超越对应推理模型，提升性能并显著提高token效率。
2025-10-23 cs.AI cs.CL
Aligning Language Models with Demonstrated Feedback
Stanford University（斯坦福大学）；USC（美国南加州大学）
DITTO利用少于10个用户演示作为反馈，通过在线模仿学习生成偏好对并用DPO优化，实现LLM对特定场景的定制，平均胜率提升19%。
2025-04-18 cs.CL cs.HC
Muse: Towards Reproducible Long-Form Song Generation with Fine-Grained Style Control
Fudan NLP Group（复旦大学自然语言处理组）
Muse通过开源系统实现可控长篇歌曲生成，利用合成数据集和微调模型，在有限数据下取得竞争性性能。
2026-01-12 cs.CL cs.SD
Whisper Finetuning on Nepali Language
E.K. Solutions Pvt. Ltd.（E.K.解决方案私人有限公司）
本文通过构建多样化尼泊尔语数据集并微调不同规模 Whisper 模型，显著降低词错误率，证明数据质量与增强对低资源语言 ASR 的关键作用。
2024-11-19 cs.AI cs.CL
Towards Expert-Level Medical Question Answering with Large Language Models
Google Research（谷歌研究院）；DeepMind（深度思维）
本文提出 Med-PaLM 2，通过结合 PaLM 2、医学微调及集成优化提示策略，在多个医学问答数据集上达到 SOTA，并在人工评估中展现出接近甚至超越医生的临床实用性。
2023-05-16 cs.AI cs.CL cs.LG
Why is constrained neural language generation particularly challenging?
University of Chicago（芝加哥大学）；University of Michigan（密歇根大学）
本文综述约束神经语言生成这一新兴主题，通过区分条件与约束正式定义并分类相关问题，介绍任务、现有方法及评估指标，旨在明确该领域进展、趋势、前景方向与局限性。
2025-04-13 cs.AI cs.CL
