From Granular Revision Operations to Meaningful Revision Units: Evaluating LLMs for Revision Boundary Detection
Arizona State University（亚利桑那州立大学）
本研究评估LLMs在检测写作修订边界中的表现，发现微调Qwen3-32B（宏F1=.859）优于提示方法及邻近启发式，表明任务适应对有效利用LLMs至关重要。
2026-09-29 cs.AI cs.CL
MIRROR: A Multi-Agent Framework with Iterative Adaptive Revision and Hierarchical Retrieval for Optimization Modeling in Operations Research
Xi’an Jiaotong University（西安交通大学）；Northwestern Polytechnical University（西北工业大学）
提出一种免微调的多智能体框架MIRROR，通过执行驱动的迭代自适应修正和分层检索机制，将自然语言优化问题直接转化为数学模型和求解器代码，在标准运筹学基准上优于现有方法。
2026-08-25 cs.CL
Memory Beyond Recall: A Dual-Process Cognitive Memory System for Self-Evolving LLM Agents
Tencent（腾讯）
提出DCPM系统，基于双过程理论将代理记忆组织为认知能力层次，通过同步日间写入器和异步夜间引擎分别处理信念修正和模式归纳，在隐式跨会话推理任务上提升显著。
2026-06-08 cs.AI cs.CL
ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）；TCS Research（塔塔咨询服务研究中心）
针对大模型预投稿自我审查中反馈缺乏可操作性的问题，提出ActReview框架，利用反驳引导构建训练数据并设计评分奖励，生成诊断与修改建议，优于现有模型。
2026-09-09 cs.CL
Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions
Ubiquitous Knowledge Processing Lab (UKP Lab)（通用知识处理实验室）；Department of Computer Science（计算机科学系）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
本文研究了大型语言模型在科学文档修订中的编辑意图分类任务中的表现，通过实验和数据集构建探讨了其分类能力及应用价值。
2024-10-17 cs.CL
EcomEdit: An Automated E-commerce Knowledge Editing Framework for Enhanced Product and Purchase Intention Understanding
Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程学系）
本文首次将知识编辑引入电子商务领域，提出自动化框架ECOMEDIT，利用强LLM评判和概念化方法提升模型对产品描述与购买意图的理解及下游任务表现。
2024-10-18 cs.CL
Fine-Tuning LLMs with Fine-Grained Human Feedback on Text Spans
Columbia University（哥伦比亚大学）；Microsoft（微软公司）；Johns Hopkins University（约翰霍普金斯大学）
本文提出基于文本片段的细粒度人类反馈方法，通过反馈驱动的改进链提升语言模型微调效果。
2025-12-29 cs.CL
LIMP: Large Language Model Enhanced Intent-aware Mobility Prediction
Tsinghua University（清华大学）；Emory University（埃默里大学）
针对人类移动性预测中隐含意图建模的挑战，提出LIMP框架，通过A2I智能体工作流与高效微调将LLM常识推理能力迁移至小模型，并结合Transformer实现意图感知预测，在真实数据集上显著提升了下一位置预测准确性与可解释性。
2024-08-23 cs.CL
Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models
Department of Informatics, University of Sussex（信息学院，苏塞克斯大学）；Pingtan Research Institute, Xiamen University（平潭研究院，厦门大学）；Department of Computer Science, University of Liverpool（计算机科学系，利物浦大学）；Department of Computer Science, Purdue University（计算机科学系，普渡大学）；Department of Computer Science, Emory University（计算机科学系，埃默里大学）；AI Agent Lab, Vokram Group（AI代理实验室，Vokram集团）；Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校）
本文是大语言模型指令调优领域的综述，全面梳理其数据构建、微调策略、评估体系的研究现状，分析现存挑战并展望未来方向，为相关研究者与从业者提供实用参考。
2025-11-19 cs.CL
A Semi-Supervised Deep Clustering Pipeline for Mining Intentions From Texts
Verint Systems Inc.（Verint Systems 公司）
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务智能虚拟助理（IVA）的关键步骤。为了帮助数据分析师完成这项任务，我们推出了Verint Intent Manager（VIM），这是一个结合了无监督和半监督方法的分析平台，可帮助分析师从会话文本中快速呈现和组织相关用户意图。对于数据的初步探索，我们使用了一种新的无监督和半监督管道，该管道集成了高性能语言模型的微调，分布式k-NN图构建方法和社区发现技术，用于从文本中挖掘意图和主题。微调步骤是必要的，因为当目标文本来自看不见的领域或聚类任务不是主题检测时，预训练的语言模型无法对文本进行编码以有效地呈现特定的聚类结构。为了灵活性，我们部署了两种聚类方法：其中必须指定聚类的数量，并且自动检测聚类的数量，具有可比的聚类质量，但以额外的计算时间为代价。我们描述的应用程序和部署，并证明其性能使用BERT的三个文本挖掘任务。我们的实验表明，BERT开始产生更好的任务感知表示使用一个小到0.5%的任务数据的标记子集。当BERT用仅2.5%的任务数据的标记子集进行微调时，聚类质量超过了最先进的结果。在VIM应用程序中部署时，这种灵活的集群管道可产生高质量的结果，提高数据分析师的性能，减少从客户服务数据中揭示意图所需的时间，从而减少在新域中构建和部署IVA所需的时间。
2022-02-01 cs.CL cs.LG
arXivEdits: Understanding the Human Revision Process in Scientific Writing
Georgia Institute of Technology（佐治亚理工学院）；Ohio State University（俄亥俄州立大学）
科学出版物是交流研究发现的主要手段，其中写作质量至关重要。然而，以前的工作研究人类编辑过程在这一领域主要集中在摘要或介绍部分，导致一个不完整的图片。在这项工作中，我们提供了一个完整的计算框架，研究文本修订科技写作。我们首先介绍arXivEdits，这是一个新的注释语料库，包含来自arXiv的751篇完整论文，在其多个版本的修订中具有黄金句子对齐，以及细粒度的跨级编辑及其1,000个句子对的潜在意图。它支持我们的数据驱动分析，以揭示研究人员修改论文的常见策略。为了扩大分析，我们还开发了自动方法来提取文档，句子和单词级别的修订。在我们的语料库上训练的神经CRF句子对齐模型达到了93.8 F1，能够可靠地匹配不同版本之间的句子。我们制定的编辑提取任务作为一个跨度对齐问题，我们提出的方法提取更多的细粒度和可解释的编辑，相比常用的差异算法。在我们的数据集上训练的意图分类器在细粒度意图分类任务上达到78.9 F1。我们的数据和系统发布在tiny.one/arxivedits。
2022-10-31 cs.CL
Intention and Context Elicitation with Large Language Models in the Legal Aid Intake Process
Stanford University（斯坦福大学）
本文提出使用LLMs通过自由对话获取客户潜在意图与法律背景的概念验证，以解决传统决策树缺乏可扩展性及LLMs过度自信的问题，并展望了通过监督微调或离线强化学习自动实现该功能的未来方向。
2023-11-22 cs.CL cs.CY
DiSTRICT: Dialogue State Tracking with Retriever Driven In-Context Tuning
IBM Research（IBM研究院）
提出DiSTRICT，一种无需手工模板的泛化对话状态跟踪上下文微调方法，通过检索相关训练样本微调模型，在MultiWOZ基准的零样本和少样本设置下以更小模型超越现有方法。
2023-10-21 cs.CL
Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models
Renmin University of China（中国人民大学）；Meituan Inc.（美团）
最近的研究表明，强大的预训练语言模型（PLM）可以被小扰动或故意攻击所欺骗。为了解决这个问题，各种数据增强技术被提出来提高PLM的鲁棒性。然而，它仍然是具有挑战性的，以增加语义相关的例子具有足够的多样性。在这项工作中，我们提出了虚拟数据增强（VDA），鲁棒微调PLM的一般框架。基于原始的令牌嵌入，我们构建了一个多项混合增强虚拟数据嵌入，其中掩蔽的语言模型保证语义相关性和高斯噪声提供增强多样性。在此基础上，提出了一种规则化的训练策略，以平衡这两个方面。在6个数据集上的实验表明，该方法能够提高PLM的鲁棒性，并缓解对抗攻击下的性能下降.我们的代码和数据可在\textcolor{blue}{\url{https://github.com/RUCAIBox/VDA}}上公开获取。
2021-09-13 cs.CL
An Adaptive Deep Clustering Pipeline to Inform Text Labeling at Scale
Verint Systems Inc.（Verint系统公司）
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务和销售支持智能虚拟助理（IVA）的关键步骤。我们在Verint Intent Manager（VIM）中创建了一个灵活且可扩展的聚类管道，该管道集成了语言模型的微调、高性能k-NN库和社区发现技术，可帮助分析师快速从会话文本中呈现和组织相关用户意图。微调步骤是必要的，因为预先训练的语言模型不能编码文本，以有效地表面特定的聚类结构时，目标文本是从一个看不见的领域或聚类任务不是主题检测。我们描述了管道，并展示了它的性能和能力的规模在三个现实世界的文本挖掘任务。在VIM应用程序中部署时，此群集管道可生成高质量的结果，从而提高数据分析师的性能，并减少从客户服务数据中揭示意图所需的时间，从而减少在新域中构建和部署IVA所需的时间。
2022-07-26 cs.CL cs.LG
Fine-Tuning Lowers Safety and Disrupts Evaluation Consistency
National Research Council Canada（加拿大国家研究理事会）
本研究揭示微调会降低LLM安全性，且安全评估对实验设置微调高度敏感，强调需可靠可复现的评估方法。
2025-06-20 cs.CL
Uncovering Hidden Intentions: Exploring Prompt Recovery for Deeper Insights into Generated Texts
University of Oslo（奥斯陆大学）
针对AI生成内容研究，本文首次在无封闭任务集场景下探索提示恢复，通过零样本、少样本学习及LoRA微调实验，结合半合成数据集验证，证明可合理准确恢复单模型生成文本的原始提示。
2024-06-22 cs.AI cs.CL
CITING: Large Language Models Create Curriculum for Instruction Tuning
Tsinghua University（清华大学）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出 CITING 框架，由教师 LLM 制定评分标准并提供修改，使学生 LLM 在迭代课程中自我纠正；在四个数据集上经 GPT-4 评估显著优于 SFT、RLHF、RRHF 和 RAFT。
2023-10-04 cs.AI cs.CL
BASE-SQL: A powerful open source Text-To-SQL baseline approach
Wuhan University of Technology（武汉理工大学）；University of Science and Technology of China（中国科学技术大学）
针对文本转SQL任务中开源模型微调方法缺乏高效基准的问题，提出包含四个组件的流水线方法BASE-SQL，基于开源模型Qwen2.5-Coder-32B-Instruct微调，在BIRD和Spider数据集上取得优于其他开源方法甚至部分GPT-4o方法的效果，且易实现、效率高。
2025-02-15 cs.CL
Improving Iterative Text Revision by Learning Where to Edit from Other Revision Tasks
University of Minnesota（明尼苏达大学）；University of Virginia（弗吉尼亚大学）；Grammarly
迭代文本修订通过修复语法错误、重新措辞以提高可读性或上下文适当性或重新组织整个文档中的句子结构来提高文本质量。最近的研究主要集中在理解和分类不同类型的编辑在迭代修订过程中从人类书写的文本，而不是建立准确和强大的系统迭代文本修订。在这项工作中，我们的目标是建立一个端到端的文本修订系统，可以迭代地生成有用的编辑显式检测可编辑的跨度（在哪里编辑）与其相应的编辑意图，然后指示修订模型修改检测到的编辑跨度。利用来自其他相关文本编辑NLP任务的数据集，结合可编辑跨度的规范，使我们的系统能够更准确地模拟迭代文本细化的过程，正如经验结果和人类评估所证明的那样。我们的系统在文本修订任务和其他标准文本修订任务上的表现明显优于以前的基线，包括语法错误纠正，文本简化，句子融合和风格转换。通过大量的定性和定量分析，我们在编辑意图和写作质量之间建立了重要的联系，并对迭代文本修订进行了更好的计算建模。
2022-12-02 cs.CL
Probing Out-of-Distribution Robustness of Language Models with Parameter-Efficient Transfer Learning
Seoul National University（首尔国立大学）；NAVER（NAVER公司）；IntelliSys（智能系统研究所）
本研究系统探究预训练语言模型规模变化及不同参数高效迁移学习方法对分布外检测能力的影响，在三项意图分类任务上评估了微调、Adapter等多种技术与不同规模模型的表现。
2023-06-14 cs.CL
Self-Review Framework for Enhancing Instruction Following Capability of LLM
提出Re5自我评估与修订框架，通过提取任务和约束组件、结构化评估及选择性修订，以少量数据实现与高性能模型相当的对齐效果，并以64.24%胜率保持输出质量。
2025-07-08 cs.AI cs.CL
Meta-Tuning LLMs to Leverage Lexical Knowledge for Generalizable Language Style Understanding
Georgia Institute of Technology（佐治亚理工学院）
本文提出基于代表性风格词汇对大语言模型进行元训练，使其无需微调即可识别新风格，并在13个既有任务和63个新任务上验证了该方法能持续提升零样本跨风格迁移能力。
2024-06-06 cs.CL cs.LG
SparseAdapter: An Easy Approach for Improving the Parameter-Efficiency of Adapters
JD Explore Academy（京东探索研究院）；Aalborg University（奥尔堡大学）；The University of Sydney（悉尼大学）；University of Electronic Science and Technology of China（电子科技大学）
适配器调整，冻结预训练的语言模型（PLM），只微调一些额外的模块，成为一个有吸引力的有效替代全面的模型微调。虽然计算效率高，最近的适配器经常增加参数（例如瓶颈尺寸），以匹配全模型微调的性能，我们认为这违背了他们的初衷。在这项工作中，我们通过网络修剪的镜头重新检查适配器的参数效率（我们命名为\texttt{SparseAdapter}这样的插件概念），并发现SparseAdapter可以达到可比或更好的性能比标准适配器的稀疏率达到80\%。基于我们的研究结果，我们引入了一个简单但有效的设置"\textit{Large-Sparse}"，以提高在相同的参数预算下的适配器的模型容量。在三种先进的PLM上对五种竞争适配器进行的实验表明，通过适当的稀疏方法（如SNIP）和比率（如40\%），SparseAdapter可以始终优于相应的对手。令人鼓舞的是，通过\textit{Large-Sparse}设置，我们可以获得更有吸引力的增益，甚至大幅优于完全微调。我们的代码将在https://github.com/Shwai-He/SparseAdapter上发布。
2022-11-10 cs.CL
Reflective Prompt Tuning through Language Model Function-Calling
Megagon Labs（梅加穹实验室）
本文提出了一种名为Reflective Prompt Tuning (RPT)的框架，利用语言模型功能调用模拟人类提示工程师的迭代工作流程，通过诊断函数评估目标模型，生成结构化诊断报告，并利用历史报告优化提示，从而提升提示效果和置信度校准。
2026-05-20 cs.CL
The Poison of Alignment
GOAT AI（GOAT人工智能公司）；Higgsfield AI（希格斯场人工智能公司）
本研究发现开源指令微调数据集中的对齐机制会像“投毒”一样损害模型推理能力，实验显示含对齐的微调模型在BBH、MMLU等多个推理基准上的性能比无对齐对照低4%-33%。
2023-08-25 cs.CL
Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；ByteDance Inc（字节跳动公司）
本文提出 Linear Alignment 算法，通过散度约束下策略优化的新参数化和闭式解，在单次推理中实现 LLM 与人类偏好对齐，无需标注或训练。
2024-07-02 cs.CL
CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues
NVIDIA（英伟达）
针对对话场景下语言模型话题保持对齐数据缺失的问题，研究者推出含干扰轮次的多领域合成对话数据集CantTalkAboutThis，微调后模型的话题连贯性优于通用指令微调LLM，还能提升细粒度指令遵循及安全对齐表现。
2024-06-21 cs.CL
Multilingual Jailbreak Challenges in Large Language Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
该研究揭示LLM存在多语言越狱风险，并提出 Self-Defense 框架自动生成多语言安全微调数据，显著降低ChatGPT的不安全输出。
2024-03-04 cs.CL
Call for Rigor in Reporting Quality of Instruction Tuning Data
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）
该研究指出当前指令微调数据质量评估中存在超参数随意选择、缺乏论证的普遍问题，通过LIMA和Alpaca数据的实验证明该问题可导致结论任意性，呼吁严谨报告数据质量验证过程。
2025-05-16 cs.AI cs.CL
Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future
Yale University（耶鲁大学）；New York University（纽约大学）
本文调查了同行评审流程中的生成、 rebuttals 和 meta-review 等任务，以及评估方法，探讨了 LLM 在整个同行评审流程中的应用与未来方向。
2026-05-01 cs.AI cs.CL
Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses
University of Washington（华盛顿大学）；University of Washington - Bothell（华盛顿大学博塞尔校区）
本文通过Reddit ChangeMyView平台上的开放式问题评估大语言模型的心智理论推理能力，发现其与人类存在明显差距，并提出融入人类意图和情绪的提示调优方法以提升表现，但仍未达到类人推理水平。
2024-06-09 cs.AI cs.CL
Continual Visual Learning under Evolving Semantic Concept Shift
Mohammed Premier University（穆罕默德一世大学）；Sultan Moulay Slimane University（苏丹穆莱·斯利曼大学）
针对演化语义概念偏移问题，本文提出SemReWrite框架，结合低秩重写机制与结构化语义记忆等，构建EvoShift-Bench基准并引入多评价指标，在视觉持续学习中实现了修订语义与保留知识的更优平衡。
2026-08-26 cs.CL cs.CV
Unlearning Climate Misinformation in Large Language Models
Microsoft Corporation（微软公司）；University of Vermont（佛蒙特大学）；George Mason University（乔治梅森大学）；RC Athena（希腊研究与技术基金会雅典娜研究中心）
本文研究了LLMs在气候信息上的事实准确性，发现注入虚假信息可能不影响其他领域准确性，并比较了遗忘算法、微调和RAG，证明遗忘算法对细微概念性声明有效，为开发更可靠的LLMs提供了指导。
2024-05-29 cs.CL
Unlocking Reasoning Capability on Machine Translation in Large Language Models
University of Amsterdam（阿姆斯特丹大学）；Cohere Labs（Cohere实验室）
本文提出了一种针对翻译的结构化推理框架，通过多步骤草稿、充分性细化、流畅性提升和选择性迭代修订，显著提升了大语言模型在机器翻译中的性能。
2026-02-16 cs.AI cs.CL
Debias It Yourself: Teaching LLMs Cognitive Bias Mitigation Interventions
George Mason University（乔治梅森大学）；University of Washington（华盛顿大学）
提出基于认知的DIY框架，将五种人类去偏干预转化为大语言模型的去偏程序，通过展示、训练、修订三种范式实施，在多个基准上显著降低偏见并保持推理性能。
2026-10-20 cs.CL
Fine-Tuning Language Models on Multiple Datasets for Citation Intention Classification
University of Minnesota（明尼苏达大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Houston（休斯顿大学）
本文提出一种多任务学习框架，通过任务关系学习方法联合微调预训练语言模型与多个辅助引文意图分类数据集，在小数据集上超越现有最优模型7%至11%。
2024-10-17 cs.CL
Zero-Shot Strategies for Length-Controllable Summarization
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）；KIT Campus Transfer GmbH（KIT校园转让有限公司）
针对大型语言模型在零样本场景下精确长度控制的困难，本研究通过评估LLaMA 3的长度控制能力提出长度近似等组合方法，在无需微调或架构变更的情况下大幅提升长度合规性并维持摘要质量。
2025-02-11 cs.CL
Leveraging What's Overfixed: Post-Correction via LLM Grammatical Error Overcorrection
Graduate School of Artificial Intelligence, POSTECH, South Korea（POSTECH人工智能研究生院）；ETH Zurich, ETH AI Center（苏黎世联邦理工学院人工智能中心）；Department of Computer Science and Engineering, POSTECH, South Korea（POSTECH计算机科学与工程系）
针对小语言模型修正不足而大语言模型过度修正的问题，提出PoCO方法，先触发LLM过度修正提高召回率，再用小模型后修正，平衡召回与精确，提升语法纠错质量。
2025-09-25 cs.AI cs.CL
Divergent LLM Adoption and Heterogeneous Convergence Paths in Research Writing
Cornell University SC Johnson College of Business（康奈尔大学SC约翰逊商学院）；NBER（国家经济研究局）；Tsinghua University（清华大学）
本研究针对LLM在学术写作中的异质性采用问题，基于arXiv 62.7万余篇论文开发检测框架，揭示其在不同群体中的采用差异及对写作收敛的影响，发现LLM能提升写作质量并推动风格收敛，且特定群体转变更显著。
2025-04-18 cs.AI cs.CL econ.GN
#InsTag: Instruction Tagging for Analyzing Supervised Fine-tuning of Large Language Models
Alibaba DAMO Academy（阿里巴巴达摩院）
本文提出开放集细粒度指令标注器InsTag，用以量化SFT数据的多样性与复杂性，并据此选择6K样本训练TagLM，在MT-Bench上超越使用更多数据的开源模型。
2023-08-15 cs.AI cs.CL cs.LG
Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection
School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）
Hi-ZFO通过结合一阶和零阶优化，提升LLM微调的精度与探索能力，有效解决训练中的局部极小值问题。
2026-01-09 cs.CL cs.LG
From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning
University of Georgia（佐治亚大学）；Tencent AI Lab（腾讯人工智能实验室）
本文通过局部与全局解释方法对比预训练和指令微调后的大语言模型，揭示指令微调使模型识别指令、增强指令动词注意力并旋转前馈知识以面向用户任务，为理解和优化LLMs提供基础。
2024-04-04 cs.AI cs.CL cs.LG
Privacy-Preserving Instructions for Aligning Large Language Models
Sun Yat-sen University（中山大学）；Google Research（谷歌研究院）
针对用户指令人工标注带来的隐私风险，本文提出用私有微调生成器产生具有差分隐私保证的合成指令，并通过分布匹配过滤保持效用，实验表明其可媲美真实指令且优于 Vicuna。
2024-07-02 cs.CL cs.CR
On the Exploitability of Instruction Tuning
University of Maryland（马里兰大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Deepmind（谷歌DeepMind）
本文提出自动数据投毒流水线AutoPoison，通过oracle LLM将攻击目标融入少量训练数据，实现对指令调优模型行为的隐蔽操控，揭示了数据质量对LLM安全部署的重要性。
2023-10-28 cs.CL cs.CR cs.LG
Supporting Undotted Arabic with Pre-trained Language Models
Reichman University（赖希曼大学）
我们观察到社交媒体上最近的一种行为，用户故意从阿拉伯字母中删除辅音点，以绕过内容分类算法。内容分类通常通过微调预训练的语言模型来完成，这些模型最近已被许多自然语言处理应用程序所采用。在这项工作中，我们研究了应用预先训练的阿拉伯语语言模型对“未点”阿拉伯语文本的影响。我们提出了几种方法来支持undotted文本与预先训练的模型，没有额外的培训，并衡量他们的表现在两个阿拉伯语自然语言处理下游任务。结果令人鼓舞;在其中一个任务中，我们的方法显示出近乎完美的性能。
2021-11-18 cs.CL cs.LG
It's All in The [MASK]: Simple Instruction-Tuning Enables BERT-like Masked Language Models As Generative Classifiers
本文提出ModernBERT-Large-Instruct模型，通过简单指令微调利用MLM头实现生成式分类，零样本性能优于同类LLM，微调后匹配或超越传统分类头方法，为仅编码器模型在下游任务的应用提供新方向。
2025-02-10 cs.AI cs.CL
Reflect: Transparent Principle-Guided Reasoning for Constitutional Alignment at Scale
Duke University（杜克大学）；Independent Researcher（独立研究者）
Reflect通过透明推理框架在不需训练数据的情况下提升大语言模型对多样原则的对齐能力，增强安全性和鲁棒性。
2026-01-26 cs.CL cs.LG
Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies
Intelligent Systems Laboratory（智能系统实验室）；University of Bristol（布里斯托大学）
将基于事实的声明真实性检查建模为真假阅读理解任务，通过提示语言模型使用明确的应试策略进行高效推理，并训练小语言模型以降低推理成本。
2026-05-28 cs.AI cs.CL
Mitigating Jailbreaks with Intent-Aware LLMs
Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing（高性能计算研究所）；Agency for Science, Technology and Research（科技研究局）
本文提出Intent-FT微调方法，通过训练大语言模型在回答前推断指令潜在意图来缓解越狱攻击，实验表明其能将所有攻击类别成功率降至50%以下，同时保持模型通用能力并减少对良性指令的过度拒绝。
2025-08-23 cs.CL cs.CR
Task Memory Engine: Spatial Memory for Robust Multi-Step LLM Agents
New York University（纽约大学）
提出任务记忆引擎（TME），通过空间记忆图结构替代线性上下文，无需微调即可使LLM智能体在多步任务中消除幻觉和误解，显著优于ReAct。
2025-05-26 cs.AI cs.CL
Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks
Singapore Management University（新加坡国立管理学院）；The Chinese University of Hong Kong（香港中文大学）
本研究首次实证发现指令微调在代码任务中导致权衡：增强指令遵循能力却削弱代码填充性能，称之为“指令微调税”，并通过定性和定量分析总结出七项发现和四项启示。
2026-06-07 cs.AI cs.CL cs.SE
Error-Aware Knowledge Distillation via Targeted Revision for Customer-Service Summarization
eBay Inc.（eBay公司）
通过分析-修订-微调流程，利用开源模型提升客户服务摘要任务的性能，实现比专有模型更高效和隐私保护的摘要生成。
2026-02-26 cs.CL
Theory of Mind in Large Language Models: Examining Performance of 11 State-of-the-Art models vs. Children Aged 7-10 on Advanced Tests
Leiden Institute of Advanced Computer Science（莱顿大学高级计算机科学研究所）；Leiden University Medical Centre（莱顿大学医学中心）
本文通过超越错误信念范式的测试，比较11个LLMs与7-10岁儿童的心智理论能力，发现GPT系指令微调模型表现最佳且常优于儿童，并指出语言与ToM的协同进化可解释指令微调的增益。
2023-10-31 cs.AI cs.CL
