Exploring the Curious Case of Code Prompts
University of Pennsylvania（宾夕法尼亚大学）
本文在问答、情感和摘要等更广泛任务上比较三款 GPT 模型的代码提示与文本提示，发现代码提示并非普遍更优，其效果受提示风格和文本指令微调影响。
2023-04-26 cs.CL
The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text
École Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院、巴黎理工学院）；Linagora（Linagora公司）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Inria（法国国家信息与自动化研究所）
该研究通过递归微调实验和词汇、句法、语义多样性指标，揭示语言模型在前代生成的合成文本上反复训练会导致输出多样性持续下降。
2024-04-16 cs.CL
A Ship of Theseus: Curious Cases of Paraphrasing in LLM-Generated Texts
The Pennsylvania State University（宾夕法尼亚州立大学）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Indiana University（印第安纳大学）
本文以忒修斯之船悖论为喻，研究LLM多次改写后文本的作者归属问题，发现分类性能下降与偏离原作者风格程度相关，从而挑战传统作者归属观念。
2024-06-06 cs.CL
Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
Seoul National University（首尔国立大学）；AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
最近的研究已经确定，大规模神经语言模型的学习令牌嵌入退化为具有窄锥形状的各向异性。这种现象被称为表示退化问题，它促进了令牌嵌入之间的整体相似性的增加，从而对模型的性能产生负面影响。虽然现有的方法，解决退化问题的基础上观察的现象所引发的问题，提高了文本生成的性能，退化问题背后的令牌嵌入的训练动态仍然没有探索。在这项研究中，我们分析了令牌嵌入的训练动态，重点是稀有令牌嵌入。我们证明了稀有令牌嵌入的梯度的特定部分是训练阶段所有令牌退化问题的关键原因。在此基础上，提出了一种新的自适应梯度门控（AGG）方法. AGG通过门控稀有令牌嵌入的梯度的特定部分来解决退化问题。语言建模、词相似度和机器翻译任务的实验结果定量和定性地验证了AGG的有效性。
2022-06-08 cs.CL
Prompt Waywardness: The Curious Case of Discretized Interpretation of Continuous Prompts
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；University of California-Irvine（加州大学欧文分校）
微调目标任务的连续提示最近出现了一个紧凑的替代全模型微调。出于这些有希望的结果，我们研究的可行性提取离散（文本）的解释连续提示，是忠实于他们解决的问题。在实践中，我们观察到连续提示解决的任务与其最近邻离散投影之间的“任性”行为：我们可以找到解决任务的连续提示，同时被投影到任意文本（例如，不同或甚至矛盾的任务的定义），同时在用于该任务的相同大小的最佳连续提示的非常小（2%）的裕度内。我们提供了这种奇怪和令人惊讶的行为背后的直觉，以及量化各种参数的影响的广泛的实证分析。例如，对于更大的模型大小，我们观察到更高的任性，也就是说，我们可以找到更紧密地映射到任何任意文本的提示，并且准确性下降较小。这些研究结果具有重要的意义，涉及到忠实地解释连续提示的难度及其在模型和任务中的泛化，为提示语言模型的未来进展提供指导。
2022-05-04 cs.CL
Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale
Imperial College London（伦敦帝国理工学院）；University of Sheffield（谢菲尔德大学）；ADAPT - Dublin City University（都柏林城市大学ADAPT中心）
语言生成系统的自动评价是自然语言处理中的一个研究热点。虽然每年都会提出新的指标，但一些流行的指标仍然是评估图像描述和机器翻译等任务的事实上的指标，尽管它们有已知的局限性。这部分是由于易于使用，部分是因为研究人员希望看到它们并知道如何解释它们。在本文中，我们敦促社区更仔细地考虑如何通过在多个数据集，语言对和任务上展示重要的失败案例来自动评估他们的模型。我们的实验表明，度量（i）通常更喜欢系统输出，而不是人类创作的文本，（ii）对罕见单词的正确翻译不敏感，（iii）当给定单个句子作为整个测试集的系统输出时，可以获得令人惊讶的高分。
2020-10-26 cs.CL
FOCUS & RePAIR: Mitigating Text Degeneration via Token-Level Guidance for Pruned Large Language Models
POSTECH（浦项科技大学）；Daegu Gyeongbuk Institute of Science and Technology (DGIST)（大邱庆北科学技术院）；Hanyang University（汉阳大学）
该研究针对剪枝后大语言模型的文本退化问题，提出FOCUS与RePAIR两种令牌级引导微调方法，在两类生成任务上均有效减少重复并提升生成质量。
2026-08-28 cs.AI cs.CL cs.LG
Learning to Diversify Neural Text Generation via Degenerative Model
KAIST（韩国科学技术院）
本文提出通过先训练一个放大退化模式的模型，再让第二个模型学习其未覆盖的模式，从而提升神经文本生成的多样性，并在语言建模和对话生成任务上验证了有效性。
2023-09-22 cs.CL
PolygloToxicityPrompts: Multilingual Evaluation of Neural Toxic Degeneration in Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；University of Virginia（弗吉尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出首个覆盖17种语言、包含425K条提示的多语言毒性评估基准PTP，通过对60多个LLMs的评测发现毒性随语言资源减少和模型规模增大而上升，并揭示了现有安全调优方法的局限。
2024-08-10 cs.CL
On-the-Fly Attention Modulation for Neural Generation
Mila / McGill University（米拉实验室/麦吉尔大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of CSE, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Stanford University（斯坦福大学）
尽管深度神经语言模型（LM）取得了相当大的进步，但神经文本生成仍然存在退化问题：生成的文本重复、通用、自相矛盾，而且往往缺乏常识。我们对LMs的注意模式的分析表明，神经退化可能与注意力机制对特定任务特征的学习不足有关。这一发现激发了即时注意力调节-一种简单但有效的方法，可以在推理过程中将先验知识注入注意力计算。三个文本生成基准的自动和人工评估结果表明，注意力调制有助于LM生成具有增强的流畅性，创造力和常识推理的文本，除了显着减少重复水平。
2021-10-13 cs.CL
The Curious Case of Control
Johns Hopkins University（约翰斯·霍普金斯大学）
学习英语的儿童即使在达到接近成人的能力后，也会在主语控制句上犯系统性错误。Chomsky，1969），可能是由于基于语义角色的语义学（Maratsos，1974）。考虑到大型生成语言模型的高级流畅性，我们问模型输出是否与这些语法一致，以及不同模型之间的一致程度。我们发现，模型可以按行为分为三个独立的组，组之间有很大的差异。在最大的组中的模型的输出是一致的，成功的主题控制，但失败的对象控制的位置prostitics。这个结果是令人惊讶的，因为对象控制在用于训练这些模型的文本数据中是更频繁的数量级。我们研究了模型在多大程度上对代理-患者信息的提示敏感，发现提高代理和患者关系的显着性会导致大多数模型的输出发生显着变化。基于这一观察，我们利用现有的语义原型角色注释数据集（White等人，2020）来探索控制和标记事件参与者之间的联系，这些事件参与者具有通常与代理人和患者相关的属性。
2022-11-08 cs.CL
Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Tokyo University（东京大学）；Tokyo Institute of Technology（东京工业大学）
本研究分析了编码器型预训练语言模型微调中的退化鲁棒性，提出DefinitionEMB方法，利用Wiktionary定义重建各向同性且语义相关的词元嵌入，显著提升了低频词元在GLUE和文本摘要任务上的性能。
2024-10-16 cs.CL
A Curious Case of Searching for the Correlation between Training Data and Adversarial Robustness of Transformer Textual Models
FPT Software AI Center（FPT软件人工智能中心）；College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；Indiana University（印第安纳大学）
现有的工作表明，微调的文本Transformer模型实现了最先进的预测性能，但也容易受到敌对文本扰动。传统的对抗性评估通常是通过\textit{only after}对模型进行微调而忽略训练数据。在本文中，我们想证明训练数据和模型鲁棒性之间也有很强的相关性。为此，我们提取了13个不同的特征，代表了广泛的输入微调语料库属性，并使用它们来预测微调模型的对抗鲁棒性。主要集中在编码器仅Transformer模型BERT和RoBERTa与BART，ELECTRA和GPT 2的其他结果，我们提供了不同的证据来支持我们的论点。首先，实证分析表明：（a）提取的特征可以与轻量级分类器（如随机森林）一起使用，以有效地预测攻击成功率;（b）对模型鲁棒性影响最大的特征与鲁棒性具有明显的相关性。其次，我们的框架可以作为一种快速有效的鲁棒性评估工具，因为它（a）与传统技术相比节省了30 - 193倍的运行时间，（b）可以跨模型转移，（c）可以在对抗训练下使用，（d）对统计随机性具有鲁棒性。我们的代码可在\url{https://github.com/CaptainCuong/RobustText_ACL2024}上公开获取。
2024-07-02 cs.CL cs.CR cs.LG
The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models
本研究评估开源与闭源MLLMs在Raven's Progressive Matrices上的非言语抽象推理能力，揭示模型间巨大差距及感知缺陷，并发现Chain-of-Thought提示可显著提升性能（高达100%）。
2024-08-22 cs.CL
Momentum Decoding: Open-ended Text Generation As Graph Exploration
Beijing Institute of Technology（北京理工大学）
基于自回归语言模型的开放式文本生成是自然语言处理的核心任务之一。然而，基于最大化的解码方法（例如，贪婪/束搜索）经常导致退化问题，即，所生成的文本是不自然的并且包含不期望的重复。这个问题的现有解决方案要么引入随机性，倾向于不一致性，或需要一个前瞻机制，需要额外的计算开销。在本研究中，我们从一个新的角度，即，我们将其视为有向图中的探索过程。因此，我们将退化现象理解为有向图中的循环回路。基于我们的配方，我们提出了一种新的解码方法- \textit{momentum decoding} -它鼓励LM \textit{greedily}探索当前图之外的新节点。同时，它还允许LM返回到现有的节点与一个预先定义的阻力函数降级的动量。我们通过自动和人工评估，在来自不同领域的三个基准上广泛测试了我们的方法。结果表明，动量解码的性能与当前的最先进的，同时享有显着提高的推理速度和计算FLOPs。此外，我们进行了详细的分析，以揭示我们的方法的优点和内部工作。我们的代码和其他相关资源可在https://github.com/gmftbyGMFTBY/MomentumDecoding上公开获取。
2022-12-05 cs.CL
The Curious Case of Factuality Finetuning: Models' Internal Beliefs Can Improve Factuality
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
研究微调数据事实性与长文本生成幻觉的关系，发现基于模型内部信念过滤的模型生成数据微调比金标准数据更能提升跨领域事实性。
2025-07-11 cs.CL
The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation
Mila（米拉研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）；Meta AI
最先进的语言生成模型在应用于开放式生成问题（如文本补全、故事生成或对话建模）时可能会退化。这种退化通常表现为不连贯、缺乏词汇多样性、自我重复或从上下文中复制。在本文中，我们假设“类人”代通常位于一个狭窄的和几乎平坦的熵带，这些熵边界的违反与退化行为。我们的实验表明，这种稳定的窄熵区存在于模型，任务和域中，并证实了这一假设，即违反这一区域与退化相关。然后，我们使用这种洞察力，提出了一个熵感知解码算法，尊重这些熵的界限，从而减少退化，更多的上下文，和“类人”的语言生成在开放式文本生成设置。
2023-02-14 cs.CL
Mitigating Toxic Degeneration with Empathetic Data: Exploring the Relationship Between Toxicity and Empathy
University of Marburg（马尔堡大学）
大型预训练神经语言模型支持许多NLP任务的有效性，但仍然容易产生有毒语言，阻碍其使用的安全性。使用移情数据，我们改进了最近的可控文本生成工作，旨在减少生成的文本的毒性。我们发现，我们能够将微调数据的大小大幅减少到7.5- 30 k个样本，同时通过基于同理心分数的策略性采样数据，在230万个样本的原始工作中，对最先进的毒性缓解进行了显著改进，绝对减少了3.4%（相对减少了26%）。我们观察到，改善的程度取决于共情的具体沟通成分。特别是，在几乎所有的实验中，共情的认知成分都明显优于原始数据集，而情感共情与原始数据的随机样本的改善程度更低，甚至表现不佳。这对于NLP关于同理心的工作来说是一个特别有意义的见解，因为直到最近，为它建立的研究和资源都只考虑同理心作为一个情感概念。
2022-05-15 cs.AI cs.CL
Multi-level Adaptive Contrastive Learning for Knowledge Internalization in Dialogue Generation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
提出多层级自适应对比学习框架，通过动态采样负样本并在词元级和序列级惩罚复制式退化行为，促进对话生成中的知识内化，在WoW数据集上验证了有效性。
2023-10-17 cs.CL
Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
先进的大规模神经语言模型在许多语言生成任务中取得了重大成功。然而，最常用的训练目标，最大似然估计（MLE），已经被证明是有问题的，其中训练的模型更喜欢使用枯燥和重复的短语。在这项工作中，我们引入ScaleGrad，直接修改的梯度的损失函数，以弥补退化问题的标准MLE目标。通过直接操纵梯度信息，ScaleGrad使模型学习使用新的令牌。实验结果表明，我们的方法不仅在开放式生成的有效性，而且在定向生成任务。由于架构简单，我们的方法可以作为一个通用的训练目标，适用于大多数神经文本生成任务。
2021-06-14 cs.CL
A Contrastive Framework for Neural Text Generation
University of Cambridge（剑桥大学）；Tencent AI Lab（腾讯人工智能实验室）；DeepMind（深度思维）；The University of Hong Kong（香港大学）
文本生成对于许多自然语言处理应用都是非常重要的。然而，神经语言模型的基于最大化的解码方法（例如束搜索）通常会导致退化的解决方案-生成的文本是不自然的，并且包含不期望的重复。现有的方法通过采样或修改训练目标来引入随机性以降低某些令牌的概率（例如，不可能训练）。然而，它们往往导致缺乏连贯性的解决办法。在这项工作中，我们表明，模型退化的一个根本原因是令牌表示的各向异性分布。我们提出了一个对比解决方案：（i）SimCTG，一个对比训练目标，用于校准模型的表示空间，以及（ii）一种解码方法-对比搜索-鼓励多样性，同时保持生成文本的连贯性。广泛的实验和分析，从两种语言的三个基准测试表明，我们提出的方法显着优于目前最先进的文本生成方法的评估人类和自动度量。
2022-09-26 cs.CL
Improving Diversity of Neural Text Generation via Inverse Probability Weighting
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
神经文本生成存在重复等文本退化问题。传统的随机抽样方法只关注截断分布中不可靠的“尾部”，而没有解决“头部”部分，我们发现这部分可能包含繁琐甚至重复的候选项，这些候选项有很高的概率导致重复循环。他们也没有考虑人类文本并不总是倾向于高概率词的问题。受此启发，在这项工作中，我们提出了一个启发式抽样方法。我们建议使用预测分布的四分位数范围来确定“头部”部分，然后用逆概率置换和重新缩放“头部”。这旨在降低具有较高概率的乏味且可能重复的候选项的概率，并增加具有较低概率的合理但更令人惊讶的候选项的概率。该算法提供了一个合理的排列的预测分布，提高了多样性，而不损害合理性的分布。我们使用预先训练好的语言模型来比较我们的算法和传统的方法。实验结果表明，该算法能有效地提高生成样本的多样性，同时达到与人类文本相似的效果。
2021-08-26 cs.CL
DharmaOCR: Specialized Small Language Models for Structured OCR that outperform Open-Source and Commercial Baselines
Dharma-AI
DharmaOCR通过联合优化转录质量、生成稳定性与推理成本，提出专用小型语言模型，并通过统一评估协议提升OCR性能，实现高质量低成本的文本提取。
2026-04-15 cs.AI cs.CL cs.CV
On the Effects of Fine-tuning Language Models for Text-Based Reinforcement Learning
Villanova University（维拉诺瓦大学）；IBM Research（IBM研究院）
本文研究TBRL中语言模型微调的作用，证明语义理解可提升智能体训练效率，并揭示不当微调导致的语义退化及其对相似任务表现的影响。
2024-04-15 cs.CL
Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text Generation via Concentrating Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）；Jiangsu Normal University（江苏师范大学）；Jiangsu Collaborative Innovation Center for Language Ability（江苏语言能力协同创新中心）
最近，强大的Transformer体系结构在生成高质量句子方面已经证明了其优越性。然而，这些模型往往会产生枯燥的高频短语，严重损害了生成文本的多样性和新颖性。在这项工作中，我们深入研究了这个问题的内在机制，发现在Transformer中稀疏的注意力值可以提高多样性。为了理解这种现象，我们首先进行了实证和理论分析，然后将其归因于在训练过程中注意隐藏状态的混合所导致的表征退化。我们把这个过程称为平庸的陷阱。为了摆脱这样的陷阱，我们引入了一种新的注意力正则化损失来控制注意力分布的清晰度，这对模型结构是透明的，并且可以在20行Python代码内轻松实现。我们证明，这种方法可以在数学上被视为学习贝叶斯近似的后验注意。实验表明，我们的方法提高了所生成的文本的多样性和新颖性，同时在各种条件和无条件生成任务上保持相当的质量。
2022-11-14 cs.CL
MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
MacLaSa通过VAE构建紧凑潜在空间并利用ODE采样器实现高效多属性可控文本生成，在属性相关性和文本质量上优于强基线。
2023-10-17 cs.CL
Large Pre-trained Language Models Contain Human-like Biases of What is Right and Wrong to Do
Technical University of Darmstadt（达姆施塔特工业大学）；Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所）；Hessian Center for Artificial Intelligence (hessian.ai)（黑森州人工智能中心）
由于最近大规模的基于transformer的语言模型（LM）的进步，人工书写正在渗透我们的生活，例如BERT及其变体，GPT-2/3等。使用它们作为预先训练的模型并针对特定任务进行微调，研究人员已经扩展了许多NLP任务的最新技术水平，并表明它们不仅捕获语言知识，而且还保留了数据中隐含的一般知识。不幸的是，在未经过滤的文本语料库上训练的LM遭受退化和有偏见的行为。虽然这是公认的，但我们发现，最近的LM也包含了类似人类的偏见，即什么是对的，什么是错的，某种形式的社会伦理和道德规范-它们使“道德方向”浮出水面。也就是说，我们表明，这些规范可以捕捉几何方向，这可以计算，例如，通过PCA，在嵌入空间中，很好地反映了短语与训练文本中隐含表达的社会规范的一致性，并提供了减弱甚至防止LM中毒性退化的路径。能够评价任意短语的（非）规范性，而无需为此任务明确训练LM，我们展示了“道德方向”的能力，用于指导（甚至其他）LM产生规范性文本，并在RealToxicityTests测试平台上展示它，防止GPT-2中的神经毒性退化。
2022-02-14 cs.CL cs.CY
Tailoring Language Generation Models under Total Variation Distance
Tsinghua University（清华大学）；NetEase Inc.（网易公司）
神经语言生成的标准范例采用最大似然估计（MLE）作为优化方法。从分布的角度来看，MLE实际上最小化了真实数据分布和模型分布之间的Kullback-Leibler散度（KLD）。然而，这种方法迫使模型将非零（有时很大）概率质量分配给所有训练样本，而不管它们的质量如何。此外，在试图覆盖数据分布中的低概率区域时，该模型系统地高估了损坏的文本序列的概率，我们推测这是自回归解码期间文本退化的主要原因之一。为了解决这个问题，我们利用总变差距离（TVD）的鲁棒性离群值，并开发实用的界限，将其应用到语言生成。然后，我们引入Tailr目标，平衡估计TVD的权衡。直观地说，TaiLr降低了具有低模型概率的真实数据样本的权重，并具有可调的惩罚强度。实验结果表明，我们的方法在不牺牲多样性的情况下消除了退化序列的高估，并在广泛的文本生成任务上提高了生成质量。
2023-02-26 cs.CL
The JEPA Paradox in Language: The Geometry of Linguistic Alternatives
Center for AI Research (CAIR), VinUniversity（人工智能研究中心（CAIR），文大大学）；Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学（HCMUT））；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
研究语言中JEPA未成为文本编码器标准目标的问题，通过可预测性等三个条件形式化平方误差潜在预测与语言条件结构的不匹配，实验揭示相关序列及模式，表明文本兼容的JEPA目标应保留多个合理完成而非压缩为单个潜在点。
2026-07-28 cs.CL
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University（斯坦福大学）；Oxford University（牛津大学）
在开放式自然语言生成中，现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题，而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中，我们提出了人群抽样，贝叶斯风险最小化的解码方法的基础上，家庭，以解决这种多样性的质量权衡。受“群体智慧”原则的启发，群体抽样试图从候选人池中选择具有最小预期风险的候选人（即，最高预期奖励）。群体抽样可以被视为许多现有方法的概括，包括多数投票，在实践中，它可以被用作现有抽样方法的直接替代品。大量的实验表明，人群抽样在广泛的任务（包括摘要、数据到文本、翻译和文本风格转换）中提供了3-7个ROUGE和BLEU点的改进，同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study
Google Research（谷歌研究院）
大型生成语言模型（如GPT-2）以其生成文本的能力以及通过微调在监督下游任务中的实用性而闻名。我们的工作是双重的：首先，我们通过人工评估证明，被训练来区分人类和机器生成的文本的分类器作为“页面质量”的无监督预测器出现，能够在没有任何训练的情况下检测低质量内容。这使得能够在低资源设置中快速引导质量指示符。其次，为了了解低质量页面的普遍性和性质，我们对5亿多篇网络文章进行了广泛的定性和定量分析，使其成为有史以来最大规模的研究。
2020-08-17 cs.CL cs.LG stat.ML
LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation
IHLC（未提及具体中文译名）
本文针对LT-EDI 2026共享任务，用参数高效的LoRA微调实现性别包容性改写，还用推理时表示工程方法结合约束提示生成反叙事，通过PCA得出主引导方向注入中间表示，取得一定分数，同时分析了引导行为的关键失败模式。
2026-07-28 cs.CL
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自适应对比搜索解码策略，通过模型每一步的估计不确定性引导自适应退化惩罚，在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Fine-grained Image Captioning with CLIP Reward
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（奥多比研究中心）；Adobe Inc.（奥多比公司）
现代图像描述模型通常是以文本相似度为目标进行训练的。然而，由于公共数据集中的参考标题通常描述最突出的常见对象，因此使用文本相似性目标训练的模型往往会忽略图像的特定和详细方面，这些方面将其与其他方面区分开来。为了生成更具描述性和独特性的字幕，我们建议使用CLIP（一种在Web上训练的多模态编码器）来计算多模态相似度并将其用作奖励函数。我们还提出了一个简单的微调策略的CLIP文本编码器，以改善语法，不需要额外的文本注释。这完全消除了在奖励计算期间对参考字幕的需要。为了全面评估描述性字幕，我们引入了FineCapEval，这是一个用于字幕评估的新数据集，具有细粒度标准：整体、背景、对象、关系。在我们对文本到图像检索和FineCapEval的实验中，所提出的CLIP引导模型比CIDER优化模型生成更独特的字幕。我们还表明，我们的无监督的语法微调的CLIP文本编码器的退化问题的天真CLIP奖励。最后，我们展示了人类分析，其中注释者根据各种标准强烈偏好CLIP奖励而不是CIDER和MLE目标。代码和数据：https://github.com/j-min/CLIP-Caption-Reward
2023-03-29 cs.AI cs.CL cs.CV
ToViLaG: Your Visual-Language Generative Model is Also An Evildoer
Tongji University（同济大学）；Microsoft Research Asia（微软亚洲研究院）
本研究针对视觉语言生成模型的有毒内容生成风险，构建ToViLaG数据集、提出WInToRe毒性度量指标完成基准测试，并开发出兼顾去毒效果与生成质量的瓶颈式去毒方法。
2023-12-13 cs.AI cs.CL
CASTILLO: Characterizing Response Length Distributions of Large Language Models
KTH Royal Institute of Technology（皇家理工学院）；RISE Computer Science（RISE计算机科学）；Karolinska Institutet（卡罗林斯卡研究所）
针对LLM推理中响应长度随机导致资源管理困难的问题，提出CASTILLO数据集，刻画13个开源模型在7个语料库上的长度分布，支持预测模型开发与系统调度。
2025-05-22 cs.AI cs.CL
CFL: Causally Fair Language Models Through Token-level Attribute Controlled Generation
IISc（印度科学学院）；IBM Research（IBM研究院）
提出基于 ATE、反事实增强和 SCM 的即插即用 CFL 架构，在保持困惑度的同时实现 LM 去毒并缓解偏见，RTP 基准达到最优。
2023-06-01 cs.AI cs.CL
Correlation Dimension of Auto-Regressive Large Language Models
Waseda University（早稻田大学）
本文引入分形几何中的相关维数来量化语言模型感知文本的复杂性，揭示预训练阶段、上下文依赖、幻觉倾向及退化检测，方法高效且适用于多种自回归架构。
2025-10-24 cs.AI cs.CL nlin.CD
