Understanding and Controlling Repetition Neurons and Induction Heads in In-Context Learning
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学);RIKEN(日本理化学研究所)
本文从重复神经元视角探究大语言模型重复模式识别与上下文学习性能的关系,发现神经元层深影响其对ICL性能的作用,对比重复神经元与归纳头后提出减少重复输出且保持ICL能力的策略。
2025-11-11 cs.CL
Toward Beginner-Friendly LLMs for Language Learning: Controlling Difficulty in Conversation
University of Pennsylvania(宾夕法尼亚大学)
本文提出通过可控生成技术提升初学者与LLM对话的可理解性,实验表明该方法能显著提高输出清晰度,并引入新的评估指标支持语言学习研究。
2026-02-18 cs.CL cs.HC
Controlling Output Rankings in LLM-Based Search via Generative Engine Optimization
School of Information Sciences, University of Illinois at Urbana-Champaign, IL, USA(伊利诺伊大学厄巴纳-香槟分校信息科学学院);Independent Researcher, Starc Institute(Starc研究所独立研究者);Research Scientist, Intel Labs, Santa Clara, CA, USA(英特尔实验室研究科学家)
CORE通过优化内容生成,提升基于LLM的搜索中小企业产品的可见性,实现高推广成功率。
2026-10-22 cs.AI cs.CL cs.IR
Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning
University of Melbourne(墨尔本大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Oracle(甲骨文公司)
本文提出通过KL优化微调结合语义对齐的方法,解决多轮LLM生成中分布控制问题,实验显示其在属性生成任务中表现优异。
2026-04-07 cs.CL
Controlling Large Language Models Through Concept Activation Vectors
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences(中国科学院智能信息处理重点实验室);Key Lab of AI Safety of Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对LLM受控生成资源消耗大或控制粒度粗的问题,提出轻量级GCAV框架,通过训练并引导概念激活向量实现毒性、情感、风格和主题的精确控制。
2025-01-10 cs.CL
BeLLMan: Controlling LLM Congestion
Microsoft(微软)
针对LLM应用忽视基础设施负载导致延迟与能耗问题,提出beLLMan控制器,通过动态信号调整输出长度,在H100测试平台上实现延迟降低8倍、能耗降低25%并多服务19%请求。
2025-10-17 cs.AI cs.CL cs.DC
Hallucination Basins: A Dynamic Framework for Understanding and Controlling LLM Hallucinations
Illinois Mathematics and Science Academy(伊利诺伊数学与科学学院);AI Innovation Institute, Stony Brook University(石溪大学人工智能创新研究所)
本文提出几何动态系统框架,通过分析潜在空间中的盆地结构来理解LLM幻觉现象,发现任务依赖性显著影响分离性,并通过任务复杂度和多盆地定理展示几何感知引导可降低幻觉概率。
2026-04-06 cs.AI cs.CL cs.SY
From Outcome to Representation: Tracing Reasoning Mechanisms through Integrated Policy Gradient
Independent Researcher(独立研究者);ShanghaiTech University(上海科技大学)
本文提出集成策略梯度框架,通过反向传播复合结果信号,实现对大语言模型推理行为的精确解释与控制。
2026-11-05 cs.AI cs.CL cs.LG
Controlling Language and Diffusion Models by Transporting Activations
Apple(苹果公司)
本文提出基于最优传输理论的通用激活引导框架AcT,以可忽略的计算开销实现对大型语言模型和文本到图像扩散模型的细粒度控制,并在毒性缓解、概念诱导、真实性提升、风格控制与概念否定等任务中验证其有效性。
2024-11-22 cs.AI cs.CL cs.CV
Faster but Different: Diagnosing and Controlling Content Drift in Accelerated Multimodal Diffusion Language Models
School of Mathematics and Statistics, Beijing Institute of Technology(北京理工大学数学与统计学院);Zhejiang University(浙江大学)
该研究针对加速多模态扩散语言模型的内容漂移问题,通过实验诊断出漂移源于过期状态,提出缩短KV缓存刷新区间的控制方法,在1.3倍加速时实现近乎完全一致,且未发现事实错误差异。
2026-08-03 cs.CL
Controlling Output Length in Neural Encoder-Decoders
Tokyo Institute of Technology(东京工业大学);Carnegie Mellon University(卡内基梅隆大学)
神经编码器-解码器模型在许多序列生成任务中表现出巨大的成功。然而,以前的工作没有调查的情况下,我们想控制编码器-解码器输出的长度。这种能力对于文本摘要等应用程序至关重要,在这些应用程序中,我们必须生成具有所需长度的简明摘要。在本文中,我们提出了控制神经编码器-解码器模型的输出序列长度的方法:两种基于解码的方法和两种基于学习的方法。结果表明,我们基于学习的方法有能力控制长度,而不会降低摘要质量的摘要任务。
2016-09-30 cs.CL
Controlling Large Language Model Agents with Entropic Activation Steering
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
研究LLM智能体探索行为的控制问题,提出表征层面的激活控制方法EAST,通过影响高级动作和调节思想不确定性来有效操纵探索,并证明控制向量的跨任务泛化性,揭示了智能体在表征空间显式编码动作不确定性。
2024-10-10 cs.CL
Controlling the Output Length of Neural Machine Translation
Amazon(亚马逊)
神经机器翻译(NMT)的最新进展正在迅速扩大机器翻译的应用领域,并重塑目标质量水平。特别是,如果翻译必须符合某种特定的布局,则质量不仅应根据适当性和流畅性来衡量,还应根据长度来衡量。示例性情况是文档文件、字幕和配音脚本的翻译,其中输出长度理想地应该尽可能接近输入文本的长度。本文地址的第一次,尽我们所知,在NMT的输出长度控制的问题。我们研究了两种使用Transformer架构偏置输出长度的方法:i)将输出调节为给定的目标源长度比类,ii)使用长度信息丰富Transformer位置嵌入。我们的实验表明,这两种方法都可以诱导网络生成更短的翻译,并获得可解释的语言技能。
2019-10-25 cs.CL
L1: Controlling How Long A Reasoning Model Thinks With Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本研究提出强化学习方法LCPO,训练出可精准控制思维链长度的推理模型L1,实现计算成本与准确率的平滑权衡,还发现其短推理能力,1.5B规模在等推理长度下超越GPT-4o。
2025-10-03 cs.AI cs.CL cs.LG
Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation
School of Informatics, Xiamen University, China(信息学院,厦门大学);Alibaba International Digital Commerce Group(阿里巴巴国际数字 commerce 集团);Li Auto Inc(李汽车公司)
本文提出一种动态反馈机制,用于提升LLM在生成文本时对长度的精确控制,通过无训练方法和进一步微调实现更准确的长度调节。
2026-01-07 cs.CL
Length Representations in Large Language Models
Chungnam National University(Chungnam 国立大学);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所);Institute of Science Tokyo(东京科学研究所)
本文实证揭示了LLMs通过多头注意力机制和特定隐藏单元以解耦方式编码并控制输出序列长度,表明模型已自主学习稳健的长度控制机制。
2025-08-20 cs.CL
Concise Thoughts: Impact of Output Length on LLM Reasoning and Cost
Scuola Superiore Sant’Anna(圣安娜高等学校);National Research Council of Italy(意大利国家研究委员会);Sapienza Università di Roma(罗马第一大学);Mediavoice Srl(Mediavoice股份公司)
本文提出CCoT方法,通过控制输出长度提升LLM推理的简洁性和效率,并验证了相关指标的有效性。
2025-01-23 cs.AI cs.CL
Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators
Stanford University(斯坦福大学)
本文提出长度控制的 AlpacaEval,通过广义线性模型以零长度差异为条件消除自动评估中的长度偏差,使指标更鲁棒并将与 LMSYS Chatbot Arena 的 Spearman 相关系数从 0.94 提升至 0.98。
2025-03-10 cs.AI cs.CL cs.LG
Language of Thought Shapes Output Diversity in Large Language Models
iNLP Lab, Singapore University of Technology and Design(新加坡科技设计大学iNLP实验室)
本文研究了语言形态对大语言模型输出多样性的影响,通过多语言思考策略提升输出多样性,并在实际应用中展现文化知识的广泛覆盖。
2026-04-16 cs.CL cs.CY
Towards Neural Programming Interfaces
Duke University(杜克大学);Brigham Young University(杨百翰大学)
众所周知,控制诸如生成神经语言模型之类的人工神经网络的行为是非常困难的。我们将控制自然语言生成的问题重新定义为学习与预训练的语言模型交互的问题,就像应用程序编程接口(API)通过改变超参数来控制程序的行为一样。在这种新的范式中,一个专门的神经网络(称为神经编程接口或NPI)通过操纵预训练模型的隐藏激活来学习与预训练语言模型交互,以产生所需的输出。重要的是,原始模型的权重不会发生永久性的变化,这使得我们可以在不破坏语言模型任何方面的情况下,为新任务重新使用预训练模型。我们还贡献了一个新的数据集构造算法和GAN启发的损失函数,使我们能够训练NPI模型来控制自回归Transformers的输出。在针对其他最先进方法的实验中,我们使用OpenAI的GPT-2模型证明了我们的方法的有效性,成功地控制了名词选择,话题厌恶,攻击性语音过滤和语言的其他方面,同时在确定性设置下基本上保持了受控模型的流畅性。
2021-02-18 cs.AI cs.CL
LoopLLM: Transferable Energy-Latency Attacks in LLMs via Repetitive Generation
针对现有LLM能量-延迟攻击因输出变长难以控制终止符号的问题,提出LoopLLM框架,通过重复生成触发低熵解码循环迫使模型生成至输出限制,引入重复诱导提示优化和令牌对齐集成优化,在多模型上实现超90%最大输出长度且迁移性提升约40%。
2025-11-11 cs.AI cs.CL cs.CR
Reason in Style: Discovering and Controlling Style in Language Models
NYU(纽约大学);NYU Langone Health(纽约大学朗格尼医学中心)
本研究提出一种无监督算法,从语言模型输出中分离内容与风格,发现九种教师模型中的六种风格,通过重要性加权微调学生模型,在六个数学推理基准上提升Pass@k,实现风格控制并改善推理性能。
2026-10-02 cs.CL cs.LG
Controlling Translation Formality Using Pre-trained Multilingual Language Models
University of Maryland(马里兰大学)
本文介绍了马里兰大学提交给\iwslt的口语翻译形式控制特别任务,该任务评估了从英语到6种语言的翻译,这些语言具有不同的语法形式标记。我们调查在何种程度上可以解决这个问题的\textit{single multilingual model},同时控制其输出的目标语言和正式。实验结果表明,该策略可以达到专用翻译模型所能达到的翻译质量和形式控制的效果。然而,底层预训练语言模型和微调样本的性质极大地影响结果。
2022-05-13 cs.CL
Controlling Text Complexity in Neural Machine Translation
University of Maryland(马里兰大学)
这项工作介绍了一个机器翻译任务,输出是针对不同水平的目标语言熟练程度的观众。我们收集了一个高质量的数据集的英语和西班牙语的新闻文章,写不同的年级水平,并提出了一种方法来调整段在可比的双语文章。由此产生的数据集使得训练多任务序列到序列模型成为可能,这些模型将西班牙语翻译成英语,目标是比原始西班牙语更容易阅读的等级水平。我们表明,这些多任务模型优于独立翻译和简化文本的管道方法。
2019-11-03 cs.CL
A Large-Scale Multi-Length Headline Corpus for Analyzing Length-Constrained Headline Generation Model Evaluation
The Asahi Shimbun Company(朝日新闻社);Retrieva, Inc.(Retrieva公司);Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);RIKEN Center Advanced Intelligence Project(理化学研究所先进智能项目中心)
现在可以在多个设备上浏览新闻文章。新闻文章标题的长度有精确的上限,由相关设备或界面的显示大小决定。因此,在将标题生成任务应用于新闻制作时,控制标题的长度是至关重要的。然而,由于没有语料库的标题的多种长度为一个给定的文章,以前的研究控制输出长度的标题生成没有讨论是否系统输出可以充分评估没有多个不同长度的参考。在本文中,我们介绍了两个语料库,这是日本新闻语料库(JNC)和日本语多长度标题语料库(JAMUL),以确认以前的评估设置的有效性。JNC为标题生成提供了通用的监督数据。JAMUL是一个由专业编辑撰写的三种不同长度标题的大规模评估数据集。我们报告这些语料库的新发现,例如,虽然最长长度的参考摘要可以适当地评估现有的方法控制输出长度,这种评估设置有几个问题。
2019-09-26 cs.CL
Controlling Utterance Length in NMT-based Word Segmentation with Attention
LIMSI(法国计算机科学与自动化研究所);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);LIG(格勒诺布尔信息学实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
计算语言文档(CLD)的基本任务之一是在未分割的音素流中识别单词边界。虽然文献中存在几种无监督单语分词算法,但它们在现实世界的CLD设置中受到少量可用数据的挑战。一种可能的补救办法是利用注释或翻译成资源丰富的外语,这类数据通常都有。在本文中,我们探索和比较的方法,利用神经机器翻译模型进行无监督的边界检测与双语信息,特别是引入了一个新的损失函数联合学习对齐和分割。我们的实验与实际的资源不足的语言,Mboshi,并表明,这些技术可以有效地控制输出分割长度。
2019-10-18 cs.CL
Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究院);Stevens Institute of Technology(史蒂文斯理工学院);Dalhousie University(达尔豪斯大学)
本文提出利用 Prompt Tuning 训练提示嵌入,并以小型语言模型作为判别器,实现数据与参数高效的文本生成控制,在四类数据集上验证了情感、正式度和毒性控制效果。
2024-04-08 cs.AI cs.CL cs.LG
Controlling Implicit Shortcut Reliance in L2 Spoken English Auto-markers
研究语言能力评估中自动评分器过度依赖输入特定方面的问题,提出新颖训练标准减少分类器对捷径的依赖,通过在两种评估系统上的实验,降低了与不当行为相关特征的相关性。
2026-07-20 cs.CL eess.AS
Using natural language prompts for machine translation
Google(谷歌)
我们探索使用自然语言提示来控制由机器翻译模型生成的输出的各个方面。我们证明,自然语言提示允许我们影响的输出像正式或特定方言的属性。我们表明,使用语言名称来控制多语言翻译模型的输出语言,可以为看不见的语言对实现正迁移。这解锁了通过使用他们的英文名字翻译成微调期间看不到的语言的能力。我们研究了规模,预训练步骤的数量,微调中的语言数量以及语言相似性如何影响这种现象。
2022-02-23 cs.CL
Controlling Computation versus Quality for Neural Sequence Models
Google Research(谷歌研究院)
大多数神经网络对每个例子都使用相同的计算量,而与输入的固有复杂性无关。此外,使计算量适应示例的方法集中于每个示例找到固定的推理时间计算图,忽略任何外部计算预算或变化的推理时间限制。在这项工作中,我们利用条件计算,使神经序列模型(Transformer)更有效和计算感知推理。我们首先修改了Transformer架构,使每组操作都可以根据学习的控制网络的输出有条件地执行。然后,我们在多任务设置中训练该模型,其中每个任务对应于特定的计算预算。这允许我们训练单个模型,该模型可以被控制以在计算质量权衡曲线的不同点上操作,这取决于推断时的可用计算预算。我们在两个任务上评估我们的方法:(i)WMT英法翻译和(ii)无监督表示学习(BERT)。我们的实验表明,所提出的条件计算Transformer(CCT)是有竞争力的香草Transformers时,允许利用其全部计算预算,同时提高显着的计算等效基线时,较小的计算预算。
2020-04-16 cs.CL cs.LG stat.ML
Controlling Reading Ease with Gaze-Guided Text Generation
MaiNLP, Center for Information and Language Processing, LMU Munich(MaiNLP、信息与语言处理中心、慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
通过眼动引导生成可控阅读易度的文本,利用眼动模式预测优化语言模型输出,提升文本可读性与学习效果。
2026-01-25 cs.CL
Controlling Emotion in Text-to-Speech with Natural Language Prompts
University of Stuttgart(斯图加特大学)
本文提出一种基于自然语言情感提示的 TTS 条件化系统,通过在 transformer 架构中融合说话人与提示嵌入并动态更换训练提示,实现准确情感迁移且保持音色、音质与可懂度。
2024-06-11 cs.CL cs.SD eess.AS
A Universal Vibe? Finding and Controlling Language-Agnostic Informal Register with SAEs
Ariel University(阿里尔大学)
研究通过SAEs探测Gemma-2-9B-IT模型内部表示,发现多语言模型能处理非正式语气为跨语言抽象概念,而非孤立语言记忆。
2026-09-03 cs.CL
Controlling Multimodal LLMs via Reward-guided Decoding
Mila - Quebec AI Institute(魁北克AI研究院);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Meta FAIR;Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出首个针对多模态大语言模型的奖励引导解码方法,通过两个独立奖励模型分别控制目标精确度和召回率,并控制搜索广度,在标准目标幻觉基准上实现了对MLLM推理的即时可控性,且持续优于现有幻觉缓解方法。
2025-08-15 cs.AI cs.CL cs.CV
Controllable Prosody Generation With Partial Inputs
Papercup Ltd.(Papercup公司)
针对文本转语音中韵律难以快速精确控制的问题,提出由部分韵律输入补全并生成完整音频的人在回路框架,仅需约4个输入值即可获得4:1的听者偏好优势。
2024-04-16 cs.AI cs.CL cs.LG
Word-Level Style Control for Expressive, Non-attentive Speech Synthesis
Innoetics, Samsung Electronics(Innoetics,三星电子);Samsung Electronics(三星电子)
本文提出了一种表达语音合成架构,用于在单词级别上建模和控制说话风格。它试图学习词级的风格和韵律表示的语音数据,与两个编码器的帮助。第一个模型通过为每个单词找到给定声学特征的风格标记的组合来建模风格,第二个模型输出仅以语音信息为条件的单词级序列,以便将其与风格信息分离。两个编码器输出与音素编码器输出对齐并连接,然后用非注意Tacotron模型解码。一个额外的先验编码器用于自回归地预测风格标记,以便模型能够在没有参考话语的情况下运行。我们发现,由此产生的模型,使两个字的水平和全球控制的风格,以及韵律传输能力。
2021-11-19 cs.CL cs.LG cs.SD
Maximizing Stylistic Control and Semantic Accuracy in NLG: Personality Variation and Discourse Contrast
Natural Language and Dialogue Systems Lab(自然语言与对话系统实验室);University of California Santa Cruz(加州大学圣克鲁兹分校)
用于面向任务的对话的神经生成方法通常从使用域信息的数据库(诸如描述餐馆的数据表)填充的意义表示生成。虽然早期的工作只集中在输出的语义保真度,最近的工作已经开始探索控制生成的文本的风格,同时实现语义准确性的方法。在这里,我们用两个文体基准任务进行实验,生成表现出个性变化的语言,并生成话语对比。我们报告了一个巨大的性能改进,无论是在风格控制和语义准确性的最先进的这两个基准。我们测试了几个不同的模型,并表明,在解码器中加入风格条件反射并消除早期模型中使用的语义重排序器,可以使人格的BLEU提高15分以上,语义错误减少到接近零。我们还报告了控制对比度从0.75提高到0.81,语义错误从16%减少到2%。
2019-07-22 cs.AI cs.CL cs.LG