Balancing Stylization and Truth via Disentangled Representation Steering
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学 Gallagher人工智能学院)
针对表示编辑导致LLM风格化响应时真实性下降的问题,提出StyliTruth,通过正交去flation解耦风格与真实子空间,并设计自适应令牌级引导向量,在多种风格和语言上显著减少真实性崩溃并优于现有方法。
2025-08-07 cs.CL
Refusal Steering: Fine-grained Control over LLM Refusal Behaviour for Sensitive Topics
通过引导向量控制LLM在敏感话题上的拒绝行为,实现安全且可控的审核方法。
2026-02-24 cs.AI cs.CL
Personalized Text Generation with Contrastive Activation Steering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Northeastern University(东北大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
本文提出无需训练的StyleVector框架,将个性化写作风格表示为LLM激活空间中的向量,在推理时实现风格引导生成,相比PEFT方法提升8%生成效果并降低1700倍存储需求。
2025-03-07 cs.CL
Steering at the Source: Style Modulation Heads for Robust Persona Control
The University of Tokyo, Tokyo, Japan(东京大学);National Institute of Informatics Research(信息处理研究所);Development Center for Large Language Models, Japan(大型语言模型发展中心)
本文通过识别并仅干预少量注意力头(风格调制头),在无需微调的情况下实现对大型语言模型角色和风格的稳健控制,同时显著缓解了残差流干预导致的连贯性下降问题。
2026-05-28 cs.AI cs.CL cs.CY
Same Author or Just Same Topic? Towards Content-Independent Style Representations
Utrecht University(乌得勒支大学)
语言风格是语言的重要组成部分。风格表征发展的最新进展越来越多地使用作者身份验证(AV)的训练目标:两个文本是否具有相同的作者?AV训练任务的假设(同一作者近似相同的写作风格)使自我监督,因此,广泛的培训。然而,在AV任务上的良好表现并不能确保良好的“通用”风格表示。例如,由于同一作者通常可能会撰写某些主题,因此在AV上训练的表示也可能编码内容信息,而不仅仅是风格。我们介绍了一个变异的AV训练任务,控制使用会话或域标签的内容。我们评估是否已知的风格尺寸表示和首选的内容信息,通过一个原始的变化,最近提出的STEL框架。我们发现,通过控制会话训练的表示比用域或没有内容控制训练的表示在表示独立于内容的风格方面更好。
2022-04-11 cs.CL
GLASS: GRPO-Trained LoRA for Acoustic Style Steering in Zero-Shot Text-to-Speech
Department of Artificial Intelligence, Sungkyunkwan University(人工智能系,全州大学)
提出GLASS框架,通过GRPO训练轻量LoRA适配器实现零样本自回归TTS中可组合的声学风格控制,无需风格标签即可从奖励中学习控制。
2026-06-04 cs.CL cs.SD eess.AS
Knowledge-Graph-Gated Defactualization for Style-Controllable and Fact-Preserving Generation in Agentic Conversational AI
Indian Institute of Technology (IIT) Bhilai(印度比莱印度理工学院)
针对智能体对话AI的事实保留与风格可控生成需求,提出DSR知识工程框架,结合KG与激活引导,在LLaMA系列模型上验证其可提升实体恢复率并保持风格控制,无需微调。
2026-08-24 cs.AI cs.CL
Characterizing the Language of Online Communities and its Relation to Community Reception
University of Washington(华盛顿大学)
这项工作调查的风格和主题方面的语言在网上社区:看两个效用作为社区的标识符和相关性与社区接收的内容。风格的特点是使用一个混合的词和词性标记n-gram语言模型,而主题表示使用潜在的狄利克雷分配。对几个Reddit论坛的实验表明,风格是比主题更好的社区身份指标,即使是围绕特定主题组织的社区。此外,社区对贡献的接受程度与该社区的风格相似性之间存在正相关关系,但主题相似性并非如此。
2016-09-15 cs.CL
Steering Large Language Models for Machine Translation Personalization
CLCG, University of Groningen(格罗宁根大学);University of Milano-Bicocca(米兰比可卡大学)
本文探讨在少量示例下如何个性化自动翻译,聚焦文学翻译领域,通过对比引导与稀疏自编码器(SAE)潜变量实现稳健的风格条件和翻译质量,提升推理效率。
2025-10-14 cs.AI cs.CL cs.LG
DLM-SWAI: Steering Diffusion Language Models Before They Unmask
Department of Computer Science(计算机科学系);Yonsei University(延世大学)
提出一种无需训练的引导方法DLM-SWAI,通过预计算的词级风格分数在去噪步骤中偏置词分布,实现扩散语言模型的可控生成。
2026-05-28 cs.AI cs.CL
The Effectiveness of Style Vectors for Steering Large Language Models: A Human Evaluation
German Aerospace Center (DLR), Institute of Software Technology(德国航空航天中心(DLR)软件技术研究所)
本研究通过人类评估验证了激活引导在控制大型语言模型情绪输出中的有效性,发现中等强度引导能显著增强目标情绪并保持文本可理解性,且模型升级后效果更稳定。
2026-01-29 cs.AI cs.CL cs.HC
Embedding Style Beyond Topics: Analyzing Dispersion Effects Across Different Language Models
LIP6, Sorbonne University, CNRS(法国国家科学研究中心-索邦大学LIP6实验室);Infopro Digital(英富普罗数字公司)
本文研究写作风格对多个最先进语言模型嵌入向量离散度的影响,通过法英双语文学语料库比较模型敏感性,以提升语言模型对风格信息的处理与可解释性。
2025-01-01 cs.AI cs.CL
On the Limits of Steering Vectors for Preference-Aligned Generation
Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
研究引导向量在偏好对齐生成中的泛化限制,发现其有效性在不同特质、任务迁移和多特质组合中显著下降,表明其作为通用工具的局限性。
2026-07-03 cs.CL
Endogenous Resistance to Activation Steering in Language Models
University of Washington(华盛顿大学)
研究发现大型语言模型在任务不匹配的激活引导下能内生抵抗,通过显式重启恢复正确生成,并识别出相关稀疏自编码器潜在变量,可增强或削弱该抵抗。
2026-07-07 cs.AI cs.CL cs.LG
Separating Style from Substance: Enhancing Cross-Genre Authorship Attribution through Data Selection and Presentation
Information Sciences Institute, University of Southern California(南加州大学信息科学学院)
针对跨主题与跨体裁作者归属识别中训练数据稀缺及模型依赖主题的问题,本文提出训练数据选择方法和新型学习课程,显著提升跨体裁识别性能。
2024-08-09 cs.CL
Attribute-Based Activation Steering of LLMs for Group-Specific Explanation Generation
Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
该研究针对特定群体解释生成需求,提出基于属性的LLMs激活导向方法,经实验验证其相比基线方法能更好适配目标群体并保持事实性。
2026-09-02 cs.CL
Scenario-based Probing and Steering Cultural Values in Large Language Models--Extended Version
University of Copenhagen(哥本哈根大学);Aalborg University(奥尔堡大学)
提出基于场景的行为困境方法,通过令牌级概率和激活引导探测并调整LLM在英格尔哈特-韦尔泽尔文化轴上的潜在价值观,发现不同文化维度的引导存在耦合效应。
2026-06-11 cs.CL
UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering
ShanghaiTech University(上海科技大学)
提出UniSteer,一种文本引导的激活流匹配模型,通过学习残差流激活的条件分布,实现统一的行为控制、真实性引导、细粒度概念引导、多约束指令遵循和激活空间分类。
2026-05-28 cs.CL
Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation
Kempelen Institute of Intelligent Technologies(肯佩伦智能技术研究所);German Research Institute for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
提出激活引导作为低资源语言合成数据生成的替代方法,包括语言引导和质量引导,实验表明早期层引导能提升数据多样性和下游模型性能。
2026-09-22 cs.CL
Steering Language Models in Multi-Token Generation: A Case Study on Tense and Aspect
University of Mannheim(曼海姆大学);Technical University Clausthal(克劳斯泰尔大学)
本研究探讨了LLMs内部对动词时态和体的表示与控制,利用线性判别分析在残差空间识别正交方向,并通过概念引导实现因果控制,发现引导强度、位置和持续时间是减少多Token生成中副作用的关键参数。
2025-09-15 cs.CL
CLaS-Bench: A Cross-Lingual Alignment and Steering Benchmark
Saarland University(萨尔兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Centre for European Research in Trusted AI (CERTAIN)(可信AI欧洲研究中心(CERTAIN));University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);TU Darmstadt(德累斯顿技术大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所(Mila));McGill University(麦吉尔大学)
CLaS-Bench是首个多语言引导基准,通过评估32种语言中的语言强制行为,验证了残差基于DiffMean方法在跨语言引导中的有效性。
2026-01-13 cs.CL
PILOT: Steering Synthetic Data Generation with Psychological & Linguistic Output Targeting
PILOT框架通过将自然语言画像转换为结构化心理语言学画像来引导大语言模型生成合成数据,实验表明基于模式的方法能显著减少画像重复并提高输出连贯性,混合引导则在多样性与一致性之间取得平衡。
2025-09-18 cs.AI cs.CL
Interpreting Style Representations via Style-Eliciting Prompts
University of Michigan(密歇根大学)
提出一种通过风格诱导提示解释风格表示的新框架,利用大型语言模型生成自然语言描述,并在风格描述和模仿任务中优于直接提示的基线方法。
2026-06-04 cs.CL
Negative Before Positive: Asymmetric Valence Processing in Large Language Models
Manipal Institute of Technology Bengaluru(班加罗尔Manipal理工学院)
研究揭示大型语言模型中情感正负值处理的非对称性,通过激活修补和引导发现负面情感在早期层处理,正面情感在中后期层峰值,证明情感可被操控。
2026-05-07 cs.CL
Effectively Steer LLM To Follow Preference via Building Confident Directions
University of Minnesota, Twin Cities(明尼苏达大学双城分校);AWS(亚马逊云计算服务);Amazon(亚马逊公司)
本文提出理论框架量化模型引导,并据此提出CONFST方法,通过在推理时修改LLM激活构建置信方向,实现对多个用户偏好的高效、简单且无需显式指令的对齐引导。
2025-03-04 cs.AI cs.CL
SCAR: Sparse Conditioned Autoencoders for Concept Detection and Steering in LLMs
TU Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Aleph Alpha
本文提出稀疏条件自编码器 SCAR,作为单一扩展模块在生成前检测并双向引导 LLM 的毒性、安全性和写作风格等概念,在保持基准生成质量的同时实现安全可控部署。
2024-12-05 cs.CL
Contrastive Covariance Subspaces for Activation Steering
University of Athens(雅典大学);Queen Mary University of London(伦敦大学玛丽皇后学院)
该研究提出无需训练的对比协方差引导(CCS)方法,通过投影引导向量到低维子空间消除混淆因素,在12个模型-领域设置中优于基线方法,多轮对话场景下也表现良好。
2026-10-14 cs.AI cs.CL cs.LG
What Does Activation Steering Control? Attribution Across Answer Encodings and Output-Sensitive Subspaces
Nara Institute of Science and Technology(奈良科学技术研究所)
本研究提出跨编码导向评估方法,发现激活导向主要追踪提取索引而非语义标签,且不同数据集、模型及评估类型的表现存在差异,单一编码下的导向增益无法确定干预的控制对象。
2026-08-25 cs.CL
Improving Emotional Expression and Cohesion in Image-Based Playlist Description and Music Topics: A Continuous Parameterization Approach
针对图像平台音乐文本生成中风格控制不足和缺乏连续条件的问题,提出连续参数化受控文本生成方法(CPCTG),整合语义连贯性与情感表达比例,提升播放列表描述和音乐主题生成的ROUGE分数。
2023-10-12 cs.CL
Denoising Concept Vectors with Sparse Autoencoders for Improved Language Model Steering
New Jersey Institute of Technology(新泽西理工学院);University of Georgia(佐治亚大学);Wake Forest University(威克森林大学)
针对现有线性概念向量引导LLM时受数据集噪声影响鲁棒性不足的问题,提出SDCV方法,通过放大前k个判别性SAE潜变量激活分离信号与噪声,在6个概念上提升4-16%引导成功率且保持主题相关性。
2025-07-29 cs.AI cs.CL
Stylized Text Generation Using Wasserstein Autoencoders with a Mixture of Gaussian Prior
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学)
Wasserstein自动编码器对于文本生成是有效的。然而,如果数据集有多个类并且包括不同的主题,它们不提供对生成的句子的风格和主题的任何控制。在这项工作中,我们提出了一个半监督的方法来生成风格化的句子。我们的模型是在多类数据集上训练的,并使用高斯先验混合来学习句子的潜在表示,而没有任何对抗性损失。这允许我们通过从其相应的先验分布中采样来生成指定类或多个类的风格的句子。此外,我们可以在相对较小的数据集上训练我们的模型,并通过将具有其他样式/类的外部数据添加到我们的数据集来学习指定类的潜在表示。虽然在这种情况下,简单的WAE或VAE不能生成多样化的句子,但使用我们的方法生成的句子是多样化的,流畅的,并且保留了所需类的风格和内容。
2019-11-10 cs.CL
StyleKQC: A Style-Variant Paraphrase Corpus for Korean Questions and Commands
Seoul National University(首尔大学);Tokyo Institute of Technology(东京工业大学);Google LLC(谷歌有限责任公司)
释义通常不太关心受控的风格转换。特别是对于问题和命令,风格变体释义在语气和方式上可能至关重要,这对于对话系统等工业应用也很重要。在本文中,我们攻击这个问题的语料库建设计划,同时考虑的核心内容和风格的指令,即意图和形式,为韩国语。利用人工生成的自然语言查询的六个日常话题,我们扩大了语料库的正式和非正式的句子,通过人工重写和转移。我们验证了我们的方法的有效性和工业适用性,通过检查适当的分类和推理性能,适合与传统的微调方法,在同一时间提出了一个监督的形式转移任务。
2022-04-28 cs.CL
KV Cache Steering for Controlling Frozen LLMs
VIS Lab, University of Amsterdam(阿姆斯特丹大学VIS实验室);FunAI Lab, University of Technology Nuremberg(纽伦堡技术大学FunAI实验室);CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
我们提出缓存引导,一种对键值缓存施加一次性干预的轻量方法,可诱导小模型进行思维链推理,无需微调或改提示,并在推理基准上提升性能,支持推理风格可控迁移。
2025-09-26 cs.AI cs.CL
Text Style Transfer: An Introductory Overview
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文概述文本风格迁移任务,涵盖其挑战、方法、数据集、评估、子任务及应用,旨在增进对文本风格迁移背景和基本原理的理解。
2024-07-20 cs.CL
There Is More to Refusal in Large Language Models than a Single Direction
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈比卜大学)
研究揭示大型语言模型中拒绝行为由多种几何方向控制,不同方向影响拒绝方式而非是否拒绝
2026-09-16 cs.CL
Every picture tells a story: Image-grounded controllable stylistic story generation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
从一幅图像中创作出一个短篇故事是很困难的。与图像描述不同,从图像生成故事提出了多个挑战:保持故事的连贯性,适当地评估故事的质量,将生成的故事引导到某种风格,以及解决图像-故事对参考数据集的稀缺性限制了训练期间的监督。在这项工作中,我们引入了即插即用故事讲述器(PPST),并通过以下方式改进了图像到故事的生成:1)通过合并大型预训练模型(即CLIP和GPT-2)来缓解数据稀缺问题,以促进流畅的图像到文本生成,并以最少的监督,以及2)通过合并风格适配器来控制故事生成,从而实现更具风格相关性的生成。我们使用非风格化、浪漫风格化和动作风格化的PPST方法进行图像到故事生成实验,并在三个方面将我们生成的故事与以前的工作进行比较,即,故事连贯性,图像-故事相关性和风格适应性,使用自动和人工评估。结果表明,PPST提高了故事的连贯性,有更好的图像-故事的相关性,但还没有足够的文体。
2022-09-11 cs.CL
How You Ask Shapes What You Get: A Theory-Seeded Measurement of Articulation in Advice-Seeking LLM Conversations
KAIST(韩国科学技术院)
该研究探究建议寻求型LLM对话中提问的表达清晰度是否为可与话题分离的潜在维度,从16447条提示词中提取出可复现的表达清晰度因子,发现其与模型回应存在关联,提出基准测试应按表达清晰度分层。
2026-09-01 cs.CL
URLs Help, Topics Guide: Understanding Metadata Utility in LLM Training
EPFL(苏黎世联邦理工学院)
本研究探讨了元数据在LLM训练中的效用,发现URL上下文能提升训练效率,而主题和格式信息则能引导生成输出,但不加速训练。
2025-11-24 cs.CL
Detecting English Writing Styles For Non Native Speakers
Stony Brook University(石溪大学)
本文提出了第一次尝试,据我们所知,分类英语写作风格在这个规模上的挑战,分类日常语言写的作家与不同背景的涵盖各个领域的topics.The论文提出了简单的机器学习算法和简单的生成功能来解决困难的问题。依赖于从维基百科等大型知识来源获得的数据规模。我们相信,这些数据源对于为Web生成高准确性和易于在实践中部署的强大解决方案至关重要。本文对本族语者和非本族语者写作风格的分类准确率达到74%。此外,本文显示了一些有趣的观察不同的语言之间的相似性衡量其用户的英语写作风格的相似性。这种技术可以用来显示一些众所周知的事实,如将它们分组到家庭中,我们的实验支持。
2017-04-24 cs.CL
Controlling Styles in Neural Machine Translation with Activation Prompt
Fudan University(复旦大学);ByteDance(字节跳动)
本文针对神经机器翻译风格控制中评估困难和对增量调整过度依赖的问题,提出多路风格化机器翻译基准MSMT和无需微调的风格激活提示方法StyleAP,实验证明其能有效控制翻译风格并取得显著性能。
2023-05-29 cs.CL
Sentence-Level Content Planning and Style Specification for Neural Text Generation
Northeastern University(东北大学)
构建有效的文本生成系统需要三个关键组成部分:内容选择,文本规划和表面实现,传统上它们是作为单独的问题来处理的。最近的一体式神经生成模型取得了令人印象深刻的进展,但它们经常产生不连贯且不忠实于输入的输出。为了解决这些问题,我们提出了一个端到端的训练两步生成模型,其中一个文档级内容规划器首先决定要覆盖的关键短语以及所需的语言风格,然后是一个生成相关和连贯文本的表面实现解码器。对于实验,我们考虑了三个任务,从不同的主题和不同的语言风格的域:有说服力的论点建设从Reddit,段落生成的正常和简单版本的维基百科,和摘要生成的科学文章。自动评估表明,我们的系统可以显着优于竞争力的比较。与不考虑语言风格的变体相比,人类法官进一步将我们的系统生成的文本评为更流畅和正确。
2019-09-02 cs.CL
Gender identity and lexical variation in social media
我们提出了一个研究性别,语言风格和社交网络之间的关系,使用一个新的语料库的14,000 Twitter用户。以前的定量工作性别往往把这个社会变量作为一个女性/男性的二元,我们主张一个更细致入微的方法。通过对Twitter用户进行聚类,我们发现数据集自然分解为各种风格和主题兴趣。许多集群具有强烈的性别倾向,但它们对语言资源的使用有时与人口层面的语言统计直接冲突。我们认为,这些集群作为一个更准确地反映性别语言风格的多面性。以前基于语料库的研究也很少涉及语言风格与人口性别模式相悖的个体。为了识别这些个体,我们训练统计分类器,并测量数据集中每个个体的分类器置信度。检查个人的语言不匹配的分类器的模型,他们的性别,我们发现,他们有社交网络,其中包括显着较少的同性社会联系,并在一般情况下,社会网络同质性与使用同性语言标记。因此,配对计算方法和社会理论提供了一个新的视角,即性别如何随着个人相对于受众、主题和主流性别规范的定位而出现。
2014-05-12 cs.CL
Controlling Large Language Models Through Concept Activation Vectors
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences(中国科学院智能信息处理重点实验室);Key Lab of AI Safety of Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对LLM受控生成资源消耗大或控制粒度粗的问题,提出轻量级GCAV框架,通过训练并引导概念激活向量实现毒性、情感、风格和主题的精确控制。
2025-01-10 cs.CL
Style, Content, and the Success of Ideas
Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学);York University(约克大学)
为什么有些东西在思想市场上会成功?虽然有些人认为内容驱动成功,但其他人认为风格或表达想法的方式也起着重要作用。为了提供一个严格的测试风格的重要性,我们检查它的内容应该是至高无上的:学术研究。虽然科学家通常认为写作是一种无私的方式,可以毫无障碍地传达真理,但一项多方法调查表明,写作风格塑造了影响力。将风格与内容分开是很困难的,因为倾向于使用某些语言的论文也可能写某些主题。因此,我们专注于一类与风格有关的独特的词(即,功能词如"and"、"the"和"on"),完全没有内容。自然语言处理对来自一系列学科的近30,000篇文章进行了研究,发现功能词解释了13 - 27%的语言对引文的影响。辅助分析探讨了功能词的具体类别,以表明风格的重要性,突出了写作简单性,个人声音和时间视角的作用。实验进一步强调了风格的因果影响。研究结果表明,如何提高沟通的影响力,并突出自然语言处理的价值,以了解成功的想法。
2022-01-10 cs.CL
Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The University of Melbourne(墨尔本大学);Lulula(卢卢拉)
本研究提出从模型对话中提取 initiative vector,可预判语音起始点并调整语音占比,通过参考录音实现说话者话轮转换风格向全双工口语语言模型的迁移。
2026-10-16 cs.AI cs.CL cs.SD
Creative Collision: Directorial Persona Steering and Competition in Large Language Models
AI Safety Camp(AI安全训练营)
研究通过叠加两种语义相反的导演人格向量(斯皮尔伯格与斯科塞斯)来引导语言模型生成,发现斯皮尔伯格向量主导道德倾向,中间点提升连贯性,且两者在特定层共享道德基调基底。
2026-06-16 cs.CL cs.LG
Steering Language Models With Activation Engineering
MIRI;University of Bristol(布里斯托尔大学);Arb Research;MATS;Anthropic
为充分激发语言模型能力,研究提出激活工程及ActAdd技术,通过对比提示对激活值计算引导向量并在推理时加入,在情绪转换、去毒任务上达SOTA,且轻量易迭代。
2024-10-10 cs.CL cs.LG
Activation Steering via Generative Causal Mediation
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学);Goodfire Research
研究提出生成因果中介(GCM)方法,通过对比长形式响应选择模型组件,以局部化和控制扩散行为,如诗歌式 vs. 论文式表达,在三种语言模型上验证其有效性。
2026-04-01 cs.CL cs.CY cs.HC
ORBIT: Training-Free Multi-Attribute Behavioral Steering via Orthogonal Subspace Rotation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Department of Electrical and Computer Engineering, University of Southern California(南加州大学电气与计算机工程系)
提出ORBIT方法,利用奇异值分解构建联合子空间并施加单一旋转,实现无训练的多属性行为引导,平衡多个属性并保持输出连贯性。
2026-08-11 cs.CL cs.CV cs.LG
The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models
MATS;Anthropic Fellows Program;University of Oxford(牛津大学);Anthropic
研究发现语言模型的默认人格轴影响行为稳定性,通过限制激活区域可防止人格漂移及对抗性突破。
2026-01-15 cs.CL
Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models
AWS AI Labs(AWS人工智能实验室)
本文提出一种自适应调度器,通过集中干预属性形成阶段以提升离散扩散语言模型的控制精度,避免均匀干预导致的性能下降。
2026-10-08 cs.AI cs.CL cs.LG
Word Embeddings Are Steers for Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出 LM-Steers,证明输出词嵌入的线性变换等价于语言模型风格转向控制,仅需 0.2% 参数量即可在去毒化和情感控制等任务上达到或超越现有方法,并支持可解释性、迁移与组合。
2024-06-06 cs.AI cs.CL cs.LG
LinEAS: End-to-end Learning of Activation Steering with a Distributional Loss
Apple(苹果公司);Sapienza(拉维尼恩大学)
LinEAS提出一种端到端学习的线性激活引导方法,通过全局分布损失同时优化各层偏移,仅需少量无配对数据即可在毒性缓解和文本到图像概念控制上超越现有方法。
2025-10-17 cs.AI cs.CL
Artificial entrepreneurial cognition: Locating and causally steering an opportunity recognition dial inside large language models (LLMs)
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg(卢森堡大学跨学科安全、可靠性与信任中心(SnT));Amsterdam Business School, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹商学院);Stanford Graduate School of Business, Stanford University(斯坦福大学斯坦福商学院)
本研究提出人工创业认知概念,通过表征工程在LLM内部定位机会识别方向并因果操控,首次实现对创业构念内部表征的干预,为创业研究开辟新对象。
2026-09-15 cs.CL cs.LG