Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli
Technische Universität Berlin(柏林技术大学);Rice University(Rice 大学);AWS AI Labs, Amazon(Amazon 人工智能实验室);IIT Delhi(德里理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Spector Inc(Spector 公司);IIIT-Hyderabad(海得拉巴理工学院);Microsoft(微软)
本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式,通过比较不同模型在视频和音频任务中的表现,揭示了指令调制对模型表示能力的影响。
2026-05-19 cs.AI cs.CL cs.CV
Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models
Massachusetts Institute of Technology(麻省理工学院);The Hong Kong Polytechnic University(香港理工大学);University of Pisa(比萨大学);Georgia Tech University(佐治亚理工学院)
本文通过单句最小对和上下文场景实验证明,在基础与指令微调语言模型中,对数概率比零样本提示能更可靠地度量语义合理性,且指令微调通常不改变其敏感性。
2024-10-21 cs.AI cs.CL
Jinx: Unlimited LLMs for Probing Alignment Failures
针对研究界无法获取用于对齐评估的无限制语言模型的问题,本文引入开源权重大语言模型的仅辅助型变体Jinx,其无拒绝无安全过滤且保留基础模型能力,为研究人员提供探测对齐失效的工具。
2025-08-24 cs.CL
Leveraging In-Context Learning for Political Bias Testing of LLMs
University of Zurich(苏黎世大学)
本文提出问卷建模(QM)任务,利用人类调查数据作为上下文示例,提高了LLM政治偏见评估的稳定性,并发现指令微调能改变偏见方向,且更大模型能更有效利用上下文示例并展现更小偏见。
2025-06-27 cs.CL
What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models
The University of Tokyo(东京大学);Institute of Industrial Science(工业科学研究所);ELYZA, Inc.(ELYZA公司)
针对语言模型的事实幻觉问题,本研究提出多维度知识探测基准BELIEF(ICL)与多提示数据集MyriadLAMA,全面评估预训练语言模型的事实知识回忆能力,并探究影响事实记忆与回忆的关键因素,揭示了提示式知识探测的局限性。
2024-10-08 cs.CL
Instructions Shape Production of Language, not Processing
Department of Linguistics, University of Tübingen(图宾根大学语言学系);IBM Research, MIT, and MIT-IBM Watson AI Lab(IBM研究院、麻省理工学院和麻省理工-IBM沃森人工智能实验室);Interdisciplinary Transformation University of Austria(奥地利跨学科转型大学);IBM Research(IBM研究院)
研究揭示指令通过影响语言模型生成阶段的信息 asymmetry,而非处理阶段,通过五种二元判断任务层析任务特定信息,发现输出 tokens 的信息变化与行为强相关,而输入 tokens 的信息变化弱相关。
2026-05-13 cs.CL
Who is In Charge? Dissecting Role Conflicts in Instruction Following
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究揭示大型语言模型在指令遵循中存在角色冲突,通过机制分析发现系统-用户冲突与社会冲突的不同处理方式,并强调了对齐方法的重要性。
2025-12-17 cs.CL cs.LG
Caliper: Probing Lexical Anchors versus Causal Structure in LLMs
Fudan University(复旦大学)
通过词汇匿名化扰动,揭示大语言模型在因果推理基准上的表现主要依赖词汇模式匹配而非结构因果推理。
2026-06-03 cs.CL cs.IR
Probing then Editing Response Personality of Large Language Models
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学)
该研究提出逐层探测框架,发现LLM主要在中上层模拟回复人格,进一步基于探测超平面提出逐层扰动的人格编辑方法,可在推理阶段改变回复人格,且对通用能力影响极小、训练成本低、推理延迟可接受。
2025-07-29 cs.CL
Probing Pre-trained Auto-regressive Language Models for Named Entity Typing and Recognition
Deezer Research(Deezer研究院)
尽管命名实体识别(NER)的语言模型的令人印象深刻的结果,他们的推广到不同的文本体裁,不断增长的实体类型集,和新的实体仍然是一个挑战。在每个新案例中收集数千个注释进行训练或微调是昂贵且耗时的。相比之下,人类可以通过一些简单的指令轻松识别命名实体。受此启发,我们挑战对大型数据集的依赖,并在元学习设置中研究NER的预训练语言模型。首先,我们在zero-shot传输场景中测试命名实体类型(NET)。然后,我们通过给出几个推理实例来执行NER。我们提出了一种方法来选择看到的和罕见的/看不见的名字时,只能访问预先训练的模型,并报告这些组的结果。结果显示:自回归语言模型作为元学习者可以很好地执行NET和NER,特别是对于常规或见过的名字;对于特定实体类型经常出现的名字不规则性可以成为有效的可利用线索;具有对模型来说是外来的单词的名字对结果具有最负面的影响;在Few-Shot NER中,模型似乎更多地依赖于名字而不是上下文线索。
2022-04-27 cs.CL
Grounding Natural Language Instructions: Can Large Language Models Capture Spatial Information?
University of Manchester(曼彻斯特大学);Blue Prism AI Labs(蓝棱镜人工智能实验室);ByteDance AI Lab(字节跳动人工智能实验室);Idiap Research Institute(Idiap研究所)
为智能过程自动化设计的模型需要能够使用户界面元素接地。这个界面元素基础的任务集中在将自然语言中的指令链接到它们的目标对象上。尽管BERT和类似的预训练语言模型在几个NLP任务中表现出色,但它们的使用尚未在UI基础领域得到广泛探索。本工作集中于测试和探测三种不同的基于变压器的模型的接地能力:BERT,RobERTa和LayoutLM。我们的主要重点是这些模型的空间推理能力,因为它们在这个领域的重要性。我们观察到,LayoutLM有一个很有前途的优势,在这一领域的应用程序,即使它是为不同的原始目的(代表扫描的文档):学习的空间功能似乎是可转移到UI接地设置,特别是因为他们表现出的能力,区分目标方向之间的自然语言指令。
2021-09-17 cs.AI cs.CL
Fuzzy, Symbolic, and Contextual: Enhancing LLM Instruction via Cognitive Scaffolding
Department of Computer Science University of Regina(计算机科学系 皇家大学)
该研究探究提示层归纳偏置对大语言模型教学对话认知行为的影响,提出搭配短期记忆模式的符号支架方法,经消融实验验证完整系统优于基线,证明认知支架可有效塑造LLM的教学策略。
2025-10-29 cs.AI cs.CL
Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering
Tsinghua University(清华大学);Peking University(北京大学);DeepLang AI
提出NOVA框架,通过内部一致性探测和语义等价识别过滤与模型知识一致的高质量指令数据,结合专家对齐奖励模型,减少幻觉并提升指令遵循能力。
2025-05-26 cs.AI cs.CL
Instruction Makes a Difference
Luleå University of Technology(吕勒奥理工大学)
该研究提出 iDocVQA 数据集与 LLaDoc 模型,证明指令微调可显著提升 LLaVA-1.5 在文档视觉问答及对象幻觉评估中的表现,但与人类水平仍有差距。
2024-06-13 cs.CL cs.CV
Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following
Fudan University(复旦大学);Ant Group(蚂蚁集团)
针对多约束指令中约束顺序导致LLM性能波动的问题,本文提出探测任务与CDDI指数定量测量难度分布,发现LLM在“由难到易”的约束顺序下表现最佳,并通过解释性研究揭示了注意力与约束顺序的相关性。
2025-03-03 cs.AI cs.CL
Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups
Department of Electronics, Information and Bioengineering, Politecnico di Milano(电子、信息与生物工程系,米兰理工大学);University of Science and Technology of China(中国科学技术大学)
通过设计考虑中文语言特性的提示,评估十种代表性中文大语言模型在240个社会群体上的内群体与外群体框架下的情感和毒性偏见,发现系统性不对称且指令调优减少情感偏见但毒性差距更持久,女性标记代词与更高毒性相关。
2026-05-26 cs.CL
Revisiting Prompt Sensitivity in Large Language Models for Text Classification: The Role of Prompt Underspecification
Kempelen Institute of Intelligent Technologies(智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院);Faculty of Informatics, Masaryk University(信息学院)
本文研究了大型语言模型在文本分类中提示敏感性的来源,发现提示不足是导致性能波动的主要原因,并通过实验分析揭示了其对模型内部表示的影响。
2026-02-04 cs.AI cs.CL cs.LG
Disclosure and Mitigation of Gender Bias in LLMs
Texas A&M University(得克萨斯农工大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出基于条件生成的间接探测框架,揭示LLMs中无显式性别提及时的显式与隐式偏见,并通过超参数调整、指令引导和去偏调整三种方法有效缓解偏见。
2024-02-17 cs.CL
Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models
研究大语言模型在不同归因提示下的认知立场灵活性,引入ESFP基准,涵盖多类别多模板项目,从四个维度评估模型响应,发现认知灵活性与模型能力正交,立场内容密度信号最强。
2026-07-15 cs.CL
Probing Outcome-Level Resemblance and Mechanism-Level Alignment in LLM Risk Decisions: Evidence from the St. Petersburg Game
Fudan University(复旦大学);University of Rochester(罗切斯特大学)
通过圣彼得堡博弈实验,发现大语言模型在风险决策中表现出结果层面的类人行为,但机制层面与人类决策存在显著差异,提示行为对齐可能仅停留在表面。
2026-06-03 cs.CL cs.CY econ.GN
The Zero Body Problem: Probing LLM Use of Sensory Language
Cornell University(康奈尔大学)
本文通过分析18个模型生成的18,000个故事,探究大语言模型使用感官语言的能力,发现不同模型家族与人类存在方向各异的显著差异,并指出指令微调可能抑制感官语言使用。
2025-04-08 cs.CL cs.LG
Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs
Macquarie University(麦考瑞大学)
通过分析有害拒绝和过度拒绝的表示几何,发现过度拒绝方向是任务相关的且存在于良性任务表示簇中,解释了为何全局方向消融无法解决过度拒绝,并表明需要任务特定的几何干预。
2026-09-02 cs.CL
Visual Instruction Tuning Aligns Modalities through Abstraction
Area Science Park, Trieste, Italy(特里埃斯特Area Science Park)
通过探针分析和因果干预,发现视觉指令调优将视觉特征直接嵌入LLM的中间语义层,绕过早期单模态处理层,并通过扩展和强化现有抽象阶段对齐视觉与文本表示。
2026-11-13 cs.CL cs.CV cs.LG
Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models
University of Calabria, Rende, Italy(卡拉布里亚大学)
本文利用 CLEAR-Bias 基准评估推理语言模型的偏见安全鲁棒性,发现显式推理机制反而使模型更易受偏见诱导,挑战了推理天然提升鲁棒性的假设。
2025-07-03 cs.CL
Temporally Consistent Factuality Probing for Large Language Models
Indian Institute of Technology Delhi(印度德里理工学院);Wipro Research(威普罗研究公司)
本文提出TeCFaP时间一致性事实探测任务与TEMP-COFAC数据集,扩展评估指标,并通过结合MT-IT和CTSRL的CoTSeLF框架提升LLM跨时间查询改写的事实一致性。
2024-10-17 cs.CL cs.LG
Breaking Bias, Building Bridges: Evaluation and Mitigation of Social Biases in LLMs via Contact Hypothesis
George Mason University(乔治梅森大学);University of Washington(华盛顿大学)
本文基于社会心理学接触假说构建108,000条提示,评估三款LLM在13个维度的社会偏见,并提出SCD指令微调方法,使LLaMA 2偏见最高降低40%。
2024-07-02 cs.CL
InfoEdit: Probing Global Layout Reasoning in Infographic Editing
本文提出InfoEdit基准,含1000个信息图与4000条指令,评估八种编辑器,发现仅GPT-Image-2成功率超60%,揭示回流是结构化内容编辑的核心挑战。
2026-09-29 cs.CL cs.CV cs.SE
Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation
Institut Teknologi Sumatera(苏门答腊理工学院)
本研究提出五种污染协议,揭示多轮LLM中错误前提采纳的机制差异,并发现不同模型在权威遵从与指令服从上存在显著分歧,强调对话历史需来源感知设计。
2026-10-12 cs.CL
Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law
Maastricht University(马斯特里赫特大学);Contractuo
提出PSALM框架,通过十个评估器将欧盟版权法标准操作化,发现指令调优模型在接触语料前已有非平凡风格相似性,微调导致系统性风格挪用,负偏好优化可降低但残留可检测风格模式。
2026-07-01 cs.AI cs.CL
From Macro to Micro: Probing Dataset Diversity in Language Model Fine-Tuning
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);Baidu Inc.(百度公司);School of Physics, Peking University(北京大学物理学院)
本研究提出了SFT数据集多样性控制策略的系统分类法,涵盖指令的宏观、中观层面及响应的微观层面,发现响应微观多样性策略与模型性能相关性最强且在最大多样性下表现最佳,为构建高性能SFT数据集提供了实用见解。
2025-05-30 cs.CL
Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study on Syllogism
Tohoku University(东北大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);RIKEN(理化学研究所)
本研究通过引入受控设置评估大型语言模型在词汇否定条件下的逐步推理能力,发现数十个现代LLM在执行CoT风格推理时对词汇否定缺乏鲁棒性,并揭示了各LLM家族的独特局限性。
2023-10-23 cs.CL
Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability
University of Southern California(南加州大学)
研究能否通过测量隐藏状态与可回答参考集的偏差,利用表示几何提供预生成信号。在三个模型和三种提示形式上实验,发现几何主要编码任务形式,数学提示中有可区分性,代码提示有部分泛化,该信号在早期层出现。
2026-05-04 cs.CL cs.LG
From Speech to Editable Concepts: Probing Emotion Recognition with Concept Bottleneck Models
University of Sheffield(谢菲尔德大学)
本研究将概念瓶颈模型应用于语音情感识别,通过实验揭示LLM对转录文本的偏差及概念移除对个体预测的显著影响,强调需关注细粒度可解释性。
2026-10-01 cs.AI cs.CL cs.SD
Compliance vs. Sensibility: On the Reasoning Controllability in Large Language Models
School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院);School of EECS, Queen Mary University of London(伦敦女王学院电子工程与计算机科学学院);The Alan Turing Institute(艾伦·图灵研究所)
通过推理冲突视角,系统研究大型语言模型在诱导逻辑模式与任务预期模式冲突时,是否优先服从指令还是遵循感知合理性,并探索内部检测与激活级干预方法。
2026-09-09 cs.AI cs.CL
Testing the Limits of Truth Directions in LLMs
Boston University(波士顿大学)
研究揭示了大型语言模型中真理方向的普遍性存在局限,指出其依赖于层数、任务类型和复杂性,并受指令影响显著。
2026-09-15 cs.AI cs.CL
Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams
Independent Researcher(独立研究员)
研究通过几何方法识别LLM残差流中有害意图的特征,发现其在不同模型架构中线性可分离,并通过优化策略实现高检测性能。
2026-05-09 cs.AI cs.CL cs.LG
Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
该研究针对现有谜题基准的局限性,提出主动探测基准(APB),评估模型多轮主动探测推理能力,发现多数开源推理模型表现逊于标准指令模型,为交互式知识推理提供了可扩展基准生成流程。
2026-10-14 cs.AI cs.CL
Geometry-Lite: Interpretable Safety Probing via Layer-Wise Margin Geometry
Yonsei University(延世大学);Yonsei University College of Medicine(延世大学医学院);Department Biomedical Systems Informatics(生物医学系统信息学部门)
本文研究了大语言模型在提示级别上的安全探测问题,提出了一种名为Geometry-Lite的紧凑探测器,通过层间边际几何分析来提高安全检测的可解释性和准确性。
2026-05-18 cs.AI cs.CL cs.LG
Evaluating and Steering Modality Preferences in Multimodal Large Language Model
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)
本文提出MC²基准测试,通过受控证据冲突场景评估和引导多模态大语言模型的模态偏好,揭示了其可通过指令引导和潜在表示控制,并展示了通过表示工程方法提升多模态任务性能的潜力。
2026-02-04 cs.CL
Investigating the translation capabilities of Large Language Models trained on parallel data only
Barcelona Super Computing Center (BSC)(巴塞罗那超级计算中心(BSC))
本文提出仅在以加泰罗尼亚语为中心的平行数据上训练的三个 2B 模型 PLUME,验证其在有监督与零样本翻译方向上可媲美编码器-解码器架构,并系统分析提示因素和跨语言表示。
2024-06-13 cs.CL
Get my drift? Catching LLM Task Drift with Activation Deltas
Microsoft(微软公司);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
该研究提出通过LLM激活增量检测任务漂移现象,发现简单线性分类器在分布外测试集上能以近乎完美的ROC AUC检测提示注入等攻击,且无需微调,易于部署。
2025-03-06 cs.CL cs.CR cs.CY
Can LLMs subtract numbers?
Saarland University(萨尔兰大学);CISPA Helmholtz Center for Information Security(CISPA海德堡中心 for 信息安全);University of Utah(犹他大学);Brown University(布朗大学);University of Edinburgh(爱丁堡大学)
本文系统研究了LLMs的减法运算能力,发现其减法准确率远低于加法,主要错误集中在结果为负数时遗漏负号,而指令微调能显著解决此问题。
2025-11-04 cs.CL cs.LG
Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
针对大语言模型推理时安全方法,发现提示时激活防御对预填充攻击存在结构性盲点,提出响应时间探测(线性探针)结合停止机制,将预填充攻击成功率降至0,并与AlphaSteer组合实现正交防御。
2026-11-10 cs.AI cs.CL cs.CR
Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);Munich Center for Machine Learning(慕尼黑机器学习中心);LMU Munich, Germany(慕尼黑大学, 德国)
本研究通过结合最小对比对和诊断性探测的神经语言学方法,调查了大型语言模型在形式与含义上的表现与能力差异,发现两者存在明显区别,并引入了新的中文和德文数据集。
2025-07-12 cs.CL
Classifying German Language Proficiency Levels Using Large Language Models
Computer Science Department University of Münster(穆尔斯特大学计算机科学系)
本文利用大型语言模型对德语文本进行CEFR水平分类,通过多种方法提升分类性能,展示了LLMs在语言水平评估中的应用潜力。
2025-12-06 cs.AI cs.CL
Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data
Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程学院);Mechanical and Materials Engineering, Queen’s University(皇后大学机械与材料工程学院);Ingenuity Labs Research Institute, Queen’s University(皇后大学创新实验室研究 institute)
Chat-TS通过整合时间序列标记提升多模态推理能力,提供新数据集和训练策略,在保持自然语言能力的同时增强时间序列推理性能。
2026-01-22 cs.AI cs.CL
Sparrow: Data-Efficient Video-LLM with Text-to-Image Augmentation
USTC(中国科学技术大学);NJU(南京大学);THU(清华大学);XMU(厦门大学)
Sparrow 针对视频大语言模型数据规模扩展中指令多样性不足导致学习效率低的问题,提出从纯文本指令合成视频样本来增强训练,在更少样本下实现与大规模训练相当甚至更优的性能,并提升长视频理解能力。
2025-07-22 cs.CL cs.CV cs.LG
What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations
Comcast Applied AI(康卡斯特应用人工智能部门);University of Waterloo(滑铁卢大学)
本文提出逻辑Bradley-Terry探针,从LLM隐藏向量中探测词对偏好偏差,发现模型即使拒绝回答也隐式存在国籍、政治、宗教和性别等社会人口统计学偏差,且指令微调未必能消除这些偏差。
2023-11-30 cs.CL
SecureCode: A Production-Grade Multi-Turn Dataset for Training Security-Aware Code Generation Models
研究针对AI编码助手生成漏洞代码问题,提出SecureCode数据集,涵盖网络应用安全和AI/ML安全领域,有特定对话结构,经质量保证,发布统一数据集、开源模型及评估框架,是首个提供相关覆盖的公共数据集。
2026-07-08 cs.AI cs.CL cs.CR
Improving Factual Consistency of News Summarization by Contrastive Preference Optimization
School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Alibaba Group(阿里巴巴集团)
针对大型语言模型(LLMs)新闻摘要存在的复杂事实幻觉问题,提出对比偏好优化(CPO)分离其生成忠实与虚假内容的倾向,并结合探测式训练增强区分能力,显著提升了摘要可靠性。
2025-02-13 cs.AI cs.CL
Do You Trust Me? Cognitive-Affective Signatures of Trustworthiness in Large Language Models
National University of Singapore(新加坡国立大学)
研究揭示大型语言模型通过认知-情感特征隐式编码信任worthiness,为构建可信AI系统提供基础。
2025-12-17 cs.AI cs.CL
PoeTone: A Framework for Constrained Generation of Structured Chinese Songci with LLMs
PoeTone框架通过约束生成和评估方法,提升LLM在生成结构化中文词中的表现,实现正式符合度提升5.88%。
2026-02-18 cs.CL cs.LG
Rule vs.Consequence: Dissociable Internal Representations of Moral Reasoning in LLMs
Stanford University(斯坦福大学)
该研究探究大型语言模型对规则与结果框架道德问题的内部表征,识别出追踪推理风格和判断极性的两个正交方向,证实道德推理风格敏感性是可分离且具因果效应的结构。
2026-10-14 cs.CL
HANS, are you clever? Clever Hans Effect Analysis of Neural Systems
本文通过四个MCQ基准和对抗性示例揭示了指令微调大语言模型中的顺序偏差与结构性启发式,并利用思维链技术引导推理以缓解偏差、提升模型鲁棒性。
2024-05-02 cs.AI cs.CL