Birds have four legs?! NumerSense: Probing Numerical Commonsense Knowledge of Pre-trained Language Models
University of Southern California（南加州大学）
最近的工作表明，预训练语言模型（PTLM），如BERT，拥有一定的常识和事实知识。他们认为，通过预测屏蔽词，将PTLM用作“神经知识库”是有希望的。令人惊讶的是，我们发现这可能不适用于数字常识知识（例如，鸟通常有两条腿。在本文中，我们调查是否以及在何种程度上，我们可以从PTLM以及这个过程的鲁棒性的数值常识知识。为了研究这一点，我们引入了一个新的探测任务，诊断数据集NumerSense包含13.6k个屏蔽词预测探测器（10.5k用于微调，3.1k用于测试）。我们的分析表明：（1）在任何微调之前，BERT及其更强的变体RoBERTa在诊断数据集上表现不佳;（2）远程监督的微调带来了一些改进;（3）与人类表现相比，最好的监督模型仍然表现不佳（准确率为54.06% vs 96.3%）。
2020-09-18 cs.AI cs.CL
Reviving Your MNEME: Predicting The Side Effects of LLM Unlearning and Fine-Tuning via Sparse Model Diffing
Mila, Quebec AI Institute（米拉, 魁北克人工智能研究所）；McGill University（麦吉尔大学）
针对LLM微调或遗忘后存在不可预测非预期副作用且缺乏通用检测方法的问题，提出轻量级框架MNEME，通过稀疏模型差异在任务无关数据上对比模型以识别副作用，在多场景多模型上最高达95%准确率，还可通过高激活样本重训练部分逆转效应。
2025-06-19 cs.CL cs.LG
Advancing Relation Extraction through Language Probing with Exemplars from Set Co-Expansion
Department of Computer Science, University of Illinois at Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；Linguistics Department, University of Illinois at Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校语言学系）
该研究提出一种融合代表性范例与集合共扩展的关系抽取多维度方法，结合上下文感知提示调优，有效减少类别混淆，在多数设置下较现有微调方法准确率提升至少1%。
2023-08-18 cs.AI cs.CL cs.LG
Chip-Tuning: Classify Before Language Models Say
Peking University（北京大学）；Tencent QQ（腾讯QQ）
本文提出Chip-Tuning，一种针对分类问题的结构化剪枝框架，通过在LLMs不同层附加微小探测分类器并冻结主干模型进行训练，实现高达50%的剪枝率且性能损失微小，同时具备多模态兼容性。
2024-10-11 cs.AI cs.CL
TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；College of Software, Jilin University（吉林大学软件学院）；Fudan University（复旦大学）；School of Mathematical and Computer Sciences, Heriot-Watt University（赫瑞-瓦特大学数学与计算机科学学院）；Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）
提出TRACE方法，通过适应感知探测发现任务特定核心参数，在持续微调中仅更新这些参数以缓解灾难性遗忘，并验证了跨模型和规模的迁移性。
2026-05-29 cs.CL
Probing and Fine-tuning Reading Comprehension Models for Few-shot Event Extraction
Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）
我们研究从文本数据中提取事件的问题，这需要检测目标事件类型及其参数。通常，事件检测和参数检测子任务都被公式化为监督序列标记问题。我们认为，这样训练的事件提取模型本质上是标签饥饿，并可以推广到不同领域和文本体裁差。我们提出了一个阅读理解框架的事件提取。具体来说，我们制定了事件检测作为一个文本蕴涵预测问题，和参数检测作为一个问题回答问题。通过构造合适的查询模板，我们的方法可以有效地从预训练的阅读理解模型中提取丰富的任务和标签语义知识。此外，我们的模型可以用少量数据进行微调，以提高其性能。我们的实验结果表明，我们的方法表现强劲的zero-shot和Few-Shot事件提取，它达到了最先进的性能ACE 2005基准训练时，完全监督。
2020-10-21 cs.CL
What Can an Accent Identifier Learn? Probing Phonetic and Prosodic Information in a Wav2vec2-based Accent Identification Model
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northern Arizona University（北亚利桑那大学）
本研究通过模型探测方法分析口音识别微调对Wav2vec2类自监督学习模型音素、韵律表征的影响，发现微调引导顶层2层学习更丰富的相关表征，第9层存在口音特异性音素表征，为理解SSL特征与微调任务的相互作用提供参考。
2023-06-10 cs.CL cs.SD eess.AS
Language Model Fine-Tuning on Scaled Survey Data for Predicting Distributions of Public Opinions
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
本文通过微调大型语言模型，利用调查数据的结构特性提升对公众意见分布的预测能力，实验显示在多种子群体中模型预测与人类响应的匹配度显著提高，且能泛化到未见过的调查和子群体。
2026-04-16 cs.CL
Predicting Machine Translation Performance on Low-Resource Languages: The Role of Domain Similarity
University of Michigan（密歇根大学）；University of Toronto（多伦多大学）；Centro de Investigación en Matemáticas（数学研究中心）；Amherst College（阿默斯特学院）；Universiteit Gent（根特大学）；Ontario Tech University（安大略理工大学）
本研究针对低资源语言，通过回归模型分析微调语料规模、领域相似性和语言相似性对机器翻译性能的影响，发现领域相似性是最关键的预测因素。
2024-02-04 cs.CL cs.LG
Prompt-Augmented Linear Probing: Scaling beyond the Limit of Few-shot In-Context Learners
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）；Hanyang University（汉阳大学）
针对上下文学习受输入长度限制、性能难随样本量扩展的问题，提出融合线性探测与上下文学习的提示增强线性探测方法，兼具可扩展性与表示增强能力，能以低开销缩小不同数据场景下的性能差距，可作为黑盒场景的替代方案。
2023-06-14 cs.CL cs.LG
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而，目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现：（i）预训练的语言模型确实编码了几种类型的语言信息用于推理，但也有一些类型的信息是弱编码的，（ii）语言模型可以通过微调有效地学习缺失的语言信息。总的来说，我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外，我们已经证明了语言模型的潜在语义和背景知识基础，支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
Towards Probing Contact Center Large Language Models
本研究通过探测任务对比联络中心微调LLM与开箱即用LLM，发现前者在域内任务响应可接受性提升超48%，但较少依赖表面、句法和语义编码，揭示了领域适应与探测性能的复杂关系。
2023-12-26 cs.CL
Probing Out-of-Distribution Robustness of Language Models with Parameter-Efficient Transfer Learning
Seoul National University（首尔国立大学）；NAVER（NAVER公司）；IntelliSys（智能系统研究所）
本研究系统探究预训练语言模型规模变化及不同参数高效迁移学习方法对分布外检测能力的影响，在三项意图分类任务上评估了微调、Adapter等多种技术与不同规模模型的表现。
2023-06-14 cs.CL
Model-Dowser: Data-Free Importance Probing to Mitigate Catastrophic Forgetting in Multimodal Large Language Models
提出Model-Dowser，一种基于重要性评分的稀疏微调方法，通过联合考虑权重幅度、输入激活和输出敏感性来缓解多模态大语言模型微调中的灾难性遗忘，在LLaVA和NVILA上优于现有方法。
2026-06-01 cs.CL
Discriminative Probing and Tuning for Text-to-Image Generation
National University of Singapore（新加坡国立大学）；Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）；Skywork AI（天工AI）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出通过判别式适配器探测并微调T2I模型的判别能力，以提升文本-图像对齐，并利用自校正机制优化生成，在三个基准上取得优越性能。
2024-03-14 cs.AI cs.CL cs.CV
From Macro to Micro: Probing Dataset Diversity in Language Model Fine-Tuning
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）；Baidu Inc.（百度公司）；School of Physics, Peking University（北京大学物理学院）
本研究提出了SFT数据集多样性控制策略的系统分类法，涵盖指令的宏观、中观层面及响应的微观层面，发现响应微观多样性策略与模型性能相关性最强且在最大多样性下表现最佳，为构建高性能SFT数据集提供了实用见解。
2025-05-30 cs.CL
Morph Call: Probing Morphosyntactic Content of Multilingual Transformers
SberDevices, Sberbank（SberDevices，俄罗斯联邦储蓄银行）；HSE University（高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于transformer的语言模型在各种NLP和NLU任务上的出色表现激发了人们对探索其内部工作原理的兴趣。最近的研究主要集中在更高层次和复杂的语言现象，如句法，语义，世界知识和常识。大多数的研究都是以英语为中心的，对其他语言的了解很少，确切地说是他们的形态句法特性。为此，我们的工作提出了Morph Call，这是一套针对四种不同形态的印欧语言（英语，法语，德语和俄语）的46个探测任务。我们提出了一种新型的探测任务的基础上检测指导句子扰动。我们使用的神经元，层和代表级的内省技术相结合，分析四种多语言的Transformers，包括其较少探索蒸馏版本的形态句法内容。此外，我们还研究了POS标记的微调如何影响模型知识。结果表明，微调可以提高和降低探测性能，并改变如何在模型中分布的形态句法知识。代码和数据是公开的，我们希望填补Transformers研究较少方面的空白。
2021-05-04 cs.CL
ChatGPT as Research Scientist: Probing GPT's Capabilities as a Research Librarian, Research Ethicist, Data Generator and Data Predictor
Cangrade, Inc.（坎格雷德公司）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
本研究以心理学为测试领域，系统探究GPT-3.5和GPT-4在科研四大环节的能力，发现其有幻觉问题但伦理检测、数据生成有一定能力，无法预测训练外新数据模式。
2024-06-20 cs.AI cs.CL cs.CY
The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA
Oral Roberts University（Oral Roberts大学）；Department of Computing & Mathematics（计算与数学系）
本研究通过统一训练框架比较RoBERTa、BART和LLaMA在SMILES分子性质预测中的微调效果，发现模型规模比绝对验证损失更能决定性能，并为化学信息学任务中的LLM选择提供了方法论指导。
2024-05-02 cs.CL cs.LG physics.chem-ph
Probing the Subtle Ideological Manipulation of Large Language Models
University of Cyprus（塞浦路斯大学）
本研究通过多任务数据集微调三个LLM，发现微调能显著增强模型对从进步左翼到保守右翼意识形态光谱的细微对齐，而显式提示作用有限，凸显了模型易受微妙意识形态操控的风险。
2025-04-19 cs.CL cs.CY
Probing the Category of Verbal Aspect in Transformer Language Models
University of Helsinki（赫尔辛基大学）
本文首次探究了预训练语言模型在俄语中编码动词体范畴的机制，通过行为与因果探测发现BERT和RoBERTa主要在最后一层编码该特征，并证明仅微调最后一层预测体更高效。
2024-06-04 cs.CL
From Data to Behavior: Predicting Unintended Model Behaviors Before Training
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
提出MDF方法，通过数据均值表示预测模型预训练阶段的潜在偏见和安全风险，实现高效检测。
2026-02-04 cs.AI cs.CL cs.CY
RSRA: Training-Free Probing of Representation Sensitivity for Efficient LoRA Rank Allocation
Dalian University of Technology（大连理工大学）；Northeastern University（东北大学）；Hebei Key Laboratory of Marine Perception Network and Data Processing（河北省海洋感知网络与数据处理重点实验室）；Nanjing Tech University（南京工业大学）；Institute of Intelligent Manufacturing（智能制造研究院）
研究针对LoRA传统秩分配问题，提出RSLoRA，通过激活空间几何及虚拟表示探测机制确定高敏感性模块，无需训练调整和反向梯度，在主流基准测试中优于现有方法，为模型自适应提供高效方案。
2026-08-04 cs.AI cs.CL
Probing Language Models on Their Knowledge Source
BNP Paribas（法国巴黎银行）；Sorbonne Université（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
本文提出一种探测框架，通过受控矛盾提示分析LLM内部激活，发现中间层关系相关激活能预测参数知识与上下文知识的选择，助力构建可靠模型。
2024-11-09 cs.CL
Predicting metrical patterns in Spanish poetry with language models
UNED（西班牙国立远程教育大学）；IE University（IE大学）
在本文中，我们比较了自动韵律模式识别系统，可用于西班牙语对大量的实验微调语言模型训练相同的任务。尽管最初被认为是一个适合语义任务的模型，我们的研究结果表明，BERT为基础的模型保留了足够的结构信息，表现相当不错的西班牙语扫描。
2020-11-18 cs.CL
Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap 研究院）
在探测（或诊断分类）的方法论支持下，最近的研究表明，Transformers在一定程度上编码句法和语义信息。根据这条研究路线，本文旨在将语义探索推向抽象的极端，其目标是回答以下研究问题：当代基于transformer的模型能否反映底层的基础本体？为此，我们提出了一个系统的基础本体论（FO）探测方法，以调查是否转换器为基础的模型编码抽象的语义信息。在不同的预训练和微调制度，我们提出了一个广泛的评估的一组不同的大规模语言模型在三个不同的和互补的FO标记实验。具体来说，我们提出并讨论了以下结论：（1）探测结果表明，基于transformer的模型在预训练过程中偶然编码了与基础本体相关的信息;（2）利用这些知识可以有效地构建强大的FO标记器（准确率为90%）。
2022-01-25 cs.CL
Counterfactual Probing for the Influence of Affect and Specificity on Intergroup Bias
Department of Linguistics（语言学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文通过反事实探测研究情感和特异性如何影响群体偏见，发现神经模型在预测群体关系标签时可靠使用情感，但特异性的使用不明确。
2023-06-02 cs.CL cs.CY
Embedded Named Entity Recognition using Probing Classifiers
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；TU Dresden（德累斯顿工业大学）
提出名为EMBER的方法，通过探针分类器在decoder-only语言模型中实现无需微调的流式命名实体识别，在保持高生成速率的同时显著降低了推理时的计算成本。
2024-10-14 cs.CL
OWL: Probing Cross-Lingual Recall of Memorized Texts via World Literature
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Maryland, College Park（马里兰大学帕克分校）；Microsoft（微软）
本文通过世界文学数据集OWL探究LLMs的跨语言记忆，发现模型能跨语言召回内容，GPT-4o在新翻译中识别作者和标题达69%。
2025-10-07 cs.AI cs.CL
Alignment Forecasting: Predicting Misalignment From Training Data
NYU（纽约大学）；MATS；OpenAI
提出对齐预测任务，在训练前预测微调数据引发的模型错位，并构建ALIGNMENTFORECASTBENCH基准，通过结合LLM评分和简单学习模型的脚手架，在SFT场景中实现高于随机水平的预测，并能过滤有害数据提升对齐效果。
2026-10-02 cs.AI cs.CL
The Foundational Capabilities of Large Language Models in Predicting Postoperative Risks Using Clinical Notes
National University of Singapore（新加坡国立大学）
本研究利用84,875份术前记录，考察大型语言模型通过多种微调策略预测六项术后风险的表现，发现统一基础模型取得最优性能，凸显了LLMs在围手术期护理中的基础能力。
2024-08-31 cs.CL
Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis
BITS Pilani, K. K. Birla Goa Campus（贝拉理工学院（BITS Pilani）K.K.比拉拉果阿校区）
表征相似性分析是认知神经科学的一种方法，它有助于比较来自两个不同数据源的表征。在本文中，我们提出使用表征相似性分析来探测代码的语言模型的语义基础。我们通过使用IBM CodeNet数据集的数据来探测CodeBERT模型的语义基础表示。通过我们的实验，我们表明，目前的预训练方法不会在代码的语言模型中引入语义基础，而是专注于优化基于形式的模式。我们还表明，即使是少量的微调语义相关的任务增加了语义基础CodeBERT显着。我们对CodeBERT模型的输入模态的消融表明，使用双峰输入（代码和自然语言）而不是单峰输入（仅代码）在语义微调期间提供了更好的语义基础和样本效率。最后，我们对代码中语义扰动的实验表明，CodeBERT能够鲁棒地区分语义正确和不正确的代码。
2022-07-15 cs.CL cs.IR cs.PL
From Imitation to Introspection: Probing Self-Consciousness in Language Models
Tongji University（同济大学）；Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出语言模型自我意识的实用定义与十个核心概念，并通过因果结构博弈及四阶段实验评估、可视化、操纵和微调相关表征，揭示其已具雏形、难以正向操纵但可经微调获得。
2024-10-24 cs.CL cs.CY cs.LG
Enhancing Robustness in Biomedical NLI Models: A Probing Approach for Clinical Trials
National University of Computer & Emerging Sciences（国家计算机与新兴科学大学）
本研究通过记忆探针分析Sci-five模型在临床试验蕴含任务中的特征学习，并利用迭代零空间投影微调，提升了模型鲁棒性和准确性。
2024-02-04 cs.CL cs.LG
Probing Large Language Models from A Human Behavioral Perspective
Universität Hamburg（汉堡大学）；Beijing Institute of Technology（北京理工大学）；Chinese Academy of Sciences（中国科学院）
该研究从人类行为视角出发，通过关联大语言模型（LLM）输出与眼动测量值探究其内部机制，发现LLM预测模式与人类相似、与浅层语言模型不同，且从中层起FFN和MHSA的语义相关性随层数加深而提升。
2024-04-13 cs.CL
A Pairwise Probe for Understanding BERT Fine-Tuning on Machine Reading Comprehension
Peking University（北京大学）；University of Technology Sydney（悉尼科技大学）
预训练模型为许多NLP任务带来了显着的改进，并得到了广泛的分析。但人们对微调对特定任务的影响知之甚少。直觉上，人们可能会同意预先训练的模型已经学习了单词的语义表示（例如同义词彼此更接近），并且微调进一步提高了其需要更复杂推理的能力（例如共指消解，实体边界检测等）。然而，如何验证这些论点的分析和定量是一个具有挑战性的任务，有很少的工作集中在这一主题。在本文中，大多数探测任务涉及识别匹配的短语对（例如，共指需要匹配一个实体和代词）的观察的启发，我们提出了一个成对的探测理解BERT微调的机器阅读理解（MRC）任务。具体来说，我们确定了MRC中的五种现象。根据成对探测任务，我们比较了预训练和微调BERT的每一层的隐藏表示的性能。所提出的成对探针消除了不准确的模型训练造成的分心问题，并进行了稳健和定量的比较。我们的实验分析得出了非常有说服力的结论：（1）微调对基本和低层次信息以及一般语义任务的影响不大。(2)对于下游任务所需的特定能力，微调的BERT优于预先训练的BERT，并且这种差距在第五层之后是明显的。
2020-06-02 cs.CL cs.IR
Probing for Bridging Inference in Transformer Language Models
University of Lille（里尔大学）；INRIA Lille（法国国家信息与自动化研究所里尔分部）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IBM Research Europe（IBM欧洲研究院）
我们探测用于桥接推理的预训练的Transformer语言模型。我们首先考察了BERT中的个体注意头，发现与低层和中层注意头相比，高层注意头更显著地关注桥接关系，并且很少有特定的注意头持续地关注桥接关系。更重要的是，我们认为语言模型作为一个整体，在我们的第二种方法，桥接回指的决议制定为一个掩蔽的令牌预测任务（过完形填空测试）。我们的公式产生了乐观的结果，没有任何微调，这表明预训练的语言模型基本上捕获桥接推理。进一步的研究表明，回指先行词与提供给语言模型的上下文之间的距离在推理中起着重要的作用。
2021-04-19 cs.CL
Sort by Structure: Language Model Ranking as Dependency Probing
IT University of Copenhagen（哥本哈根信息技术大学）；LMU Munich（慕尼黑大学）
对预训练的语言模型（LM）做出明智的选择对于性能至关重要，但环境代价高昂，因此广泛探索不足。计算机视觉领域已经开始解决编码器排名问题，并有望进军自然语言处理，但它们缺乏对结构化预测等语言任务的覆盖。我们建议探测排名LM，特别是在一个给定的语言解析依赖关系，通过测量标记树的程度是可恢复的LM的上下文嵌入。在46个类型和架构上不同的LM语言对中，我们的探测方法预测了79%的最佳LM选择，使用的数量级比训练一个完整的解析器少。在这项研究中，我们确定和分析一个最近提出的解耦LM - RemBERT -，并发现它惊人地包含较少的固有依赖信息，但往往会产生最好的解析器后，充分微调。如果没有这个离群值，我们的方法在89%的情况下确定了最佳LM。
2022-06-10 cs.CL
To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times
Massachusetts Institute of Technology（麻省理工学院）；Universidad Politécnica de Madrid（马德里理工大学）
本文研究了大语言模型在句子层面可记忆性和阅读时间的预测能力，通过微调提升预测效果，发现其在不同任务上的表现存在显著差异，提示在使用LLM提示替代人类认知测量时需谨慎。
2026-03-12 cs.CL
Probing Image-Language Transformers for Verb Understanding
DeepMind（深度思维）
多模态图像语言Transformers在依赖于微调的各种任务上取得了令人印象深刻的结果（例如，视觉问答和图像检索）。我们感兴趣的是揭示其预训练表示的质量-特别是，如果这些模型可以区分不同类型的动词，或者如果它们只依赖于给定句子中的名词。为此，我们收集了一个图像-句子对（英语）数据集，其中包括421个动词，这些动词要么是视觉动词，要么是预训练数据中常见的动词（即，Conceptual Captions数据集）。我们使用这个数据集来评估预训练的图像语言Transformers，发现与其他词性相比，它们在需要动词理解的情况下失败得更多。我们还调查了哪些类别的动词特别具有挑战性。
2021-06-16 cs.CL cs.CV
EiCAP: Beyond Fluency, Probing and Improving Emotional Intelligence in LLMs via Psychologically Grounded Multi-Turn Dialogue
Qatar Computing Research Institute (QCRI), Hamad Bin Khalifa University（卡塔尔计算研究所（QCRI），哈马德·本·卡伊夫大学）；University of Illinois Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
提出基于心理学六层情感智能分类法的EiCAP框架，包含评估基准EiCAP-Bench和微调语料EiCAP-SFT，发现通用对话微调不提升情感智能，而基于情感智能的LoRA微调显著提升模型在所有24个子类别上的表现。
2026-06-15 cs.CL cs.HC
What Happens To BERT Embeddings During Fine-tuning?
Google Research（谷歌研究院）；Brown University（布朗大学）
虽然最近有很多工作研究语言信息如何编码在预训练的句子表示中，但对于这些模型在适应解决下游任务时如何变化的了解相对较少。使用一套分析技术（探测分类器，代表性相似性分析和模型消融），我们调查如何微调影响的BERT模型的表示。我们发现，虽然微调必然会产生重大变化，但它不会导致语言现象的灾难性遗忘。相反，我们发现微调主要影响BERT的顶层，但不同任务之间存在值得注意的差异。特别是，依存句法分析重新配置了模型的大部分，而SQuAD和MNLI似乎涉及更浅的处理。最后，我们还发现微调对域外句子的表示有较弱的影响，这表明模型泛化有改进的空间。
2020-04-29 cs.CL
A Closer Look at How Fine-tuning Changes BERT
University of Utah（犹他大学）
鉴于在当今的NLP中普遍存在预先训练的语境化表征，人们已经做出了许多努力来了解它们包含哪些信息，以及为什么它们似乎普遍成功。使用这些表示的最常见方法是针对最终任务对其进行微调。然而，微调如何改变底层嵌入空间的研究较少。在这项工作中，我们研究了英语BERT家庭，并使用两种探测技术来分析微调如何改变空间。我们假设微调通过增加与不同标签相关的示例之间的距离来影响分类性能。我们证实了这一假设，精心设计的实验上五个不同的NLP任务。通过这些实验，我们还发现了一个例外，流行的智慧，“微调总是提高性能”。最后，通过比较微调前后的表示，我们发现微调不会对表示进行任意更改;相反，它会将表示调整到下游任务，同时在很大程度上保留数据点的原始空间结构。
2022-03-16 cs.CL
What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning
University of Southern California（南加州大学）；University of California, Santa Barbara（加州大学圣芭芭拉分校）；Texas A&M University（德克萨斯A&M大学）
针对VLM在因果推理中的不足，提出VQA-Causal和VCR-Causal基准，发现模型在因果任务上仅略优于随机猜测，归因于训练数据缺乏因果表达，并通过难负例微调改善。
2026-06-24 cs.CL
Probing for Reading Times
ETH Zürich（苏黎世联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University College London（伦敦大学学院）
本文通过眼动追踪数据，利用正则化线性回归比较语言模型各层表示在预测阅读时间等指标上的表现，发现早期层表示在预测早期眼动指标上优于 surprisal，但对总阅读时间而言 surprisal 仍更优。
2026-04-20 cs.CL
Reducing Sequence Length by Predicting Edit Operations with Large Language Models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tokyo Institute of Technology（东京工业大学）
本文提出预测源文本编辑跨度以减少局部序列转换任务的目标序列长度和推理成本，在四项任务中达到基线相当甚至最先进的性能。
2023-10-21 cs.CL
One Arrow, Many Targets: Probing LLMs for Multi-Attribute Controllable Text Summarization
IIIT Hyderabad（印度信息技术学院海得拉巴分校）
本研究通过大语言模型和低秩适配器探索多属性可控摘要任务，提出并评估了一种分层适配器融合技术，以有效整合多个可控属性的学习成果。
2024-11-02 cs.CL
What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models
The University of Tokyo（东京大学）；Institute of Industrial Science（工业科学研究所）；ELYZA, Inc.（ELYZA公司）
针对语言模型的事实幻觉问题，本研究提出多维度知识探测基准BELIEF(ICL)与多提示数据集MyriadLAMA，全面评估预训练语言模型的事实知识回忆能力，并探究影响事实记忆与回忆的关键因素，揭示了提示式知识探测的局限性。
2024-10-08 cs.CL
Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning
Alibaba Group（阿里巴巴集团）
针对大型预训练模型全参数微调代价高的问题，提出自适应前缀微调（APT），通过门控机制在令牌级和层级调整前缀，在SuperGLUE和NER数据集上验证了有效性与高效性。
2023-05-24 cs.CL
