Investigating Expert-in-the-Loop LLM Discourse Patterns for Ancient Intertextual Analysis
University of the Cumberlands(坎伯兰大学);Tennessee Tech University(田纳西理工大学)
本研究评估了LLMs在圣经希腊语文本互文性分析中的能力,发现其能检测引文、典故和回声,但在长查询和虚假依赖上存在局限,并提出专家在环方法以支持可扩展的互文研究。
2024-09-29 cs.CL
Investigating Neurons and Heads in Transformer-based LLMs for Typographical Errors
NAIST(奈良先端科学技术大学院大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Fujitsu Ltd.(富士通公司)
本文提出识别LLM中处理拼写错误的神经元和注意力头的方法,发现它们利用局部与全局上下文修正错误,并同时参与一般上下文理解。
2025-02-27 cs.CL
Layer Importance and Hallucination Analysis in Large Language Models via Enhanced Activation Variance-Sparsity
Lanzhou University(兰州大学)
本文提出激活方差-稀疏性评分(AVSS)评估LLM层重要性并剪枝冗余层,同时提出增强版EAVSS识别易产生幻觉的层,结合对比学习有效缓解幻觉生成,最大性能提升达12%。
2024-11-15 cs.CL cs.PF
Beyond Layer Importance in Layer-wise Sparsity: An Inter-Layer Perturbation-Absorption Perspective
University of Science and Technology of China(中国科学技术大学)
本文通过受控扰动实验发现大语言模型中不同层对剪枝扰动的响应存在异质性,早期层放大扰动而中后期层吸收扰动,并基于此提出吸收感知校正方法,在70%稀疏度下降低困惑度7.13%并提升零样本准确率1.02%。
2026-06-16 cs.CL
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
ServiceNow Research(ServiceNow研究院);University of Arizona(亚利桑那大学);Università di Bologna(博洛尼亚大学)
本文提出独立于底层技术的 LLM 逐层混合比特量化方法,通过两种层重要性指标分配精度,在显著压缩模型的同时保持性能,并验证其与动态量化互补及在大模型上的优势。
2024-10-28 cs.AI cs.CL cs.LG
The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models
本研究探讨了大型语言模型在类比推理中的能力,发现其在编码和应用高层关系概念方面表现出有限但新兴的能力,揭示了与人类认知的相似性和差距。
2025-11-25 cs.CL
Attend First, Consolidate Later: On the Importance of Attention in Different LLM Layers
该研究通过操控大语言模型不同层的隐藏状态,发现Transformer类LLM存在两阶段处理过程,上层注意力作用被高估,下层负责收集前文信息、上层侧重内部信息处理。
2024-10-31 cs.CL
LSAQ: Layer-Specific Adaptive Quantization for Large Language Model Deployment
College of Computer Science and Technology, National University of Defense Technology(计算机科学与技术学院,国防科技大学)
本文提出LSAQ系统,通过基于层重要性的自适应量化策略,根据边缘设备计算资源动态调整LLMs各层量化精度,在困惑度和零样本任务上优于基线方法并支持灵活部署。
2025-05-06 cs.CL
LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
NVIDIA(英伟达);The Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出LISA方法,利用LoRA微调中层间权重范数偏斜的观察,对不同层进行重要性采样并随机冻结大多数中间层,以LoRA级内存成本超越LoRA和全参数微调性能。
2024-12-25 cs.AI cs.CL cs.LG
Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);TakeLab
本文针对仅解码器大语言模型在序列标注任务上因因果掩码导致性能受限的问题,提出在微调时逐层移除因果掩码的方法,使其在信息抽取任务上匹配或超越最先进模型。
2024-06-06 cs.CL
Enhancing Inference Efficiency of Large Language Models: Investigating Optimization Strategies and Architectural Innovations
University College London(伦敦大学学院)
针对大型语言模型推理成本高昂的问题,本文实证研究模型压缩,发现跳过 Transformer LLM 后部注意力子层可使 Llama 2 7B 单 token 生成提速 21%,并提升多项基准性能。
2024-04-02 cs.AI cs.CL cs.LG
MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate
UC Santa Barbara(加州大学圣巴巴拉分校);Rutgers University(罗格斯大学)
本研究通过辩论场景,探究对抗性攻击对多大型语言模型协作网络的影响,提出评估指标,发现说服能力是关键,并探索推理时增强论点及提示缓解的防御策略。
2024-06-26 cs.AI cs.CL cs.MA
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center(L3S研究中心)
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中,我们专门探讨BERT来理解和测量它捕获的关系知识。我们利用知识库完成任务来探测预训练的每一层以及微调的BERT(排名,问答,NER)。我们的研究结果表明,知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例(17-60%)。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时,关系知识被遗忘,但遗忘的程度受到微调目标的影响,而不是数据集的大小。我们发现,排名模型在最后一层忘记的最少,保留的知识更多。我们在github上发布了我们的代码来重复实验。
2021-09-08 cs.CL cs.LG
Deconstructing Attention: Investigating Design Principles for Effective Language Modeling
University of Sheffield(谢菲尔德大学)
本研究通过设计受控变体系统解构Transformer注意力机制的设计原则,发现token混合机制不可或缺,而数学形式和序列依赖性可大幅放宽,交替使用变体与标准注意力能产生协同效应,为简化语言模型提供了新途径。
2025-10-13 cs.CL cs.LG
Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Cleveland Clinic Lerner Research Institution(克利夫兰诊所勒纳研究所)
提出重要性感知稀疏微调(IST),通过逐层重要性评分选择关键层进行更新,以更少内存提升大语言模型参数高效微调的性能。
2024-11-05 cs.CL cs.LG
Investigating the Impact of Data Selection Strategies on Language Model Performance
McGill University(麦吉尔大学)
本文通过随机选择与分布对齐方法的对比实验,考察不同数据选择策略及n-gram、嵌入神经特征对语言模型下游性能和目标分布对齐的影响。
2025-01-07 cs.CL cs.LG
Investigating the 'Autoencoder Behavior' in Speech Self-Supervised Models: a focus on HuBERT's Pretraining
Orange(Orange公司)
本研究聚焦HuBERT预训练,探究语音自监督模型的“自编码器”行为,通过分析影响因素优化训练流程与顶层网络,实现了更快收敛及下游任务的竞争性性能。
2024-05-14 cs.CL
BERTnesia: Investigating the capture and forgetting of knowledge in BERT
L3S Research Center(L3S研究中心)
探索复杂的语言模型最近揭示了一些见解的语言和语义模式中发现的学习表示。在本文中,我们专门探讨了BERT,以理解和测量它在参数记忆中捕获的关系知识。虽然对语言理解的探索通常应用于BERT的所有层以及微调模型,但这还没有用于事实知识。我们利用现有的知识库完成任务(LAMA)来探测每一层的预训练以及微调的BERT模型(排名,问答,NER)。我们的研究结果表明,知识不仅包含在BERT的最后几层。中间层在所发现的知识总量中占相当大的比例(17-60%)。探索中间层还揭示了不同类型的知识是如何以不同的速度出现的。当BERT被微调时,关系知识被遗忘了。遗忘的程度受微调目标和训练数据的影响。我们发现,与掩蔽语言建模和问答相比,排名模型在最后一层忘记的最少,保留的知识更多。然而,掩蔽语言建模在从训练数据获取新知识方面表现最好。当涉及到学习事实时,我们发现容量和事实密度是关键因素。我们希望这一初步的工作将促进进一步的研究,了解参数记忆的语言模型和实际知识的训练目标的影响。重复实验的代码在GitHub上公开。
2021-09-08 cs.CL
Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models
Tohoku University(东邦大学);RIKEN(理化学研究所);NII LLMC(日本学术振兴会语言模型中心)
本研究针对Transformer语言模型预训练中前馈网络(FFNs)的分层重要性展开探究,通过调整不同层FFN维度并移除部分层FFNs(保持总参数量不变),从头训练不同规模模型,发现中间层FFNs更重要,集中配置可提升下游任务性能。
2025-08-25 cs.CL
Attention Is Not All You Need: The Importance of Feedforward Networks in Transformer Models
Johns Hopkins University(约翰霍普金斯大学)
本文通过预训练实验检验Transformer中FFN的作用,证明三层FFN且减少块数的配置能以更少参数和更短时间获得更低训练损失。
2025-05-10 cs.CL cs.LG
Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能研究院)
包含数十种甚至数百种语言的大规模多语言模型对多任务优化提出了巨大挑战。虽然它是一种常见的做法,应用语言无关的过程优化联合多语言任务目标,如何正确地表征和利用其底层的问题结构,以提高优化效率仍然是探索不足。在本文中,我们试图通过损失函数几何的镜头窥视的黑箱多语言优化。我们发现,沿优化轨迹测量的梯度相似性是一个重要的信号,它不仅与语言接近度,而且与整体模型性能密切相关。这种观察有助于我们确定现有的基于梯度的多任务学习方法的关键限制,因此我们得到了一个简单的和可扩展的优化过程,称为梯度疫苗,它鼓励更多的几何对齐的参数更新接近的任务。从经验上看,我们的方法在多语言机器翻译和多语言语言模型的XTREME基准测试任务上获得了显着的模型性能提升。我们的工作揭示了在多语言优化中正确测量和利用语言接近度的重要性,并且对多语言建模之外的多任务学习具有更广泛的影响。
2020-10-12 cs.CL cs.LG
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
本文提出语义结构探测方法研究Transformer句子嵌入,发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
What Changed? Investigating Debiasing Methods using Causal Mediation Analysis
University of Illinois-Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
以往的工作已经研究了去偏语言模型如何影响下游任务,具体来说,去偏技术如何影响任务绩效,以及去偏模型是否也在下游任务中做出公正的预测。然而,我们还没有很好地理解的是,为什么去偏置方法对下游任务有不同的影响,以及去偏置技术如何影响语言模型的内部组件,即,神经元层和注意力在本文中,我们分解的内部机制,去偏置语言模型相对于性别的因果中介分析理解的影响,去偏置方法的毒性检测作为一个下游任务。我们的研究结果表明,需要测试不同偏差度量的去偏方法的有效性,并关注模型某些组件的行为变化,例如,前两层语言模型和注意力头。
2022-06-01 cs.AI cs.CL
Investigating the Synergistic Effects of Dropout and Residual Connections on Language Model Training
Drexel University(德雷塞尔大学)
本文在 Tiny Shakespeare 上训练 decoder,系统分析分层 dropout、残差连接 dropout 及其交互,揭示正则化、收敛与泛化之间的关键权衡。
2024-10-01 cs.CL cs.LG
Investigating the Failure Modes of the AUC metric and Exploring Alternatives for Evaluating Systems in Safety Critical Applications
Arizona State University(亚利桑那州立大学)
随着与黑盒模型的使用相关的安全要求的重要性的增加,模型的选择性应答能力的评估已经变得至关重要。曲线下面积(AUC)用作该目的的度量。我们发现AUC的局限性;例如,具有较高AUC的模型在执行选择性应答时并不总是更好。我们提出了三个替代指标,修复已确定的限制。在对10个模型进行实验时,我们使用新指标的结果表明,更新和更大的预训练模型不一定在选择性回答中表现出更好的性能。我们希望我们的见解将有助于开发更好的模型,为安全关键型应用量身定制。
2022-10-10 cs.CL cs.CV
Contextual Cues in Machine Translation: Investigating the Potential of Multi-Source Input Strategies in LLMs and NMT Systems
LILT
本文比较GPT-4o与多语言NMT系统中多源输入策略对翻译质量的影响,发现中间语言上下文能提升领域特定及远距离语言对的翻译效果,并证明浅层融合结合高资源语言上下文可改善翻译质量。
2025-03-10 cs.CL
When Gradient Importance Lies: Adaptive LoRA Rank Allocation Fails Under GRPO
Independent Researcher(独立研究者)
本文探讨LoRA秩分配在强化学习中的有效性,发现GRPO环境下梯度重要性无法预测容量需求,非均匀分配反而降低准确性。
2026-08-17 cs.CL
Investigating the Timescales of Language Processing with EEG and Language Models
Faculty of Engineering, University of Bristol(布里斯托大学工程学院)
该研究利用EEG与时间响应函数和线性判别分析,考察预训练Transformer语言模型各层表征与大脑语言加工动态的对应关系,揭示词汇、组合及句法加工的时间尺度特征。
2024-07-31 cs.CL q-bio.NC
Investigating Stylistic Profiles for the Task of Empathy Classification in Medical Narrative Essays
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Beckman Institute(贝克曼研究所)
语言的一个重要方面是说话者如何产生话语和文本来传达他们的意图。在本文中,我们将构式语法(CxG)和系统功能语法(SFG)理论的各个方面引入到深度学习计算框架中来建模移情语言。我们的语料库包括440篇由医学预科学生撰写的文章,作为叙述模拟医患互动。我们从基线分类器(最先进的循环神经网络和Transformer模型)开始。然后,我们用一组语言结构丰富了这些模型,证明了这种新方法对该数据集的移情分类任务的重要性。我们的研究结果表明,这种结构的潜力,以促进第一人称叙事散文的整体移情配置文件。
2023-02-03 cs.CL
Modularity in Transformers: Investigating Neuron Separability & Specialization
本文通过选择性剪枝和 MoEfication 聚类分析 ViT 与 Mistral 7B 中神经元的模块化与任务特化,发现任务特异性神经元簇及随机初始化中已存在的固有结构,为理解 Transformer 内部机制和提升可解释性提供新见解。
2024-08-30 cs.AI cs.CL cs.LG
Does it care what you asked? Understanding Importance of Verbs in Deep Learning QA System
Warsaw University of Technology(华沙理工大学);Tooploox(Tooploox公司)
在本文中,我们介绍了在SQuAD数据集上训练的深度学习QA系统中动词重要性的调查结果。我们发现,问题中的主要动词对系统所做的决定影响不大-在超过90%的研究案例中,将动词交换为反义词并没有改变系统的决定。我们追踪这种现象到网络内部,分析RNN隐藏层中包含的自我注意和值的机制。最后,我们认识到SQuAD数据集的特征是问题的根源。我们的工作参考了NLP中最近流行的对抗性示例主题,并结合了对深度网络结构的研究。
2018-09-11 cs.CL
Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger
Prosa Solusi Cerdas(普罗萨智能解决方案公司);School of Electrical Engineering and Informatics(电气与信息工程学院);Institut Teknologi Bandung(万隆理工学院)
印尼语命名实体标注器的研究已有多年的历史。然而,大多数研究没有使用深度学习,而是使用传统的机器学习算法,如关联规则,支持向量机,随机森林,朴素贝叶斯等。在这里,我们尝试在我们的印度尼西亚NE tagger中使用深度学习。我们使用长短期记忆(LSTM)作为拓扑结构,因为它是NE标记器的最新技术。通过使用LSTM,我们不需要单词列表来提高准确性。基本上,我们主要调查两件事。第一个是网络的输出层:Softmax与条件随机场(CRF)。二是词性(POS)标签嵌入输入层的使用。使用8400句作为训练数据和97句作为评估数据,我们发现,使用POS标签嵌入作为额外的输入,提高了我们的印尼NE标记的性能。至于Softmax和CRF之间的比较,我们发现这两种架构在分类NE标签方面都有弱点。
2020-09-11 cs.AI cs.CL
Investigating the Effect of Language Models in Sequence Discriminative Training for Neural Transducers
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本研究比较了不同上下文长度和标签单元的语言模型在神经换能器序列判别训练中的效果,提出近似上下文历史方法以支持词级语言模型,并发现词级LM更优、上下文大小影响有限、假设空间质量至关重要。
2023-10-11 cs.CL cs.SD eess.AS
Investigating Pre-trained Audio Encoders in the Low-Resource Condition
Monash University(莫纳什大学)
本文在低资源条件下系统评估Wav2vec2、WavLM和Whisper三种预训练语音编码器在7个任务上的表现,发现Whisper在内容驱动任务中性能和收敛速度最优,并揭示了预训练协议与内部表征之间的关联。
2023-05-28 cs.CL cs.SD eess.AS