Interpretable Next-token Prediction via the Generalized Induction Head
Microsoft Research(微软研究院);Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对大模型可解释性不足的问题,提出受LLM归纳头启发的可解释下一词元预测模型GIM,结合精确n-gram与神经模糊匹配检索相似序列,在语言建模和fMRI预测任务上均优于现有可解释基线,推动性能与可解释性的跨领域统一。
2025-10-24 cs.AI cs.CL cs.LG
Beyond Induction Heads: In-Context Meta Learning Induces Multi-Phase Circuit Emergence
The University of Tokyo(东京大学)
本文将复制任务扩展为上下文内元学习设置,通过分析训练动态发现模型能力获得经历多个阶段且各阶段涌现独特电路,从而解释 Transformer 超越简单复制的 ICL 能力来源。
2025-06-10 cs.AI cs.CL
In-Context Learning Beyond Copying: A Training-Time Analysis of Abstractive ICL
Northeastern University(东北大学);University of Mannheim(曼海姆大学);Boston University(波士顿大学)
本文提出Hapax训练方法,通过排除归纳头可预测的token损失,发现模型在保持抽象性ICL能力的同时,训练效果更优。
2026-10-23 cs.CL
Understanding and Controlling Repetition Neurons and Induction Heads in In-Context Learning
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学);RIKEN(日本理化学研究所)
本文从重复神经元视角探究大语言模型重复模式识别与上下文学习性能的关系,发现神经元层深影响其对ICL性能的作用,对比重复神经元与归纳头后提出减少重复输出且保持ICL能力的策略。
2025-11-11 cs.CL
Induction Heads as an Essential Mechanism for Pattern Matching in In-context Learning
ILLC University of Amsterdam(阿姆斯特丹大学ILLC)
本文探讨归纳头在少样本上下文学习(ICL)中的作用,发现消融归纳头会导致抽象模式识别任务性能下降约32%,并使NLP任务性能降至接近零样本水平,证明归纳机制是ICL的核心。
2025-04-02 cs.CL
Predicting the Emergence of Induction Heads in Language Model Pretraining
Department of Linguistics, Georgetown University(语言学系,乔治城大学)
研究训练数据统计特性与归纳头形成关系,通过自然和合成数据设置,发现简单公式可预测归纳头形成点,表面二元重复频率等影响其形成并找到决策边界,局部依赖也影响其形成。
2026-07-07 cs.CL
Rethinking Associative Memory Mechanism in Induction Head
The University of Tokyo(东京大学)
本文从联想记忆视角,理论分析并实验验证了两层Transformer在下一词预测中如何捕获上下文信息并平衡预训练二元语法知识,揭示了归纳头机制的内在运作原理。
2025-07-08 cs.CL cs.LG
KV Shifting Attention Enhances Language Modeling
Baichuan Inc(百川公司)
本文提出KV shifting attention,通过改进注意力机制降低实现induction heads所需的深度与宽度,并在玩具模型到10B以上预训练模型中提升语言建模性能或收敛速度。
2024-12-05 cs.CL
Out-of-distribution generalization via composition: a lens through induction heads in Transformers
BIGAI(北京智源人工智能研究院);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文通过归纳头视角研究Transformer的分布外泛化机制,发现模型可通过组合两个自注意力层学习隐藏规则,并提出嵌入空间中的共享潜在子空间作为组合桥梁的共同桥接表示假说。
2024-12-28 cs.AI cs.CL cs.LG
Induction Signatures Are Not Enough: A Matched-Compute Study of Load-Bearing Structure in In-Context Learning
通过Bi-Induct研究上下文学习中归纳结构的负载能力,发现归纳头部活动增加但泛化能力未提升,揭示了归纳与反归纳的不对称性。
2026-03-14 cs.AI cs.CL cs.LG
Rethinking the Role of Scale for In-Context Learning: An Interpretability-based Case Study at 66 Billion Scale
University of California, Los Angeles(加州大学洛杉矶分校);AWS AI Labs(AWS人工智能实验室)
本文基于OPT-66B和14项任务,通过组件重要性与归纳头分析,揭示上下文学习能力集中于少数注意力头,并探讨其对预训练的启示。
2023-08-16 cs.AI cs.CL
Induction in Both Directions: A Mechanistic Analysis of In-Context Learning in Masked Diffusion Language Models
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工大学国家科技大学)
研究扩散语言模型(DLM)中归纳机制,对比仅注意力AR模型和吸收掩码DLM。发现DLM学习双向归纳电路,方向对称,掩码两侧可见时归纳更强,还证明其能计算掩码令牌比例作隐式时间步长。
2026-07-21 cs.AI cs.CL cs.LG
Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers
Yale University(耶鲁大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
该研究针对Transformer各模块对上下文学习的贡献不明确的问题,通过分析含相对位置嵌入等的两层注意力Transformer在n-gram马尔可夫链数据上的训练,证明梯度流收敛到由各模块协同实现的广义归纳头极限模型,并经实验验证。
2024-09-09 cs.AI cs.CL cs.LG
Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition
University of Southern California(南加州大学);Salesforce AI Research(Salesforce AI研究院)
本研究通过分析“加一错误”加法任务,揭示了语言模型中函数诱导机制如何实现任务泛化,展示了其在多种任务中的复用能力。
2026-03-04 cs.AI cs.CL cs.LG
INTRYGUE: Induction-Aware Entropy Gating for Reliable RAG Uncertainty Estimation
Applied AI Institute(应用人工智能研究所)
本文提出INTRYGUE方法,通过诱导头激活模式门控预测熵,解决RAG中熵基不确定性估计的机械悖论问题,提升hallucination检测性能。
2026-09-01 cs.AI
Emergent Symbolic Mechanisms Support Abstract Reasoning in Large Language Models
Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
通过分析LLM内部机制,发现其抽象推理依赖由符号抽象、符号归纳和检索三个计算阶段构成的涌现符号架构,为符号与神经网络之争提供了新证据。
2025-06-06 cs.AI cs.CL
Vector Arithmetic in Concept and Token Subspaces
Northeastern University(东北大学)
该研究通过概念和令牌子空间的向量算术揭示语言模型中的语义与表层信息结构。
2025-11-22 cs.CL
Linking In-context Learning in Transformers to Human Episodic Memory
University of California, San Diego(加利福尼亚大学圣迭戈分校);New York University(纽约大学)
本研究揭示Transformer大语言模型中的诱导头与人类情景记忆的CMR模型在多层面相似,发现类CMR头的层级分布与记忆偏差对应且对上下文学习有因果作用,为AI与神经科学研究提供新视角。
2024-10-31 cs.CL cs.LG
Neuron-based Personality Trait Induction in Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学首都人工智能学院);Tongyi Lab(通义实验室);Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院)
提出基于神经元的大语言模型人格特质诱导方法,通过构建PersonalityBench数据集、识别人格相关神经元并调整其值,实现无需训练的参数级控制,效果媲美微调模型。
2026-06-11 cs.CL
Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units
University of Science and Technology of China(中国科学技术大学)
提出机械论数据归因(MDA)框架,利用影响函数将可解释单元追溯到特定训练样本,通过因果验证表明干预高影响样本可显著调节可解释头的涌现,并发现重复结构数据作为机械催化剂,同时验证了归纳头与上下文学习之间的功能联系。
2026-06-07 cs.AI cs.CL cs.LG
Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines
University of Maryland(马里兰大学);University of Oklahoma(俄克拉荷马大学)
本文通过60篇多领域新闻文章评估ChatGPT-3.5、ChatGPT-4和Gemini识别误导性标题的能力,发现ChatGPT-4准确率最高,并强调以人为中心评估对构建伦理敏感且技术先进的LLMs的重要性。
2024-05-06 cs.CL cs.CY cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Localizing Task Recognition and Task Learning in In-Context Learning via Attention Head Analysis
University of Chicago(芝加哥大学);Tohoku University(东北大学);RIKEN(日本研究机构);JAIST(日本产业技术综合研究所)
本文通过分析注意力头,提出任务子空间logit归因框架,揭示大语言模型在上下文学习中任务识别与任务学习的独立作用机制。
2026-04-30 cs.CL
Unifying Attention Heads and Task Vectors via Hidden State Geometry in In-Context Learning
University of Chicago(芝加哥大学);JAIST;University of Wisconsin - Madison(威斯康星大学麦迪逊分校);RIKEN(日本研究机构)
本文提出基于隐藏状态可分离性与对齐性的统一几何框架,揭示分类 ICL 的两阶段机制,并阐明不同注意力头与任务向量的作用。
2025-10-18 cs.CL
Learning Evidence of Depression Symptoms via Prompt Induction
IRLab, CITIC, Universidade da Coruña(IR实验室、CITIC、科鲁纳大学)
本文通过提示诱导学习方法,针对21种抑郁症症状进行细粒度分类,提出Symptom Induction方法,在BDI-Sen数据集上取得最佳F1分数,并在跨领域评估中展示出良好的泛化能力。
2026-04-27 cs.CL
Valence Induction with a Head-Lexicalized PCFG
本文提出了一种基于词汇化概率上下文无关文法的配价(次范畴化框架)学习实验。分布估计使用修改的EM算法。我们通过与词典的比较和熵度量来评估所获得的词典。结果表明,我们的模型产生高度准确的帧分布。
1998-05-05 cmp-lg cs.CL
In-Context Learning Amplifies a Latent Symbolic Circuit
本研究揭示大型语言模型中的潜在符号电路在上下文示例积累时被放大,其抽象、归纳、检索三阶段机制在低样本时已可检测,且函数向量可部分替代归纳阶段,依赖完整检索阶段,表明规则遵循能力预先存在于权重中。
2026-09-30 cs.AI cs.CL cs.LG
Retrieval Heads are Dynamic
Michigan State University(密歇根州立大学);Zoom Communications(Zoom公司);Tongyi Lab, Alibaba Group(阿里云实验室)
本文从动态视角研究LLM中的检索头,揭示其时间动态性、不可替代性及与隐藏状态的关联,通过实验验证动态检索头在生成任务中的优势。
2026-05-07 cs.CL
Do Multilingual LLMs have specialized language heads?
本文研究多语言大语言模型是否为每种语言具有专门的语言注意力头部,并探讨移除不需要语言头部对性能的影响。
2026-02-09 cs.CL
Successor Heads: Recurring, Interpretable Attention Heads In The Wild
University of Cambridge(剑桥大学)
本研究提出并验证了大语言模型中普遍存在的可解释“后继头”注意力组件,揭示其跨架构通用的mod-10数值表征机制,为理解LLM内部运算逻辑提供了新视角。
2023-12-14 cs.AI cs.CL cs.LG
Architecture, Not Scale: Circuit Localization in Large Language Models
Manipal Institute of Technology Bengaluru(班加罗尔Manipal理工大学)
研究发现,注意力架构比参数量更重要,组查询注意力在同等规模下产生更集中稳定的电路,且在事实记忆中存在相变现象。
2026-05-09 cs.CL
Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞瓦特大学)
提出Logit贡献评分(LOCOS),通过OV电路输出投影到答案标记方向,识别大语言模型中执行非字面检索的注意力头,消融实验显著降低ROUGE-L而保持其他能力。
2026-07-02 cs.AI cs.CL cs.LG
ZigzagAttention: Efficient Long-Context Inference with Exclusive Retrieval and Streaming Heads
Beijing Institute of Technology(北京理工大学)
ZigzagAttention通过将检索头与流式头独占性地分配到不同层,在减少KV缓存开销的同时消除额外延迟,实现高效长上下文推理。
2025-08-17 cs.CL
XL-HeadTags: Leveraging Multimodal Retrieval Augmentation for the Multilingual Generation of News Headlines and Tags
Ahsanullah University of Science & Technology(阿萨努拉科技大学);University of Alberta(阿尔伯塔大学);Université de Sherbrooke(谢布鲁克大学);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
本文提出XL-HeadTags方法,利用图像和标题等多模态辅助信息检索相关句子,结合指令微调,在多语言环境下同时生成新闻标题和实体标签,并构建了覆盖20种语言的数据集及配套评估工具。
2024-06-07 cs.AI cs.CL cs.CV
Corpus-based Open-Domain Event Type Induction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
传统的事件提取方法需要预定义的事件类型及其相应的注释来学习事件提取器。这些先决条件在实际应用中往往难以满足。本文提出了一种基于语料库的开放域事件类型归纳方法,该方法可以从给定的语料库中自动发现一组事件类型。由于同一类型的事件可以用多种方式表示,我们建议将每个事件类型表示为一组<谓词意义,对象头部>对。具体来说,我们的方法(1)选择显着的谓词和对象中心语,(2)消除歧义的谓词意义只使用一个动词意义词典,(3)获得事件类型的联合嵌入和聚类<谓词意义,对象中心语>对在潜在的球形空间。我们在来自不同领域的三个数据集上的实验表明,我们的方法可以根据自动和人工评估发现突出和高质量的事件类型。
2022-03-30 cs.CL
Two Heads Are Better Than One: Dual-Model Verbal Reflection at Inference-Time
King’s College London(伦敦国王学院);AQA;The Alan Turing Institute(艾伦·图灵研究所);Tencent YouTu Lab(腾讯YouTu实验室);University of Cambridge(剑桥大学);Queen Mary University of London(伦敦大学玛丽女王学院)
针对 ASAS 中 LLM 评分缺乏可解释性且难以及早发现细微推理错误的问题,本文提出基于结构推理图差异的对比反思合成流程与双模型反思评分框架 DARS,并在全部指标上超越基线。
2025-09-28 cs.CL
Tracing Relational Knowledge Recall in Large Language Models
TU Dresden(德累斯顿技术大学)
研究大型语言模型在文本生成中如何回忆关系知识,通过线性探测识别适合关系分类的潜在表示。分析不同潜在表示,发现注意力头对残差流的贡献是线性关系分类的强特征。
2026-04-23 cs.CL
Listening to the Wise Few: Query-Key Alignment Unlocks Latent Correct Answers in Large Language Models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);AI Foundation and Algorithm Lab(人工智能基金会与算法实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院);CNRS(法国国家科学研究中心);Université Paris Cité(巴黎西岱大学)
本文提出基于选择-复制注意力头的QK分数和注意力分数来改进多项选择问答中的知识提取,缓解LLM因格式限制而选错答案的问题,在多个MCQA基准上显著提升准确率。
2026-10-01 cs.CL cs.LG
LocUS: Head Selection and Subspace Projection for Targeted Activation Steering
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Area Science Park(的里雅斯特科技园区);Institute of Science Technology Austria(奥地利科学技术研究所)
本文提出LocUS方法,通过选择注意力头并投影到非嵌入子空间,实现目标激活引导,在干预少量参数下达到或超越现有基线,并保持通用能力。
2026-09-28 cs.CL cs.LG
Analogous Process Structure Induction for Sub-event Sequence Prediction
HKUST(香港科技大学);UPenn(宾夕法尼亚大学)
事件理解的计算和认知研究表明,识别、理解和预测事件取决于对一系列事件的结构化表示,以及将其组成部分概念化(抽象化)为(软)事件类别。因此,关于诸如“买车”的已知过程的知识可以在诸如“买房”的新的但类似的过程的上下文中使用。然而,NLP中的大多数事件理解工作仍然处于底层,并且没有考虑抽象。在本文中,我们提出了一个类比过程结构归纳APSI框架,它利用过程之间的类比和子事件实例的概念化来预测以前看不见的开放域过程的整个子事件序列。正如我们的实验和分析表明,APSI支持为看不见的过程生成有意义的子事件序列,并可以帮助预测丢失的事件。
2020-10-16 cs.AI cs.CL
Identifying Nominals with No Head Match Co-references Using Deep Learning
Stanford University(斯坦福大学)
识别没有中心词匹配的名词是共指消解中的一个长期挑战,目前的系统表现明显不如人类。在本文中,我们提出了一种新的神经网络架构,它优于当前最先进的系统上的英语部分的CoNLL 2012共享任务。这是通过对两个子模型产生的特征进行逻辑回归来完成的,其中一个子模型具有[CM16a]中提出的架构,而另一个子模型结合了先行词和提及的特定领域嵌入。我们还提出了一些简单的附加功能,这些功能似乎可以大大提高所有模型的性能,在基本逻辑回归和其他复杂模型上将F1提高了近4%。
2017-10-02 cs.CL
Analyzing Multi-Head Attention on Trojan BERT Models
Hofstra University(霍夫斯特拉大学)
本研究分析Transformer模型中多头注意力在良性模型与特洛伊木马模型间的行为差异,通过识别特定的“特洛伊”注意力头并分析其功能,揭示了特洛伊攻击对模型注意力机制的影响。
2024-06-12 cs.AI cs.CL
Identifying Crucial Attention Heads for Multilingual Language Models: Retrieval and Retrieval-Transition Heads
New York University(纽约大学)
本研究通过引入检索-过渡头(RTH)揭示多语言模型中负责目标语言生成的关键注意力机制,并通过实验验证其在链式推理中的重要性。
2026-09-15 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词义消歧是自动识别句子中多义词的过程,是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上,在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源,有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究,并提出了一些值得关注的问题。
2013-10-05 cs.CL
Overthinking the Truth: Understanding how Language Models Process False Demonstrations
UC Berkeley(加州大学伯克利分校)
该研究从语言模型内部表征出发,发现少样本学习中错误示例会引发“过度思考”现象,其机制可能与晚期层的“错误归纳头”相关,为理解和防范模型有害行为提供了新方向。
2024-03-12 cs.AI cs.CL cs.LG
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题,提出用Shapley值识别引发干扰的注意力头并剪枝的方法,最高可提升目标语言任务性能24.7%,并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG
Annotation of Chinese Predicate Heads and Relevant Elements
Guizhou University(贵州大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
谓语中心语是在句子中起结构中心作用的动词性表达。识别谓语中心语对理解句子至关重要。它在组织句子中的相关句法成分方面起着主导作用,包括主语成分,状语成分等。对于某些语言,如英语,词形态对识别谓语中心语很有价值。然而,汉语并没有提供任何形态信息来表明词的语法角色。一个汉语句子往往包含几个动词性表达,识别起谓语中心语作用的表达并不是一件容易的事情。此外,汉语句子不注重结构,词与词之间没有界限。因此,识别汉语谓语中心语涉及重大挑战。在中文信息抽取中,谓语中心语识别方面的研究还很少。没有普遍接受的评价数据集支持这一重要领域的工作。本文首次提出了汉语谓语中心语及其相关句法成分的注释准则。这个注释准则强调了谓语作为句子结构中心的作用。相关句法成分注释的设计也遵循这一原则。为了实现这一目标,提出了许多考虑因素,例如,谓词中心语的模式,扁平化的注释结构,以及更简单的句法单位类型。根据拟议的注释准则,对1 500多份文件进行了人工注释。语料库将在网上提供,供公众查阅。我们的目标是通过这一指南和注释语料库,广泛影响和推动中文信息抽取领域的研究,并为研究界提供长期缺乏的关键资源。
2021-04-01 cs.CL
Too Big to Fail: Larger Language Models are Disproportionately Resilient to Induction of Dementia-Related Linguistic Anomalies
University of Minnesota(明尼苏达大学);University of Washington(华盛顿大学)
本研究提出双向注意力头消融方法,发现大型GPT-2模型需消融更多注意力头才会出现与小型模型同等程度的性能退化,表明注意力机制可作为认知和脑储备的类比,为模拟神经退行性疾病提供新视角。
2024-06-05 cs.CL
VERA: Identifying and Leveraging Visual Evidence Retrieval Heads in Long-Context Understanding
Tongji University(同济大学);Zhejiang University(浙江大学);Westlake University(西湖大学);Amazon Web Services(亚马逊网络服务)
VERA通过识别和利用视觉证据检索头,提升长上下文理解能力,显著提高开源VLMs的性能。
2026-02-09 cs.CL cs.CV
Probabilistic Frame Induction
University of Toronto(多伦多大学);Microsoft Research(微软研究院)
在自然语言的话语中,相关的事件往往出现在彼此附近,以描述一个更大的场景。这样的结构可以通过框架的概念形式化(a.k.a.)。模板),它包括一组相关的事件和原型参与者以及事件转换。识别框架是信息抽取和自然语言生成的前提,通常是人工完成的。最近已经提出了用于诱导帧的方法,但是它们通常使用特设过程并且难以诊断或扩展。在本文中,我们提出了框架归纳的第一种概率方法,它将框架,事件,参与者作为潜在主题,并学习那些最能解释文本的框架和事件转换。帧的数量推断的一个新的应用程序的分裂合并方法从句法分析。在从文本到诱导框架和提取事实的端到端评估中,我们的方法产生了最先进的结果,同时大大减少了工程工作。
2013-02-20 cs.CL
Mirror, Mirror on the Wall: Prompt Echoing in Small Instruct Language Models
Centre for Credible AI, Warsaw University of Technology(华沙理工大学可信人工智能中心);Adam Mickiewicz University Poznan(波兹南亚当·密茨凯维奇大学);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
本研究探究小型指令语言模型中的提示回显现象,发现其虽与训练数据部分重叠,但主要由模型的归纳头机制驱动,而非数据泄露所致。
2026-09-15 cs.AI cs.CL
Interpretable Multi-Head Self-Attention model for Sarcasm Detection in social media
University of Central Florida(中佛罗里达大学)
讽刺(Sarcasm)是一种语言表达方式,通常用来表达与所说的相反的意思,通常是非常不愉快的事情,意图是侮辱或嘲笑。讽刺表达中固有的歧义性,使得讽刺检测非常困难。在这项工作中,我们专注于从各种社交网络平台和在线媒体的文本对话中检测讽刺。为此,我们开发了一个可解释的深度学习模型,使用多头自注意和门控递归单元。多头自我注意模块帮助识别关键的讽刺线索词从输入,和循环单元学习这些线索词之间的长期依赖关系,以更好地分类输入文本。我们通过在来自社交网络平台和在线媒体的多个数据集上实现最先进的结果来展示我们方法的有效性。使用我们提出的方法训练的模型很容易解释,并能够识别输入文本中的讽刺线索,这有助于最终的分类得分。我们将学习到的注意力权重在几个样本输入文本上可视化,以展示我们模型的有效性和可解释性。
2021-01-14 cs.AI cs.CL cs.SI
Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory
State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机科学学院,北京大学);Microsoft(微软公司);Microsoft Research Asia(微软亚洲研究院)
研究半参数语言模型中记忆缺乏学习能力的问题,提出将非参数记忆重新概念化为可学习的邻居混合归纳记忆(MoNIM),融入模型信息流,经实验验证其能提升半参数语言模型的可扩展性和持续学习性能。
2026-07-20 cs.CL cs.LG
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge(剑桥大学);National University of Ireland(爱尔兰国立大学);Facebook AI Research(Facebook AI研究院)
由于语言中单词的齐普菲分布,人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时,一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化,如habláramos。注意词素本身,hablar,是相对常见的。在这项工作中,我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务,不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时,评估不频繁的形态变化,然后表明,在训练时添加一个简单的形态约束提高了性能,证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL