Cross-Layer Discrete Concept Discovery for Interpreting Language Models
University of Washington(华盛顿大学)
提出跨层向量量化变分自编码器(CLVQ-VAE),通过离散向量量化瓶颈将残差流中的重复特征压缩为紧凑可解释的概念向量,在三个数据集上优于聚类、单层VQ-VAE和稀疏自编码器基线。
2026-10-01 cs.AI cs.CL cs.LG
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
信息瓶颈(Tishby et al. 1999)的原理是产生一个信息X的摘要,以预测其他一些相关信息Y。在本文中,我们提出了一种新的无监督句子摘要方法,通过将信息瓶颈原则映射到条件语言建模目标:给定一个句子,我们的方法寻求一个压缩的句子,可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子,同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型,没有直接的监督,我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要(BottleSumEx)的基础上,我们提出了一种新的自监督抽象摘要方法(BottleSumSelf),其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明,我们的提取方法优于其他无监督模型的多个自动度量。此外,我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线(包括我们自己的)。
2019-09-20 cs.CL
Variational Information Bottleneck for Effective Low-Resource Fine-Tuning
Technion – Israel Institute of Technology(以色列理工学院);Idiap Research Institute(Idiap研究所);EPFL(洛桑联邦理工学院)
虽然大规模预训练的语言模型在各种任务上进行微调时取得了令人印象深刻的结果,但它们在低资源场景中仍然经常受到过拟合的影响。由于这些模型是通用的特征提取器,因此这些特征中的许多不可避免地与给定的目标任务无关。我们建议使用变分信息瓶颈(VIB)来抑制不相关的功能时,微调低资源的目标任务,并表明我们的方法成功地减少过拟合。此外,我们表明,我们的VIB模型发现句子表示,更强大的偏见,在自然语言推理数据集,从而获得更好的泛化域外数据集。在不同任务中对七个低资源数据集的评估表明,我们的方法显着改善了低资源场景下的迁移学习,超过了以前的工作。此外,它提高了15个域外自然语言推理基准中的13个的泛化能力。我们的代码可在https://github.com/rabeehk/vibert上公开获取。
2021-06-10 cs.CL
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute(Idiap 研究院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文扩展NVIB框架替换Transformer所有注意力函数,提出恒等初始化将预训练Transformer重新解释为非参数变分模型,并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models
Columbia University(哥伦比亚大学);Intel Labs(英特尔实验室);MIT-IBM Watson AI(MIT-IBM沃森人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
虽然来自预训练语言模型的基于向量的语言表示为许多NLP任务设定了新标准,但尚未对其内部工作原理进行完整的解释。特别是,我们还不完全清楚这些表示捕捉了哪些方面的语法,也不清楚它们是如何(如果有的话)沿着网络的堆叠层构建的。在本文中,我们的目标是解决这样的问题与一般类的干预,输入扰动为基础的分析表示从预训练的语言模型。从计算和认知神经科学的表征不变性的概念,我们进行了一系列的探测器设计,以测试这些表征的几种结构的句子的敏感性。每一个探测都涉及交换句子中的单词,并将扰动句子的表征与原始句子进行比较。我们用三种不同的扰动进行实验:(1)随机排列不同宽度的n-gram,以测试表征对单词位置敏感的程度;(2)交换两个跨度,它们形成或不形成句法短语,以测试对全局短语结构的敏感性;以及(3)交换两个相邻的词,它们分开或不分开句法短语,以测试对局部短语结构的敏感性。这些探测的结果共同表明,Transformers沿着它们的层建立对句子较大部分的敏感性,并且层次短语结构在这个过程中起着作用。更广泛地说,我们的研究结果还表明,结构化输入扰动扩大了可以在通常不透明的深度学习系统上执行的分析范围,并且可以作为现有工具(如监督线性探针)的补充,用于解释复杂的黑盒模型。
2021-04-15 cs.CL
BERT2Code: Can Pretrained Language Models be Leveraged for Code Search?
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
每天都有数百万个重复的代码片段被提交到代码库中。使用简单的自然语言查询从这些大型代码库中进行搜索将允许程序员更容易和更快地构思、原型化和开发。虽然现有的方法在自然语言描述包含来自代码的关键字的代码搜索方面表现出了良好的性能,但是在基于自然语言查询的语义含义和代码的语义结构的代码搜索方面仍然远远落后。近年来,自然语言和程序设计语言研究团体都创建了将它们嵌入向量空间的技术。在这项工作中,我们利用这些嵌入模型的有效性,使用一个简单的,轻量级的2层神经网络的语义代码搜索任务。我们表明,我们的模型学习嵌入空间之间的内在关系,并进一步探讨了改进的范围,通过实证分析的嵌入方法。在这个分析中,我们表明,代码嵌入模型的质量是我们的模型的性能的瓶颈,并讨论在这方面的未来研究方向。
2021-04-16 cs.CL cs.SE
Honest Students from Untrusted Teachers: Learning an Interpretable Question-Answering Pipeline from a Pretrained Language Model
Google Research(谷歌研究院)
提出markup-and-mask rationale风格,利用冻结的预训练语言模型作为不可信教师生成银标注数据,微调学生模型作为流水线瓶颈,在无标注下构建可信可解释问答系统。
2024-04-24 cs.CL cs.LG
ICA Lens: Non-Gaussianity Reveals Interpretable Directions in Language Models
Independent Researcher(独立研究员);University of Maryland(马里兰大学)
提出ICALens,基于独立成分分析(ICA)高效提取语言模型表示中可解释方向,无需训练稀疏自编码器,在SAEBench上表现竞争力。
2026-11-18 cs.AI cs.CL cs.LG
ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization
Georgia Institute of Technology(佐治亚理工学院);Intel Labs(英特尔实验室);Google(谷歌公司);Google DeepMind(谷歌DeepMind)
ShiftAddLLM通过训练后移位相加重参数化将预训练LLM中的乘法替换为移位和加法,并结合多目标优化与自动比特分配,在保持精度的同时显著降低内存、能耗和延迟。
2024-11-18 cs.AI cs.CL cs.LG
Retrieve, Integrate, and Synthesize: Spatial-Semantic Grounded Latent Visual Reasoning
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, and Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(人机混合增强智能国家重点实验室,人工智能与机器人研究院,西安交通大学)
本文提出RIS框架,通过空间-语义 grounded 方法改进多模态大语言模型的视觉推理,通过构建逐步 grounded 数据集并引入短语言过渡token,提升潜在状态与词汇对齐的解码能力,实验显示在多个基准上优于现有基线。
2026-05-08 cs.CL
Efficient and Interpretable Neural Models for Entity Tracking
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
一个自然语言模型需要什么才能理解一部小说,比如《指环王》?除其他事项外,这种模型必须能够:(a)识别和记录新字符(实体)及其属性,因为它们被引入到文本中,(b)识别后续引用先前引入的字符并更新其属性。这个实体跟踪问题对于语言理解是必不可少的,因此,对于NLP中的一系列下游应用(如问答,摘要)非常有用。在这篇论文中,我们专注于两个关键问题,以促进实体跟踪模型的使用:(i)缩放实体跟踪模型的长文档,如小说,和(ii)集成实体跟踪到语言模型。将语言技术应用于长文档最近引起了人们的兴趣,但计算约束是扩展当前方法的一个重要瓶颈。在这篇论文中,我们认为,计算效率高的实体跟踪模型可以通过表示实体丰富的,固定维的向量表示来自预先训练的语言模型,并利用实体的短暂性。我们还主张将实体跟踪集成到语言模型中,因为它将允许:(i)更广泛的应用,因为目前在NLP应用程序中普遍使用预训练的语言模型,以及(ii)更容易采用,因为交换新的预训练的语言模型比集成单独的独立实体跟踪模型要容易得多。
2022-08-30 cs.CL
Sentence Bottleneck Autoencoders from Transformer Language Models
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
通过在大型语料库上预训练语言模型来进行文本的表示学习已经成为构建NLP系统的标准起点。这种方法与自动编码器相反,自动编码器也是在原始文本上训练的,但其目标是学习将每个输入编码为允许完全重建的向量。自编码器是有吸引力的,因为他们的潜在空间结构和生成属性。因此,我们探索从预训练的冻结的Transformer语言模型构建一个并行级自动编码器。我们将掩蔽语言建模目标调整为生成的去噪目标,同时只训练句子瓶颈和单层修改的Transformer解码器。我们证明,我们的模型发现的句子表示比以前的方法获得更好的质量,这些方法在文本相似性任务,风格转换(控制生成的一个例子)和GLUE基准中的单句分类任务上从预训练的Transformers中提取表示,同时使用比大型预训练模型更少的参数。
2021-09-10 cs.CL
Language Models Share a Readout Bottleneck in Working Memory
Yale University(耶鲁大学)
该研究通过15个不同规模的LLMs和最小Transformer,分离工作记忆的两种解释,发现LLMs工作记忆限制在于干扰下读出项目,而非定位项目,支持干扰解释。
2026-10-16 cs.AI cs.CL cs.LG
BioPars: A Pretrained Biomedical Large Language Model for Persian Biomedical Text Mining
Department of Computer Science, Faculty of Education, University of Kufa(计算机科学系,教育学院,科菲大学);Department of Computer Science, Florida State University(计算机科学系,佛罗里达州立大学);Department of Computer Engineering, Velayat University(计算机工程系,瓦莱yat大学);Department of Mechanical Engineering, Amirkabir University of Technology(机械工程系,阿米卡比尔技术大学);Department of Computer Engineering, Ferdowsi University of Mashhad(计算机工程系,法尔德大学)
本文提出面向波斯语生物医学文本挖掘的预训练大语言模型BioPars,并构建BIOPARS-BENCH和BioParsQA数据集,在波斯语医学问答任务上取得优于GPT-4等模型的结果。
2025-07-01 cs.AI cs.CL cs.LG
Is Text All You Need? Text as a Universal Information Bottleneck for Speech LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Corporation(微软公司);Microsoft Research Asia(微软亚洲研究院)
提出Convex Gate(C-Gate)桥接语音与LLM,通过凸包约束将语音表示限制在LLM输入嵌入流形内,在ASR和情感识别上取得联合最优性能,并揭示几何结构而非离散性是关键设计因素。
2026-10-16 cs.CL eess.AS
PretrainZero: Reinforcement Active Pretraining
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Xiaohongshu Inc.(小红书公司)
PretrainZero通过主动预训练和自监督学习方法,提升通用推理能力,并在多个基准测试中取得显著成绩。
2025-12-03 cs.CL
ChemVA: Advancing Large Language Models on Chemical Reaction Diagrams Understanding
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University(浙江大学杭州全球科学与技术创新中心);Department of Chemistry, Fudan University(复旦大学化学系)
本文针对现有系统在理解化学反应图示时存在的视觉缺陷和语义断开问题,提出ChemVA框架,通过视觉锚机制和语义对齐方法提升大型语言模型在化学推理中的性能。
2026-05-17 cs.AI cs.CL cs.CV
Are BabyLMs Deaf to Gricean Maxims? A Pragmatic Evaluation of Sample-efficient Language Models
Department of Humanities, University of Turin(都灵大学人文学科系);Computational Linguistics, Department of Linguistics, Bielefeld University(比勒菲尔德大学语言学系计算语言学)
本研究提出新基准,测试小数据预训练语言模型(BabyLMs)对格赖斯准则的语用理解,发现其表现优于更小模型但不及儿童和大型语言模型,表明数据增加可改善部分语用能力。
2025-10-08 cs.CL
Language Self-Play For Data-Free Training
Meta Superintelligence Labs(Meta超智能实验室)
本文提出语言自博弈方法,通过模型与自身博弈实现数据自由训练,提升指令遵循、数学和编码任务性能。
2025-12-19 cs.AI cs.CL cs.GT
Teach Old SAEs New Domain Tricks with Boosting
T-Tech;HSE University(俄罗斯高等经济大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文提出用残差学习训练次级 SAE 来建模预训练 SAE 在领域文本上的重构误差,无需完全重训即可增强其对特定领域特征的可解释性,并在多个专业领域显著提升 LLM 交叉熵和已解释方差。
2025-07-17 cs.AI cs.CL cs.LG
Language Modelling with Pixels
University of Copenhagen(哥本哈根大学);ROCKWOOL Foundation Research Unit(洛克伍德基金会研究部);Johns Hopkins University(约翰斯·霍普金斯大学);KU Leuven(荷语鲁汶大学);Pioneer Centre for AI(先锋人工智能中心)
针对语言模型词汇表瓶颈问题,提出基于像素的预训练语言模型PIXEL,将文本转图像以重构掩码像素为训练目标,在非拉丁文字任务上优于BERT且鲁棒性更强。
2023-04-26 cs.AI cs.CL cs.CV
What Has Been Enhanced in my Knowledge-Enhanced Language Model?
ETH Zürich(苏黎世联邦理工学院);Southern University of Science and Technology(南方科技大学)
预训练的语言模型(LM)不能很好地捕捉事实知识。这导致了一些知识整合(KI)的方法,旨在将外部知识纳入预先训练的LM的发展。尽管KI方法显示出比普通LM更好的性能,但这些方法的内部工作原理还没有得到很好的理解。例如,目前还不清楚如何以及什么样的知识被有效地整合到这些模型中,以及这种整合是否可能导致对已经学习的知识的灾难性遗忘。本文重新访问KI过程中,这些模型与信息理论的观点,并表明,KI可以解释使用图形卷积运算。我们提出了一个探针模型称为\textit{Graph Convolution Simulator}(GCS)的解释知识增强的LM和暴露什么样的知识集成到这些模型。我们进行实验,以验证我们的GCS确实可以用来正确地解释KI过程,我们用它来分析两个著名的知识增强LM:ERNIE和K-Adapter,发现只有少量的事实知识是集成在他们。我们根据不同的关系类型对知识进行了分层,发现ERNIE和K-Adapter在不同程度上整合了不同类型的知识。我们的分析还表明,简单地增加KI语料库的大小可能不会导致更好的KI;可能需要根本性的进步。
2022-11-16 cs.CL cs.IT cs.LG
LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs
Openchip & Software Technologies, S.L(Openchip与软件技术公司)
LayerBoost通过层敏感性分析,选择性地调整Transformer层的注意力机制,减少计算复杂度,提升推理效率并保持模型质量。
2026-05-14 cs.CL cs.LG
MAQA: A Multimodal QA Benchmark for Negation
Google Research(谷歌研究院);Seoul National University(首尔国立大学)
多模态学习可以受益于预训练的大语言模型(LLM)的表示能力。然而,最先进的基于Transformer的LLM经常忽略自然语言中的否定,并且没有现有的基准来定量评估多模态Transformers是否继承了这个弱点。在这项研究中,我们提出了一个新的多模态问答(QA)基准,改编自AudioSet中的标记音乐视频(Gemmeke等人,2017年)的目标是系统地评估多模态Transformers是否可以执行复杂的推理,以将新概念识别为对先前学习的概念的否定。我们表明,与标准的微调方法多模态Transformers仍然无法正确地解释否定,无论模型的大小。然而,我们的实验表明,用否定的QA示例来增强原始训练任务分布,可以让模型可靠地用否定进行推理。要做到这一点,我们描述了一种新的数据生成过程,提示540 B参数PaLM模型自动生成否定QA的例子,容易访问的视频标签的组成。生成的例子包含更多的自然语言模式和增益相比,基于模板的任务增强方法是显着的。
2023-01-09 cs.AI cs.CL cs.LG
Efficient End-to-End Visual Document Understanding with Rationale Distillation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Southern California(南加州大学)
本文提出理由蒸馏(RD)方法,将OCR、LLM和多模态模型的输出作为中间理由训练小规模图像到文本模型,在三个视觉文档理解基准上以仅1%的额外计算成本将Pix2Struct准确率提升4-5%。
2024-04-02 cs.CL cs.CV
GrowMTP: Can RL Grow Its Own Draft Head?
WeChat AI, Tencent(腾讯微信人工智能实验室);Peking University(北京大学)
针对强化学习自回归生成瓶颈,提出GrowMTP,利用RL训练中rollout分布窄及验证监督信号,在RL循环内从零训练草稿头,实现最高2.13倍rollout加速。
2026-09-16 cs.CL cs.LG
FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings
Brno University of Technology(布拉格技术大学)
提出因子化线性投影(FLiP)模型,从多语言、多模态句子嵌入中恢复词汇内容,揭示编码器的模态和语言偏差。
2026-06-18 cs.CL cs.SD
How Transferable are Attribute Controllers on Pretrained Multilingual Translation Models?
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文以 NLLB-200 为基础,利用基于梯度的推理时属性控制器,将翻译属性控制零样本迁移到无标注语言,并证明其在远距离语言和领域鲁棒性上可补充微调。
2024-01-24 cs.AI cs.CL
ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data
University of Washington(华盛顿大学)
大型预训练的语言模型通过提示在各种下游任务中表现得越来越好。然而,目前还不清楚模型从哪里学习特定于任务的知识,特别是在zero-shot设置中。在这项工作中,我们希望从预训练中找到模型特定于任务的能力的证据,并且特别感兴趣的是定位一个非常小的预训练数据子集,这些数据直接支持任务中的模型。我们呼吁这样一个子集支持数据证据,并提出了一种新的方法ORCA有效地识别它,通过迭代使用梯度信息相关的下游任务。这个支持数据证据提供了关于提示语言模型的有趣见解:在情感分析和文本蕴涵的任务中,BERT显示出对BookCorpus的大量依赖,这是BERT的两个预训练语料库中较小的语料库,以及预训练示例,这些示例掩盖了任务动词的同义词。
2022-05-25 cs.CL cs.LG
HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing
University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校)
计算密集型的预训练模型已经在许多自然语言处理基准测试中处于领先地位,例如GLUE。然而,模型训练和推理过程中的能量效率成为关键瓶颈。我们介绍HULK,一个多任务能效基准测试平台,用于负责任的自然语言处理。使用HULK,我们从时间和成本的角度比较了预训练模型的能效。提供了基准测试结果,以供进一步分析。不同的预训练模型的微调效率在不同的任务中可能会有很大的差异,更少的参数数量并不一定意味着更好的效率。我们分析了这种现象,并展示了比较预训练模型的多任务效率的方法。我们的平台可以在https://sites.engineering.ucsb.edu/~xiyou/hulk/上找到。
2020-02-14 cs.CL
Inserting Information Bottlenecks for Attribution in Transformers
University of Waterloo(滑铁卢大学)
预先训练的Transformers在自然语言处理的任务中达到了最先进的水平,激励研究人员研究其内在机制。一个共同的方向是了解哪些特征对预测很重要。在本文中,我们应用信息瓶颈来分析黑盒模型预测的每个特征的属性。我们以BERT为例,定量和定性地评估我们的方法。我们展示了我们的方法在归因方面的有效性,并能够深入了解信息如何通过层流动。我们证明了我们的技术优于两个竞争力的方法在四个数据集上的退化测试。代码可在https://github.com/bazingagin/IBA上获得。
2021-08-05 cs.CL cs.LG
Interpreting Language Models Through Knowledge Graph Extraction
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在大型文本语料库上训练的基于transformer的语言模型在自然语言处理社区中非常受欢迎,并且通常用作下游任务的起点。虽然这些模型非常有用,但要量化其性能超出传统的准确性指标是一个挑战。在本文中,我们比较BERT为基础的语言模型,通过在训练过程的顺序阶段获得的知识的快照。来自训练语料库的结构化关系可以通过用探测任务查询掩蔽的语言模型来揭示。我们提出了一种方法来揭示一个知识获取的时间轴通过生成知识图谱提取完形填空语句在不同阶段的RoberTa的早期培训。我们将这种分析扩展到比较BERT模型(DistilBERT,BERT-base,RoBERTa)的预训练变体。这项工作提出了一个定量的框架比较语言模型,通过知识图谱提取(GED,Graph 2 Vec)和展示了一部分的语音分析(POSOR),以确定每个模型变体的语言优势。使用这些指标,机器学习从业者可以比较模型,诊断模型的行为优势和弱点,并识别新的目标数据集以提高模型性能。
2021-11-16 cs.CL cs.LG
Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);P P Savani University(P P萨瓦尼大学)
研究多头潜在注意力(MLA)在语言模型中如何分离内容与位置。通过训练特定Transformer并运用多种分析方法,发现其瓶颈能保留内容丢弃位置信息,归纳头集中在单层,有“语义中心”层,且瓶颈容量供应过剩,重塑了模型相关结构。
2026-07-28 cs.AI cs.CL cs.LG
Concept Based Continuous Prompts for Interpretable Text Classification
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);NPPA Key Laboratory of Publishing Integration Development, ECNUP(华东师范大学NPPA出版融合发展重点实验室)
本文提出基于概念瓶颈的连续提示解释框架,通过矩阵分解、GPT-4o概念池和子模优化选取可读概念,在保持文本分类性能的同时增强可解释性。
2024-12-05 cs.AI cs.CL
Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory
本研究将记忆解码器扩展至69亿参数并在3000亿token上预训练,通过分布式Faiss等技术解决索引瓶颈,发现独立扩展记忆可更高效提升语言模型性能,在多基准测试中验证了其优势。
2026-07-31 cs.CL
Predictive Concept Decoders: Training Scalable End-to-End Interpretability Assistants
Transluce
预测概念解码器通过端到端训练方法,利用通信瓶颈实现对神经网络内部激活的可解释性分析,能有效检测对抗攻击和揭示潜在用户属性。
2025-12-17 cs.AI cs.CL cs.LG
Olfactory-Inspired Sparse Combinatorial Coding for Low-Resource Named Entity Recognition
Independent Researcher, India(独立研究员,印度)
受嗅觉系统启发,提出受体-肾小球瓶颈结构,在无预训练嵌入的低资源NER中通过正则化提升F1分数,尤其在孟加拉语和泰卢固语上表现显著。
2026-06-23 cs.CL
Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling
Iran University of Science & Technology(伊朗科技大学)
提出用低秩瓶颈自编码器堆叠替代注意力实现上下文混合,结合迭代拉取与校正精化,在掩码语言建模中以约1.9倍更少FLOPs接近注意力性能,并匹配BERT基线。
2026-09-28 cs.CL cs.LG