Towards Building Efficient Sentence BERT Models using Layer Pruning
MKSSS Cummins College of Engineering for Women(MKSSS库明斯女子工程学院);L3Cube Labs(L3Cube实验室);Indian Institute of Technology Madras(马德拉斯印度理工学院)
本研究探讨了通过层剪枝创建高效 Sentence BERT 模型的方法,发现剪枝后模型在保持嵌入质量的同时显著降低计算需求,且优于同等大小的从头训练模型。
2024-09-21 cs.CL cs.LG
2D Matryoshka Sentence Embeddings
The Hong Kong Polytechnic University(香港理工大学);Lingnan University(岭南大学)
针对固定句子嵌入在维度与Transformer层数上缺乏弹性的问题,提出2DMSE,实现嵌入尺寸和层数双重可调,并在STS及下游任务中验证其灵活性与效率。
2024-11-30 cs.CL cs.LG
The COUNT: Counting N-grams Unlocks Scaling on Host Memory and Training-Free Adaptation
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
COUNT通过在主机存储预计算N元语法计数构建嵌入,可在固定计算预算下提升1B参数LM性能,GPU内存有限时表现优于拆分内存的方法,还能无训练适配新任务。
2026-10-15 cs.CL cs.LG
Crosslingual Embeddings are Essential in UNMT for Distant Languages: An English to IndoAryan Case Study
IIT Bombay(印度理工学院孟买分校);IBM Research(IBM研究院)
无监督神经机器翻译(UNMT)的最新进展已经最小化了密切相关语言对的监督和无监督机器翻译性能之间的差距。然而,对于遥远的语言对来说,情况就大不相同了。缺乏词汇重叠和低句法相似性,如英语和印度-雅利安语之间的语言导致现有的UNMT系统的翻译质量差。在本文中,我们证明了使用跨语言嵌入初始化UNMT模型的嵌入层,与使用随机初始化嵌入的现有方法相比,BLEU得分有显着改善。此外,与在训练期间更新嵌入层权重(非静态)相比,静态嵌入(冻结嵌入层权重)会带来更好的增益。我们实验使用掩蔽序列到序列(MASS)和去噪自动编码器(DAE)UNMT方法对三个遥远的语言对。所提出的跨语言嵌入初始化产生的BLEU分数提高多达十倍的基线英语-印地语,英语-孟加拉语,英语-古吉拉特语。我们的分析表明,跨语言嵌入的重要性,方法之间的比较,以及这些系统的改进范围。
2021-06-09 cs.CL cs.LG
Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling
Fudan University(复旦大学);Westlake University(西湖大学);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室)
提出层特定位置嵌入缩放方法,通过遗传算法优化各层缩放因子,无需微调或增加延迟,有效缓解长上下文中的位置偏差,在关键值检索任务上准确率提升11.2%。
2026-06-29 cs.CL
Scaling Sentence Embeddings with Large Language Models
Beihang University(北京航空航天大学)
本文提出基于上下文学习的方法提升LLMs句子嵌入性能,发现无需微调即可媲美对比学习,且2.7B OPT结合提示方法在STS任务上超越4.8B ST5取得最优。
2023-07-31 cs.CL
Layer-Aware Embedding Fusion for LLMs in Text Classifications
Kumoh National Institute of Technology(国立金乌工科大学)
本文提出层级感知的嵌入选择方法,通过定量评估LLM不同层级的表征能力并融合多模型互补嵌入,在不微调的情况下提升文本分类性能,并分析了资源开销与可行性。
2025-04-08 cs.CL
DeepNet: Scaling Transformers to 1,000 Layers
Microsoft Research(微软研究院)
在本文中,我们提出了一个简单而有效的方法来稳定极深的Transformers。具体来说,我们引入了一个新的规范化函数(DeepNorm)来修改Transformer中的剩余连接,并伴随着理论推导的初始化。深入的理论分析表明,模型更新可以以稳定的方式有界。所提出的方法结合了两个世界中最好的,即,Post-LN的良好性能和Pre-LN的稳定训练,使DeepNorm成为首选。我们成功地将Transformers扩展到1,000层(即,2,500个注意力和前馈网络子层),这比之前的深度Transformers要深一个数量级。值得注意的是,在一个具有7,482个翻译方向的多语言基准测试中,我们的200层模型(3.2B参数)的性能明显优于48层最先进的模型(12 B参数)5个BLEU点,这表明了一个有希望的缩放方向。
2022-03-01 cs.CL cs.LG
Scaling and Distilling Text Embeddings for Better Diffusibility
University of Michigan(密歇根大学)
本文通过扩展嵌入模型并蒸馏软标签,提升了连续扩散语言模型的可扩散性,使中等规模模型在生成困惑度上超越GPT-2-M。
2026-10-02 cs.CL
Mechanistic Insights into Grokking from the Embedding Layer
MBZUAI(马布里克人工智能研究所)
本研究揭示嵌入层是grokking延迟泛化的核心机制,提出频率感知采样和自适应学习率比率缓解双线性耦合,加速收敛并改善Transformer优化。
2025-05-21 cs.CL cs.LG
Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
分层主题模型,如伽玛信念网络(GBN)在挖掘多层文档表示和发现可解释的主题分类方面取得了可喜的成果。然而,他们通常假设在每一层的主题是独立地从狄利克雷分布中提取的,忽略了同一层和不同层的主题之间的依赖关系。为了放松这一假设,我们提出了一种基于析因的主题嵌入引导GBN,这是一种文档的深度生成模型,可以捕获嵌入空间中主题之间的依赖关系和语义相似性。具体来说,单词和主题都表示为相同维度的嵌入向量。将每一层的主题矩阵分解为因子加载矩阵和主题嵌入矩阵的乘积,将其转置作为上一层的因子加载矩阵。重复这种特定类型的分解,它在相邻层之间共享组件,导致被称为分解分解的结构。构造了一个自动编码的变分推理网络,通过随机梯度下降优化模型参数。在大型语料库上的实验表明,我们的模型在提取更深层次的可解释主题和获得更好的文档表示方面优于其他神经主题模型。
2021-06-30 cs.CL cs.IR cs.LG
TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings
State Key Laboratory of IOTSC, University of Macau(物联网科学与技术国家重点实验室,澳门大学);OPPO Research Institute(OPPO研究院)
TSEmbed通过融合MoE与LoRA,结合专家感知负采样策略,提升通用多模态嵌入的任务扩展能力,并在基准和工业数据集上取得最佳性能。
2026-03-05 cs.AI cs.CL
Be Careful about Poisoned Word Embeddings: Exploring the Vulnerability of the Embedding Layers in NLP Models
Peking University(北京大学)
最近的研究揭示了自然语言处理(NLP)模型的安全威胁,称为后门攻击。受害者模型可以在干净的样本上保持竞争性能,而在插入特定触发词的样本上表现异常。以前的后门攻击方法通常假设攻击者具有一定程度的数据知识,无论是用户将使用的数据集还是类似任务的代理数据集,以实现数据投毒过程。然而,在本文中,我们发现可以通过修改单个词嵌入向量来以无数据的方式破解模型,而在干净的样本上几乎没有牺牲准确性。在情感分析和配对分类任务上的实验结果表明,该方法具有更高的效率和更高的隐蔽性。我们希望这项工作可以提高人们对隐藏在NLP模型嵌入层中的这种关键安全风险的认识。我们的代码可在https://github.com/lancopku/Embedding-Poisoning上获得。
2021-03-29 cs.CL
Slim Embedding Layers for Recurrent Neural Language Models
Wright State University(莱特州立大学);SVAIL, Baidu Research(百度研究院硅谷人工智能实验室);University of Missouri(密苏里大学);Yitu. Inc(依图科技)
递归神经语言模型是语言建模的最新模型。当词汇量很大时,存储模型参数所占用的空间成为使用递归神经语言模型的瓶颈。在本文中,我们介绍了一个简单的空间压缩方法,随机共享的结构化参数在输入和输出嵌入层的递归神经语言模型,显着减少模型参数的大小,但仍然是compatibility表示原始的输入和输出嵌入层。该方法易于实现和调整。在多个数据集上的实验表明,该方法在使用极小部分参数的情况下,可以得到相似的困惑度和BLEU评分结果。
2017-12-22 cs.CL
Layer or Representation Space: What makes BERT-based Evaluation Metrics Robust?
Technical University of Darmstadt(达姆施塔特工业大学);The University of Sheffield(谢菲尔德大学);Bielefeld University(比勒费尔德大学)
最近的基于嵌入的文本生成评估指标的评估主要是基于测量它们与标准基准上的人类评估的相关性。然而,这些基准测试大多来自与用于预训练词嵌入的领域类似的领域。这引起了人们对基于嵌入的度量(缺乏)泛化到新的和有噪声的领域的担忧,这些领域包含与预训练数据不同的词汇。在本文中,我们将研究BERTScore的鲁棒性,BERTScore是最流行的基于嵌入的文本生成度量之一。我们表明:(a)如果输入噪声或未知令牌的数量增加,则与标准基准上的人类评估具有最高相关性的基于嵌入的度量可能具有最低的相关性,(b)从第一层预训练模型中进行嵌入可以提高所有度量的鲁棒性,以及(c)当使用字符级嵌入而不是基于令牌的嵌入时,可以实现最高的鲁棒性,从预训练模型的第一层开始。
2022-09-07 cs.CL
A Capsule Network-based Model for Learning Node Embeddings
Monash University(蒙纳士大学);VinAI Research(VinAI 研究院)
在本文中,我们专注于学习图结构数据中节点的低维嵌入。为了实现这一目标,我们提出了Caps 2NE-一种利用两个胶囊层网络的新的无监督嵌入模型。Caps 2NE引入路由过程以在第一胶囊层聚合给定目标节点的上下文邻居的特征向量,然后将这些特征馈送到第二胶囊层以推断目标节点的合理嵌入。实验结果表明,我们提出的Caps 2NE在节点分类任务的基准数据集上获得了最先进的性能。我们的代码可从以下网址获得:\url{https://github.com/daiquocnguyen/Caps2NE}。
2020-08-18 cs.CL cs.LG stat.ML
Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting
School of Software Engineering Sun Yat-Sen University(软件工程学院中山大学);Institute of Data Science(数据科学研究院);School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
本文提出多层可操控嵌入融合框架MSEF,通过逐层操控向量将时间序列基础模型嵌入与LLM各层文本表示融合,缓解深层TS信息丢失,在七个基准上平均降低31.8%的MSE。
2025-08-22 cs.AI cs.CL cs.LG
LESA: Learnable LLM Layer Scaling-Up
Shanghai Jiao Tong University(上海交通大学);Central South University(中南大学);ByteDance(字节跳动)
针对 LLM 深度扩展中启发式层复制导致初始化差、收敛慢的问题,本文提出可学习方法 LESA,通过神经网络预测相邻层间参数,以不足一半计算成本实现更优性能。
2025-02-19 cs.AI cs.CL cs.LG
MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models
MoVE通过引入价值嵌入的混合机制,实现了自回归模型参数内存的独立扩展,提升了文本和图像生成任务的性能。
2026-01-30 cs.AI cs.CL cs.CV
Shallow Domain Adaptive Embeddings for Sentiment Analysis
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一种方法,以提高现有的文本分类算法的性能,在强语言语义领域。我们提出了一个领域自适应层学习权重,将通用和特定领域(DS)的词嵌入组合成领域自适应(DA)嵌入。DA词嵌入然后被用作通用编码器+分类器框架的输入,以执行诸如分类的下游任务。该适配层特别适合于大小适中的数据集,因此,这些数据集不是(重新)训练深度神经网络架构的理想候选者。使用流行的编码器架构,包括当前最先进的方法(有和没有浅适应层)的二进制和多类分类任务的结果显示了所提出的方法的有效性。
2019-08-16 cs.CL cs.IR cs.LG
TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation
Hanoi University of Science and Technology(河内科技大学);VNU University of Engineering and Technology(越南国立大学工程与技术大学);University of Oregon(俄勒冈大学);Monash University(莫纳什大学)
提出TALAS框架,通过教师锚定机制仅蒸馏最终句子嵌入到学生上层,结合层对齐自蒸馏和自适应锐度感知最小化,在降低计算成本的同时提升句子嵌入蒸馏性能。
2026-06-23 cs.CL
Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling
本技术综述梳理 Transformer 各类位置编码方法,推导 RoPE 原理并对比不同方法特性,研究长上下文扩展方案,明确长上下文泛化能力需多任务评估。
2026-08-12 cs.CL
Norm of Mean Contextualized Embeddings Determines their Variance
Kyoto University(京都大学);RIKEN(理化学研究所)
本研究证明上下文嵌入的范数与方差遵循统计公式,发现范数越小方差越大,且随层数加深簇内方差相对增大,与各向异性研究一致。
2024-12-17 cs.CL
LayerFlow: Layer-wise Exploration of LLM Embeddings using Uncertainty-aware Interlinked Projections
ETH Zurich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学)
针对LLM嵌入探索中降维引入的不确定性问题,提出可视化分析工作区LayerFlow,通过互联投影设计及凸包、距离指标等组件传达多维度不确定性,经案例验证其可用性。
2025-04-09 cs.CL cs.GR
SliceMoE: Routing Embedding Slices Instead of Tokens for Fine-Grained and Balanced Transformer Scaling
Rutgers University - New Brunswick(罗格斯大学新布朗斯维克分校)
针对令牌级MoE路由的容量瓶颈、负载失衡等问题,提出SliceMoE架构通过路由嵌入切片实现细粒度均衡扩展,经多任务实验验证其推理更快、困惑度更低且专家均衡性与可解释性更优。
2025-10-05 cs.AI cs.CL cs.LG
MEMEN: Multi-layer Embedding with Memory Networks for Machine Comprehension
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Eigen Technologies
机器理解式问答是自然语言处理中的一个典型问题。以往的方法很少花时间在编码层的改进上,尤其是句法信息和词的名称实体的嵌入,而这对编码的质量至关重要。此外,现有的注意力方法将每个查询词表示为一个向量,或者用单个向量来表示整个查询语句,都不能正确处理查询语句中关键词的权重。在本文中,我们介绍了一种新的神经网络架构称为多层嵌入与记忆网络(MEMEMEN)的机器阅读任务。在编码层,我们采用经典的skip-gram模型对词汇的句法和语义信息进行训练,形成一种新的嵌入层。我们还提出了一个记忆网络的全方位匹配的查询和通道,以捕捉更多的关键信息。实验结果表明,该模型在Stanford问答数据集(SQuAD)上的测试结果在精度和效率方面都具有竞争力,在TriviaQA数据集上的测试结果也达到了最先进水平。
2017-07-28 cs.AI cs.CL
Differentiable Product Quantization for End-to-End Embedding Compression
Google Research(谷歌研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
嵌入层通常用于将离散符号映射到反映其语义含义的连续嵌入向量。尽管它们有效,但嵌入层中的参数数量随着符号数量线性增加,并对内存和存储限制提出了严峻的挑战。在这项工作中,我们提出了一个通用的和端到端的可学习的压缩框架,称为微分产品量化(DPQ)。我们提出了DPQ的两个实例,它们利用不同的近似技术来实现端到端学习中的可微性。我们的方法可以很容易地作为任何现有嵌入层的替代方案。从经验上讲,DPQ在三种不同语言任务的10个数据集上提供了显著的压缩比(14-238 $\times$),性能成本可以忽略不计或没有。
2020-06-25 cs.AI cs.CL cs.LG
Exploring RWKV for Sentence Embeddings: Layer-wise Analysis and Baseline Comparison for Semantic Similarity
本文逐层评估预训练 RWKV 在零样本语义相似度句子嵌入上的表现,并与 GloVe 基线比较,发现其 Spearman 相关性较弱且存在计算权衡。
2025-02-20 cs.AI cs.CL
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University(斯坦福大学);University of Toronto(多伦多大学)
用上下文化的词表示代替静态的词嵌入,在许多NLP任务上都有了显著的改进。然而,ELMo和BERT等模型产生的语境化表示究竟有多语境化呢?每个词是否有无限多个上下文特定的表征,或者词本质上被分配了有限数量的词义表征之一?首先,我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性,但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示,就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中,平均而言,一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释,这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
Serialized Multi-Layer Multi-Head Attention for Neural Speaker Embedding
National University of Singapore(新加坡国立大学)
本文提出了一种用于文本无关说话人确认中神经说话人嵌入的串行多层多头注意力。在先前的工作中,来自一个层的帧级特征被聚合以形成话语级表示。受Transformer网络的启发,我们所提出的方法利用堆叠的自注意力机制的分层架构来获得与说话人更相关的精细特征。序列化注意力机制包含一堆自注意模块,用于创建说话者的固定维度表示。代替并行地利用多头注意力,所提出的串行化多层多头注意力被设计为以串行化方式从一层到下一层聚集和传播注意力统计。此外,我们采用了一个输入感知查询与统计池的每一个话语。随着层数的增加,神经网络可以学习更多有区别的说话人嵌入。在VoxCeleb1数据集和SITW数据集上的实验结果表明,我们提出的方法在EER和DCF 0.01中分别比其他基线方法(包括x向量和其他x向量+传统的注意池方法)提高了9.7%和8.1%。
2021-07-14 cs.CL cs.SD eess.AS
FoundationLayerNorm: Scaling BERT and GPT to 1,000 Layers
主流的BERT/GPT模型只包含10到20层,很少有文献讨论深度BERT/GPT的训练。本文提出了一种简单而有效的方法来稳定BERT和GPT训练。我们成功地将BERT和GPT扩展到1,000层,这比以前的BERT和GPT深了一个数量级。所提出的方法FoundationLayerNormalization能够有效地训练深度神经网络,并在1000层规模下进行了验证。
2022-04-09 cs.AI cs.CL
Analysis of Argument Structure Constructions in the Large Language Model BERT
University Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);University Hospital Erlangen(埃尔朗根大学医院)
本研究通过分析BERT各层嵌入和注意力权重,揭示了其对四类论元结构构式的分层表示机制,发现OBJ token对构式区分最关键,并证明了BERT与LSTM处理方式的差异。
2024-08-08 cs.CL
Enhancing BERTopic with Intermediate Layer Representations
Faculty of Economic Sciences, University of Warsaw(经济学院,华沙大学)
本文评估 BERTopic 中来自中间层等来源的 18 种嵌入表示,在三个数据集上比较主题一致性与多样性,发现每种数据集均存在优于默认设置的配置,并考察了停用词影响。
2025-05-10 cs.CL
Beyond N-gram: Data-Aware X-GRAM Extraction for Efficient Embedding Parameter Scaling
Peking University(北京大学);IQuest Research(IQuest研究)
本文提出X-GRAM框架,通过频率感知的动态token注入方法,提升嵌入参数扩展效率,实验表明在0.73B和1.15B规模下,X-GRAM在准确率上优于基线模型。
2026-04-24 cs.CL
Layer-Specific Scaling of Positional Encodings for Superior Long-Context Modeling
Fudan University(复旦大学);Westlake University(西湖大学)
针对LLM的“中间丢失”问题,提出层级特定位置编码缩放方法,利用遗传算法为各层选择最优缩放因子以减缓RoPE衰减,显著提升长上下文准确率及模型外推能力。
2025-03-06 cs.CL
Semantic Layered Embedding Diffusion in Large Language Models for Multi-Contextual Consistency
SLED机制通过基于谱分析的多层扩散过程,在Transformer中实现全局与局部语义平衡,提升多领域文本生成的连贯性与效率,优于基线方法。
2025-03-25 cs.AI cs.CL
Turbulence-like 5/3 spectral scaling in contextual representations of language as a complex system
College of Engineering, Peking University(北京大学工学院);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工高等研究院宁波数字孪生研究院);Shenzhen Tenfong Technology Co., Ltd.(深圳腾方科技有限公司);Mechanical Engineering, Pennsylvania State University(宾夕法尼亚州立大学机械工程系)
研究通过变换器语言模型生成高维嵌入空间,发现文本序列中嵌入步信号的功率谱在宽频率范围内呈现接近5/3的幂律,表明语言表示具有多尺度、依赖上下文的组织特性。
2026-04-07 cs.AI cs.CL
Continual Learning with Embedding Layer Surgery and Task-wise Beam Search using Whisper
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Alibaba Group(阿里巴巴集团)
针对多语言ASR持续学习中的灾难性遗忘问题,提出嵌入层手术加任务级波束搜索的方法,在Whisper模型上实现预训练语言词错误率下降且不影响新增语言性能。
2025-01-14 cs.AI cs.CL
Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection
针对预训练语言模型嵌入中语义等维度难以解读的问题,本文提出在不更新预训练参数的前提下,通过对BERT各层中间输出施加二值掩码解耦语义义项的方法,实验验证了逐层信息的有效性及语义解耦对词义判别性能的提升作用。
2023-10-08 cs.AI cs.CL
REIGN: Refurbished Embeddings with Integrated Guidance Networks for Efficient Context-Length Scaling
Middle East Technical University(中东科技大学);OBSS AI
本研究提出REIGN模型,通过解耦处理与缓存嵌入降低训练成本,在多场景长文档检索中以更小参数规模达到与更大模型相当的性能
2026-09-02 cs.AI cs.CL cs.IR
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition
University of Edinburgh(爱丁堡大学)
本研究通过逐层分析自监督声学词嵌入(AWEs)与词嵌入的相似性,并在IEMOCAP和ESD语料库上对比实验,证明恰当使用AWEs能有效提升语音情感识别(SER)的准确性。
2024-02-04 cs.CL cs.SD eess.AS
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
Meta Superintelligence Labs(Meta超级智能实验室);Rice University(莱斯大学)
MetaEmbed通过灵活的后期交互机制,在测试时实现多模态检索的扩展,通过多向量检索训练提升信息组织能力,实现在大规模模型下的高效检索性能。
2026-04-06 cs.CL cs.CV cs.IR