VORTEX: Challenging CNNs at Texture Recognition by using Vision Transformers with Orderless and Randomized Token Encodings
São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）；São Paulo State University（圣保罗州立大学）
本文提出VORTEX方法，通过从预训练ViT提取多深度令牌嵌入并进行无序编码与轻量级聚合，在不微调骨干的情况下结合线性SVM，在多个纹理数据集上达到或超越CNN的SOTA性能。
2025-03-09 cs.AI cs.CV cs.LG
MCSAE: Masked Cross Self-Attentive Encoding for Speaker Embedding
Sogang University（西江大学）
一般来说，自注意机制已被应用于说话人嵌入编码。以往的研究主要集中在训练高层次的自我注意，如最后一个池层。然而，在说话人嵌入编码中，低层特征的影响被降低了。因此，我们提出了使用ResNet的掩码交叉自注意编码（MCSAE）。它侧重于高级别和低级别层的功能。基于多层聚合，每个剩余层的输出特征用于MCSAE。在MCSAE中，交叉自注意模块训练每个输入特征的相互依赖性。随机掩蔽正则化模块也用于防止过拟合问题。因此，MCSAE增强了表示说话者信息的帧的权重。然后，将输出特征连接并编码到说话人嵌入。因此，通过使用MCSAE来编码更具信息性的说话人嵌入。实验结果表明，使用VoxCeleb1评估数据集的等错误率为2.63%，最小检测代价函数为0.1453。与以前的自注意编码和最先进的编码方法相比，这些都是改进的性能。
2020-07-28 cs.LG cs.SD eess.AS
HyPE: Attention with Hyperbolic Biases for Relative Positional Encoding
Independent Researcher（独立研究者）
本文提出HyPE方法，利用双曲函数编码token相对位置，在不存储$O(L^2)$掩码的情况下为注意力机制施加偏置，兼容FlashAttention-2并支持梯度回传，且可近似ALiBi的注意力偏置以提升长上下文泛化能力。
2026-10-20 cs.LG
WavLink: Compact Audio-Text Embeddings with a Global Whisper Token
Technology Innovation Institute（技术创新研究所）
WavLink通过在Whisper编码器中引入可学习的全局标记，实现紧凑的音频-文本嵌入，提升了模型的可扩展性和检索性能。
2026-01-22 cs.CL cs.LG cs.SD
ETC: Encoding Long and Structured Inputs in Transformers
Google Research（谷歌研究院）
Transformer模型在许多自然语言处理（NLP）任务中推进了最先进的技术水平。在本文中，我们提出了一种新的Transformer架构，扩展的Transformer构造（ETC），解决了标准Transformer架构的两个关键挑战，即缩放输入长度和编码结构化输入。为了将注意力扩展到更长的输入，我们在全局令牌和常规输入令牌之间引入了一种新的全局-局部注意力机制。我们还表明，将全局-局部注意力与相对位置编码和对比预测编码（CPC）预训练目标相结合，可以使ETC对结构化输入进行编码。我们在四个需要长和/或结构化输入的自然语言数据集上实现了最先进的结果。
2020-10-27 cs.LG stat.ML
Parity-Aware Byte-Pair Encoding: Improving Cross-lingual Fairness in Tokenization
EPFL（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
研究针对词元化中低资源语言词元化不合理问题，引入奇偶感知字节对编码，通过公平最大化规则平衡跨语言公平性与全局压缩，减少词元化不平等，对全局压缩和下游语言模型性能影响小。
2026-07-07 cs.AI cs.CL cs.LG
Tokenization with Factorized Subword Encoding
University of Oslo（奥斯陆大学）
针对现有语言模型仍依赖简单贪心法子词分词的问题，提出基于VQ-VAE将子词因子化为离散三元组的Factorizer分词法，在7种语言的相关任务上验证了其相较BPE在形态任务上更适配鲁棒。
2023-06-13 cs.AI cs.CL
Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities
Samsung Research（三星研究院）
提出通用字节级编码（UBE），通过UTF-8/UTF-16路由降低多语言令牌预算差异，保持解码精确，匹配语言模型质量并提升上下文效率。
2026-11-10 cs.CL cs.LG
Understanding and Mitigating Tokenization Bias in Language Models
University of Toronto（多伦多大学）；Meta AI
本文揭示最大前缀编码和字节对编码会给语言模型带来无法靠更多训练或数据消除的采样偏差，并提出无需微调即可获得无偏估计的新算法，从而从分词模型中模拟无 token 行为并准确恢复转移概率。
2024-07-05 cs.AI cs.CL cs.LG
Positional Encoding via Token-Aware Phase Attention
Meta
本文提出Token-Aware Phase Attention，通过可学习的相函数改进注意力机制，实现长距离token交互，支持更长上下文的持续预训练，并在长上下文场景下取得更低的困惑度和更强的检索性能。
2026-09-09 cs.AI cs.CL
Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier
Kensho Technologies；Faculty of Computer and Information Science（计算机与信息科学学院）；Ben-Gurion University of the Negev（本· Gurion 内盖夫大学）
针对预分词导致BPE令牌分布偏态、大词表收益受限的问题，提出BoundlessBPE算法，通过合并预令牌形成超词，使令牌分布更均匀，文本压缩效率提升最高15%。
2025-10-02 cs.AI cs.CL
Token Distillation: Attention-aware Input Embeddings For New Tokens
Hasso Plattner Institute ELLIS Unit（波茨坦大学哈索普兰特纳研究所ELLIS单位）；University of Copenhagen ELLIS Unit（哥本哈根大学ELLIS单位）
本文提出令牌蒸馏方法，通过蒸馏原始分词获得的表示快速学习高质量新令牌嵌入，实验表明其优于现有基线。
2026-03-13 cs.CL cs.LG
Concept Tokens: Learning Behavioral Embeddings Through Concept Definitions
Instituto de Computación, Facultad de Ingeniería, Universidad de la República（共和国大学工程学院计算研究所）
Concept Tokens通过概念定义学习行为嵌入，能有效控制冻结语言模型的行为，减少幻觉并提升合规性。
2026-01-08 cs.AI cs.CL cs.LG
Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding
Florida International University（佛罗里达国际大学）
本文提出Pruned BPE方法，通过训练后可见性剪枝与令牌重新分配提升BPE词汇效率，在不增加模型可见词汇规模的情况下减少编码长度，取得了优于标准BPE的效果。
2026-09-09 cs.CL cs.LG
Position Information Emerges in Causal Transformers Without Positional Encodings via Similarity of Nearby Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Toronto（多伦多大学）
本文提出并验证了因果Transformer无需位置编码即可通过邻近嵌入相似性存储位置信息的假设，并证明该模式在训练和随机初始化模型中均会出现。
2024-12-30 cs.CL cs.LG
Memory Tokens: Large Language Models Can Generate Reversible Sentence Embeddings
Instituto de Computación, Facultad de Ingeniería, Universidad de la República（计算机研究所，工程学院，乌拉圭共和国大学）
本研究通过引入记忆令牌，使大语言模型能够生成可逆的句子嵌入，实现对原始文本的精确重建，展示了LLM在记忆检索与文本生成中的新能力。
2025-06-17 cs.AI cs.CL cs.LG
Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents
Jina AI GmbH（吉纳人工智能有限公司）
针对现有文本嵌入模型难以处理长文档的问题，提出Jina Embeddings 2开源模型，支持8192令牌，在MTEB基准上达到最先进性能并匹敌OpenAI ada-002，扩展上下文可提升NarrativeQA任务表现。
2024-02-04 cs.AI cs.CL cs.LG
BBPE16: UTF-16-based byte-level byte-pair encoding for improved multilingual speech recognition
BBPE16是一种基于UTF-16的字节级字节对编码方法，通过统一的2字节代码单元提高多语言语音识别的token共享效率和计算性能。
2026-02-02 cs.AI cs.CL
Contextually Structured Token Dependency Encoding for Large Language Models
本文提出一种依赖感知的标记编码方法，通过依赖加权注意力显式嵌入句法和语义关系，以提升大型语言模型的上下文连贯性和层次一致性，实验显示困惑度降低且无需外部标注。
2025-03-26 cs.CL
Struc-EMB: The Potential of Structure-Aware Encoding in Language Embeddings
Georgia Institute of Technology（佐治亚理工学院）
本文提出将结构关系直接整合到LLM内部编码过程的结构感知文本嵌入新范式，通过顺序拼接和并行缓存方法，结合Context Distillation与Semantic Balancing技术，在多项任务中显著超越基线。
2025-10-09 cs.AI cs.CL cs.LG
Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
研究在内容和下游能力受控时语言编码保留了什么，利用多语言平行句子通过共享瓶颈比较词元、字节和像素以追踪速率-效用前沿，评估三种效用，发现各编码在不同方面表现不同，选择编码需考虑多因素进行速率-效用权衡。
2026-07-20 cs.CL
LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings
Beihang University（北京航空航天大学）
提出TEA-GLM框架，通过预训练GNN使其表示与LLM的token embeddings对齐，并训练线性投影器生成图token embeddings，结合统一指令实现跨数据集和跨任务的零样本图机器学习。
2024-12-19 cs.AI cs.CL cs.LG
Distilling Word Embeddings: An Encoding Approach
Institute of Software, Peking University, China（北京大学软件研究所）
将知识从一个训练良好的笨重的网络中提取到一个小的网络中已经成为一个新的研究课题，因为在各种资源受限的系统中，特别需要具有高性能的轻量级神经网络。本文讨论了自然语言处理任务中提取词嵌入的问题。我们提出了一种编码方法，从一组高维嵌入中提取特定于任务的知识，这可以大大降低模型的复杂性，同时保持高精度，在效率和性能之间表现出良好的折衷。两个任务的实验表明，从繁琐的嵌入中提取知识比直接用小嵌入训练神经网络更好。
2016-07-24 cs.CL cs.LG
From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities
School of Computer Science, Peking University（北京大学计算机学院）；The Chinese University of Hong Kong（香港中文大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出将字节对编码（BPE）应用于视觉数据的图像分词器，通过直接融入结构先验增强多模态对齐，并基于此开发出性能优越且可扩展的Being-VL-0模型。
2025-03-09 cs.AI cs.CL cs.CV
Context Staircase: Signature-Aligned Dynamics of Token Embeddings under Small Initialization
Shanghai Jiao Tong University（上海交通大学）；School of Mathematical Sciences（数学科学学院）；Institute of Natural Sciences（自然科学研究院）
本研究提出上下文阶梯现象，发现小初始化下词元嵌入从低阶到高阶逐步对齐概率签名，推导相关演化方程并揭示数据统计与架构对嵌入的塑造作用。
2026-09-01 cs.CL cs.LG
Contextual Position Encoding: Learning to Count What's Important
FAIR at Meta（Meta FAIR实验室）
针对现有位置编码无法泛化到句子等高抽象层级的问题，提出上下文位置编码（CoPE），通过模型决定的特定token递增位置，实现更通用的位置寻址，在多项任务上克服了传统方法的失败并改善了困惑度。
2024-05-30 cs.AI cs.CL
Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）；Chinese Academy of Sciences（中国科学院）；Beijing Institute Of Technology（北京理工大学）
针对BPE算法产生的支架词元导致频率不平衡的问题，提出Scaffold-BPE方法，通过动态移除低频支架词元来缓解该问题并促进模型训练，在语言建模和机器翻译实验中均优于原始BPE。
2024-11-13 cs.CL
CleanCodec: Efficient and Robust Speech Tokenization via Perceptually Guided Encoding
Pennsylvania State University（宾夕法尼亚州立大学）；Drexel University（德雷塞尔大学）
提出CleanCodec，一种去噪音频编解码器，通过选择性信息瓶颈编码仅保留感知重要特征，以12.5 tokens/s实现最先进的分词效率，在说话人相似度和语音可懂度上显著优于现有编解码器，并在下游任务中实现高达17倍推理加速。
2026-06-03 cs.CL cs.SD eess.AS
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
Chinese University of Hong Kong（香港中文大学）；University of Michigan（密歇根大学）
本研究提出ConvergeFlow，一种嵌入空间的基于流的语言模型，通过约束数据预测器至词元嵌入凸包实现可收敛性，无需交叉熵解码器，在OpenWebText上取得与现有模型相当的性能，展现了基于流范式的语言建模潜力。
2026-08-25 cs.AI cs.CL cs.LG
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Sticking to the Mean: Detecting Sticky Tokens in Text Embedding Models
Zhejiang University（浙江大学）；Quantstamp；Huzhou Institute of Industrial Control Technology（湖州工业控制技术研究院）
本文定义并检测文本嵌入模型中的粘性 token，提出 STD 方法，在 14 个模型系列的 40 个检查点中发现 868 个异常 token，并揭示其来源、注意力主导机制及对聚类和检索最高 50% 的性能损害。
2025-07-24 cs.AI cs.CL
Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
Seoul National University（首尔国立大学）；AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
最近的研究已经确定，大规模神经语言模型的学习令牌嵌入退化为具有窄锥形状的各向异性。这种现象被称为表示退化问题，它促进了令牌嵌入之间的整体相似性的增加，从而对模型的性能产生负面影响。虽然现有的方法，解决退化问题的基础上观察的现象所引发的问题，提高了文本生成的性能，退化问题背后的令牌嵌入的训练动态仍然没有探索。在这项研究中，我们分析了令牌嵌入的训练动态，重点是稀有令牌嵌入。我们证明了稀有令牌嵌入的梯度的特定部分是训练阶段所有令牌退化问题的关键原因。在此基础上，提出了一种新的自适应梯度门控（AGG）方法. AGG通过门控稀有令牌嵌入的梯度的特定部分来解决退化问题。语言建模、词相似度和机器翻译任务的实验结果定量和定性地验证了AGG的有效性。
2022-06-08 cs.CL
MDLMPE: Distribution Aware Positional Encoding for Masked Diffusion Language Models
针对掩码扩散语言模型位置编码对动态标记可用性结构不敏感的问题，提出MDLMPE，通过编码标记可用性等实现分布感知，在LLaDA、DREAM等实验中性能优于传统方法。
2026-08-05 cs.AI cs.CL
Language Models over Canonical Byte-Pair Encodings
McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席）
针对语言模型向不可能出现的非规范token编码分配概率质量的问题，提出测试时条件化与构造式参数化两种规范性约束方法，并提升留出数据似然。
2025-06-09 cs.CL cs.FL cs.LG
Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出免训练的Token Prepending技术，通过将各层解码的句子嵌入前置到下一层输入开头，缓解因果注意力导致的前序token信息偏差，从而在多种LLMs和任务上显著提升基于提示的句子嵌入性能。
2025-07-03 cs.AI cs.CL
Causal2Vec: Improving Decoder-only LLMs as Embedding Models through a Contextual Token
Institute of Science Tokyo（东京科学研究所）；Tencent（腾讯）
Causal2Vec通过引入上下文标记提升解码器-only LLMs的嵌入性能，无需修改原有架构或增加计算开销，实现了在MTEB基准上的新状态。
2026-05-02 cs.AI cs.CL
On Self-improving Token Embeddings
Georgia State University（佐治亚州立大学）；Technische Universität Ilmenau（伊伦姆阿大学）；FernUniversität in Hagen（哈根弗伦大学）
本文提出一种自改进词元嵌入方法，通过结合相邻词元嵌入持续更新表示，解决词汇表外问题，并在主题同质语料库中增强词元表示，应用于风暴事件分析。
2025-04-21 cs.AI cs.CL cs.IR
Encoding Multi-Domain Scientific Papers by Ensembling Multiple CLS Tokens
Purdue University（普渡大学）；Amazon（亚马逊）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对科学文档跨多领域任务，提出 Multi2SPE 方法利用多个 CLS token 集成学习并构建 Multi-SciDocs 基准，在仅增加极少计算量下使多领域引文预测误差降低达 25%。
2023-09-08 cs.CL cs.DL cs.LG
Compressing Sequences in the Latent Embedding Space: $K$-Token Merging for Large Language Models
Rutgers University（罗格斯大学）；AWS AI Labs（AWS人工智能实验室）；Amazon（亚马逊）；Mistral AI；University of California Los Angeles（加州大学洛杉矶分校）
本文提出K-Token Merging方法，在潜在空间中压缩序列，通过轻量编码器合并连续K个标记嵌入，实现75%的输入长度缩减，性能损失小。
2026-09-09 cs.AI cs.CL
Morphosyntactic Tagging with a Meta-BiLSTM Model over Context Sensitive Token Encodings
Google Inc.（谷歌公司）
神经网络，特别是循环神经网络的兴起，在词性标注准确性方面产生了显著的进步。这些模型的一个共同特征是存在丰富的初始单词编码。这些编码通常由具有学习和预训练的词嵌入的基于递归字符的表示组成。然而，这些编码不考虑比单个单词更宽的上下文，并且单词或子单词信息仅通过随后的递归层进行交互。在本文中，我们研究的模型，使用循环神经网络与初始字符和单词为基础的表示的上下文。特别是，我们表明，最佳的结果是通过整合这些上下文敏感的表示，通过同步训练与元模型，学会结合他们的状态。我们目前的结果与国家的最先进的性能对一些语言的词性和形态标记。
2018-05-21 cs.CL
Entropy-Driven Pre-Tokenization for Byte-Pair Encoding
Harvard University, Cambridge, MA（哈佛大学）；Kempner Institute, Allston, MA（凯姆纳研究所）；Kensho Technologies, Cambridge, MA（Kensho技术公司）
针对BPE在中文分词中忽视语言边界的问题，提出两种基于熵的预分词策略，利用互信息、左右熵或GPT-2预测熵指导分割，在PKU数据集上显著提升精确率、召回率和F1分数。
2025-06-18 cs.CL
FoNE: Precise Single-Token Number Embeddings via Fourier Features
Department of Computer Science, University of Southern California（南加州大学计算机科学系）
FoNE通过傅里叶特征直接将数字映射到嵌入空间，以单token和两维嵌入维度表示数字，提升训练和推理效率，同时在加减乘等数值任务中实现更高准确率。
2026-04-21 cs.CL cs.LG
Hybrid Tokenization Strategy for DNA Language Model using Byte Pair Encoding and K-MER Methods
Missouri University of Science and Technology（密苏里科技大学）
提出融合6-mer与600轮BPE token的DNA语言模型混合分词策略，以兼顾局部结构与全局上下文，并在next-k-mer预测中超越NT、DNABERT2和GROVER。
2025-07-24 cs.CL
Harmonic Token Projection (HTP): A Vocabulary-Free, Training-Free, Deterministic, and Reversible Embedding Methodology
Data Science — PX.Center（数据科学——PX中心）
HTP通过谐波轨迹生成无训练、无词汇的确定性嵌入，实现多语言语义相似性评估，展示确定性几何在语义理解中的有效性。
2025-11-10 cs.CL cs.LG
Benchmarking Prosody Encoding in Discrete Speech Tokens
The University of Tokyo, Japan（东京大学）；National Institute of Advanced Industrial Science（国家工业科学与技术研究院）
本研究针对离散语音词元捕获韵律信息能力有限的问题，通过分析其对人工修改韵律的敏感性，全面评估韵律编码，为离散词元设计提供实用指南。
2025-08-15 cs.CL cs.SD eess.AS
LBPE: Long-token-first Tokenization to Improve Large Language Models
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）
针对BPE分词中长词出现频率低导致的学习不平衡问题，提出LBPE方法，按词长反向优先级生成词，平滑长短词频差，实验证明其优于原始BPE。
2024-11-08 cs.CL
Measuring Intrinsic Dimension of Token Embeddings
Shizuoka University（静冈大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RIKEN AIP（理化学研究所人工智能项目）
本研究测量token embedding的内在维度(ID)以评估表征冗余度，发现embedding空间位于低维流形上，模型规模增长会增加冗余率，训练早期ID迅速下降，且ID可作为LoRA应用的有效指导。
2025-03-04 cs.CL cs.LG
FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers
Carnegie Mellon University（卡内基梅隆大学）
针对不同分词器导致提示词知识迁移困难的问题，本文提出 FUSE，用三阶张量对齐语义嵌入并近似跨模型梯度，实现零样本适配器发现，且在图像描述任务中验证有效。
2024-08-09 cs.CL cs.LG
Semiparametric Token-Sequence Co-Supervision
KAIST AI（韩国科学技术院人工智能学院）；Seoul National University（首尔大学）；University of Washington（华盛顿大学）；Kakao Brain
提出半参数令牌-序列协同监督训练方法，结合参数化令牌空间与非参数序列空间的损失，提升语言模型泛化能力与稳定性。
2024-03-14 cs.AI cs.CL
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本研究证明冻结的视觉Unicode嵌入可替代可训练词嵌入，Transformer模型在MMLU上表现更优，表明语义是架构与数据涌现的结果。
2025-10-15 cs.AI cs.CL
Counting and Min-Cost Encoding for Tokenization in Large Language Models
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）；National-Mathematics Artificial Intelligence Institute in Chongqing (NMAII)（重庆国家数学人工智能研究院）
提出CNF分词器训练与MCE最小成本编码算法，通过全局优化分割和计数过滤构建词表，相比BPE在压缩率、词元效率和词表利用率上显著提升，且下游性能相当。
2026-10-02 cs.CL
Token embeddings violate the manifold hypothesis
Mathematics and Statistics（数学与统计学）；American University（美国大学）；Galois, Inc.（Galois公司）；Department of Mathematics, University of Washington（华盛顿大学数学系）
本文通过提出纤维丛假设检验，从经验和理论上证明LLM的词元嵌入空间不满足流形假设，并发现涉及不规则词元的提示响应稳定性更差。
2025-10-22 cs.AI cs.CL
Encoding Prior Knowledge with Eigenword Embeddings
University of Strathclyde（斯特拉斯克莱德大学）；University of Edinburgh（爱丁堡大学）
典型相关分析（CCA）是一种用于减少使用两个视图表示的数据的维度的方法。它以前曾被用于派生词嵌入，其中一个视图表示一个词，另一个视图表示其上下文。我们描述了一种将先验知识纳入CCA的方法，给出了理论上的理由，并通过推导词嵌入并在无数数据集上对其进行评估来测试。
2016-07-27 cs.CL
BPEmb: Tokenization-free Pre-trained Subword Embeddings in 275 Languages
AIPHES, Heidelberg Institute for Theoretical Studies（海德堡理论研究所 AIPHES）
我们提出了BPEmb，一个预先训练的子字单元嵌入在275种语言的集合，基于字节对编码（BPE）。在使用细粒度实体类型作为测试床的评估中，BPEmb表现出竞争力，并且对于某些语言来说比其他子字方法更好，同时需要更少的资源并且没有标记化。BPEmb可在https://github.com/bheinzerling/bpemb上获得
2017-10-05 cs.CL
