Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
Zhipeng Yang(杨志鹏);Shu Yang(杨舒);Lijie Hu(胡丽杰);Di Wang(王迪)
本研究通过机制可解释性发现词恢复是大语言模型处理字符级输入的关键机制,增强了分词鲁棒性。
2026-08-05 cs.CL
Toward a Theory of Tokenization in LLMs
University of California, Berkeley(加州大学伯克利分校)
本文从理论上研究LLM分词的必要性,通过分析Transformer在k阶马尔可夫数据上的行为,证明适当分词能使简单一元模型近乎最优地建模序列分布,为实践中使用分词提供了理论依据。
2025-04-10 cs.CL cs.LG
Causal and Interpretable Structures in LLM Compositional Tasks
Cornell University(康奈尔大学);Goodfire AI
本研究通过分析循环概念任务中的激活,揭示了LLM在Transformer层中逐步组织关系信息的几何与因果机制,并发现限制到因果相关联合表示可提升预测准确性。
2026-09-30 cs.AI cs.CL cs.LG
Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Stanford University(斯坦福大学)
研究发现语言模型在面对非标准标记化时表现出意外的鲁棒性,通过指令训练可提升特定任务性能,揭示模型对标记化的依赖程度较低。
2026-02-02 cs.CL
On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study
本文通过最短路径任务发现,在相同训练词元预算下,基于包含回溯的低效推理轨迹训练的LLM比基于最优动态规划轨迹的模型泛化更好,该优势源于轨迹的连贯与增量性提升了模型对下一词元预测的置信度。
2025-11-01 cs.AI cs.CL cs.LG
Is GPT-OSS All You Need? Benchmarking Large Language Models for Financial Intelligence and the Surprising Efficiency Paradox
Purdue University(普渡大学);Independent Researcher(独立研究者);Imperial College London(帝国理工学院伦敦分校)
本文评估了GPT-OSS在金融NLP任务中的表现,发现较小的模型在效率和性能上优于更大的竞争对手。
2025-12-09 cs.LG
Text or Pixels? It Takes Half: On the Token Efficiency of Visual Text Inputs in Multimodal LLMs
Allen Institute for AI(艾伦人工智能研究所);University of Chicago(芝加哥大学);Stony Brook University(石溪大学)
本研究针对多模态LLM的文本输入令牌消耗问题,提出将长文本渲染为单张图像作为视觉输入的压缩方法,在RULER和CNN/DailyMail基准上实现近半令牌节省且性能不下降。
2025-10-22 cs.AI cs.CL
StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学);Basic Model Technology Center, WeChat AI, Tencent Inc.(微信AI基础模型技术中心,腾讯公司)
本文提出StableToken,通过共识机制提升语音分词器的稳定性,减少噪声下的单位编辑距离,提升语音大语言模型的鲁棒性。
2026-04-13 cs.CL cs.SD
Extremely Sparse Supervision Incentivizes Reasoning Ability
Amazon(亚马逊公司);Duke University(杜克大学)
该研究在策略内蒸馏场景中发现,极稀疏监督(每个推理轨迹仅1-2个token,占比0.05%)可媲美或超越全token训练,挑战了后训练需海量token的假设,为高效后训练算法提供新方向。
2026-09-07 cs.AI cs.CL cs.LG
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
AIRI;Skoltech(斯科尔泰克理工学院);HSE University(高等经济大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文提出量化LLM上下文编码的方法,发现标点等次要标记承载高上下文信息,移除会降低性能,并推出开源工具包LLM-Microscope以评估非线性、记忆和表征维度。
2026-09-15 cs.AI cs.CL
DPO Meets PPO: Reinforced Token Optimization for RLHF
Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校);Microsoft Research Asia(微软亚洲研究院)
提出RTO框架,将RLHF建模为MDP以学习令牌级奖励,创新整合DPO与PPO,在AlpacaEval 2和Arena-Hard上分别超越PPO 7.5和4.1个百分点。
2025-05-21 cs.AI cs.CL cs.LG
HeavyWater and SimplexWater: Distortion-Free LLM Watermarks for Low-Entropy Next-Token Predictions
Ben Gurion University(本-古里安大学);Harvard University(哈佛大学);JPMorgan Chase(摩根大通)
本文提出HeavyWater和SimplexWater两种无失真LLM水印方法,适用于低熵生成任务,实现高检测准确性和低文本失真。
2025-12-02 cs.AI cs.CL cs.CR
Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability
National Taiwan University(台湾大学)
本文研究了在文本数据上预训练的模型(如BERT)的能力是否可以转移到一般的令牌序列分类应用中。为了验证预训练模型的可移植性,我们在文本分类任务上测试了预训练模型,这些文本分类任务具有标记不匹配的含义,以及真实世界的非文本标记序列分类数据,包括氨基酸,DNA和音乐。我们发现,即使在非文本数据上,在文本上预训练的模型收敛得更快,比随机初始化的模型表现更好,并且只比使用特定任务知识的模型略差。我们还发现,文本和非文本预训练模型的表示具有非平凡的相似性。
2022-04-19 cs.CL cs.LG
Block Verification Accelerates Speculative Decoding
Google Research(谷歌研究院)
本文提出块验证算法,通过联合验证整个草稿 token 块而非逐 token 验证,在保持无损保证的同时实现 5%-8% 的额外推理加速,并证明其在期望 token 数上最优。
2025-04-10 cs.CL cs.DS cs.IT
It Is Not About What You Say, It Is About How You Say It: A Surprisingly Simple Approach for Improving Reading Comprehension
University of Colorado Boulder(科罗拉多大学博尔德分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
该研究聚焦阅读理解任务,探究输入顺序与输入强调对大模型性能的影响,发现上下文前置、强调上下文可提升准确率,且仅拼接几个token的简单方法就能让小模型超越大模型。
2024-10-29 cs.CL
SimLens for Early Exit in Large Language Models: Eliciting Accurate Latent Predictions with One More Token
Institute of Neuroscience, State Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心神经科学研究所,脑认知与脑启发智能技术国家重点实验室,脑科学与智能技术卓越创新中心);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
本文提出SimLens,一种无需训练的解码器,通过保留起始标记和候选答案标记进行轻量级延续,提升潜在预测准确性。结合线性SimLens和SimExit机制,在多个数据集上实现更高的准确性和更快的推理速度。
2026-08-27 cs.CL cs.PF
Char2char Generation with Reranking for the E2E NLG Challenge
Heriot-Watt University(赫瑞瓦特大学);NAVER Labs Europe(NAVER欧洲实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文介绍了我们提交的E2 E NLG挑战赛。最近,神经seq 2 seq方法已成为NLG的主流,通常在单词级别采用预(分别后)处理去词汇化(放松)步骤来处理稀有单词。相比之下,我们训练了一个简单的字符级seq 2seq模型,它不需要预处理/后处理(去词汇化,标记化甚至小写),结果令人惊讶地好。为了进一步改进,我们探索了两种重新排序的方法来评分的候选人。我们还介绍了一个合成数据集的创建过程,这开辟了一个新的方式来创建人工数据集的自然语言生成。
2018-11-04 cs.CL cs.LG
Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs
M42 Health(M42健康机构)
本研究探讨了持续预训练、指令微调、NEFTune和提示工程四种技术适配临床LLMs的效果,发现持续预训练为微调奠定基础,结合其他技术可显著提升临床任务性能。
2024-09-23 cs.CL
Spectra: Surprising Effectiveness of Pretraining Ternary Language Models at Scale
Nolano AI(诺拉诺人工智能公司);University of Montreal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);IIT Kharagpur(印度理工学院克勒格布尔分校);UC Riverside(加州大学河滨分校)
本文提出Spectra LLM套件,通过预训练三值语言模型解决大模型推理内存瓶颈,发现超十亿参数时TriLMs在给定比特大小下优于量化与浮点模型,验证了低比特宽度模型的可扩展性。
2024-10-11 cs.AI cs.CL cs.LG
Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels
Fudan University(复旦大学);Lenovo Research(联想研究);Shanghai Key Lab of Intelligent Information Processing(上海智能信息处理重点实验室);Shanghai Innovation Institute(上海创新研究院)
研究发现监督微调对模型知识的影响显著,通过分析token和参数层面发现大部分参数更新不促进知识增强,恢复更新可提升封闭书问题回答性能。
2026-02-10 cs.AI cs.CL
Investigating Mysteries of CoT-Augmented Distillation
Northeastern University(东北大学)
本文通过消融实验探究CoT增强蒸馏为何有效,发现将CoT序列置于标签之后、使用不连贯理由或仅少量关键token即可取得与完整理由相当的蒸馏提升。
2024-09-27 cs.CL
From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
Stanford University(斯坦福大学);Tel Aviv University(特拉维夫大学);New York University(纽约大学);Meta - FAIR
本文通过信息瓶颈框架比较人类与LLMs的概念结构,发现LLMs在压缩效率上优于人类,但牺牲了语义丰富性,揭示了人工与自然智能的本质差异。
2026-08-19 cs.AI cs.CL cs.IT
Evaluation of Large Language Models via Coupled Token Generation
Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所);Hasso Plattner Institute(哈索·platzer研究所);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Aalto University(阿尔托大学)
本文提出通过耦合自回归生成评估大语言模型,发现其在基准数据集和人机对比中产生不同排名,表明生成过程中的随机性可能影响评估结果。
2026-03-24 cs.AI cs.CL cs.LG
LLM Circuit Analyses Are Consistent Across Training and Scale
EleutherAI;ILLC, University of Amsterdam(阿姆斯特丹大学ILLC);Brown University(布朗大学)
针对LLMs内部机制研究多聚焦单时间快照的局限,本研究追踪不同规模仅解码器LLMs训练过程中电路机制的演变,发现任务能力与功能组件在相似token数时一致出现、算法跨时间和规模保持稳定,为小模型电路分析的泛化性提供支持。
2024-11-25 cs.CL cs.LG
Reverse Training to Nurse the Reversal Curse
FAIR at Meta(Meta FAIR实验室)
针对大语言模型的逆转诅咒,本文提出反转训练字符串但保留实体等子串的反向训练方案,在标准任务和逆转任务上均取得更优表现。
2024-05-07 cs.AI cs.CL
Twilight: Adaptive Attention Sparsity with Hierarchical Top-$p$ Pruning
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加州大学伯克利分校)
针对长上下文LLM加速中固定稀疏预算无法适应动态场景的问题,提出Twilight框架,利用分层Top-$p$剪枝实现自适应注意力稀疏化,在不损失精度的前提下最多剪枝98%冗余token,显著提升推理速度。
2025-11-04 cs.CL cs.LG
Optimizing Pretraining Data Mixtures with LLM-Estimated Utility
Meta AI;Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出UtiliMax和MEDU两种方法,利用LLM估计数据效用优化预训练数据混合,实现高达10.6倍加速和约200倍计算缩减,建立鲁棒且计算高效的数据混合框架。
2025-01-23 cs.AI cs.CL
Punctuation and Predicates in Language Models
本文探究LLMs中信息收集与传播机制,通过干预技术评估GPT-2、DeepSeek、Gemma各层标点符号必要性与充分性,发现模型特异性差异,还研究输入组件处理方式及推理规则差异化处理,为内部机制提供新见解。
2025-08-11 cs.CL cs.LG
Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models
POSTECH(POSTECH大学);HJ AILAB(HJ人工智能实验室)
研究揭示了语言模型对提示顺序的敏感性,通过系统分析发现因果注意力是核心机制,指出在多项选择问答中,上下文先于问题和选项的顺序能提升性能14%以上。
2026-04-21 cs.AI cs.CL cs.LG
e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校);Oumi
该研究针对大语言模型测试时计算外推能力不足的问题,提出包含三大核心要素的e3训练方案,训练模型开展上下文内探索,最终1.7B参数模型在相关基准上取得最优成绩且支持2倍训练token预算外推。
2025-06-13 cs.CL cs.LG
Textbooks Are All You Need
Microsoft Research(微软研究院)
本研究推出仅13亿参数的代码大模型phi-1,通过高质量网页数据与GPT-3.5生成的合成教科书/练习题训练,在小体量下实现了HumanEval 50.6%、MBPP 55.5%的pass@1准确率,还展现出显著涌现特性。
2023-10-02 cs.AI cs.CL cs.LG
Doing Good or Doing Right? Exploring the Weakness of Commonsense Causal Reasoning Models
Shanghai University of Finance and Economics(上海财经大学)
本文揭示了PLM在COPA任务上的语义相似性偏差问题,通过添加正则化损失有效缓解了该偏差,提升了模型的泛化能力和在无偏数据集BCOPA-CE上的鲁棒性。
2021-07-05 cs.CL
The Remarkable Robustness of LLMs: Stages of Inference?
MIT(麻省理工学院);Stanford University(斯坦福大学);University College London(伦敦大学学院)
该研究通过删除、交换推理阶段的相邻层发现LLMs鲁棒性显著,中间层删除对性能影响小,进而提出推理四阶段假设,为解读LLM的深度依赖计算提供了框架。
2025-06-16 cs.AI cs.CL cs.LG
Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models
University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学);ChipStack AI;Stanford University(斯坦福大学)
针对专有LLM训练数据不透明问题,提出基于高惊奇度文本与信息引导探针的记忆识别方法,无需权重或token概率即可检测GPT-4等模型记忆的训练文本。
2025-03-15 cs.CL
Rote Learning Considered Useful: Generalizing over Memorized Data in LLMs
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Ruhr University Bochum(博德伦大学);UAR RC Trust(UAR RC信托)
本研究提出了一种两阶段框架,证明大语言模型可通过语义有意义的提示超越机械记忆数据,实现了有效的知识注入和潜在的风险。
2026-03-01 cs.CL
DNR Bench: Benchmarking Over-Reasoning in Reasoning LLMs
ServiceNow(ServiceNow公司)
针对推理型大语言模型(RLMs)存在的过度推理问题,本文提出DNR Bench基准测试,通过150个对抗性提示评估模型避免不必要生成的能力,实验发现RLMs令牌生成量超必要值70倍,表现不及非推理模型,凸显优化RLMs训练与推理策略的重要性。
2025-04-18 cs.LG
Cartridges: Lightweight and general-purpose long context representations via self-study
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
针对大模型长上下文推理KV缓存成本高的问题,提出名为Cartridge的离线训练小型KV缓存方案,通过自学训练策略复现ICL性能,大幅降低内存占用、提升吞吐量,还可扩展有效上下文长度并支持推理时组合。
2025-06-13 cs.AI cs.CL cs.LG
Exploring the Hidden Capacity of LLMs for One-Step Text Generation
AIRI Skoltech(AIRI-skoltech)
本研究发现冻结的LLMs仅通过两个学习到的嵌入即可在单次前向传递中生成数百个准确token,揭示了其原生多token生成能力,为克服自回归解码瓶颈提供了新途径。
2025-11-01 cs.AI cs.CL cs.LG
InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining
NVIDIA(英伟达);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出Retro 48B,通过检索增强预训练大规模语言模型,并在指令微调后显著提升零样本任务性能,展示了检索预训练在增强GPT解码器方面的潜力。
2024-05-29 cs.AI cs.CL cs.IR
Speculative Sampling via Exponential Races
Imperial College London(伦敦帝国学院)
本文建立投机解码与信道模拟的联系,进行信息论分析,推导加速与草稿模型生成令牌数的显式上界关系,并提出指数竞赛方法ERSD,性能达最先进水平。
2025-04-21 cs.CL cs.IT math.IT
DoubleDipper: Improving Long-Context LLMs via Context Recycling
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
针对长上下文大语言模型表现不佳的问题,提出DoubleDipper上下文学习方法,通过复用上下文生成少样本示例并增加相关段落识别步骤,在多模型长上下文问答任务上平均提升16个百分点,且能泛化至多跳任务。
2025-07-27 cs.CL
Agogic: Performance-Timed Music Tokens for LLM-Native Text-to-Symbolic-Music Generation
该研究固定模型规模、数据等变量,发现音乐 token 化的表示形式而非模型规模是影响文本到符号音乐生成分布保真度的关键,发布了相关工具链、模型及语料库,为该领域提供了可测量的表示形式研究基础。
2026-08-05 cs.CL cs.SD
Language Model Inversion
Cornell University(康奈尔大学)
本研究提出语言模型反演方法,通过模型输出的下一token概率分布恢复隐藏的提示文本,在Llama-2 7b上实现59 BLEU和78 F1,精确恢复27%提示。
2023-11-22 cs.CL cs.LG
AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks
National Taiwan University(台湾大学)
具有数百万参数的基于transformer的预训练模型需要大量存储。最近的方法通过训练适配器来解决这个缺点,但是这些方法仍然需要相对大量的参数。在这项研究中,AdapterBias,一个令人惊讶的简单而有效的适配器架构,提出。AdapterBias为Transformer层的隐藏输出添加了一个依赖于令牌的移位,以适应仅具有向量和线性层的下游任务。进行了大量的实验,以证明AdapterBias的有效性。实验表明,我们所提出的方法可以显着减少可训练的参数相比,以前的作品与微调预训练模型相比,任务性能下降最小。我们进一步发现,AdapterBias自动学习分配更显着的表示转移到与所考虑的任务相关的标记。
2023-01-30 cs.CL
Tokenization as Finite-State Transduction
Tokyo Institute of Technology(东京工业大学)
本文提出有限状态转导框架来统一编码正则语言的所有可能分词,证明 BPE 和 WordPiece 均适用,并实现引导式生成中模式约束与规范分词的同时满足。
2024-10-21 cs.CL cs.FL
The Importance of Generation Order in Language Modeling
Google Brain(谷歌大脑)
神经语言模型是用于机器翻译、摘要、音频转录和其他任务的最先进系统的关键组件。这些语言模型在本质上几乎是普遍自回归的,从左到右每次生成一个标记的句子。本文通过一种新的两遍语言模型,生成部分填充的句子“模板”,然后填充缺失的令牌,研究令牌生成顺序对模型质量的影响。我们比较了构建这两个通道的各种策略,并观察到模型质量的惊人变化。我们发现最有效的策略是在第一遍生成功能词,然后在第二遍生成内容词。我们相信这些实验结果证明了神经语言模型的生成顺序的更广泛的调查。
2018-08-23 cs.CL cs.LG stat.ML
Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs
Johannes Gutenberg University Mainz(法兰克福-马因茨大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文揭示LLM多选题评估中冒号后空格的分词方式可导致高达11%的准确率差异和排名变化,并推荐将空格与答案字母合并分词的策略,以提升性能与校准可靠性。
2025-09-18 cs.CL
Scaling Laws for Adversarial Attacks on Language Model Activations
Google DeepMind(谷歌DeepMind)
本文研究针对语言模型激活的对抗攻击,发现可控目标 token 数与受控激活数呈线性缩放,并揭示输入/输出维度不匹配可能是攻击成因。
2023-12-05 cs.CL cs.CR cs.LG
Hyperpolyglot LLMs: Cross-Lingual Interpretability in Token Embeddings
Cornell University(康奈尔大学)
该研究聚焦多语言大语言模型的输入token嵌入层,发现XLM-RoBERTa的嵌入可高准确率线性区分不同书写系统的token,mT5的嵌入则具备跨语言语义相似性,为跨语言表征相关研究提供了新方向。
2023-11-29 cs.CL
Forking Paths in Neural Text Generation
Harvard University(哈佛大学);Center for Brain Science(脑科学中心);University of Chicago(芝加哥大学);NTT Research(NTT研究院)
针对现有LLM不确定性估计方法忽略中间步骤的问题,该研究提出表征文本生成单标记不确定性动态的方法,验证了分叉标记的存在,且方法无需微调或访问模型权重。
2024-12-10 cs.AI cs.CL cs.LG
Biomedical Language Models are Robust to Sub-optimal Tokenization
The Ohio State University(俄亥俄州立大学)
本文发现标准分词器难以准确切分生物医学术语,但使用更准确的分词器预训练生物医学语言模型并未提升掩码语言建模、命名实体识别和实体链接等任务中的实体表示质量,表明生物医学预训练对次优分词具有较强鲁棒性。
2023-07-10 cs.CL
Stop Looking for Important Tokens in Multimodal Language Models: Duplication Matters More
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Sun Yat-sen University(中山大学);Peking University(北京大学)
本文提出无需训练的 DART,依据视觉 token 间的重复度而非重要性进行剪枝,在剪除 88.9% token 时保持性能,并带来最高 2.99 倍加速。
2025-06-08 cs.CL cs.CV
Why Pretraining Fails to Share Cross-Lingual Knowledge
Weizmann Institute of Science(魏茨曼科学研究所);Bar-Ilan University(巴伊兰大学);Johns Hopkins University(约翰斯·霍普金斯大学);A*STAR(新加坡科技研究局);University of Washington(华盛顿大学);MIT(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本研究通过受控双语预训练实验发现,不相交的token空间是跨语言知识泛化失败的根本原因,并提出通过逐词翻译映射到共享token空间,可恢复12.6%的母语学习效率。
2026-09-18 cs.AI cs.CL cs.LG
ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
针对现有语音语言模型主流训练范式在韵律学习上的不足,提出ProsodyLM,通过引入便于学习韵律的词级韵律tokenization方案,使模型仅通过预训练即可获得多样化的新兴韵律处理能力。
2025-08-07 cs.CL eess.AS