Domain-Specific Shorthand for Generation Based on Context-Free Grammar
针对JSON等结构化格式token冗余问题,本文提出基于CFG的DSS速记格式及解析方法,实现与标准格式无歧义互转,并在LLM可视化任务中将token减少3至5倍。
2024-06-14 cs.CL
Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text
MBZUAI;Ecole Polytechnique(巴黎高等理工学院)
本研究针对大语言模型处理语码转换文本的需求,通过生成基准测试的语码转换变体开展系统评估,发现混合语言对模型表现的影响存在方向差异,且微调比提示工程更能稳定缓解性能下降。
2025-06-16 cs.CL
SALSA: Single-pass Autoregressive LLM Structured Classification
Dream Security Ltd.(Dream Security有限公司)
SALSA通过结构化提示、类别到令牌映射和参数高效微调,实现单次前向传播的高效准确文本分类,在多个基准上达到最先进水平。
2025-10-26 cs.CL cs.LG
Structured Convergence in Large Language Model Representations via Hierarchical Latent Space Folding
本文提出分层潜在空间折叠方法,通过多尺度结构化变换减少表示冗余,提升跨层连贯性与计算效率,实验显示降低方差、稳定困惑度并优化注意力分配。
2025-08-08 cs.CL
Tokenization Tradeoffs in Structured EHR Foundation Models
Child Health Evaluative Sciences(儿童健康评估科学);The Hospital for Sick Children(圣迈克尔医院);University Health Network(大学健康网络);Department of Medicine(医学部);Division of Computational Medicine, Department of Medicine(计算医学科,医学部);Stanford University(斯坦福大学)
本文研究了结构化电子健康记录基础模型中分词设计对性能和效率的影响,通过实验发现联合事件编码和时间位置编码在多个临床预测任务中表现更优,且计算效率更高。
2026-03-03 cs.CL cs.LG
Leveraging KV Similarity for Online Structured Pruning in LLMs
Sungkyunkwan University(成均馆大学)
本文提出Token Filtering方法,利用键值相似性实现在线结构剪枝,提升LLMs推理效率与稳定性。
2025-12-08 cs.AI cs.CL
Lost in Space Marking
University at Buffalo(布法罗大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们来看看在训练一个子词分词器的早期所做的决定,即它应该是带有特殊标记的词首标记,还是词尾标记。基于对效率和内聚性以及形态覆盖率的表面层面考虑,我们发现在预标记的英语文本上训练的Unigram LM标记器更好地标记单词开头的标记,而在原始文本上训练的标记器则受益于标记单词结尾。我们的发现概括了各个领域。
2022-08-02 cs.CL
BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
Cohere;EleutherAI
针对 BPE 在多语言预分词中惩罚非西方文字及部分 UTF-8 序列的问题,提出基于 Unicode 属性的 SCRIPT 编码方案与强制字符完整性的受限 BPE 合并策略,消除了非拉丁文字的编码惩罚并实现了有竞争力的压缩率。
2025-05-30 cs.CL
ByteScience: Bridging Unstructured Scientific Literature and Structured Data with Auto Fine-tuned Large Language Model in Token Granularity
GreenDynamics(格林动力公司);University of North Texas(北得克萨斯大学);University of New South Wales(新南威尔士大学);City University of Hong Kong(香港城市大学)
针对NLP模型从科学文本提取结构化知识的难点,研究推出基于AWS和DARWIN模型的ByteScience自动微调LLM平台,少量标注即可实现高准确率的科学数据提取与知识合成,助力自然信息学发展。
2024-12-06 cs.AI cs.CL
PVminerLLM2: Improving Structured Extraction of Patient Voice via Preference Optimization
Yale School of Medicine(耶鲁大学医学院);Yale School of Public Health(耶鲁大学公共卫生学院);Texas State University(德克萨斯州立大学)
提出PVminerLLM2,通过偏好优化和令牌级门控稳定项、混淆感知偏好对构建等技术,解决监督微调难以处理的细粒度错误,在患者声音结构化提取任务上优于基线模型。
2026-06-16 cs.AI cs.CL
Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models
POSTECH(POSTECH大学);HJ AILAB(HJ人工智能实验室)
研究揭示了语言模型对提示顺序的敏感性,通过系统分析发现因果注意力是核心机制,指出在多项选择问答中,上下文先于问题和选项的顺序能提升性能14%以上。
2026-04-21 cs.AI cs.CL cs.LG
Struct-X: Enhancing Large Language Models Reasoning with Structured Data
Shanghai University of Engineering Science(上海工程技术大学);INF Technology(Shanghai) Co., Ltd.(INF科技(上海)有限公司);Fudan University(复旦大学)
提出Struct-X框架,通过读取-建模-填充-反思-推理五阶段利用结构化数据,减少令牌冗余,增强LLM推理,在知识图谱问答和长文档阅读任务上显著提升性能。
2024-07-17 cs.AI cs.CL
MT-OSC: Path for LLMs that Get Lost in Multi-Turn Conversation
Oracle AI
提出MT-OSC框架,通过后台自动压缩对话历史(Condenser Agent)减少token量,提升多轮对话性能,在13个LLM上验证有效性。
2026-06-01 cs.CL
Verb-ICL: Rethinking In-Context Learning for Structured Prediction
Johns Hopkins University(约翰斯·霍普金斯大学);Optum(奥普特姆)
针对结构化预测中上下文学习难以捕捉词元级模式及任务特定标注的问题,提出Verb-ICL选择性标注框架,通过词元级覆盖选择示例并生成错误反馈,在六个数据集上优于基线。
2026-10-06 cs.CL
XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达);University of California, Berkeley(加州大学伯克利分校)
针对LLM结构化生成中上下文无关文法执行开销高的问题,本文提出XGrammar引擎,通过词汇划分、文法变换、持久化栈及推理协同设计,实现最高100倍加速与近零端到端开销。
2025-05-12 cs.AI cs.CL cs.PL
Compressed-Sensing-Guided, Inference-Aware Structured Reduction for Large Language Models
UC Berkeley School of Information(伯克利大学信息学院)
本文提出一种统一的压缩感知指导框架,用于动态执行大语言模型,通过稀疏恢复估计任务条件和token自适应的支持集,实现高效硬件执行路径,提升推理速度与压缩效率。
2026-03-22 cs.CL
Graph-Structured Speculative Decoding
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Meituan(美团);Tianjin University(天津大学);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文提出图结构投机解码(GSD),通过有向无环图管理多个草稿假设并合并重复token序列,在包括700亿参数LLaMA-2的模型上实现1.73至1.96倍加速,显著超越标准投机解码。
2024-07-23 cs.CL
RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
RecaLLM通过交替推理与显式上下文检索解决推理过程中因长上下文导致的检索性能下降问题,显著提升了RULER和HELMET基准测试表现。
2026-04-10 cs.AI cs.CL cs.IR
LLMs are Not Just Next Token Predictors
Birkbeck, University of London(伦敦大学伯贝克学院);School of Advanced Study, Institute of Philosophy, University of London(伦敦大学高等研究院哲学研究所);University of Utah(犹他大学);Tufts University(塔夫茨大学)
本文反对将 LLM 仅视为下一个 token 预测器,指出这种简化会遮蔽其行为与能力的重要解释,并借生物学基因视角研究纲领作类比。
2024-08-06 cs.AI cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制,在保持计算效率的同时增强多尺度语义表示,提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Beyond Compaction: Structured Context Eviction for Long-Horizon Agents
Kiz8
提出上下文窗口生命周期(CWL)方案,通过结构化、语义感知的驱逐策略,使长周期LLM智能体在有限上下文预算内实现无限工作视野,避免性能下降和幻觉。
2026-06-11 cs.CL
Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation
本文比较了TOON与JSON在生成任务中的表现,发现TOON在特定条件下更高效,但受限于提示开销,而JSON在简单结构中表现更优。
2026-02-08 cs.AI cs.CL
Uncovering the Role of Initial Saliency in U-Shaped Attention Bias: Scaling Initial Token Weight for Enhanced Long-Text Processing
ir.hit.edu.cn(哈尔滨工业大学信息科学学院)
本文提出通过缩放初始标记权重以提升长文本处理能力,发现初始显著性对U形注意力偏差有重要影响,并在多个任务中取得性能提升。
2025-12-15 cs.AI cs.CL
Confidence-Aware Sub-Structure Beam Search (CABS): Mitigating Hallucination in Structured Data Generation with Large Language Models
University of Southern California(南加州大学);Amazon(亚马逊)
针对LLM结构化数据生成中的幻觉问题,提出基于Confidence Network的子结构级置信度估计方法及CABS解码算法,通过迭代优化提示显著提升生成忠实度,在产品属性生成任务上Recall较传统方法提升16.7%。
2024-05-30 cs.CL cs.LG
SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation
University of Science and Technology of China(中国科学技术大学);Large Language Model Department, Tencent(腾讯大语言模型部门);Shanghai Innovation Institute(上海创新研究院);Zhongguancun Academy(中关村学院)
本文提出SimCT,一种改进的在线策略蒸馏方法,通过扩展监督空间来恢复因分词差异而丢失的监督信号,从而在数学推理和代码生成任务中提升了性能。
2026-11-17 cs.CL
RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory
提出RCR-Router框架,通过角色感知动态选择记忆子集并遵循token预算,在多跳QA基准上降低30%token消耗并保持答案质量。
2026-11-03 cs.AI cs.CL cs.MA
AlphaSpace: Enabling Robotic Actions through Semantic Tokenization and Symbolic Reasoning
Menlo Research(门洛研究所)
AlphaSpace通过层次语义分词和符号推理,使语言模型能在三维空间中精确操作对象,准确率达66.67%,显著优于GPT-4o和Claude 3.5 Sonnet。
2025-03-27 cs.CL cs.RO
Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation
本文提出一种结构化蒸馏方法,将用户与代理的对话历史压缩至38个token,实现11倍压缩,同时保持检索性能,通过实验验证了压缩后检索质量的可靠性。
2026-03-13 cs.AI cs.CL cs.IR
Representation Learning of Structured Data for Medical Foundation Models
ASUS Intelligent Cloud Services (AICS)(华硕智能云服务(AICS));Imperial College London(伦敦帝国学院);University of Manchester(曼彻斯特大学);Cheng Hsin General Hospital(程新总医院);Crayon Software(克雷扬软件公司)
针对 LLMs 难以处理 ICD-10 等结构化医学编码的问题,本文提出 UniStruct 多模态医学基础模型,通过改进子词分词并在大规模数据上预训练,在内部数据库和 EHRSHOT 基准上显著提升了下游任务性能。
2024-10-17 cs.AI cs.CL cs.LG
Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
本文提出NTKT方法,利用预训练大语言模型预测学生行为,提升知识追踪任务的性能和泛化能力。
2026-01-26 cs.AI cs.CL
Two Vectors Replace In-Context Demos: Structured Task Adaptation via Embeddings
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Northwestern University(西北大学)
STAVE用两个任务特定向量取代上下文演示,实现零射击推理成本,在多模态和文本任务上以更少参数达到或超越最先进方法。
2026-10-07 cs.CL cs.CV cs.LG
VILA: Improving Structured Content Extraction from Scientific PDFs Using Visual Layout Groups
University of Washington(华盛顿大学);Northwestern University(西北大学);Allen Institute for AI(艾伦人工智能研究所)
从PDF中准确提取结构化内容是NLP在科学论文中的关键第一步。最近的工作已经通过结合基本布局信息(例如,每个标记在页面上的2D位置,进入语言模型预训练。我们引入了新的方法,显式建模可视化布局(VILA)组,即,文本行或文本块,以进一步提高性能。在我们的I-VILA方法中,我们表明,简单地将表示布局组边界的特殊标记插入模型输入中可以导致标记分类的1.9%宏F1改进。在H-VILA的方法,我们表明,分层编码的布局组可以导致高达47%的推理时间减少小于0.8%的宏F1损失。与之前的布局感知方法不同,我们的方法不需要昂贵的额外预训练,只需要微调,我们表明这可以将训练成本降低高达95%。实验是在一个新策划的评估套件S2-VLUE上进行的,该套件统一了现有的自动标记数据集,并包括一个新的手动注释数据集,涵盖了来自19个科学学科的不同论文。预训练的权重、基准数据集和源代码可在https://github.com/allenai/VILA上获得。
2022-01-05 cs.CL cs.CV
Retracing the Past: LLMs Emit Training Data When They Get Lost
Virginia Tech(弗吉尼亚理工大学);Cisco Research(思科研究)
本文提出混淆诱导攻击(CIA)框架,通过利用token级预测熵飙升现象并配合错配监督微调(SFT),在无需训练数据先验知识的情况下更有效地从对齐和未对齐大语言模型中提取记忆数据,揭示了持续存在的记忆风险。
2025-10-27 cs.AI cs.CL
Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
研究探讨了多语言环境下大型语言模型工具调用的鲁棒性,通过MLCL基准测试发现参数值语言不匹配是主要失败模式,尽管策略减少错误但无法恢复英语水平性能。
2026-06-28 cs.AI cs.CL cs.LG
Lossless Token Sequence Compression via Meta-Tokens
AWS AI Labs(AWS人工智能实验室);Amazon(亚马逊);Rutgers University(罗格斯大学);University of California Los Angeles(加州大学洛杉矶分校)
本文提出一种类似LZ77的任务无关无损提示压缩技术,通过元令牌减少LLM输入序列长度,在严格保留语义的任务上显著降低编码计算量且性能损失极小。
2025-08-20 cs.AI cs.CL cs.LG
On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文以 Text-to-SQL 为背景分析 T5 对结构化数据的线性化处理,揭示其可学习模式链接与语法预测,并发现节点编码特性及模态融合冗余带来的压缩空间。
2024-04-03 cs.AI cs.CL
Stingy Context: 18:1 Hierarchical Code Compression for LLM Auto-Coding
ViperPrompt
Stingy Context通过分层树状压缩技术实现18:1的上下文压缩,有效提升LLM自动编码任务的效率和准确性。
2026-02-04 cs.AI cs.CL cs.SE
Scalable LLM Reasoning Acceleration with Low-rank Distillation
CMU Department of Electrical and Computer Engineering(卡内基梅隆大学电气与计算机工程系);Carnegie Mellon University(卡内基梅隆大学);Meta FAIR at Meta(Meta FAIR);CMU(卡内基梅隆大学)
Caprese通过低秩蒸馏方法恢复高效推理方法中丢失的数学推理能力,同时减少参数数量和延迟,提升响应效率。
2026-02-16 cs.AI cs.CL cs.LG
Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation
College of Computing, City University of Hong Kong(香港城市大学计算机学院);Centre for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港中文大学人工智能与机器人中心);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出调解员-助手架构,通过解耦意图理解和任务执行,解决大语言模型在多轮对话中因意图不匹配导致的性能下降问题。
2026-02-07 cs.AI cs.CL
DALM: A Domain-Algebraic Language Model via Three-Phase Structured Generation
DALM通过三阶段结构生成框架,利用领域格子进行约束生成,解决领域不确定性、关系不确定性和概念不确定性,实现跨领域污染控制和多视角回答空间生成。
2026-04-17 cs.AI cs.CL
Lost in Stories: Consistency Bugs in Long Story Generation by LLMs
Microsoft(微软公司);Singapore University of Technology and Design(新加坡科技设计大学)
ConStory-Bench通过评估长篇故事生成中的叙述一致性,揭示了LLMs在事实和时间维度上的不一致错误趋势。
2026-03-06 cs.AI cs.CL
Lost in Time: Clock and Calendar Understanding Challenges in Multimodal LLMs
University of Edinburgh(爱丁堡大学)
针对多模态大语言模型的时间视觉理解难题,构建含ClockQA、CalendarQA的结构化数据集,探究其时钟、日历解读能力,实验发现该类模型仍难可靠理解时间。
2025-03-18 cs.AI cs.CL cs.CV
Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
提出LT-OPD框架,通过在线策略自蒸馏和预算课程,在极端视觉令牌缩减下恢复MLLM性能,平均保留性能从68.6%提升至82.3%,并显著降低KV缓存和预填充计算量。
2026-10-02 cs.CL cs.CV cs.LG
The Hidden Cost of Structured Generation in LLMs: Draft-Conditioned Constrained Decoding
本文提出DCCD方法,通过分步解码提升结构生成的准确性与效率,实验显示在结构推理基准中,DCCD在严格结构准确性上提升了24个百分点,且在参数效率上优于传统约束解码。
2026-06-27 cs.AI cs.CL cs.LG
Unsupervised Discovery of Structured Acoustic Tokens with Applications to Spoken Term Detection
在本文中,我们比较了两种范式的无监督发现结构化的声学标记直接从语音语料库没有任何人的注释。多粒度范式试图用不同模型粒度的多组标记捕获语料库中的所有可用信息。分层范式试图联合学习分层结构中的几个级别的信号表示。本文将这两种范式统一在一个理论框架内。在MediaEval 2015的QUESST数据集上进行的按示例查询口语术语检测(QbE-STD)实验验证了声学令牌的竞争性。在这项工作中提出的增强相关性评分(ERS)提高了两个范例的任务QbE-STD。我们还列出了2015年零资源挑战的ABX评估任务的结果,以比较范式。
2017-11-28 cs.CL
Effective Token Graph Modeling using a Novel Labeling Strategy for Structured Sentiment Analysis
Wuhan University(武汉大学)
现有的结构化情感分析模型将情感分析问题转化为一个依存句法分析问题,存在以下局限性:(1)跨度预测和跨度关系预测的标注比例不平衡。(2)在该任务中,情感元组分量的跨度长度可能非常大,这将进一步加剧不平衡问题。(3)依赖图中的两个节点不能有多个弧,因此一些重叠的情感元组不能被识别。在这项工作中,我们提出了针对这些问题的解决方案。首先,我们介绍了一种新的标记策略,它包含两个集的令牌对标签,即基本标签集和整体标签集。基本标签集由该任务的基本标签组成,这些标签相对平衡并应用于预测层。整个标签集包括丰富的标签,以帮助我们的模型捕获各种标记关系,这些标记关系应用于隐藏层,以柔和地影响我们的模型。此外,我们还提出了一个有效的模型,很好地配合我们的标记策略,它配备了图注意力网络迭代细化令牌表示,和自适应多标签分类器动态预测令牌对之间的多种关系。我们在四种语言的5个基准数据集上进行了广泛的实验。实验结果表明,我们的模型优于以前的SOTA模型的大幅度。
2022-03-21 cs.CL
VoiceCodeBench: Evaluating Exact Structured-Token Recovery in Automatic Speech Recognition
Besimple AI
本研究推出VoiceCodeBench基准,评估英文ASR的精确结构化标记恢复,发现WER与相关指标相关性为-0.73,最高TSR仅68.7%,需实体敏感指标评估ASR输出的精确值保留情况。
2026-09-15 cs.CL
TASE: Token Awareness and Structured Evaluation for Multilingual Language Models
TASE基准测试评估多语言模型在令牌级感知与结构推理上的能力,涵盖10项任务和35,927个实例,发现人类表现远超现有LLMs,为低级语言理解提供诊断工具。
2025-08-07 cs.CL
Lost in State Space: Probing Frozen Mamba Representations
University of Washington(华盛顿大学);University of Florida(佛罗里达大学)
研究探讨了冻结Mamba模型在固定块边界提取句子表示的效果,发现其不如简单均值池化,揭示了严重的各向异性与表示崩溃问题,并提出正交注入方法。
2026-04-30 cs.CL cs.LG
Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models
Carnegie Mellon University(卡内基梅隆大学)
该研究针对视觉-语言-动作模型中动作表示与语言脱节的问题,提出SALT语义对齐动作标记器,在SimplerEnv中使策略平均成功率达71.9%,显著优于基线方法。
2026-08-12 cs.AI cs.CL cs.RO
SpEL: Structured Prediction for Entity Linking
School of Computing Science(计算科学学院);Simon Fraser University(西蒙弗雷泽大学)
SpEL系统通过改进的微调步骤、上下文敏感的预测聚合策略及缩减输出词汇表等方法,将结构化预测应用于实体链接任务,在AIDA基准上超越最先进水平且计算高效。
2023-10-23 cs.CL
Lost in Translation? Exploring the Shift in Grammatical Gender from Latin to Occitan
Bavarian Academy of Sciences (BAdW)(巴伐利亚科学学院);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Freiburg(弗赖堡大学)
本文提出一个可解释的深度学习框架,通过词法和上下文层面分析拉丁语到奥克语的语法性别系统从三分(阳性、阴性、中性)到二分(阳性、阴性)的演变,并展示了改进的分词策略和形态特征、词性对性别预测的贡献。
2026-05-26 cs.AI cs.CL
Think Straight, Stop Smart: Structured Reasoning for Efficient Multi-Hop RAG
Qualcomm AI Research(高通人工智能研究院)
针对现有多跳RAG迭代提示方法token消耗高、终止不稳定的问题,提出结构化框架TSSS,通过模板化推理加检索器终止机制,在多个基准上实现RAG-CoT类方法的最优准确率与高效推理,适配端侧等效率受限场景。
2025-10-22 cs.CL
Rethinking Token Prediction: Tree-Structured Diffusion Language Model
本文提出树结构扩散语言模型,通过利用标记间的内在结构,减少参数和内存使用,实现在有限资源下提升性能。
2026-04-04 cs.CL cs.LG