CoVisco: Codec-Native Vision Encoder with Native Token Compression for Unified Image-Video Understanding
ERNIE Team, Baidu Inc.(百度公司ERNIE团队);The Hong Kong University of Science and Technology(香港科技大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
CoVisco通过码率原生编码与分段注意力实现原生令牌压缩,在64帧四段设置下仅用400个视觉令牌达到接近或超越OneVision-Encoder的视频理解性能,同时保留细粒度证据。
2026-10-01 cs.AI cs.CV
LLMs are Not Just Next Token Predictors
Birkbeck, University of London(伦敦大学伯贝克学院);School of Advanced Study, Institute of Philosophy, University of London(伦敦大学高等研究院哲学研究所);University of Utah(犹他大学);Tufts University(塔夫茨大学)
本文反对将 LLM 仅视为下一个 token 预测器,指出这种简化会遮蔽其行为与能力的重要解释,并借生物学基因视角研究纲领作类比。
2024-08-06 cs.AI cs.CL
Homogeneous Tokenizer Matters: Homogeneous Visual Tokenizer for Remote Sensing Image Understanding
Central South University(中南大学);School of Geosciences and Info-Physics(地球科学与信息物理学院);Xiangjiang Laboratory(湘江实验室)
针对视觉分词器缺乏语义的问题,提出同质化视觉分词器HOOK,通过感知语义独立区域并合并种子,在遥感图像任务中以极少分词数实现了SOTA性能与显著效率提升。
2024-10-13 cs.AI cs.CV
Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors
研究探讨了训练中的Transformer模型如何计算看似冗余的抽象特征,并提出方法分析梯度信号对特定特征形成的影响,通过玩具任务和小型模型验证,揭示了预训练语言模型中形式推理领域特征的产生机制。
2026-03-14 cs.CL cs.LG
AdaTok: Adaptive Token Compression with Object-Aware Representations for Efficient Multimodal LLMs
Institute of Medical Technology, Peking University Health Science Center(北京大学医学部医学技术研究所);Department of Biomedical Engineering, Peking University(北京大学生物医学工程系);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心)
AdaTok通过自适应令牌压缩方法,利用对象感知表示提升多模态大语言模型的效率,实现高压缩比与高性能的平衡。
2025-11-23 cs.AI cs.CV
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Korea University(高丽大学)
本文提出仅编码器下一词元预测(ENTP),通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
SENTRA: Selected-Next-Token Transformer for LLM Text Detection
Mozilla Corporation(Mozilla公司);New York University(纽约大学);Ciphero AI(Ciphero人工智能)
本文提出SENTRA,一种基于选定下一Token概率序列和对比预训练的Transformer编码器,用于检测LLM生成文本,在跨24个领域的域外实验中显著优于现有基线。
2025-09-19 cs.CL cs.LG
Mechanistic Interpretability of Chain-of-Thought Reasoning via Sequential Activation Patching
İzmir Institute of Technology(伊兹密尔理工学院)
本研究提出顺序激活补丁框架及顺序多头补丁,探究思维链推理的因果效应位置与相关注意力头,证实存在支持思维链的分布式推理子电路。
2026-08-25 cs.CL
NExT-Guard: Training-Free Streaming Safeguard without Token-Level Labels
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
NExT-Guard通过监控稀疏自编码器的潜在特征,实现无训练的流式安全防护,优于基于监督训练的防护方法。
2026-02-10 cs.AI cs.LG
TPA: Next Token Probability Attribution for Detecting Hallucinations in RAG
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所)
TPA通过归因七个来源量化各组件对生成下一个令牌的影响,有效识别幻觉响应,实验显示其性能领先。
2026-04-17 cs.AI cs.CL
Efficient Training of Language Models with Compact and Consistent Next Token Distributions
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文提出一种紧凑的下一词元分布近似表示,在期望上等价于完整 n-gram 分布并降低小批次方差,从而在提升模型质量和收敛速度的同时,使收益可扩展到更大模型和数据集。
2024-07-03 cs.CL cs.LG
Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
The ICFAI Foundation for Higher Education(ICFAI高等教育基金会)
本文提出VACP框架,通过语义掩码和温度调整评分,在保证覆盖的前提下显著提升预测集效率,实验证明其在大语言模型下一个标记预测中的有效性。
2025-12-27 cs.AI cs.CL
LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior
University of Maryland, College Park(马里兰大学 College Park 分校)
本研究提出新型视频令牌化器LARP,通过整体查询方案和训练时集成的轻量级AR transformer先验模型,实现更优的全局语义捕获与自回归生成适配,在UCF101基准上取得SOTA FVD,助力高保真多模态大模型构建。
2025-06-16 cs.AI cs.CV
On Next-Token Prediction in LLMs: How End Goals Determine the Consistency of Decoding Algorithms
Department of Statistics University of Michigan(统计学系 密歇根大学)
该研究首次在大语言模型语境下探究greedy、随机采样等四种解码算法与不同损失函数目标的一致性,发现仅随机采样符合真实分布采样目标,其余算法无普适最优性,凸显了按任务目标选解码算法的重要性。
2025-05-16 cs.CL cs.LG stat.ML
PixelPrune: Pixel-Level Adaptive Visual Token Reduction via Predictive Coding
OPPO AI Center(OPPO AI中心)
PixelPrune通过预测编码压缩技术,在视觉变换器编码器前消除冗余像素块,提升文档和GUI任务的推理速度和训练效率。
2026-04-01 cs.AI cs.CL cs.CV
Improving fine-grained understanding in image-text pre-training
Google DeepMind(谷歌DeepMind)
本文提出 SPARC 图文预训练方法,通过稀疏块-token对齐与逐序列细粒度对比损失,结合全局对比学习,提升多模态表示的局部与全局理解及下游性能。
2024-01-18 cs.AI cs.CV cs.LG
TC-SSA: Token Compression via Semantic Slot Aggregation for Gigapixel Pathology Reasoning
Shenzhen University of Advanced Technology(深圳先进技术大学);University of Nottingham NingBo(诺丁汉大学宁波学院)
TC-SSA通过语义槽聚合实现token压缩,提升十亿像素病理推理的效率与诊断性能
2026-03-01 cs.AI cs.CV
FTB Graph: Determining and Validating First-token Broadcasters and Language-Identity Head Circuits in Multilingual Language Models
Irvington High School(欧文顿高中);Gen4AIE
本研究通过EAP与精确激活修补,在六种多语言模型上提取首词语言身份电路,发现深层广播枢纽及预训练主导的路由机制,并指出梯度近似需精确验证。
2026-09-28 cs.AI
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心);Tencent(腾讯)
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题,提出多位置 token 概率预测方法 P3,在单次运行中模拟生成路径采样,显著提升了零样本文本分类的准确率与鲁棒性,降低了对提示工程的依赖。
2025-04-04 cs.CL
Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation
Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);University of Chinese Academy of Sciences(中国科学院大学)
Cheers通过解耦补丁细节与语义表示,实现统一的多模态理解和生成,提升图像生成的保真度,并在多个基准测试中表现优异,同时实现4倍的token压缩效率。
2026-03-13 cs.AI cs.CV
Don't Send What You Don't Need: Question-Guided Token Pruning as a Privacy Defense for Vision-Language Models
Southern Illinois University Carbondale(南伊利诺伊大学卡本代尔分校)
提出QPriv-VL框架,利用动态阈值预测器基于问题相关性剪枝视觉令牌,在联邦/分割学习中防御隐私攻击,以约40%令牌保持准确率并显著降低攻击成功率。
2026-09-15 cs.AI cs.CR cs.CV
MultiToP: Learning to Patch Visual Tokens to Mitigate Hallucinations in Video Large Multimodal Models
Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);East China Normal University(华东师范大学)
提出MultiToP框架,通过轻量级视觉令牌修补器动态替换不可靠视觉令牌,结合信息引导排名校准和稀疏正则化,在不修改原模型情况下减少视频多模态模型幻觉,显著提升F1分数和问答准确率。
2026-06-12 cs.AI cs.CL cs.CV
The pitfalls of next-token prediction
ETH Zürich, Switzerland(苏黎世联邦理工学院);Google Research, US(谷歌研究院)
该研究指出下一词元预测中教师强制训练本身存在无法学习准确预测器的深层问题,通过最小规划任务验证了Transformer和Mamba架构的相关失效,并提出无教师训练的多词元预测方法作为解决方案。
2025-07-29 cs.AI cs.CL cs.LG
Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models
Google DeepMind(谷歌DeepMind);The University of Hong Kong(香港大学)
本文提出Scratchpad补丁方法,通过在每个补丁中插入临时缓存来优化字节级语言模型的计算效率,提升模型质量并减少KV缓存和推理计算需求。
2026-11-09 cs.CL cs.LG
Improving Next Tokens via Second-to-Last Predictions with Generate and Refine
University of Liechtenstein(列支敦士登大学)
针对自回归与自编码模型的局限,提出仅解码器架构预测倒数第二个token,通过结构化掩码提升训练效率,结合“生成再优化”方法显著提升GPT的下一个token预测准确率。
2025-02-13 cs.CL cs.LG
Layer-Level Self-Exposure and Patch: Affirmative Token Mitigation for Jailbreak Attack Defense
Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
针对LLMs面临的越狱攻击问题,提出Layer-AdvPatcher方法,通过识别易生成肯定性token的层并利用自增强数据集进行遗忘修补,有效降低攻击危害性和成功率且不影响良性查询效用。
2025-02-12 cs.AI cs.CL cs.CR
Mechanics of Next Token Prediction with Self-Attention
University of Michigan(密歇根大学);Google Research NYC(谷歌研究院纽约分部)
本文揭示自注意力层通过梯度下降学习自动机,以硬检索和软组合两步实现下一词预测,并严格刻画其机制,发现隐式发现强连通分量并检索最高优先级分量。
2024-03-12 cs.AI cs.CL cs.LG
Attractor Patch Networks: Reducing Catastrophic Forgetting with Routed Low-Rank Patch Experts
Shashank
吸引子补丁网络通过路由低秩补丁专家减少灾难性遗忘,提升持续学习的适应能力。
2026-01-28 cs.CL cs.LG
Next Token Prediction Is a Dead End for Creativity
Computational Foundry, Swansea University(斯旺西大学计算铸造厂);University of Kent(肯特大学)
本文指出词元预测与创造力根本不符,以说唱对战为例揭示其局限,主张将创造力视为交互过程,为AI提供更具表现力和响应性的愿景。
2025-05-25 cs.AI cs.CL
Modeling Next-Token Prediction as Left-Nested Intuitionistic Implication
University of North Texas(北卡罗来纳州立大学)
该研究提出了一种基于直觉逻辑的神经架构,通过左嵌套蕴含链实现下一个词预测,展示了其与Transformer和状态空间模型的对比。
2026-01-07 cs.AI cs.CL cs.LO
LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室)
LogitSpec通过扩展检索范围和利用logit预测下下个token,提升检索基于解码的效率,实现2.61倍加速和3.28个接受token/解码步。
2026-04-29 cs.CL
Towards Storage-Efficient Visual Document Retrieval: An Empirical Study on Reducing Patch-Level Embeddings
Nanyang Technological University(南洋理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究所)
针对 ColPali/ColQwen2 补丁级嵌入内存过高的问题,本文实证比较 token 剪枝与合并,提出三维优化的 Light-ColPali/ColQwen2,以极低内存保留高检索性能。
2025-06-05 cs.CL cs.IR
Bigram Subnetworks: Mapping to Next Tokens in Transformer Language Models
Department of Cognitive Science University of California San Diego(认知科学系,加州大学圣地亚哥分校)
研究发现Transformer语言模型中存在双元子网络,这些子网络能基于当前标记预测下一个标记,且对模型性能至关重要。
2025-12-03 cs.CL
YNTP-100: A Benchmark for Your Next Token Prediction with 100 People
Kyoto University(京都大学)
YNTP-100是一个包含100人的多语言对话基准,用于评估个性化响应生成的对齐方法。
2026-01-28 cs.CL
On the scaling relationship between cloze probabilities and language model next-token prediction
University at Buffalo(布法罗大学);Université Paris Nanterre(巴黎南泰尔大学)
本研究探讨了语言模型在闭合概率与下一个词预测之间的缩放关系,发现更大模型在语义上更符合人类响应,但对低层信息不敏感。
2026-02-19 cs.CL