A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens
CCSE, School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学);Zhongguancun Laboratory, Beijing, China(中关村实验室);Shen Yuan Honors College, Beihang University, Beijing, China(神元荣誉学院,北京航空航天大学)
本文发现基于 LLM 的文本嵌入会与输入文本中的关键 token 对齐,并揭示其关键在于第一主成分的变化,进而提出一种可达到稠密检索 80% 效果且计算量显著降低的稀疏检索方法。
2025-07-07 cs.CL cs.IR
Dissecting Training-Free Uncertainty Estimation in Multimodal Large Language Models
Toyota Motor Europe(丰田汽车欧洲公司);University of Oxford(牛津大学)
本文系统研究多模态大语言模型的免训练不确定性估计,将方法分为令牌级、言语化和语义三类,并在多数据集基准测试中发现各方法在不同回答长度上各有优势。
2026-10-20 cs.CL cs.LG
Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models
University of California Los Angeles(加州大学洛杉矶分校)
本文提出 PEFT 方法 Aligner,通过全局共享可调节 Token 修改各层注意力,仅用 5,000 参数即可在指令遵循与价值对齐上媲美 LoRA,并揭示 LLM 对形式与知识的正交处理机制。
2023-12-09 cs.AI cs.CL cs.LG
FLUX: Data Worth Training On
FLUX提出了一种预处理流程,通过最大化token保留同时确保高质量,使模型在训练数据上取得更高准确率和计算效率。
2026-03-14 cs.AI cs.CL
Quantifying Uncertainty in Natural Language Explanations of Large Language Models
Harvard University(哈佛大学)
本研究针对大语言模型自然语言解释的可靠性存疑问题,提出言语化不确定性和探测性不确定性两个指标量化解释不确定性,发现探测性不确定性与解释忠实度负相关,为基础模型可信度研究提供参考。
2023-11-06 cs.CL
Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);School of Cyber Security, Beijing University of Posts and Telecommunications(北京邮电大学网络空间安全学院)
本文提出Prompt2Gaussia方法,首次将提示学习引入脚本事件预测,通过高斯分布建模提示词元和标签词元的不确定性,在两个基准上分别超越先前基线1.46%和1.05%。
2023-08-04 cs.CL
Turn Waste into Worth: Rectifying Top-$k$ Router of MoE
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 Rectify-Router,通过 Intra-GPU Rectification 和 Fill-in Rectification 分别解决 MoE 中 token 丢弃和填充问题,最终比 vanilla top-1 路由准确率提升 4.7%。
2024-02-21 cs.AI cs.CL cs.LG
How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
University of Maryland(马里兰大学);Pangram Labs(Pangram 实验室)
本研究通过预训练800个语言模型,提出一种新的缩放定律,揭示了野生AI生成文本对预训练的影响:初期有益但随后有害,并提供了过滤和重复人类文本的建议,同时发布了WildAI语料库。
2026-10-01 cs.CL cs.LG
A Bounding Box is Worth One Token: Interleaving Layout and Text in a Large Language Model for Document Understanding
ByteDance Inc.(字节跳动公司);Fudan University(复旦大学)
针对现有文档理解方法融合布局与文本时的长序列、未充分利用LLM自回归特性的问题,提出LayTextLLM框架,将边界框投影为单嵌入与文本交错,在KIE和VQA任务上较此前SOTA分别提升15.2%和10.7%。
2025-05-19 cs.AI cs.CL cs.MM
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
Meta Reality Labs(Meta现实实验室);FAIR, Meta(Meta人工智能研究机构);National University of Singapore(新加坡国立大学)
提出ProVideLLM,一种内存高效的流式视频LLM,通过多模态缓存减少令牌数22倍,实现10FPS推理和25FPS对话,并在六个程序性任务上达到SOTA。
2025-04-10 cs.CV
Semantic Calibration Prevails Where Token Confidence Fails: Benchmarking Long-Form Scientific QA
本研究提出首个大规模基准,评估大型语言模型在长格式问答中不确定性校准的可靠性,揭示了指令调优和推理过程对校准的影响及ECE指标的局限性。
2026-09-21 cs.CL cs.LG
Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);DeepNeuro AI
研究探讨了12种开放权重推理模型在MMLU和GPQA问题中对误导提示的响应,发现思考令牌与答案之间的信念差异显著,且模型对提示的承认存在方向性差异。
2026-03-27 cs.AI cs.CL
Protum: A New Method For Prompt Tuning Based on "[MASK]"
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院);University of Electronic Science and Technology of China, Chengdu, China(电子科技大学成都校区)
近年来,提示微调\cite{lester2021power}逐渐成为自然语言处理的一种新范式,它通过冻结预先训练好的语言模型(PLM)的参数,仅依赖于单词的表示,从而在下游任务中获得出色的性能。在预训练过程中保持了MLM(Masked语言模型)\cite{devlin2018bert}任务的一致性,避免了微调过程中可能出现的问题。自然地,我们认为“[MASK]”标记比其他标记携带更多有用的信息,因为模型结合上下文来预测被屏蔽的标记。在现有的提示微调方法中,当预测多个单词时,会存在严重的随机组合问题,需要借助帮助动词化器将单词映射到标签上。针对上述问题,本文提出了一种新的基于“[ \textbf{M} ASK]”的\textbf{Pro} mpt \textbf{Tu} ning(\textbf{Protum})方法,该方法通过“[MASK]”标记的隐藏层所携带的信息构造分类任务,然后直接预测标签而不是答案标记.与此同时,我们探索了“[MASK]”下的不同隐藏层如何影响我们在许多不同数据集上的分类模型。最后,我们发现,我们的\textbf{Protum}可以实现更好的性能比微调后,连续的预训练,更少的时间消耗。我们的模型促进了NLP中大型模型的实际应用。
2022-01-28 cs.CL
<SOG_k>: One LLM Token for Explicit Graph Structural Understanding
Shanghai Jiao Tong University(上海交通大学);IGSNRR, Chinese Academy of Sciences(中科院信息融合国家重点实验室)
本文提出<SOG_k>令牌,通过统一令牌空间实现图结构的显式表示,提升LLM对图结构的理解、生成和推理能力。
2026-02-02 cs.AI cs.CL cs.NI
LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models
CUHK(香港中文大学);SmartMore(思谋科技)
LLaMA-VID提出用上下文令牌和内容令牌两个令牌表示每帧图像,以降低长视频处理的计算负担,使现有视觉语言模型能支持小时级视频并在多数基准上超越先前方法。
2023-11-28 cs.CL cs.CV
Make A Long Image Short: Adaptive Token Length for Vision Transformers
Midea Group, AI Innovation Center(美的集团人工智能创新中心);Tongji University(同济大学)
视觉Transformer将每个图像分割成具有固定长度的标记序列,并以与自然语言处理中的单词相同的方式处理标记。更多的令牌通常会带来更好的性能,但会大大增加计算成本。受谚语“一张图片胜过千言万语”的启发,我们的目标是通过缩短长图像来加速ViT模型。为此,我们提出了一种新的方法来分配令牌长度自适应推理。具体来说,我们首先训练一个ViT模型,称为Resizable-ViT(ReViT),它可以处理具有不同令牌长度的任何给定输入。然后,我们从ReViT中检索“令牌长度标签”,并使用它来训练轻量级令牌长度分配器(TLA)。标记长度标签是ReViT可以做出正确预测的分割图像的最小标记数量,并且TLA被学习以基于这些标签分配最佳标记长度。TLA使ReViT能够在推理过程中使用最少的足够数量的标记来处理图像。因此,通过减少ViT模型中的令牌数量来提高推理速度。我们的方法是通用的,与现代视觉Transformer架构兼容,可以显着减少计算开销。我们在两个任务(图像分类和动作识别)中验证了我们的方法在多个代表性ViT模型(DeiT,LV-ViT和TimesFormer)上的有效性。
2021-12-06 cs.CV
Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought
IBM Research AI(IBM人工智能研究院)
本文提出Abstract Chain-of-Thought,通过离散潜在推理机制在训练后实现高效推理,减少推理token数量同时保持性能,发现抽象词汇的幂律分布。
2026-04-27 cs.CL
When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models
研究针对预训练大语言模型无法处理机器原生符号的问题,提出UniLang框架将机器原生符号与自然语言 token 同等建模,在序列推荐、法律先例预测任务上均优于基线,拓展了LLMs的应用范围。
2026-08-21 cs.AI cs.CL
Semantic Event Graphs for Long-Form Video Question Answering
语义事件图通过轻量级符号接口提升长视频问答效率,减少令牌使用并保持推理能力。
2026-01-02 cs.AI cs.CV
Make A Long Image Short: Adaptive Token Length for Vision Transformers
Shanghai University of Electric Power(上海电力大学);Midea Group(美的集团)
本文提出通过自适应分配每张图像的最优令牌长度来加速视觉Transformer推理,利用ReViT提取最少令牌标签并训练轻量级TLA分配器,在保持准确性的同时显著降低计算成本。
2023-07-05 cs.CV cs.LG
In-Context Fixation: When Demonstrated Labels Override Semantics in Few-Shot Classification
Amazon(亚马逊)
研究发现演示标签的同质性会降低少样本学习的准确率,揭示了模型在检索词汇时的约束机制,通过实验分解固定为格式和内容层面的组件。
2026-05-08 cs.AI cs.CL cs.LG
Token Shift Transformer for Video Classification
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
Transformer在理解1维和2维信号(例如,NLP和图像内容理解)。作为卷积神经网络的潜在替代方案,它具有强可解释性,对超大规模数据的高分辨能力以及处理不同长度输入的灵活性的优点。然而,其编码器自然包含计算密集型操作,例如成对自注意,当应用于复杂的3维视频信号时会产生沉重的计算负担。本文提出了令牌移位模块(即,TokShift),一种新颖的零参数、零FLOPs运算符,用于对每个Transformer编码器内的时间关系进行建模。具体来说,TokShift几乎不会在相邻帧之间来回移动部分[类]令牌特征。然后,我们将该模块密集地插入到普通2D视觉Transformer的每个编码器中,用于学习3D视频表示。值得注意的是,我们的TokShift Transformer是一个纯无卷积的视频Transformer试点,具有视频理解的计算效率。标准基准测试的实验验证了该方法的鲁棒性、有效性和高效性。特别是,在8/12帧的输入剪辑下,TokShift Transformer实现了SOTA精度:在Kinetics-400上为79.83%/80.40%,在EGTEA-Gaze+上为66.56%,在UCF-101数据集上为96.80%,与现有的SOTA卷积同行相当或更好。我们的代码是开源的:https://github.com/VideoNetworks/TokShift-Transformer。
2021-08-05 cs.CV cs.MM
What is Your Data Worth to GPT? LLM-Scale Data Valuation with Influence Functions
Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院);USC(南加州大学);University of Toronto(多伦多大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究提出LoGra梯度投影策略和LogIX软件包,大幅提升影响函数在LLM数据估值中的可扩展性,实现高精度与6,500倍吞吐量提升。
2024-05-22 cs.AI cs.CL cs.LG
Zero-Shot Confidence Estimation for Small LLMs: When Supervised Baselines Aren't Worth Training
BuffaloTechRider(布法罗科技骑手)
本文研究小语言模型如何在无监督数据下估计自身正确性,通过比较零样本置信信号与监督基线,发现基于平均token对数概率的方法在分布内和分布外均表现更优,提出检索条件自我评估方法提升性能。
2026-05-07 cs.AI cs.CL cs.ET
Self-Evolution Learning for Discriminative Language Model Pretraining
Wuhan University(武汉大学);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
本文提出自演化学习(SE),通过聚焦信息丰富且探索不足的词元并引入词元特定标签平滑自适应正则化训练,在10个任务上为不同预训练语言模型带来显著提升,改善语言知识学习与泛化。
2023-05-24 cs.CL
Evaluation Awareness in Language Models: Representation, Verbalization, and Control
该研究系统探测了6个语言模型的评估感知,发现其可线性解码、与语言化部分对齐,且在Olmo模型中随微调放大,需评估时考虑模型内部表示与语言化的脱节。
2026-08-25 cs.AI cs.CL
Efficient Chain-of-Modality Reasoning via Progressive Compression for Spoken Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Token Foundry, Alibaba Group(阿里巴巴集团淘系技术)
针对口语语言模型推理能力落后问题,提出高效模态链推理(ECoM推理),通过压缩文本组件提高推理准确性,并用渐进压缩策略训练,实验显示其在口语数学问答基准测试中,增强推理且保持效率,准确率提升显著。
2026-08-10 cs.CL cs.SD
Images are Worth Variable Length of Representations
University of California, San Diego(加州大学圣迭戈分校);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
本文提出动态视觉编码器DOVE,根据图像信息量生成可变数量的视觉标记,在保持重建质量的同时大幅减少标记数,并通过查询条件标记化实现更高效的语义提取。
2025-06-05 cs.CV
A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens
Amazon(亚马逊);Eindhoven University of Technology(埃因霍温理工大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出DeltaTok和DeltaWorld,通过将视频特征差值编码为单个连续标记,实现高效生成世界建模,减少参数和计算量,提升预测多样性。
2026-04-06 cs.CV
Are These Modules Worth Their Cost? A Paradigm-Level Accuracy-Cost Analysis of In-context Learning Text-to-SQL
Jinan University(暨南大学);The Hong Kong Polytechnic University(香港理工大学);City University of Macau(澳门城市大学);Jilin University(吉林大学);Beihang University(北京航空航天大学)
本研究针对上下文学习文本到SQL流程的模块,量化各范式的成本-准确性贡献,发现执行反馈优化性价比最高,提出感知成本的分层指南并可迁移至其他主干模型。
2026-08-31 cs.AI cs.CL cs.DB
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
LibraSpec是一种无需训练的即插即用推测解码算法,通过边际增益驱动优化动态确定推测长度,可提升大语言模型推理速度,在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
Policy Improvement using Language Feedback Models
University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
该研究提出语言反馈模型(LFM),利用大语言模型对视觉轨迹的语言描述反馈识别理想行为,用于指令跟随的模仿学习,在多环境中提升任务完成率,可泛化到新环境,还能提供可解释反馈。
2024-10-10 cs.AI cs.CL cs.LG
Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文评估了从RLHF微调的语言模型中提取置信度的方法,发现口头化置信度比模型条件概率校准更好,在多个基准上将预期校准误差相对降低50%。
2023-10-24 cs.CL
Meanings and Feelings of Large Language Models: Observability of Latent States in Generative AI
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Pennsylvania(宾夕法尼亚大学)
本研究从动态系统视角分析大语言模型的可观测性,证明标准自回归Transformer无法产生“感受”,但存在系统提示时可能产生,为模型设计与控制提供理论依据。
2024-05-22 cs.AI cs.CL cs.LG
An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出FastV,一种即插即用的LVLM推理加速方法,通过在早期层学习自适应注意力模式并在后续层剪枝视觉Token,大幅降低计算成本且保持性能。
2024-09-02 cs.AI cs.CL cs.CV
Inference-Time Rethinking with Latent Thought Vectors for Math Reasoning
Department of Statistics and Data Science, UCLA(统计与数据科学系, UCLA);Lambda Inc(Lambda公司);Tsinghua University(清华大学);Salesforce Research(Salesforce研究)
本文提出基于潜在思维向量的推理时间重新思考框架,通过迭代自我纠正提升数学推理能力,实验证明其在GSM8K数据集上优于基线模型。
2026-02-06 cs.CL cs.LG stat.ML
Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
Department of Computing, The Hong Kong Polytechnic University(计算机系,香港理工大学);Ningbo Digital Twin Institute, Eastern Institute of Technology(宁波数字孪生研究院,东部技术研究所)
本文综述潜在思维链推理这一新兴LLM推理范式,建立系统分类,分析其方法、设计原则、应用与挑战,为该领域发展提供结构化基础。
2026-09-01 cs.CL
Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More
Johns Hopkins University(约翰霍普金斯大学);University of Florida(佛罗里达大学)
研究探讨了补丁化中的缩放定律,发现减小补丁大小可提升模型性能,最终达到像素标记化,并在ImageNet-1k上实现了84.6%的准确率。
2026-02-19 cs.CV
An Image is Worth 32 Tokens for Reconstruction and Generation
Technical University Munich(慕尼黑工业大学);ByteDance(字节跳动)
本文提出TiTok一维图像分词器,将图像压缩为32个离散token,在ImageNet重建与生成基准上以更少token和更快速度达到或超过MaskGIT与DiT-XL/2。
2024-06-11 cs.CV
GRID: Grammar-Railed Decoding for Enterprise SQL Generation
evolutionID GmbH(进化ID有限公司)
研究针对企业SQL生成需求,提出GRID语法约束解码引擎,通过特定方式确定令牌掩码,编译角色访问控制,有四个保证。经实验,Rust内核降低掩码时间,在Spider上约束解码提升模型可执行率,还具备审计跟踪和篡改检测功能。
2026-07-15 cs.AI cs.CL cs.FL
iLLaVA: An Image is Worth Fewer Than 1/3 Input Tokens in Large Multimodal Models
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);School of Computer Science and Technology, Tiangong University(天津工大学计算机科学与技术学院);Key Research Center for Surface Monitoring and Analysis of Relics, State Administration of Cultural Heritage(文物表面监测与分析关键研究中心,国家文物局)
iLLaVA通过联合优化图像编码器和LLM,减少冗余标记并提升吞吐量,实现更高效的多模态模型性能。
2026-03-09 cs.CV
A Creative Agent is Worth a 64-Token Template
School of Computer Science and Engineering, Southeast University, Nanjing, China(1 南京大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(2 教育部新一代人工智能技术及其跨学科应用关键实验室(东南大学))
本文提出CAT框架,通过创意令牌化提升文本到图像生成的创造力,实现3.7倍速度提升和4.8倍计算成本降低,生成图像更受人类偏好。
2026-03-18 cs.CV
A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions
Meta;FAIR at Meta(元公司FAIR研究院);Mila(米拉研究所);Universite de Montreal(蒙特利尔大学);McGill University(麦吉尔大学)
本文构建含7805张图像、平均描述超1000词的人工密集描述数据集DCI及限长版sDCI,并提出描述-子裁剪匹配任务,评估CLIP类VLM,发现标准基准进展不等于细粒度理解提升,而用sDCI微调可显著改进CLIP。
2024-06-17 cs.CV
An Image Is Worth Ten Thousand Words: Verbose-Text Induction Attacks on VLMs
Huazhong University of Science and Technology(华中科技大学);Fordham University(福特汉姆大学);Wuhan University(武汉大学)
本文提出一种针对视觉语言模型的冗余文本诱导攻击,通过两阶段框架生成恶意图像以诱导模型生成冗长文本,提升攻击效果与可控性。
2025-11-20 cs.CV
ConfTuner: Training Large Language Models to Express Their Confidence Verbally
National University of Singapore(新加坡国立大学)
ConfTuner通过引入标记化布里尔分数损失函数,有效提升大型语言模型的置信度校准能力,适用于多种推理任务并泛化至黑盒模型。
2025-11-25 cs.AI cs.CL
Uncertainty-Aware Decision Making in Multimodal Large Language Models
Khalifa University of Science and Technology(哈利法科技大学)
本调查围绕决策中心框架,综述多模态大语言模型(MLLMs)的不确定性感知决策相关研究,对比同类调查并指出源感知分解等开放问题,核心是不确定性需改善多模态证据下的系统行为。
2026-08-19 cs.CL
Beyond Exact Match: Semantically Reassessing Event Extraction by Large Language Models
Beijing Institute of Technology(北京理工大学);Beijing University of Technology(北京工业大学)
针对词元级精确匹配评估误判语义正确案例并低估模型真实性能的问题,提出基于LLM的语义级事件抽取评估框架RAEE,实现对触发词和论元精确率与召回率的自适应评估,揭示了精确匹配造成的显著性能低估。
2025-03-04 cs.CL
IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
Apple Inc.(苹果公司);Georgia Institute of Technology(佐治亚理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出IDEA Prune一体化先扩后剪流水线,在单一余弦退火调度下结合扩增模型训练、剪枝与恢复,并引入迭代式结构化剪枝方法,在2.8B压缩至1.3B的预训练实验中验证了其令牌效率和剪枝模型性能优势。
2025-03-07 cs.AI cs.CL cs.LG
Self-Calibrating Language Models via Test-Time Discriminative Distillation
本文提出SECL方法,利用模型在回答正确性问题时的真实概率与声明置信度之间的差距进行无监督训练,有效降低校准误差,优于现有方法。
2026-03-18 cs.CL cs.LG
Not All Images are Worth 16x16 Words: Dynamic Transformers for Efficient Image Recognition
Tsinghua University(清华大学);Huawei Technologies Ltd.(华为技术有限公司);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
视觉Transformer(ViT)在大规模图像识别中取得了显著的成功。他们将每个2D图像分成固定数量的补丁,每个补丁都被视为一个令牌。通常,用更多的标记表示图像将导致更高的预测精度,同时也会导致计算成本急剧增加。为了在准确性和速度之间实现适当的权衡,令牌的数量根据经验设置为16 x16或14 x14。在本文中,我们认为,每一个图像都有自己的特点,理想情况下,令牌数应取决于每个单独的输入。事实上,我们已经观察到,存在相当数量的“简单”图像,可以用仅仅数量的4x 4令牌准确预测,而只有一小部分“困难”图像需要更精细的表示。受此现象的启发,我们提出了一个动态的Transformer自动配置适当数量的令牌为每个输入图像。这是通过级联多个Transformers来实现的,其中令牌的数量不断增加,这些令牌在测试时以自适应方式顺序激活,即,一旦产生了足够可信的预测,则终止推断。我们进一步设计了跨动态Transformer不同组件的有效特征重用和关系重用机制,以减少冗余计算。在ImageNet、CIFAR-10和CIFAR-100上的大量实证结果表明,我们的方法在理论计算效率和实际推理速度方面都明显优于竞争基线。代码和预训练模型(基于PyTorch和MindSpore)可在https://github.com/blackfeather-wang/Dynamic-Vision-Transforme…
2021-10-26 cs.AI cs.CV cs.LG
An Image is Worth More Than 16x16 Patches: Exploring Transformers on Individual Pixels
FAIR, Meta AI(FAIR,Meta人工智能);University of Amsterdam(阿姆斯特丹大学)
研究发现普通Transformer可直接将单个像素作为token,在分类回归、掩码自编码和扩散生成任务上取得高性能,从而质疑视觉架构中局部性归纳偏置的必要性。
2025-03-13 cs.CV cs.LG
Evaluating language models as risk scores
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);ELLIS Institute Tübingen(ELLIS图宾根研究所)
针对当前问答基准无法评估LLM量化真实结果不确定性的问题,本研究将LLM用作不可实现预测任务的风险评分,引入folktexts软件包并评估17个近期LLM,发现其校准误差等缺陷及优化方向,填补了评估生态系统盲点。
2024-09-23 cs.CL cs.LG
A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval
The George Washington University(乔治华盛顿大学)
该研究针对视觉-语言检索,通过系统对比单标题与段落文本监督,发现仅微调BLIP文本编码器的段落监督模型在DOCCI等任务上优于Long-CLIP,为文本粒度与检索性能的关系提供了新见解。
2026-08-07 cs.CV
Any 3D Scene is Worth 1K Tokens: 3D-Grounded Representation for Scene Generation at Scale
Westlake University(西湖大学);Afari Intelligent Drive(阿法里智能驾驶);Zhejiang University(浙江大学)
本文提出在隐式3D潜在空间中直接生成3D场景,解决传统2D方法在3D空间扩展中的不足,通过3DRAE和3DDiT实现高效且一致的3D生成。
2026-10-20 cs.CG cs.CV