语言大模型 / LLM

Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging

用扩散张量成像可视化词嵌入中的信息流

Thomas Fabian

机构 * Technical University Darmstadt（达姆斯塔特技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。

SkipOPU: An FPGA-based Overlay Processor for Large Language Models with Dynamically Allocated Computation

SkipOPU：一种基于FPGA的覆盖处理器，用于具有动态分配计算的大型语言模型

Zicheng He, Anhao Zhao, Xiaoyu Shen, Chen Wu, Lei He

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出SkipOPU，一种基于FPGA的覆盖处理器，通过轻量级路由机制动态分配计算，提升大型语言模型推理效率，减少冗余计算并降低存储开销。

Comments 28 pages, 10 figures, accepted by TRETS

Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts

Nested-ReFT：通过离策略展开实现大语言模型微调的高效强化学习

Maxime Heuillet, Yufei Cui, Boxing Chen, Audrey Durand, Prasanna Parthasarathi

机构 * Mila - Québec AI Institute, Canada（魁北克人工智能研究所） ； Huawei Noah's Ark Lab (Montreal Research Center), Canada（华为诺亚实验室（蒙特利尔研究中心）） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型在数学推理等领域的高级推理难题，提出Nested-ReFT框架，利用离策略展开及动态层跳过降低训练推理成本，经理论与实证分析验证其有效性，还探索偏差缓解变体以维持性能。

A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models

基于离散扩散的多模态大语言模型中视觉标记冗余的综合研究

Duo Li, Zuhao Yang, Xiaoqin Zhang, Ling Shao, Shijian Lu

机构 * CCDS, NTU, Singapore（南洋理工大学新加坡分校） ； CCST, ZJUT, China（浙江工业大学中国分校） ； Terminus AI Lab, UCAS, China（中国科学院大学人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究系统分析了离散扩散多模态大语言模型中视觉标记冗余的演化规律，发现其仅出现在从头训练的模型处理长答案任务时，并验证了视觉标记剪枝会导致信息损失，而层跳过和渐进剪枝分别适用于不同架构的加速。

Comments Accepted by CVPR 2026

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, 2026, pp. 2823-2833

Branch-and-Browse: Efficient and Controllable Web Exploration with Tree-Structured Reasoning and Action Memory

Branch-and-Browse：具有树状推理与动作记忆的高效可控网页探索

Shiqi He, Yue Cui, Xinyu Ma, Yaliang Li, Bolin Ding, Mosharaf Chowdhury

机构 * University of Michigan（密歇根大学） ； Alibaba Group（阿里巴巴集团） ； McMaster University（麦马斯特大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Branch-and-Browse框架，通过树状结构化推理、网页状态重放和页面动作记忆，实现LLM网页代理的高效可控多分支探索，在WebArena上成功率35.8%，执行时间降低40.4%。

Can Small GenAI Language Models Rival Large Language Models in Understanding Application Behavior?

小型 GenAI 语言模型能否在理解应用程序行为方面与大型语言模型相媲美？

Mohammad Meymani, Hamed Jelodar, Parisa Hamedi, Roozbeh Razavi-Far, Ali A. Ghorbani

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 系统评估小型和大型 GenAI 语言模型在理解应用程序行为（以恶意软件检测为代表任务）上的能力，发现小型模型在精度和召回率上保持竞争力，且计算效率更高，适合资源受限环境。

PrefixAgent: An LLM-Powered Design Framework for Efficient Prefix Adder Optimization

PrefixAgent：一种基于大语言模型的高效前缀加法器优化设计框架

Dongsheng Zuo, Jiadong Zhu, Yang Luo, Yuzhe Ma

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本研究针对前缀加法器设计空间随位宽指数增长的优化难题，提出基于LLM的PrefixAgent框架，通过将任务拆分为两个子任务并利用等价图构建训练数据，在几乎所有配置下实现了更小的加法器面积，且在位宽更大时优势更显著。

Memorization Dynamics in Knowledge Distillation for Language Models

知识蒸馏中语言模型的知识记忆动态

Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Meta Central Applied Science（Meta中央应用科学） ； FAIR at Meta（Meta的FAIR） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本研究探讨了知识蒸馏中语言模型的知识记忆动态，发现蒸馏模型比标准微调记忆更少，且硬蒸馏方法风险更高。

Efficient Chain-of-Modality Reasoning via Progressive Compression for Spoken Language Models

通过渐进压缩实现口语语言模型的高效模态链推理

Pengchao Feng, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Xie Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Token Foundry, Alibaba Group（阿里巴巴集团淘系技术） 纠错

专题命中 效率与部署 ：language model(title,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 针对口语语言模型推理能力落后问题，提出高效模态链推理（ECoM推理），通过压缩文本组件提高推理准确性，并用渐进压缩策略训练，实验显示其在口语数学问答基准测试中，增强推理且保持效率，准确率提升显著。

Cross-Lingual Token Arbitrage: Optimizing Code Agent Context Windows via Local LLM Preprocessing

跨语言令牌套利：通过本地LLM预处理优化代码智能体上下文窗口

Mehmet Utku Colak

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种预处理的边缘端提示重写中间件，利用本地Llama 3.2模型进行跨语言翻译和结构重写，在保持或提升任务准确率的同时减少34-47%的提示令牌和最高18.8%的总令牌消耗。

Comments Updated References

Cloud to Edge: Benchmarking LLM Inference On Hardware-Accelerated Single-Board Computers

云到边缘：在硬件加速的单板计算机上评估大语言模型推理

Harri Renney, Fouad Trad, Michael Mattarock, Jayden Evetts, Zena Wood

机构 * Kaze Technologies（凯兹技术） ； Kaze Consulting（凯兹咨询） ； Electrical and Computer Engineering（电气与计算机工程） ； Lebanese American University（黎巴嫩美国大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种多维评估方法，评估四种物联网适用的边缘平台配置，测试最新硬件加速器的单板计算机，揭示硬件加速器在隐私敏感和连接受限环境中的优势。

KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing

KBF：知识边界作为语言模型和黑盒API审计的指纹

Yijia Fang, Yiqing Feng, Bingyu Li, Mingxun Zhou

机构 * Beihang University China（北航中国） ； Xidian University China（西电中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 提出KBF协议，利用知识边界附近的稳定数值召回率作为指纹，低成本黑盒审计模型API，检测替代和混合路由攻击。

LLM-Extracted Covariates for Clinical Causal Inference: Rethinking Integration Strategies

基于大语言模型的协变量用于临床因果推断：重新思考整合策略

Lei Liu, Jialin Chen, Kathy Macropol

机构 * Department of Computer Science and Mathematics（计算机科学与数学系） ； Arcadia University（阿卡迪亚大学） ； Department of Computer Science（计算机科学系） ； Yale University（耶鲁大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究如何利用大语言模型提取的协变量提升临床因果推断效果，通过比较七种整合策略，发现直接增强倾向分数模型的性能最佳，且在真实数据中验证了其有效性。

Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade

从一开始就注定失败：通过召回控制的探测级联实现大语言模型智能体情节的早期终止

Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Jinghao Lin, Xuan Wang, Hao Sun

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Duke University（杜克大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； College of Computer Science, Zhejiang University（浙江大学计算机学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型智能体多步任务中早期失败预测问题，提出通过召回控制的探测级联方法，能早期预测失败并转化为实用终止级联，在TextCraft模型上达到高召回目标，节省大量推理计算资源，还刻画了样本复杂度。

Fair Document Valuation in LLM Summaries via Shapley Values

通过沙普利值实现大语言模型摘要中的公平文档评估

Zikun Ye, Hema Yoganarasimhan

机构 * University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型摘要中公平文档评估与补偿问题，提出基于沙普利值的框架，开发聚类沙普利值方法，在亚马逊产品评论数据上提升效率与准确性，且与多种因素无关，广泛适用于不同总结设置。

ProbeLogits: Kernel-Level LLM Inference Primitives for AI-Native Operating Systems

ProbeLogits：面向AI原生操作系统内核级的LLM推理原语

Daeyeon Son

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文提出ProbeLogits，一种在操作系统内核层面执行单次前向传递并读取特定token logit的原语，用于分类代理行为的安全性，通过校准强度alpha实现部署时的策略控制，提升安全性与效率。

Comments 18 pages, 13 tables

SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale

SkillDAG：面向大规模LLM技能选择的自演化类型化技能图

Tong Bai, Zhenglin Wan, Pengfei Zhou, Xingrui Yu, Yang You, Ivor W. Tsang

机构 * Fudan University（复旦大学） ； National University of Singapore（国立新加坡大学） ； CFAR A*STAR 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出SkillDAG，通过类型化有向图建模技能间关系，并作为推理时可调用的结构化检索接口，支持在线演化，在ALFWorld和SkillsBench上显著超越基线。

Comments 19 pages, 5 figures

When Less Latent Leads to Better Relay: Information-Preserving Compression for Latent Multi-Agent LLM Collaboration

少而精的潜在信息带来更好的中继：面向潜在多智能体大语言模型协作的信息保持压缩

Yiping Li, Zhiyu An, Wan Du

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种信息保持压缩方法，通过引入正交回填机制，在减少通信开销的同时保持信息完整性，提升了多智能体大语言模型协作性能。

Executing as You Generate: Hiding Execution Latency in LLM Code Interpreters

边生成边执行：在LLM代码解释器中隐藏执行延迟

Zhensu Sun, Zhihao Lin, Zhi Chen, Chengran Yang, Mingyi Zhou, Li Li, David Lo

机构 * Singapore Management University Singapore（新加坡国立管理学院新加坡） ； Beihang University China（北航大学中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出并行执行范式，通过将生成、检测和执行三阶段流水线化，在代码生成过程中提前执行，显著降低端到端延迟。

Comments 10 pages

When Compression Becomes an Attack Surface: Black-Box Attacks on Prompt-Compressed LLM Agents

当压缩成为攻击面：针对提示压缩的LLM智能体的黑盒攻击

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出当可信与不可信输入共享压缩预算时，攻击者可通过扰动不可信输入导致压缩器丢弃关键证据或安全护栏，并设计黑盒攻击COMA，平均攻击成功率达0.71。

Apertus LLM Family Expansion via Distillation and Quantization

通过蒸馏和量化扩展 Apertus LLM 系列

Andrei Panferov, Davit Melikidze, Martin Jaggi, Dan Alistarh

机构 * LLM Family Expansion via Distillation and Quantization（LLM家族通过蒸馏和量化进行扩展） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本文通过蒸馏和量化方法，基于 Apertus 8B 模型低成本扩展出参数高达 4B 的模型系列，覆盖多种硬件约束并保持强准确性。

Reformulate LLM Reinforcement Learning for Efficient Training under Black-box Discrepancy

重新制定LLM强化学习以在黑箱差异下高效训练

Jiashun Liu, Runze Liu, Xu Wan, Jing Liang, Hongyao Tang, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） ； Tianjin University（天津大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.LG

AI总结 针对强化学习中的训练-推理差异问题，提出差异约束马尔可夫决策过程（DCMDP），通过拉格朗日松弛自适应平衡性能提升与差异控制，实现稳定高效训练。

CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models

CrossVLA: 跨范式后训练和推理优化用于视觉-语言-动作模型

Zhi Liu

机构 * Tianjin University（天津大学） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 本文研究了视觉-语言-动作（VLA）模型的跨范式后训练方法，提出了CrossVLA框架，通过改进的连续动作流匹配估计器、对比LoRA和DoRA参数高效层的性能，并揭示了推理过程中去噪循环对延迟的影响，最终实现了在LIBERO数据集上的显著提升。

Comments Workshop draft, 14 pages, 4 figures. Code, ckpts, data: https://github.com/lz-googlefycy/vla-lab

AISPA: User-Centric System Prompt Auditing for Large Language Model Applications

AISPA：面向大语言模型应用的以用户为中心的系统提示审计框架

Xiangning Lin, Shenzhe Zhu, Shu Yang, Zhenyu Zhang, Haoqian Zhang, Yipeng Zhao, Chengxuan Qian, Tianwei Wang, Ziheng Zhang, Zhenlong Yuan, Dingcheng Wang, Juncheng Wu, Yuan Si, Jiaxin Liu, Baolong Bi, Robert Mahari, Tobin South, Dazza Greenwood, Zexue He, Rishi Bommasani, Sophia Kazinnik, Andreas Haupt, Samuele Marro, Erik Brynjolfsson, Alex Pentland, Jiaxin Pei

机构 * Stanford University（斯坦福大学） ； CMU（卡内基梅隆大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； University of Toronto（多伦多大学） ； UCSB（加利福尼亚大学圣巴巴拉分校） ； WashU（华盛顿大学） ； OSU（俄亥俄州立大学） ； UCSC（加利福尼亚大学圣克鲁兹分校） ； Northwestern University（西北大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； KAUST（阿卜杜拉国王科技大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学） ； Institute for Decentralized AI（去中心化人工智能研究所） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出以用户为中心的AISPA框架，审计88款商业AI产品的3249条系统提示指令，发现其设计差异大、保护指令范围浅、长度增长但仍存问题指令，凸显系统提示需更高透明度与监督。

Large-Small Model Collaboration for Enhancing Edge-Deployed Small Models

用于增强边缘部署小模型的大小模型协作

Peigen Liu, Yijiang Fan, Zixuan Xu, Yuren Mao, Longbin Lai, Ying Zhang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)

AI总结 该研究提出自适应边缘-云框架G-Boost，通过动态选择推理或对数融合的协作方式，提升边缘部署小语言模型的任务性能，在两个数学推理数据集上优于多种基线方法。

CARE: Context-Aware Ranking Evolution with Executable Scoring Programs for Budgeted Reaction Optimization

CARE：通过科学实验中的可审计证据审查控制LLM生成的策略

Guanyu Liu, Weiyi Kong, Chao Tang, Zeyu Wang, Boer Zhang, Baiqing Li, Peiyu Zhang, Tianyu Shi

机构 * University of Macau（澳门大学） ； University of Toronto（多伦多大学） ； UCLA（加州大学洛杉矶分校） ； Harvard University（哈佛大学） ； XtalPi（晶泰科技） ； McGill University（麦吉尔大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.AI、cs.LG

AI总结 提出CARE框架，通过可审计的干预门控机制，在保留非LLM优化器作为默认路径的同时，利用LLM修正挑战者排序策略，显著提升高通量实验优化性能。

Comments 27 pages, 5 figures. Code: https://github.com/SHITIANYU-hue/care

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

GQLA: 面向硬件自适应的大语言模型解码的分组查询潜在注意力

Fanxu Meng

机构 * Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出GQLA，一种对MLA的极小修改，通过暴露MQA和GQA两种等价解码路径，使单一权重集在不同硬件（如H100和H20）上达到最优性能，并支持零冗余张量并行，同时通过TransGQLA将预训练GQA检查点转换为GQLA模型，显著压缩KV缓存。

Comments https://github.com/MuLabPKU/TransArch

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B：一家银行中基于事实的问题回答的生产验证配方

Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

机构 * Kasisto ； Textualization ； NBME 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种高效框架，通过数据生成管道和校准拒绝机制，提升银行领域LLM的准确性与合规性，实现7.1个百分点的查询解决率提升。

Comments 7 pages, ACL 2026 conference

dMX: Differentiable Mixed-Precision Assignment for Low-Precision Floating-Point Formats

dMX: 低精度浮点格式的可微分混合精度分配

Giuseppe Franco, Ian Colbert, Pablo Monteagudo-Lago, Felix Marty, Nicholas Fraser

机构 * AMD 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出可微分混合精度量化框架 dMX，通过连续优化每层浮点格式参数并配合退火调度和正则化项，实现硬件兼容的 MXFP 格式分配，在 LLM 上取得帕累托最优效果。

DYCP: Dynamic Context Pruning for Long-Form Dialogue with LLMs

DYCP：基于LLMs的长格式对话动态上下文修剪

Nayoung Choi, Jonathan Zhang, Jinho D. Choi

机构 * Computer Science Emory University（计算机科学 埃默里大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DYCP通过动态识别和检索对话段落，提升长格式对话中LLM的上下文管理效率，实现更精确的上下文选择和推理效率提升。

Comments Accepted (B) to TACL 2026