语言大模型 / LLM

What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

语言模型所知却不说：非生成性先验提取以提升泛化能力

Sara Rezaeimanesh, Kundan Thind, Farzan Siddiqui, Mohammad M. Ghassemi

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文提出LoID方法，通过直接访问语言模型的token级预测，提取信息丰富的先验分布用于贝叶斯逻辑回归，以解决小数据集下模型泛化能力不足的问题。

Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling

重要性储备池：通过可微子集采样学习半结构化稀疏性

Ha Dinh, Xuan Duy Ta, Khoat Than, Khac-Hoai Nam Bui

机构 * Viettel AI（越南电信人工智能公司） ； Viettel Group（越南电信集团） ； Hanoi University of Science and Technology（河内科学技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出轻量级半结构化剪枝框架RoI，通过可微子集采样学习稀疏掩码，减少参数与内存开销，在Qwen2.5 LLM家族上实现高效且具竞争力的性能，为LLM高效部署提供实用路径。

Comments Accepted as an EMNLP 2026 Main Conference paper

What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine

实际运行的是什么：Apple神经引擎上语言模型部署与解码速度的测量研究

Shahir M A

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究通过三项测量探究语言模型在Apple神经引擎的部署与解码速度，发现部署由计算表达而非内容决定，权重编码影响加速器使用，提出先选编码再分配参数的设计流程。

Comments 23 pages, 5 figures. Code, measurement harnesses and run ledgers: https://github.com/shershah1024/ane-llm-measurements

Evaluating Inference-Time Defenses Against Package Hallucination in LLM-Generated Code

评估针对大语言模型生成代码中包幻觉的推理时防御措施

Alberick Euraste Djire, Iyiola E. Olatunji, Melissa Tessa, Earl T. Barr, Jacques Klein, Tegawendé F. Bissyandé

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文针对LLM生成代码的包幻觉问题，修正了评估方法，评估了七种推理时防御措施，提出包效用指标，发现对抗提示下RAG与Self-Refine表现更优，明确防御需匹配威胁模型与效用。

Comments Accepted ASE 2026

NeuroPrefetcher: Storage-Aware Sparse LLM Inference via Delta Prefetching

NeuroPrefetcher：基于存储感知的稀疏大语言模型推理的增量预取技术

Nobel Dhar, Md Romyull Islam, Xuechen Zhang, Gongjin Sun, Sahidul Islam, Bobin Deng, Kun Suo

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型部署时模型超出内存的场景，NeuroPrefetcher利用MLP活动的时间局部性，通过GPU驻留预测器进行增量预取，实现了7.9-12.0倍的推理加速。

Comments 10 pages, 10 figures. Accepted at the 55th International Conference on Parallel Processing (ACM ICPP 2026), Singapore. Code, training pipeline, and measured data: https://github.com/nobeldhar/NeuroPrefetcher

SplitLite: Low-Rank Residual Compression for Split Learning

SplitLite：面向分裂学习的低秩残差压缩

Tao Li, Yulin Tang, Qi Guo, Xianhao Chen

机构 * The University of Hong Kong（香港大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对设备端LLM联邦微调的高通信成本问题，提出SplitLite方法，利用残差的低秩结构压缩传输量，在保持性能的同时大幅降低了通信成本。

SoulGard-VL-2B: A Vision-Language Model for Edge-Based Feline Behavior Understanding

SoulGard-VL-2B：用于边缘端猫行为理解的视觉语言模型

YuHang Wu, HaoXian Liu, Jia Tao

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；prompting(abstract)

AI总结 本研究提出基于Qwen3-VL-2B后训练得到的边缘端VLM SoulGard-VL-2B，结合多阶段后训练方案，在RK3576芯片上实现高准确率与低延迟，可生成猫行为JSON结构化输出，提升了动物VLM的实用性。

Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models

硬币皆有两面：关于大型语言模型的策略内蒸馏中泛化的双重性质

Zhaoyi Li, Deyang Kong, Yuan Wei, Evan Yang, Ranran Shen, Mahardika Krisna Ihsani, Ming Yang, Wei Zhang, Chuan Hao, Jian Yang, Ran Tao, Bryan Dai, Shikun Zhang, Wei Ye, Ying Wei, Defu Lian

机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； IQuest Research（IQuest研究院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 本研究探究大型语言模型策略内蒸馏（OPD）的泛化特性，发现其迁移教师推理行为而非答案，同源配对泛化性强，异源配对适配性有限，多教师组合存在能力跷跷板效应，为诊断多教师OPD提供了视角。

Comments Under Review

SISA: A Scale-In Systolic Array for GEMM Acceleration

SISA：一种可扩展的流体阵列用于GEMM加速

Luigi Altamura, Alessio Cicero, Mateo Vázquez Maceiras, Mohammad Ali Maleki, Pedro Trancoso

机构 * Department of Computer Science ； Engineering,\ University of Technology 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对LLM中非均匀矩阵带来的Systolic Array资源浪费问题，SISA通过将传统正方形阵列划分为水平矩形片，实现小/倾斜矩阵的高效执行，同时保留大GEMM的全阵操作，从而在代表LLM上实现8.52倍的速度提升和93%的EDP降低。

Journal ref Euro-Par 2026: Parallel Processing, Lecture Notes in Computer Science, vol. 16781, pp. 359-372, Springer

AgentWeave: Routing Before Reasoning for Efficient Function Calling in Tool-Rich Language Models

AgentWeave：在工具丰富的语言模型中实现高效函数调用的推理前路由

Saurav Singla, Aarav Singla, Advik Gupta, Parnika Gupta

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出AgentWeave，一种推理前确定性路由层，可缩小工具丰富语言模型的函数调用候选集，在BFCL V4多函数任务上实现12.5%的原生BFCL成功，同时减少工具数量、输入token和延迟。

Comments 12 pages, 2 figures, 6 tables. Open-source implementation and reproducibility artifacts available in the AgentWeave repository

HiViS: Hiding Visual Tokens from the Drafter for Speculative Decoding in Vision-Language Models

HiViS: 为视觉语言模型中的推测解码隐藏视觉标记

Zhinan Xie, Peisong Wang, Shuang Qiu, Jian Cheng

机构 * C 2 DL, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； AIRIA ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 HiViS通过隐藏视觉标记，提升视觉语言模型在推测解码中的生成效率和速度。

Comments CVPR 2026 Findings

TianoForge: An Automated Bug Triage Approach for the TianoCore UEFI Firmware Development Community

TianoForge：面向TianoCore UEFI固件开发社区的自动化Bug分类方法

Nazanin Siavash, Terrance E. Boult, Armin Moin

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对TianoCore UEFI固件开发社区，提出基于GPT-LLM（结合或不结合RAG）的自动化Bug分类方法TianoForge，可将平均Bug分类时间缩短99.95%，显著提升软件维护效率。

Comments ACM International Workshop on Firmware Testing and Analysis (FTA) 2026, Co-located with ISSTA 2026

Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection

Task-CoEvolve：通过自适应验证任务选择实现高效的智能体框架优化

Atsuyuki Miyai, Kiyoharu Aizawa, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Task-CoEvolve通过自适应验证任务选择，使LLM智能体框架与验证任务协同演化，在保持全集搜索最终性能的同时，减少80%评估次数，实现高效的智能体框架优化。

Comments v2: Fix typo in v1, Github: https://github.com/Agent4Science-UTokyo/Task-CoEvolve

Accelerating Diffusion Language Models via Structured Suffix Modeling

通过结构化后缀建模加速扩散语言模型

Zifeng Cheng, Keda Li, Zhiwei Jiang, Cong Wang, Fei Shen, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究针对扩散语言模型（DLM）并行解码的高计算开销问题，提出结构化后缀建模方法，将后缀分区域处理并融入前一步解码信息，无需训练且可与其他加速技术结合，能进一步加速DLM推理并提升性能，长序列场景下最高可实现72.81倍加速。

TASSO: TAsk-Specific Subspace Optimization for Continual Learning of Vision-Language Models

TASSO：面向视觉-语言模型持续学习的任务特定子空间优化

Chang Sun, Francesco Barbato, Matteo Caligiuri, Pietro Zanuttigh

机构 * University of Padova（帕多瓦大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 TASSO通过子空间学习与几何感知知识蒸馏，缓解VLMs持续学习中的灾难性遗忘和零样本退化，在多域及类增量学习基准上优于现有最优方法。

Crossing the Margin Cliff: Toward Relearn-Robust LLM Unlearning via Margin Calibration

跨越边际悬崖：通过边际校准实现可再学习鲁棒的大语言模型遗忘

Xiangyu Yin, Jiaxu Liu, Zhen Chen, Chih-Hong Cheng

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型遗忘在再学习攻击下的脆弱性，提出边际校准方法，在多个数据集和模型上提升遗忘鲁棒性并降低成员推断风险，仅以保留侧效用降低为代价。

When Less Latent Leads to Better Relay: Information-Preserving Compression for Latent Multi-Agent LLM Collaboration

少而精的潜在信息带来更好的中继：面向潜在多智能体大语言模型协作的信息保持压缩

Yiping Li, Zhiyu An, Wan Du

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.LG

AI总结 本文提出一种信息保持压缩方法，通过引入正交回填机制，在减少通信开销的同时保持信息完整性，提升了多智能体大语言模型协作性能。

Small Reasoning Models are Instruction Followers in Function Calling

小型推理模型是函数调用中的指令跟随者

Yalda Taheri, Mohammad Hassan Heydari, Erfan Naaman, Afsaneh Fatemi

机构 * Islamic Azad University（伊斯兰阿扎德大学） ； University of Isfahan（伊斯法罕大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出指令跟随式函数调用（IFFC）框架，将函数调用逻辑与主大语言模型解耦，交由专用小型模型处理，其性能优于原生和基于提示的函数调用基线，可高效部署于边缘计算场景。

CausalSmith: A Formally Grounded, Self-Improving Agentic Framework for Automated Research in Causal Inference

因果锻造：一个用于因果推理自动化研究的形式化基础、自我改进的智能框架

Jiyuan Tan, Vasilis Syrgkanis

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出因果锻造框架用于因果推理自动化研究，结合因果论库与因果史密斯智能管道，通过声明审核增强内核验证，并用自主研究工件评估系统，为因果推理自动化研究提供新途径。

Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

针对基于Gumbel推理验证的对抗性熵膨胀

Nikita Kezins

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究针对基于Gumbel的LLM推理验证防御，发现控制提示分布的攻击者可扩大容许token集合，使隐蔽信道泄露能力提升，建议动态校准抖动宽恕阈值。

Comments 4 pages, 1 figure, 1 table

Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs

合适规模的思考：跨后训练大语言模型的摊销蒸馏

Yan Zhou, Sara Kangaslahti, Jonathan Geuter, Nihal V. Nayak, Marco Fumero, Francesco Locatello, David Alvarez-Melis

机构 * Harvard University（哈佛大学） ； IST Austria（奥地利科学技术研究所） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 该研究提出ADAPT框架，可单次蒸馏生成跨后训练大语言模型的多规模多变体模型，实现平滑规模插值与自适应规模选择，优化长文本推理的计算-准确率权衡。

Comments 8 pages, 6 figures. EMNLP 2026 Findings

Spyre-Accelerated Retrieval-Augmented Generation on IBM LinuxONE: A Cloud-Native Architecture for Secure, High-Throughput Enterprise AI Inference

基于IBM LinuxONE的Spyre加速检索增强生成：一种用于安全、高吞吐量企业AI推理的云原生架构

Sandeep Bokkasam, Pankaj D

机构 * IBM ISDL 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出一种基于IBM LinuxONE的六子系统RAG架构，利用Spyre加速器等组件实现企业AI推理，使敏感数据不离开硬件边界，延迟低于2秒，较平台外推理降低20倍，满足受监管行业的安全与吞吐量需求。

Comments 8 pages, 1 figure, 3 tables

ADMIL: Attention-Distilled Multiple Instance Learning for Selective Foundation Model Inference in Pathology

ADMIL：用于病理学选择性基础模型推理的注意力蒸馏多实例学习

Duncan Stothers, Ren-Chin Wu, William Lotter

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 ADMIL是将ABMIL教师注意力蒸馏为轻量级图块选择模型PriorNet的选择性计算框架，在多个病理数据集上可移除>98%的基础模型图块编码且不损失切片级性能，提升了部署效率。

AirMoE: Realizing Over-the-Air Distributed Mixture-of-Experts Inference at the Wireless Edge

AirMoE：在无线边缘实现无线分布式混合专家（Mixture-of-Experts，MoE）推理

Huiling Yang, Zhanwei Wang, Kaibin Huang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 AirMoE是利用AirComp实现无线分布式MoE推理的框架，通过双时间尺度策略解决AirComp带来的挑战，在ARC-Easy基准上显著提升了E2E推理准确性，尤其适用于强设备异构场景。

Agent Harness Distillation: Inference-Time Harness Extraction and Exploitation in Autonomous Multi-Agent Systems

智能体调控蒸馏：自主多智能体系统中的推理时调控提取与利用

Yu Cui, Wuli Yang, Yirui Shi, Junhao Xia, Hui Jiang, Lei Gao, Chenfu Bao

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AHD框架，将AMAS推理时调控提取形式化为新安全问题，实验证实其可提取调控致IP泄露，还提出对应欺骗防御，揭示AMAS新安全威胁。

LanGuSTE: Language-Guided Coarse-to-Fine Patch Selection for Efficient Whole Slide Image Analysis

LanGuSTE：用于高效全切片图像分析的语言引导粗到细补丁选择

Yonghan Shin, Gangsu Kim, Won-Ki Jeong

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对全切片图像分析的高计算成本问题，提出LanGuSTE框架，通过跨尺度视觉提示调优和粗到细补丁选择，在保持诊断性能的同时将处理时间降至约3倍。

E2S-Pruner: Progressive Two-Stage Evidence Fusion for Visual Token Pruning in Vision-Language Models

E2S-Pruner：用于视觉-语言模型中视觉令牌剪枝的渐进式两阶段证据融合方法

Taoyu Qian, Qi Wang, Daqian Shi, Yuanhao Jiang, Shang Gao, Hualong Yu

机构 * Digital Environment Research Institute (DERI), Queen Mary University of London（伦敦大学玛丽女王学院数字环境研究所（DERI）） ； Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海人工智能教育研究院） ； National Institute of Education, Nanyang Technological University（南洋理工大学国家教育学院） ； School of Computer Science and Engineering, Jiangsu University of Science and Technology（江苏科技大学计算机科学与工程学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出无需额外参数或微调的E2S-Pruner，通过两阶段证据融合实现视觉-语言模型的视觉令牌剪枝，在LLaVA-1.5-7B上显著提升吞吐量并保留性能，且具跨模型泛化性。

CAI-DLLM: Convergence Aware Inference for Diffusion Language Models

CAI-DLLM：面向扩散语言模型的感知收敛推理

Farhana Amin, Sabiha Afroz, Dimitrios S. Nikolopoulos

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 CAI-DLLM 是一种无需训练的扩散语言模型推理方法，通过利用第一步置信度调整解码策略，在多类任务上实现显著推理加速，同时保持较高准确率并降低能耗。

Dynamic Multi-Byte Prediction With Hierarchical Language Models

基于分层语言模型的动态多字节预测

Abraham Toluwase Owodunni, Chibuzor Okocha, Christan Grant, Tomasz Limisiewicz, Sachin Kumar

机构 * The Ohio State University（俄亥俄州立大学） ； University of Florida（佛罗里达大学） ； University of Washington（华盛顿大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 本文针对分层语言模型逐字节生成推理速度慢的问题，提出多字节预测方法，通过可变长度预测窗口与因果注意力掩码实现并行字节预测，在多任务中达成性能与吞吐量的最优权衡。

A Cross-Architecture Audit of Direction-Based Inference-Time Defences in Vision-Language Models

跨架构视觉语言模型中基于方向的推理时防御措施审计

Xiangyu Yin, Tora Bodin, Rohan Menon, Chih-Hong Cheng

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究审计了视觉语言模型中5种基于方向的推理时防御，发现其性能具架构特异性，部分防御间几何重叠，需按解码器家族单独校准。