语言大模型 / LLM

Compositional Chain-of-Relations for Faithful Knowledge Graph Question Answering with Large Language Models

面向大型语言模型的忠实知识图谱问答的组合式关系链

Chenhui Liu, Jianpeng Zhou, Jiahai Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文针对现有基于LLM的KGQA方法存在的实体剪枝不可靠、约束处理无基础的局限，提出组合式关系链（CCoR）框架，以关系为中心探索实现更忠实的多跳KGQA，在多个基准上性能优于基线。

CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation

CONSCIENTIA：LLM代理能否学会策略性行为？多智能体纽约市模拟中的涌现欺骗与信任

Aarush Sinha, Arion Das, Soumyadeep Nag, Charan Karnati, Shravani Nag, Chandra Vadhan Raj, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

机构 * University of Copenhagen（哥本哈根大学） ； IIIT Ranchi（印度信息技术学院兰契分校） ； ISI Kolkata（印度统计学院加尔各答分校） ； NIT Andhra Pradesh（印度国家理工学院安得拉邦分校） ； IGDTUW（英迪拉·甘地德里技术女子大学） ； IIT Kharagpur（印度理工学院卡哈拉格普尔分校） ； Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过多智能体模拟探讨LLM在对抗性环境中的策略行为，发现智能体在导航中表现出有限的策略性，包括选择性信任与欺骗，但易受对抗性说服影响。

Scaling Laws for Task-Specific LLM Distillation

任务特定LLM蒸馏的缩放定律

Lavinia Ghita, Dhruv Desai, Ioana Boier

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文推导了领域特定LLM压缩的经验缩放定律，通过定量金融领域的实验，比较了基于logit和LoRA的蒸馏方法，并引入混合思维链监督损失，揭示了监督格式对领域知识与通用知识权衡的关键作用。

Comments 24 pages, 13 figures

E2LLM: Towards Efficient LLM Serving in Heterogeneous Edge/Fog Environments

E2LLM：异构边缘/雾环境中高效LLM服务

Truong-Thanh Le, Amir Taherkordi, Hoang-Loc La, Frank Eliassen, Phuong Hoai Ha, Peiyuan Guan

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出E2LLM框架，通过复制模型到多设备组并采用模型并行，结合遗传算法聚类和动态规划分区，在资源受限的异构边缘/雾环境中实现高效LLM部署，相比Splitwise基线在高需求下平均等待时间降低50%以上。

TailSieve: Partial-Rollout-Guided Tail Routing for LLM Rollouts

TailSieve：面向大语言模型（LLM）rollout的部分rollout引导式长尾路由

Tianqi Xu, Lu Lv, Haoyang Huang, Wenjie Huang, Zhanming Shen, Yuhao Shen, Baolin Zhang, Xinyi Hu, Shuang Ge, Jun Dai, Tianyu Liu, Suorong Yang, Zhikai Li, Ye Bai, Jun Zhang, Lei Chen, Yue Li, Mingchen Wan

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部） ； Carnegie Mellon University（卡内基梅隆大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 TailSieve是面向LLM rollout的部分rollout引导式框架，通过联合控制长尾路由与副本分配，仅路由即可实现最高1.67倍加速，结合专用推测解码可达2.59倍加速，同时保留策略内生成并避免长度偏差。

FormuEvo: LLM-Guided Evolution for Discovering Solver-Efficient Mixed-Integer Programming Formulations

FormuEvo：大语言模型引导的进化算法用于发现求解器高效的混合整数规划模型

Haofeng Yuan, Jianing Peng, Jieyi Bi, Ni Zhang, Shiji Song, Zhiguang Cao

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FormuEvo是LLM引导的进化框架，将MIP模型设计转化为符号空间的进化优化，结合求解器感知诊断与结构化内存，发现的MIP模型性能远超专家设计及现有LLM方法，求解加速最高达5.5倍且知识可跨场景迁移。

Comments 27 pages, 6 figures, and 9 tables. To appear in the Proceedings of EMNLP 2026

Which Eviction Policy Should an LLM Cache Use? A Systematic Study Across Workloads, Capacities, and Encoders

大语言模型（LLM）缓存应采用哪种驱逐策略？跨工作负载、容量和编码器的系统研究

Yash Kulkarni, Shubham Harkare, Arvind Yogesh Suresh Babu

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.LG

AI总结 本研究使用CLEVER工具在多场景下对比多种LLM缓存驱逐策略，发现LFU性能最优，且当前操作点的答案可替换性低、阈值难跨模型迁移，建议部署时先验证答案有效性再测试次级策略差异。

Comments 11 pages, 9 figures

CacheSpec: Finding the Sweet Spot for Small Models in Large Language Models

MiniCache：用于高效大语言模型推理的具有小模型接口的可重复使用程序缓存

Jingquan Chen, Jie Feng, Jinghua Piao, Shaogang Hu, Yong Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型推理成本高的问题，提出MiniCache框架，将PoT程序转换为参数化缓存对象，通过重用小模型进行语义变量提取和推测性起草，减少目标大语言模型调用，实验证明其能提升推理性能，平衡延迟、缓存重用和准确性。

Comments Accepted by EMNLP 2026, codes via this https URL (https://github.com/chenjqQAQ/CacheSpec)

MileGPO: Milestone Inference with Local Evidence for Graph-Based Policy Optimization of Long-Horizon LLM Agents

MileGPO：面向长 horizon LLM 智能体的基于图策略优化的里程碑推理

Bo Qian, Yuting Wu, Shuang Zeng, Huaiyu Wan, Dalin Zhang, Jiqiang Liu

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对长 horizon LLM 智能体强化学习的信用分配难题，提出 MileGPO 方法，通过里程碑发现、RCS、PCC 三项设计提升性能，在 ALFWorld 和 WebShop 上达 SOTA 且分布差距小。

FlashAccel: Leveraging High-Bandwidth Flash (HBF) for High-Throughput LLM Inference

FlashAccel：利用高带宽闪存实现高吞吐量语言模型推理

Xinyu Wang, Yalong Xue, Xiaotian Sun, Xiaoyu Zhang, Xinjiang Zhang, Chunmeng Dou, Xueqi Li, Xiaoming Chen

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 针对LLM推理受HBM容量限制问题，提出FlashAccel系统，将HBF集成到基于HBM的GPU中，通过架构支持、特殊数据布局及引入新管理层和编程模型，在100ms延迟约束下，提升了每GPU吞吐量和能源效率。

Revisiting the Effectiveness of LLM Pruning for Test-Time Scaling

重新审视LLM剪枝对测试时缩放的有效性

Ocean Monjur, Shahriar Kabir Nahin, Anshuman Chhabra

机构 * Bellini College of AI, Cybersecurity, and Computing（人工智能、网络安全与计算学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究非结构化剪枝对推理型大语言模型测试时缩放性能的影响，发现其优于结构化剪枝甚至有时超过未剪枝模型，并探讨了层间稀疏分配策略的作用。

Comments Accepted to EMNLP 2026 (Findings)

KVBoost: Chunk-Level Key-Value Cache Reuse with Deviation-Guided Recomputation for Efficient Large Language Model Inference

KVBoost：用于高效大语言模型推理的、基于偏差引导重计算的分块级键值缓存复用方案

Srihari Unnikrishnan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 KVBoost是适用于HuggingFace兼容解码器模型的分块级KV缓存复用系统，通过双哈希键方案与两类重计算策略等，在不损失准确率的前提下，将Qwen2.5-3B的首token生成时间缩短4.49倍，性能优于前缀缓存。

NOVA: Technology-Architecture Co-Design of Near-Memory Processing for Attention-SSM-MoE Hybrid LLM Inference

NOVA：面向注意力-状态空间模型-混合专家混合大语言模型推理的近内存处理技术-架构协同设计

In-Jun Jung, Jaeha Min, Joo-Young Kim

专题命中 效率与部署 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 NOVA是面向注意力-SSM-MoE混合LLM推理的近内存处理技术-架构协同设计方案，通过4F² VCT DRAM与两层NMP架构，在低面积开销下实现远超GPU的推理性能与能效。

Comments Accepted to the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO), 2026

Can Language Models Boost the Power of Randomized Experiments Without Statistical Bias?

语言模型能否在无统计偏见的情况下提升随机实验的效力？

Xinrui Ruan, Xinwei Ma, Yingfei Wang, Waverly Wei, Jingshen Wang

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 CALM通过整合语言模型生成的洞察与因果估计器，提升随机实验的精度和有效性，减少偏见并提高稳定性。

Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time

不要重复你自己：在采样时停止逐字循环

Philipp Emanuel Weidmann, Allen Roush, Judah Goldfeder, Sanjay Basu, Ravid Shwartz-Ziv

机构 * Thoughtworks ； Columbia University（哥伦比亚大学） ； Oracle（甲骨文公司） ； New York University（纽约大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型的逐字循环问题，提出采样时的DRY对数几率调整方法，在多模型和研究中有效降低循环率并保持性能，已被开源LLM推理框架采用。

SelFusion: Self-distillation for Diffusion Language Models

SelFusion：面向扩散语言模型的自蒸馏方法

Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon

机构 * Chung-Ang University（中央大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文针对扩散语言模型（DLM）生成质量差的问题，提出无需外部教师模型的自蒸馏框架SelFusion，通过双向蒸馏两种掩码模式实现性能提升，在指令跟随任务中效果优于传统知识蒸馏方法。

Comments Published as a main conference paper at ACL 2026

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

当熵不够用时：在大语言模型输出长度预测中恢复丢失的语义

Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对 LLM 服务中序列填充导致的算力浪费问题，提出 ESTP 框架结合熵与语义重要性预测输出长度，在 ForeLen 基准及端到端测试中均表现更优，可提升吞吐量并降低填充率。

What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

语言模型所知却不说：非生成性先验提取以提升泛化能力

Sara Rezaeimanesh, Kundan Thind, Farzan Siddiqui, Mohammad M. Ghassemi

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 本文提出LoID方法，通过直接访问语言模型的token级预测，提取信息丰富的先验分布用于贝叶斯逻辑回归，以解决小数据集下模型泛化能力不足的问题。

Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling

重要性储备池：通过可微子集采样学习半结构化稀疏性

Ha Dinh, Xuan Duy Ta, Khoat Than, Khac-Hoai Nam Bui

机构 * Viettel AI（越南电信人工智能公司） ； Viettel Group（越南电信集团） ； Hanoi University of Science and Technology（河内科学技术大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出轻量级半结构化剪枝框架RoI，通过可微子集采样学习稀疏掩码，减少参数与内存开销，在Qwen2.5 LLM家族上实现高效且具竞争力的性能，为LLM高效部署提供实用路径。

Comments Accepted as an EMNLP 2026 Main Conference paper

What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine

实际运行的是什么：Apple神经引擎上语言模型部署与解码速度的测量研究

Shahir M A

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究通过三项测量探究语言模型在Apple神经引擎的部署与解码速度，发现部署由计算表达而非内容决定，权重编码影响加速器使用，提出先选编码再分配参数的设计流程。

Comments 23 pages, 5 figures. Code, measurement harnesses and run ledgers: this https URL (https://github.com/shershah1024/ane-llm-measurements)

Evaluating Inference-Time Defenses Against Package Hallucination in LLM-Generated Code

评估针对大语言模型生成代码中包幻觉的推理时防御措施

Alberick Euraste Djire, Iyiola E. Olatunji, Melissa Tessa, Earl T. Barr, Jacques Klein, Tegawendé F. Bissyandé

专题命中 效率与部署 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本文针对LLM生成代码的包幻觉问题，修正了评估方法，评估了七种推理时防御措施，提出包效用指标，发现对抗提示下RAG与Self-Refine表现更优，明确防御需匹配威胁模型与效用。

Comments Accepted ASE 2026

NeuroPrefetcher: Storage-Aware Sparse LLM Inference via Delta Prefetching

NeuroPrefetcher：基于存储感知的稀疏大语言模型推理的增量预取技术

Nobel Dhar, Md Romyull Islam, Xuechen Zhang, Gongjin Sun, Sahidul Islam, Bobin Deng, Kun Suo

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型部署时模型超出内存的场景，NeuroPrefetcher利用MLP活动的时间局部性，通过GPU驻留预测器进行增量预取，实现了7.9-12.0倍的推理加速。

Comments 10 pages, 10 figures. Accepted at the 55th International Conference on Parallel Processing (ACM ICPP 2026), Singapore. Code, training pipeline, and measured data: this https URL (https://github.com/nobeldhar/NeuroPrefetcher)

SplitLite: Low-Rank Residual Compression for Split Learning

SplitLite：面向分裂学习的低秩残差压缩

Tao Li, Yulin Tang, Qi Guo, Xianhao Chen

机构 * The University of Hong Kong（香港大学） ； California Institute of Technology（加州理工学院） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对设备端LLM联邦微调的高通信成本问题，提出SplitLite方法，利用残差的低秩结构压缩传输量，在保持性能的同时大幅降低了通信成本。

SoulGard-VL-2B: A Vision-Language Model for Edge-Based Feline Behavior Understanding

SoulGard-VL-2B：用于边缘端猫行为理解的视觉语言模型

YuHang Wu, HaoXian Liu, Jia Tao

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；prompting(abstract)

AI总结 本研究提出基于Qwen3-VL-2B后训练得到的边缘端VLM SoulGard-VL-2B，结合多阶段后训练方案，在RK3576芯片上实现高准确率与低延迟，可生成猫行为JSON结构化输出，提升了动物VLM的实用性。

Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models

硬币皆有两面：关于大型语言模型的策略内蒸馏中泛化的双重性质

Zhaoyi Li, Deyang Kong, Yuan Wei, Evan Yang, Ranran Shen, Mahardika Krisna Ihsani, Ming Yang, Wei Zhang, Chuan Hao, Jian Yang, Ran Tao, Bryan Dai, Shikun Zhang, Wei Ye, Ying Wei, Defu Lian

机构 * University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； IQuest Research（IQuest研究院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 本研究探究大型语言模型策略内蒸馏（OPD）的泛化特性，发现其迁移教师推理行为而非答案，同源配对泛化性强，异源配对适配性有限，多教师组合存在能力跷跷板效应，为诊断多教师OPD提供了视角。

Comments Under Review

AgentWeave: Routing Before Reasoning for Efficient Function Calling in Tool-Rich Language Models

AgentWeave：在工具丰富的语言模型中实现高效函数调用的推理前路由

Saurav Singla, Aarav Singla, Advik Gupta, Parnika Gupta

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出AgentWeave，一种推理前确定性路由层，可缩小工具丰富语言模型的函数调用候选集，在BFCL V4多函数任务上实现12.5%的原生BFCL成功，同时减少工具数量、输入token和延迟。

Comments 12 pages, 2 figures, 6 tables. Open-source implementation and reproducibility artifacts available in the AgentWeave repository

HiViS: Hiding Visual Tokens from the Drafter for Speculative Decoding in Vision-Language Models

HiViS: 为视觉语言模型中的推测解码隐藏视觉标记

Zhinan Xie, Peisong Wang, Shuang Qiu, Jian Cheng

机构 * C 2 DL, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； AIRIA ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 HiViS通过隐藏视觉标记，提升视觉语言模型在推测解码中的生成效率和速度。

Comments CVPR 2026 Findings

TianoForge: An Automated Bug Triage Approach for the TianoCore UEFI Firmware Development Community

TianoForge：面向TianoCore UEFI固件开发社区的自动化Bug分类方法

Nazanin Siavash, Terrance E. Boult, Armin Moin

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对TianoCore UEFI固件开发社区，提出基于GPT-LLM（结合或不结合RAG）的自动化Bug分类方法TianoForge，可将平均Bug分类时间缩短99.95%，显著提升软件维护效率。

Comments ACM International Workshop on Firmware Testing and Analysis (FTA) 2026, Co-located with ISSTA 2026

Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection

Task-CoEvolve：通过自适应验证任务选择实现高效的智能体框架优化

Atsuyuki Miyai, Kiyoharu Aizawa, Toshihiko Yamasaki

机构 * The University of Tokyo（东京大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Task-CoEvolve通过自适应验证任务选择，使LLM智能体框架与验证任务协同演化，在保持全集搜索最终性能的同时，减少80%评估次数，实现高效的智能体框架优化。

Comments v2: Fix typo in v1, Github: this https URL (https://github.com/Agent4Science-UTokyo/Task-CoEvolve)

Accelerating Diffusion Language Models via Structured Suffix Modeling

通过结构化后缀建模加速扩散语言模型

Zifeng Cheng, Keda Li, Zhiwei Jiang, Cong Wang, Fei Shen, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究针对扩散语言模型（DLM）并行解码的高计算开销问题，提出结构化后缀建模方法，将后缀分区域处理并融入前一步解码信息，无需训练且可与其他加速技术结合，能进一步加速DLM推理并提升性能，长序列场景下最高可实现72.81倍加速。