语言大模型 / LLM

MORES: Mobile Reasoning-as-a-Service via Distributed LLM Inference-Time Scaling

MORES：通过分布式大语言模型推理时间缩放实现移动推理即服务

Guanchen Liu, Hongyang Du, Kaibin Huang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型推理时间缩放的计算和内存开销问题，提出MORES框架，利用隐式推理递归结构及基于语义MoE的DRL算法优化资源分配，实现边缘设备协作推理，提升系统吞吐量约18%。

Voltron: Enabling Elastic Multi-Device Execution of LLM Inference for Empowered Edge Intelligence

Voltron：实现用于增强型边缘智能的大语言模型推理的弹性多设备执行

Chanwoo Cho, Wooseok Kim, Yonglak Son, Young Seo Lee, Young Geun Kim

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究旨在解决大语言模型推理在集中式执行的局限，提出利用边缘多用户端设备的方法。核心方法是Voltron框架，能弹性利用多设备适应边缘环境。主要贡献是比单设备执行的模型精度高16.5%，满足用户QoS需求。

HiFA4: Training-Free 4-bit FlashAttention on Ascend HIF4 NPUs for LLM Inference

HiFA4：用于大语言模型推理的昇腾HIF4 NPU上的免训练4位FlashAttention

Hui Dong, Yanzhao Li, Jie Gao, Chunlu Li, Zhiyuan Zhang, Yupeng Sun, Zhenyuan Chen, Zhiqiang Zou

机构 * Huawei Technologies（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HiFA4是一种训练后算子级设计，在昇腾NPU上用4位HIF4 Cube GEMM执行QK^T和PV进行大语言模型推理，结合Smooth-QK和P-Reordering机制，减少量化决策漂移，提升准确率。

Comments 22 pages

CoCoScale: Leveraging Layer-wise Scaling to Unlock the Potential of Online LLM Serving

CoCoScale：利用逐层缩放释放在线大语言模型服务的潜力

Jingfeng Wu, Yiyuan He, Minxian Xu, Xitong Gao, Chong Ma, Le Chen, Min Shen, Lin Qu, Kejiang Ye, CHengzhong Xu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究在线大语言模型服务中动态工作负载问题，提出CoCoScale逐层动态缩放机制，通过利用闲置资源扩展热层并行度，减少冷启动延迟，提升动态适应性和资源效率。

Comments 22 pages

On Test-Time Scaling for Vision-Language Models

关于视觉-语言模型的测试时扩展

Fawaz Sammani, Tzoulio Chamiti, Nikos Deligiannis

机构 * ETRO Department, Vrije Universiteit Brussel（布鲁塞尔自由大学ETRO部门） ； imec 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 本文系统研究了视觉-语言模型（LVLM）的测试时扩展方法，发现小型高性能模型受益最大，性能提升可达30%，并揭示了视觉信息在推理链早期编码后图像令牌贡献显著下降。

Comments ECCV 2026

ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models

ThreadWeaver：自适应线程化实现语言模型高效并行推理

Long Lian, Sida Wang, Felix Juefei-Xu, Tsu-Jui Fu, Xiuyu Li, Adam Yala, Trevor Darrell, Alane Suhr, Yuandong Tian, Xi Victoria Lin

机构 * UC Berkeley（伯克利大学） ； UCSF（旧金山大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出ThreadWeaver框架，通过两阶段并行轨迹生成、基于trie的展开设计和并行化感知强化学习，在保持与顺序推理模型相当准确率的同时，显著降低推理延迟。

Comments Accepted as an oral paper at ICML 2026

PRIMAL: Processing-In-Memory Based Low-Rank Adaptation for LLM Inference Accelerator

PRIMAL：基于内存计算的低秩适应LLM推理加速器

Yue Jiet Chong, Yimin Wang, Zhen Wu, Xuanyao Fong

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 PRIMAL通过内存计算和低秩适应技术，实现LLM推理加速，相比NVIDIA H100在吞吐量和能效上有显著提升。

Comments Accepted to 2026 IEEE International Symposium on Circuits and Systems (ISCAS'26)

Journal ref 2026 IEEE International Symposium on Circuits and Systems (ISCAS), Shanghai, China, 2026, pp. 195-199

Push Puppet Networks: Structured Bayesian Pruning Algorithm for Language Model Compression

推杆网络：用于语言模型压缩的结构化贝叶斯剪枝算法

Robert Kubinec

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)

AI总结 提出推杆网络，一种结构化贝叶斯剪枝算法，通过层次惩罚函数学习门控参数，在不加载完整模型的情况下将网络剪枝至特定大小，在高剪枝率下优于现有方法并实现GPU加速。

Efficient Remote Sensing Instance Segmentation with Linear-Time State Space Distilled Visual Foundation Models

高效遥感实例分割：基于线性时间状态空间蒸馏的视觉基础模型

Qinzhe Yang, Keyan Chen, Jia Xu, Zhenwei Shi, Zhengxia Zou

机构 * Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； Qian Xuesen Laboratory of Space Technology, China Academy of Space Technology（中国空间技术研究院钱学森空间技术实验室） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对Transformer在遥感实例分割中计算复杂度高的问题，提出基于知识蒸馏的线性复杂度状态空间模型RS4D，通过蒸馏ViT知识至轻量SSM骨干，实现参数减少8倍、FLOPs减少9倍且精度相当。

Comments 17 pages, 11 figures, has been published in IEEE TGRS vol. 64, pp. 5625417-5625417, 2026, Art no. 5625417, doi: 10.1109/TGRS.2026.3696104

Journal ref IEEE Transactions on Geoscience and Remote Sensing, vol. 64, pp. 5625417-5625417, 2026, Art no. 5625417

From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models

从帧到时间图：基于视觉语言模型的上下文第一人称动作识别

Bessie Dominguez-Dager, Francisco Gomez-Donoso, Miguel Cazorla, Marc Pollefeys, Daniel Barath, Zuria Bauer

机构 * University of Alicante（阿利坎特大学） ； ETH Zürich（苏黎世联邦理工学院） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)

AI总结 提出将视频转换为时间动作图，通过多阶段提示生成自然语言叙述并结构化，实现上下文学习，在EGTEA和Epic-Kitchens-100上显著提升零样本和少样本动作识别性能。

SARSteer: Safeguarding Large Audio-Language Models via Safe-Ablated Refusal Steering

SARSteer: 通过安全消融拒绝引导保护大型音频语言模型

Weilin Lin, Jianze Li, Hui Xiong, Li Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出SARSteer，首个针对大型音频语言模型的推理时防御框架，通过文本衍生的拒绝引导和分解安全空间消融，有效提升有害查询拒绝率并减少良性查询的过度拒绝。

K-Forcing: Joint Next-K-Token Decoding via Push-Forward Language Modeling

K-Forcing：通过前推语言建模进行联合下一K词解码

Zhiwei Tang, Yuanyu He, Yizheng Han, Wangbo Zhao, Jiasheng Tang, Fan Wang, Bohan Zhuang

机构 * DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出K-Forcing范式，通过前推映射将自回归模型蒸馏为单次前向传播生成多个未来词，实现2.4-3.5倍加速，质量损失小。

Comments Code: https://github.com/alibaba-damo-academy/K-Forcing

A Neurosymbolic Prolog Skill for LLM-Driven Service Placement

一种用于LLM驱动服务放置的神经符号Prolog技能

Jacopo Massa, Giuseppe Bisicchia, Patrizio Dazzi, Antonio Brogi

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)

AI总结 提出一种基于Prolog技能的神经符号方法，将服务放置意图转化为符号事实和规则，利用Prolog进行约束验证和推理，实现可检查的策略感知放置。

The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning

大语言模型降维的成本：事实回忆在内省学习之前恶化

Tian Jin, Nolan Clement, Xin Dong, Vaishnavh Nagarajan, Michael Carbin, Jonathan Ragan-Kelley, Gintare Karolina Dziugaite

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT Harvard University（麻省理工学院哈佛大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了大语言模型参数数量缩放对核心能力的影响，发现模型规模缩减会显著降低事实回忆能力，但对内省信息处理影响较小。

Journal ref The Twelfth International Conference on Learning Representations (ICLR), 2024

EdgeFM: Efficient Edge Inference for Vision-Language Models

EdgeFM: 为视觉-语言模型高效边缘推理设计的框架

Mengling Deng, Yuanpeng Chen, Sheng Yang, Wei Tao, Wenhai Zhang, Hui Song, Linyuanhao Qin, Kai Zhao, Xiaojun Ye, Shanhui Mo, Jingli Fan, Shuang Zhang, Bei Liu, Tiankun Zhao, Xiangjing An

机构 * Go Further. AI ； School of Data Science Fudan University（复旦大学数据科学学院） ； RUYi Dynamics Co. Ltd（RUYi Dynamics有限公司） ； Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 EdgeFM通过轻量级代理驱动框架，优化边缘部署的视觉-语言模型推理，提升跨平台性能和可移植性，实现比传统工具链更快的推理速度。

Comments Technique Report version

SkelDPO: A Skeleton-Guided Direct Preference Optimization Framework for Efficient Code Generation

SkelDPO: 一种骨架引导的直接偏好优化框架用于高效代码生成

Yu Yu, Chen Lyu

专题命中 效率与部署 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出SkelDPO框架，通过骨架引导的偏好优化，在代码生成中同时优化语义正确性和执行效率，相比现有方法在Pass@1、Beyond@1和Effi@1上提升3-7%。

Gyan: An Explainable Neuro-Symbolic Language Model

Gyan：一种可解释的神经符号语言模型

Venkat Srinivasan, Vishaal Jatav, Anushka Chandrababu, Geetika Sharma

机构 * Innospark Ventures & Gyan AI（Innospark Ventures及Gyan AI） ； Gyan AI Inc.（Gyan AI公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Gyan基于非Transformer架构构建，克服了传统大语言模型的局限性，在多个数据集上取得SOTA表现，展示了可信任且可靠的使命关键任务模型潜力。

Comments also submitted to NeurIPS 2026

When Is the Same Model Not the Same Service? A Measurement Study of Hosted Open-Weight LLM APIs

当同一模型不是同一服务时：一种托管开源大语言模型API的测量研究

Haorui Li, Zhenghui He, Xuanzi Liu, Yang Xu, Dongsheng Liu, Jiakang Ma, Lupan Wu, Yangjie Wu, Xiongchao Tang, Tianhui Shi

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过测量研究探讨托管开源大语言模型API服务的异质性，发现服务层影响'同一模型'的含义，揭示了需求分布、供应与使用分离以及任务混合对服务选择的影响。

Comments 25 pages, 21 figures; substantially revised abstract, add open-sourced code repo

Laissez-Faire Harms: Algorithmic Biases in Generative Language Models

放任的伤害：生成语言模型中的算法偏见

Evan Shieh, Faye-Marie Vassel, Cassidy Sugimoto, Thema Monroe-White

机构 * Young Data Scientists League（年轻数据科学家联盟） ； Stanford University（斯坦福大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Schar School of Policy and Government & Department of Computer Science（政策与政府学院及计算机科学系） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过开放性提示分析生成语言模型的偏见，发现五种主流模型对少数族裔、性别和性取向群体存在排除、从属和刻板印象的伤害，强调需保护消费者免受语言模型歧视性影响。

Comments 16 pages (43 if including supplementals), 8 figures (23 if including supplementals)

Journal ref Nat Commun 17, 1243 (2026)

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed

Efficient-DLM：从自回归到扩散语言模型，以及速度上的突破

Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

机构 * Georgia Tech（佐治亚理工学院） ； University of Chicago（芝加哥大学） ； University of Hong Kong（香港大学） ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Efficient-DLM方法，通过改进自回归到扩散语言模型的转换，提升生成速度并保持任务准确性，实验显示其在精度和效率上优于现有模型。

Personalization Toolkit: Training Free Personalization of Large Vision Language Models

个性化工具包：无需训练的大型视觉语言模型个性化

Soroush Seifi, Vaggelis Dorovatas, Matteo Cassinelli, Fabien Despinoy, Daniel Olmeda Reino, Rahaf Aljundi

机构 * Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文提出无需训练的LVLM个性化方法，通过预训练视觉基础模型提取特征，结合检索增强生成技术实现多概念个性化，适用于图像和视频。

Comments Accepted at Transactions on Machine Learning Research (TMLR) 2026

Mixture of Heterogeneous Grouped Experts for Language Modeling

异质分组专家的混合模型用于语言建模

Zhicheng Ma, Xiang Liu, Zhaoxiang Liu, Ning Wang, Yi Shen, Kai Wang, Shuming Shi, Shiguo Lian

机构 * Data Science & Artificial Intelligence Research Institute, China Unicom（中国unicom数据科学与人工智能研究院） ； Unicom Data Intelligence, China Unicom（中国unicom数据智能） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出MoHGE，通过双层路由机制和分组辅助损失优化，实现资源感知的专家组合，减少参数量并平衡GPU负载，提升语言模型的效率与实用性。

Comments Accepted by ACL2026

Transparent Screening for LLM Inference and Training Impacts

大语言模型推理与训练影响的透明筛查

Arnault Pachot, Thierry Petit

机构 * Emotia 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种透明筛查框架，用于在有限可观性条件下估计当前大语言模型的推理与训练影响，通过自然语言应用描述生成有界环境估计，支持当前市场模型的在线比较观测。

From Domains to Instances: Dual-Granularity Data Synthesis for LLM Unlearning

从领域到实例：双粒度数据合成用于大语言模型去学习

Xiaoyu Xu, Minxin Du, Zitong Li, Zi Liang, Zhibiao Guo, Shiyu Zhang, Peizhao Hu, Qingqing Ye, Haibo Hu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Huawei Technologies（华为技术） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出BiForget框架，通过双粒度数据合成提升大语言模型去学习的效率与效果，实验显示其在相关性、多样性和效率方面表现优异。

Comments ACL 2026 (Findings), accepted to appear

C$^2$T: Captioning-Structure and LLM-Aligned Common-Sense Reward Learning for Traffic--Vehicle Coordination

C$^2$T：基于图像描述与大语言模型对齐的常识奖励学习用于交通-车辆协调

Yuyang Chen, Kaiyan Zhao, Yiming Wang, Ming Yang, Bin Rao, Zhenning Li

机构 * The State Key Laboratory of Internet of Things for Smart City, University of Macau（物联网智能城市国家重点实验室，澳门大学） ； Wuhan University（武汉大学） ； Hong Kong Polytechnic University（香港理工大学） ； Computer and Information Science, University of Macau（澳门大学计算机与信息科学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出C2T框架，通过从交通-车辆动态中学习常识协调模型，结合大语言模型的常识知识，提升交通协调系统的效率、安全性和舒适性。

Comments Accepted to CVPR 2026 Findings Track

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration

低秩优化轨迹建模用于LLM RLVR加速

Zhipeng Chen, Tao Qian, Wayne Xin Zhao, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； China University of Mining and Technology (Beijing)（中国矿业大学（北京）） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出NExt框架，通过非线性插值方法建模和预测LLM参数轨迹，降低RLVR训练计算开销，提升模型性能。

Comments Working in progress

LLM-enabled Antenna Partitioning and Beamforming Optimization for Segmented Pinching

基于大语言模型的天线分区与波束成形优化用于分段捏合

Qian Gao, Ruikang Zhong, Hyundong Shin, Yuanwei Liu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于大语言模型的框架，用于优化分段捏合天线辅助的集成感知与通信系统，通过构建CSI诱导自图和任务特定头，实现天线部署、分区和波束成形的联合预测，提升系统适应性。

Comments arXiv admin note: substantial text overlap with arXiv:2604.10256. arXiv admin note: substantial text overlap with arXiv:2604.10256

fabric-lib: RDMA Point-to-Point Communication for LLM Systems

fabric-lib: 用于LLM系统的RDMA点对点通信

Nandor Licker, Kevin Hu, Vladimir Zaytsev, Lequn Chen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 fabric-lib通过统一接口实现灵活的点对点通信，支持异步强化学习微调和MoE路由，提升吞吐量并增强硬件兼容性。

Improving Dynamic Specification Inference with LLM-Generated Counterexamples

通过LLM生成的反例改进动态规范推断

Agustín Balestra, Agustín Nolasco, Facundo Molina, Diego Garbervetsky, Renzo Degiovanni, Nazareno Aguirre

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文利用大语言模型生成反例以提高动态规范推断的精度，实验表明可减少无效断言并提升精度7%。

LLM-assisted Agentic Edge Intelligence Framework

基于大语言模型的代理边缘智能框架

Chinmaya Kumar Dehury, Siddharth Singh Kushwaha, Qiyang Zhang, Alaa Saleh, Praveen Kumar Donta

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出LEI框架，利用云托管的大语言模型协调设备端逻辑的生成与更新，通过生成轻量级程序并部署以适应变化条件，提升边缘计算的灵活性与资源效率。

Comments 35 pages, 22 Figures, Journal version