语言大模型 / LLM

KV Cache Transform Coding for Compact Storage in LLM Inference

KV缓存变换编码用于LLM推理中的紧凑存储

Konrad Staniszewski, Adrian Łańcucki

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 KVTC通过变换编码实现LLM推理中的高效缓存压缩，保持推理和长上下文准确性，压缩率可达20倍或更高。

Comments Accepted to ICLR 2026

Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review

基于基础模型的具身AI在移动服务机器人中的应用：系统综述

Matthew Lisondra, Beno Benhabib, Goldie Nejat

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文系统综述了基础模型在移动服务机器人中的应用，探讨了其在具身AI中的整合、核心挑战及未来研究方向。

Comments v2: Expanded systematic review; resubmitted to Robotics

Journal ref Robotics 2026, 15(3), 55

CodePDE: An Inference Framework for LLM-driven PDE Solver Generation

CodePDE：基于LLM的PDE求解器生成推理框架

Shanda Li, Tanya Marwah, Junhong Shen, Weiwei Sun, Andrej Risteski, Yiming Yang, Ameet Talwalkar

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Flatiron Institute（Flatiron研究院） ； Polymathic AI（多学科人工智能） ； Datadog 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CodePDE通过大语言模型生成PDE求解器，展示了LLM在复杂数学问题中的强大能力及潜在应用价值。

Comments TMLR. Code available at https://github.com/LithiumDA/CodePDE

Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay

通过难度目标在线数据选择和回放提升大语言模型强化微调的数据效率

Yifan Sun, Jingyan Shen, Yibin Wang, Tianyu Chen, Zhendong Wang, Mingyuan Zhou, Huan Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； New York University（纽约大学） ； University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。

Comments Accepted at NeurIPS 2025

Scalable LLM Reasoning Acceleration with Low-rank Distillation

可扩展的大语言模型推理加速与低秩蒸馏

Harry Dong, Bilge Acun, Beidi Chen, Yuejie Chi

机构 * CMU Department of Electrical and Computer Engineering（卡内基梅隆大学电气与计算机工程系） ； Carnegie Mellon University（卡内基梅隆大学） ； Meta FAIR at Meta（Meta FAIR） ； CMU（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Caprese通过低秩蒸馏方法恢复高效推理方法中丢失的数学推理能力，同时减少参数数量和延迟，提升响应效率。

Linguistic properties and model scale in brain encoding: from small to compressed language models

语言属性与模型规模在脑编码中的作用：从小型到压缩语言模型

Subba Reddy Oota, Vijay Rowtula, Satya Sai Srinath Namburi, Khushbu Pahwa, Anant Khandelwal, Manish Gupta, Tanmoy Chakraborty, Bapi S. Raju

机构 * TU Berlin（柏林技术大学） ； IIIT-Hyderabad（海得拉巴理工学院） ； GE HealthCare（通用电气医疗） ； AWS AI Labs, Amazon（亚马逊AI实验室） ； Microsoft Research, Bangalore, India（微软研究院，班加罗尔，印度） ； Microsoft, Hyderabad, India（微软，海得拉巴，印度） ； IIT Delhi（德里理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现小型语言模型在脑一致性上可与大模型媲美，压缩不影响脑可预测性，挑战了神经扩展的常见假设。

Comments 40 pages, 33 figures

MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling

MeKi：基于记忆的专家知识注入用于高效的LLM扩展

Ning Ding, Fangcheng Liu, Kyungrae Kim, Linji Hao, Kyeng-Hun Lee, Hyeonmok Ko, Yehui Tang

机构 * Samsung Research（三星研究） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MeKi通过利用存储空间而非计算量扩展LLM容量，实现边缘设备上的高效推理，验证了基于内存的扩展方法在设备端LLM中的有效性。

MixLM: High-Throughput and Effective LLM Ranking via Text-Embedding Mix-Interaction

MixLM: 通过文本嵌入混合交互实现高吞吐率和有效的LLM排序

Guoyao Li, Ran He, Shusen Jing, Kayhan Behdin, Yubo Wang, Sundara Raman Ramachandran, Chanh Nguyen, Jian Sheng, Xiaojing Ma, Chuanrui Zhu, Sriram Vasudevan, Muchen Wu, Sayan Ghosh, Lin Su, Qingquan Song, Xiaoqing Wang, Zhipeng Wang, Qing Lan, Yanning Chen, Jingwei Wu, Luke Simon, Wenjing Zhang, Qi Guo, Fedor Borisyuk

机构 * LinkedIn 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MixLM通过文本嵌入混合交互技术，显著提升LLM排序系统的吞吐量，实现高效率的实时搜索应用部署。

Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation

训练后概率流形校正通过结构化SVD剪枝与自参考知识蒸馏

Aaron R. Flouro, Shawn P. Chadwick

机构 * SparseTech 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SparseKD通过结构化SVD剪枝与自参考知识蒸馏，在训练后实现模型压缩，有效提升模型质量并减少参数量。

Comments 16 pages, 10 tables, 4 figures

OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions

OD-Stega: 基于LLM的相对安全隐写术通过优化分布

Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

机构 * Department of Electrical and Computer Engineering, Texas A&M University（电气与计算机工程系，德克萨斯A&M大学） ； Department of Computer Scicence and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OD-Stega通过优化分布提升LLM隐写术的安全性，结合算术编码与词汇截断技术，解决标记化不匹配问题，增强隐写文本的自然性。

Comments Accepted to EACL 2026

Efficient semantic uncertainty quantification in language models via diversity-steered sampling

通过多样性引导采样实现语言模型中的高效语义不确定性量化

Ji Won Park, Kyunghyun Cho

机构 * Prescient Design, Genentech（普森设计，基因泰克） ； Center for Data Science, New York University（数据科学中心，纽约大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种多样性引导采样方法，通过注入语义相似性惩罚提升语言模型在问答任务中的不确定性估计效率，实现样本效率提升并覆盖更多语义簇。

Comments 10 pages (+7 appendix), 7 figures. Accepted at NeurIPS 2025

Quantize-Sample-and-Verify: LLM Acceleration via Adaptive Edge-Cloud Speculative Decoding

量化-采样-验证：通过自适应边缘-云推测解码加速大语言模型

Guangyi Zhang, Yunlong Cai, Guanding Yu, Petar Popovski, Osvaldo Simeone

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出了一种自适应边缘-云推测解码方法，通过动态调整草稿长度和量化精度，提高大语言模型的解码效率。

Comments Submit for review

Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning

利用负信号：从教师数据中进行强化蒸馏以提升大语言模型推理能力

Shuyao Xu, Cheng Peng, Jiangxuan Long, Weidi Xu, Wei Chu, Yuan Qi

机构 * National University of Singapore（国立新加坡大学） ； INF AI 纠错

专题命中 效率与部署 ：LLM(title,abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过强化蒸馏利用正负推理轨迹提升LLM推理性能，实验表明在少量数据下可达到与大量数据训练模型相当的性能。

Comments 22 pages, 10 figures. Code available at https://github.com/Tim-Siu/reinforcement-distillation

Less Is More, but Where? Dynamic Token Compression via LLM-Guided Keyframe Prior

少即是多，但在哪里？通过LLM引导的关键帧先验实现动态令牌压缩

Yulin Li, Haokun Gui, Ziyang Fan, Junjie Wang, Bin Kang, Bin Chen, Zhuotao Tian

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DyToK方法，通过LLM引导的关键帧先验实现动态令牌压缩，提升视频处理效率和准确性。

Comments Accepted by NeurIPS 2025

Can language models boost the power of randomized experiments without statistical bias?

语言模型能否在无统计偏见的情况下提升随机实验的效力？

Xinrui Ruan, Xinwei Ma, Yingfei Wang, Waverly Wei, Jingshen Wang

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

AI总结 CALM通过整合语言模型生成的洞察与因果估计器，提升随机实验的精度和有效性，减少偏见并提高稳定性。

SELF: A Robust Singular Value and Eigenvalue Approach for LLM Fingerprinting

SELF：一种用于LLM指纹识别的鲁棒奇异值和特征值方法

Hanxiu Zhang, Yue Zheng

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SELF通过奇异值和特征值分解LLM注意力权重，提出一种鲁棒的指纹识别方法，有效抵御虚假声明和权重操纵，提升知识产权保护能力。

KeepKV: Achieving Periodic Lossless KV Cache Compression for Efficient LLM Inference

KeepKV: 实现高效的大型语言模型推理中的周期性无损KV缓存压缩

Yuxuan Tian, Zihan Wang, Yebo Peng, Aomufei Yuan, Zhiming Wang, Bairen Yi, Xin Liu, Yong Cui, Tong Yang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 KeepKV通过自适应KV缓存合并方法，在严格内存限制下实现高效LLM推理，实现无损压缩并提升生成质量。

Comments 14 pages, 20 figures

SlsReuse: LLM-Powered Serverless Function Reuse

SlsReuse：基于LLM的无服务器函数重用

Jinfeng Wen, Yuehan Sun

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 SlsReuse是首个基于LLM的无服务器函数重用框架，通过语义增强表示和多级修剪策略提升函数推荐效果。

LLM-Assisted Thematic Analysis: Opportunities, Limitations, and Recommendations

Tatiane Ornelas, Allysson Allex Araújo, Júlia Araújo, Marina Araújo, Bianca Trinkenreich, Marcos Kalinowski

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts

Raavi Gupta, Pranav Hari Panicker, Sumit Bhatia, Ganesh Ramakrishnan

机构 * Columbia University（哥伦比亚大学） ； IIT Bombay（印度理工学院Bombay） ； Media and Data Science Research (MDSR) Lab, Adobe（Adobe媒体与数据科学研究实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments To appear at International Joint Conference on Natural Language Processing & Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL), 2025

Continuous Autoregressive Language Models

Chenze Shao, Darren Li, Fandong Meng, Jie Zhou

机构 * WeChat AI, Tencent Inc（腾讯公司微信AI实验室） ； Qiuzhen College, Tsinghua University（清华大学求真学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

TrajAgent: An LLM-Agent Framework for Trajectory Modeling via Large-and-Small Model Collaboration

Yuwei Du, Jie Feng, Jie Zhao, Yong Li

机构 * Department of Electronic Engineering, BRNist, Tsinghua University, Beijing, China（电子工程系，北京理工大学，清华大学，北京） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by NeurIPS 2025, https://github.com/tsinghua-fib-lab/TrajAgent

DOGe: Defensive Output Generation for LLM Protection Against Knowledge Distillation

Pingzhi Li, Zhen Tan, Mohan Zhang, Huaizhi Qu, Huan Liu, Tianlong Chen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Code is available at https://github.com/unites-lab/doge

Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights

Yanxi Chen, Yaliang Li, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments TMLR camera-ready version

Efficiency-Effectiveness Reranking FLOPs for LLM-based Rerankers

Zhiyuan Peng, Ting-ruen Wei, Tingyu Song, Yilun Zhao

机构 * Santa Clara University（圣克拉拉大学） ； Yale University（耶鲁大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by EMNLP Industry Track 2025

How Many Parameters Does Your Task Really Need? Task Specific Pruning with LLM-Sieve

Waleed Reda, Abhinav Jangda, Krishna Chintalapudi

机构 * Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment

Yufei Li, Yu Fu, Yue Dong, Cong Liu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 14 pages, 15 figures

REALM: Recursive Relevance Modeling for LLM-based Document Re-Ranking

Pinhuan Wang, Zhiqiu Xia, Chunhua Liao, Feiyi Wang, Hang Liu

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments EMNLP 2025 (Main Conference, Oral). 15 pages, 3 figures

Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration

Yang Zhang, Shixin Yang, Chenjia Bai, Fei Wu, Xiu Li, Zhen Wang, Xuelong Li

机构 * Tsinghua University（清华大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； China Telecom（中国电信） ； Zhejiang University（浙江大学） ； Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments accepted by ACL'2025

OnPrem.LLM: A Privacy-Conscious Document Intelligence Toolkit

Arun S. Maiya

机构 * Institute for Defense Analyses（国防分析研究所） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 6 pages