语言大模型 / LLM

Floe: Federated Specialization for Real-Time LLM-SLM Inference

Floe：面向实时LLM-SLM推理的联邦专业化

Chunlin Tian, Kahou Tam, Yebo Wu, Shuaihang Zhong, Li Li, Nicholas D. Lane, Chengzhong Xu

专题命中 效率与部署 ：LLM(title,abstract)；SLM(title)；large language model(abstract)；language model(abstract)

AI总结 Floe通过结合云LLM和边缘SLM实现低延迟隐私保护推理，提升实时环境下的个性化与性能

Comments Accepted by IEEE Transactions on Parallel and Distributed Systems

Evaluating Prompt Engineering Techniques for RAG in Small Language Models: A Multi-Hop QA Approach

评估用于RAG的提示工程技术在小型语言模型中的表现：一种多跳问答方法

Amir Hossein Mohammadi, Ali Moeinian, Zahra Razavizade, Afsaneh Fatemi, Reza Ramezani

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

AI总结 本文通过评估24种提示模板，发现优化RAG在小型语言模型上的表现提升显著，为资源受限环境下的RAG系统提供实用建议。

Comments 32 Pages, Submitted to Journal of Computing and Security

Model-based Large Language Model Customization as Service

基于模型的大型语言模型定制服务

Zhaomin Wu, Jizhou Guo, Junyi Hou, Bingsheng He, Lixin Fan, Qiang Yang

机构 * National University of Singapore（新加坡国立大学） ； WeBank ； The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 Llamdex 提出了一种基于模型的 LLM 定制服务框架，通过客户端上传预训练的领域模型并结合差分隐私保护，提升领域特定任务的准确率并保持推理效率。

Comments Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025)

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing (2025)

Resource-Efficient Personal Large Language Models Fine-Tuning with Collaborative Edge Computing

基于协作边缘计算的资源高效个性化大语言模型微调

Shengyuan Ye, Bei Ouyang, Tianyi Qian, Liekang Zeng, Jingyi Li, Jiangsu Du, Xiaowen Chu, Guoliang Xing, Xu Chen

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程系） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Shenzhen Institute of Artificial Intelligence and Robotics for Society（社会人工智能与机器人研究所（深圳）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PAC框架，通过算法与系统协同设计，实现高效资源利用的个性化大语言模型微调，提升边缘计算性能。

ShallowJail: Steering Jailbreaks against Large Language Models

ShallowJail: 对大语言模型的对抗性攻击

Shang Liu, Hanyu Pei, Zeyan Liu

机构 * xxx 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 ShallowJail通过操纵LLMs的初始标记来攻击其对齐机制，从而降低大语言模型的安全性。

Low-Latency Federated Fine-Tuning for Large Language Models Over Wireless Networks

面向无线网络的低延迟联邦微调框架用于大语言模型

Zhiwen Pang, Kang Wei, Long Shi, Zhe Wang, Jun Li, Feng Shu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本文提出了一种联合客户端特定剪枝和带宽分配框架，以提高无线网络下大语言模型的微调效率，实验表明其在减少训练时间的同时降低了计算和通信开销。

LoPace: A Lossless Optimized Prompt Accurate Compression Engine for Large Language Model Applications

LoPace：一种无损优化提示准确压缩引擎，用于大语言模型应用

Aman Ulla

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 LoPace通过三种压缩方法实现提示存储的高效无损压缩，平均节省72.2%空间，适用于大语言模型应用。

Comments 42 pages, 14 figures, 7 tables

Robust Multi-Objective Controlled Decoding of Large Language Models

鲁棒多目标控制解码大型语言模型

Seongho Son, William Bankes, Sangwoong Yoon, Shyam Sundhar Ramesh, Xiaohang Tang, Ilija Bogunovic

机构 * University College London（伦敦大学学院） ； Ulsan National Institute of Science and Technology（釜山国立科学技术研究所） ； University of Basel（巴塞尔大学） ； University College London AI Centre（伦敦大学学院人工智能中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RMOD算法，通过最大化最坏情况奖励实现鲁棒多目标解码，有效提升大型语言模型在多个人类目标上的对齐性能。

Comments Accepted to ICLR 2026

SAFER: Risk-Constrained Sample-then-Filter in Large Language Models

SAFER：在大语言模型中基于风险的采样-过滤方法

Qingni Wang, Yue Fan, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 SAFER通过两阶段风险控制框架，在大语言模型中实现风险约束的采样与过滤，提升输出可信度与数据效率。

AISA: Awakening Intrinsic Safety Awareness in Large Language Models against Jailbreak Attacks

AISA: 在大型语言模型中唤醒对抗劫持攻击的内在安全性意识

Weiming Song, Xuan Xie, Ruiping Yin

机构 * Beijing University of Technology（北京理工大学） ； Macau University of Science and Technology（澳门科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 AISA通过激活模型内在安全机制，提供一种轻量级、单次通过的防御方法，有效提升大型语言模型对抗劫持攻击的鲁棒性与安全性。

DALL: Data Labeling via Data Programming and Active Learning Enhanced by Large Language Models

DALL：通过数据编程和主动学习增强的大语言模型进行数据标注

Guozheng Li, Ao Wang, Shaoxiang Wang, Yu Zhang, Pengcheng Cao, Yang Bai, Chi Harold Liu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 DALL通过数据编程和主动学习结合大语言模型，提升文本标注的效率和准确性。

Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay

通过难度目标在线数据选择和回放提升大语言模型强化微调的数据效率

Yifan Sun, Jingyan Shen, Yibin Wang, Tianyu Chen, Zhendong Wang, Mingyuan Zhou, Huan Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； New York University（纽约大学） ； University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。

Comments Accepted at NeurIPS 2025

Scalable LLM Reasoning Acceleration with Low-rank Distillation

可扩展的大语言模型推理加速与低秩蒸馏

Harry Dong, Bilge Acun, Beidi Chen, Yuejie Chi

机构 * CMU Department of Electrical and Computer Engineering（卡内基梅隆大学电气与计算机工程系） ； Carnegie Mellon University（卡内基梅隆大学） ； Meta FAIR at Meta（Meta FAIR） ； CMU（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Caprese通过低秩蒸馏方法恢复高效推理方法中丢失的数学推理能力，同时减少参数数量和延迟，提升响应效率。

Socially-Weighted Alignment: A Game-Theoretic Framework for Multi-Agent LLM Systems

社交加权对齐：多智能体大语言模型系统的博弈论框架

Furkan Mumcu, Yasin Yilmaz

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出社交加权对齐框架，通过引入社交权重解决多智能体LLM系统中的个体理性与集体稳定矛盾，通过理论分析和模拟验证了关键阈值的存在。

WiSparse: Boosting LLM Inference Efficiency with Weight-Aware Mixed Activation Sparsity

WiSparse: 通过权重感知混合激活稀疏性提升大语言模型推理效率

Lei Chen, Yuan Meng, Xiaoyu Zhan, Zhi Wang, Wenwu Zhu

机构 * Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 WiSparse通过结合激活和权重信息，实现高效的大语言模型推理，以50%稀疏率保持97%性能并提升21.4%推理速度。

Text Style Transfer with Parameter-efficient LLM Finetuning and Round-trip Translation

基于参数高效LLM微调和往返翻译的文本风格迁移

Ruoxi Liu, Philipp Koehn

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于参数高效LLM微调和往返翻译的文本风格迁移方法，通过合成平行语料库提升风格迁移效果，并结合RAG增强术语和名称知识的鲁棒性与一致性。

Comments 9 pages, 5 figures, 4 tables

LLM-Guided Knowledge Distillation for Temporal Knowledge Graph Reasoning

基于大语言模型的知识蒸馏的时序知识图谱推理

Wang Xing, Wei Song, Siyu Lin, Chen Wu, Man Wang

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） ； School of Information Science and Engineering, Chongqing Jiaotong University（重庆交通大学信息科学与工程学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种基于大语言模型的知识蒸馏框架，用于提升时序知识图谱推理性能，通过引入大语言模型作为辅助指导者，实现更高效的模型压缩与训练。

Evaluating the Impact of Post-Training Quantization on Reliable VQA with Multimodal LLMs

评估后训练量化对多模态大语言模型可靠视觉问答的影响

Paul Jonas Kurz, Tobias Jan Wieczorek, Mohamed A. Abdelsalam, Rahaf Aljundi, Marcus Rohrbach

机构 * TU Darmstadt（图宾根大学） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了后训练量化对多模态大语言模型可靠视觉问答的影响，提出通过选择器置信度估计器提升可靠性，并在不同量化方法中实现了效率与可靠性的最佳平衡。

Comments Accepted poster at the 1st Workshop on Epistemic Intelligence in Machine Learning (EIML) @ EURIPS 2025

ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

ParoQuant: 基于成对旋转的量化方法用于高效推理大语言模型推理

Yesheng Liang, Haisheng Chen, Zihan Zhang, Song Han, Zhijian Liu

机构 * NVIDIA ； MIT（麻省理工学院） ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 ParoQuant通过结合硬件高效旋转与通道缩放，有效解决推理LLMs中的异常值问题，实现更高的准确性和更低的开销。

Comments ICLR 2026 | Project page: https://paroquant.z-lab.ai | GitHub: https://github.com/z-lab/paroquant

LO-BCQ: Block Clustered Quantization for 4-bit (W4A4) LLM Inference

LO-BCQ：用于4位（W4A4）大语言模型推理的块聚类量化

Reena Elangovan, Charbel Sakr, Anand Raghunathan, Brucek Khailany

机构 * NVIDIA Corporation（NVIDIA公司） ； Department of ECE（电子工程系） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 LO-BCQ通过块聚类量化方法，在W4A4格式下实现4位大语言模型推理，取得<1%的精度损失，提升推理效率。

Journal ref Transactions on Machine Learning Research, 2025

HiVid: LLM-Guided Video Saliency For Content-Aware VOD And Live Streaming

HiVid: 基于大语言模型的视频显著性识别用于内容感知点播与直播

Jiahui Chen, Bo Peng, Lianchen Jia, Zeyu Zhang, Tianchi Huang, Lifeng Sun

机构 * Tsinghua University（清华大学） ； The Australian National University（澳大利亚国立大学） ； Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 HiVid利用大语言模型生成内容感知的视频显著性权重，提升点播和直播的QoE性能。

Comments ICLR 2026

LACONIC: Length-Aware Constrained Reinforcement Learning for LLM

LACONIC：面向LLM的长度感知约束强化学习

Chang Liu, Yiran Zhao, Lawrence Liu, Yaoqi Ye, Csaba Szepesvári, Lin F. Yang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Salesforce AI Research（Salesforce AI研究院） ； National University of Singapore（新加坡国立大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LACONIC通过长度感知约束强化学习，在保持任务性能的同时有效控制输出长度，减少50%以上。

Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

通过嵌入聚类几何检测大语言模型幻觉：一种三类分类法及其可测量特征

Matic Korun

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过分析嵌入聚类几何结构，提出三种大语言模型幻觉类型及其可测量特征，揭示了架构对幻觉检测的影响。

Comments 9 pages, 5 figures

Train Less, Learn More: Adaptive Efficient Rollout Optimization for Group-Based Reinforcement Learning

少训练，多学习：基于群体的强化学习中的自适应高效回滚优化

Zhi Zhang, Zhen Han, Costas Mavromatis, Qi Zhu, Yunyi Zhang, Sheng Guan, Dingmin Wang, Xiong Zhou, Shuai Wang, Soji Adeshina, Vassilis Ioannidis, Huzefa Rangwala

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 AERO通过自适应回滚策略和选择性拒绝提升群体强化学习的计算效率，减少48%的训练计算并缩短45%的训练时间，同时保持或提升性能。

Are foundation models for computer vision good conformal predictors?

计算机视觉基础模型是否是良好的符合预测器？

Leo Fillioux, Julio Silva-Rodríguez, Ismail Ben Ayed, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis, Jose Dolz

机构 * MICS, CentraleSupélec, Université Paris-Saclay（MICS、中央理工巴黎高等学院、巴黎-萨克雷大学） ； LIVIA, ILLS, ETS Montréal（LIVIA、ILLs、蒙特利尔工程师学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)

AI总结 本文研究了计算机视觉基础模型在符合预测中的表现，发现其适合符合化过程，但校准置信度预测会降低效率，且视觉-语言模型在少样本适应中表现更优。

Privileged Information Distillation for Language Models

特权信息蒸馏用于语言模型

Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia

机构 * McGill University（麦吉尔大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出π-Distill和OPSD两种方法，通过特权信息蒸馏提升语言模型在复杂代理环境中的表现，优于传统监督微调加强化学习的方法。

Comments Abstract border should have been purple

DeepFusion: Accelerating MoE Training via Federated Knowledge Distillation from Heterogeneous Edge Devices

DeepFusion: 通过异构边缘设备的联邦知识蒸馏加速MoE训练

Songyuan Li, Jia Hu, Ahmed M. Abdelmoniem, Geyong Min, Haojun Huang, Jiwei Huang

机构 * School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦女王玛丽大学电子工程与计算机科学学院） ； Department of Computer Science, Faculty of Environment, Science and Economy, University of Exeter（埃克塞特大学环境、科学与经济学院计算机科学系） ； School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院） ； Beijing Key Laboratory of Petroleum Data Mining, China University of Petroleum（北京石油数据挖掘重点实验室，中国石油大学） 纠错

专题命中 效率与部署 ：large language model(abstract,comments)；language model(abstract,comments)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 DeepFusion通过联邦知识蒸馏融合异构边缘设备的LLM知识，实现高效MoE训练，减少通信成本并提升模型性能。

Comments Index Terms: Large language models, Mixture-of-experts, Federated knowledge distillation, Edge device heterogeneity

Dual-Signal Adaptive KV-Cache Optimization for Long-Form Video Understanding in Vision-Language Models

双信号自适应KV缓存优化用于视觉-语言模型中长形式视频理解

Vishnu Sai, Dheeraj Sai, Srinath B, Girish Varma, Priyesh Shukla

机构 * International Institute of Information Technology（国际信息研究所） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Sali-Cache通过双信号自适应缓存优化，提升视觉-语言模型处理长形式视频的内存效率与准确性。

GUI-GENESIS: Automated Synthesis of Efficient Environments with Verifiable Rewards for GUI Agent Post-Training

GUI-GENESIS: 自动合成具有可验证奖励的高效环境以实现GUI代理训练

Yuan Cao, Dezhi Ran, Mengzhou Wu, Yuzhe Guo, Xin Chen, Ang Li, Gang Cao, Gong Zhi, Hao Yu, Linyi Li, Wei Yang, Tao Xie

机构 * Key Lab of HCST (PKU), MOE ； SCS, Peking University, Beijing, China ； Tencent Inc., Shenzheng, China ； Hong Kong University of Science ； Department of Computer Science, University of Texas at Dallas, Richardson, USA ； School of Computing Science, Simon Fraser University, Burnaby, BC, Canada 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 GUI-GENESIS通过自动合成高效GUI训练环境并提供可验证奖励，显著提升了GUI代理的训练效率和性能。

Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization

通过基于SVD的量化误差最小化增强LLM中的delta压缩

Boya Xiong, Shuo Wang, Weifeng Ge, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance（上海财经大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； Southern University of Science（南方科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PrinMix通过基于SVD的量化误差最小化方法，提升LLM中delta压缩的效率与性能。