语言大模型 / LLM

Discovering Differences in Strategic Behavior Between Humans and LLMs

发现人类与LLM在战略行为上的差异

Caroline Wang, Daniel Kasenberg, Kim Stachenfeld, Pablo Samuel Castro

机构 * Department of Computer Science, University of Texas at Austin. Work performed as a student researcher at Google DeepMind（德克萨斯大学计算机科学系。作为谷歌DeepMind的学生研究员进行的工作） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 使用AlphaEvolve程序发现工具，从数据中直接发现可解释的人类和LLM行为模型，揭示在迭代石头剪刀布中前沿LLM比人类具有更深层次的战略行为。

Comments Accepted to ICML 2026

Reasoning-preserved Efficient Distillation of Large Language Models via Activation-aware Initialization

保留推理能力的大语言模型高效蒸馏：基于激活感知初始化

Junlin He, Yihong Tang, Tong Nie, Guilong Li, Binyu Yang, Jinxiao Du, Lijun Sun, Wei Ma

机构 * The Hong Kong Polytechnic University, Hong Kong SAR, China（香港理工大学） ； McGill University, Montreal, QC, Canada（麦吉尔大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对高效蒸馏导致的多步推理能力严重下降（推理崩溃），提出RED方法，通过激活感知初始化投影矩阵为通道选择矩阵，理论缓解有效秩崩溃，恢复推理能力并保持高效训练与通用性能。

EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation

EdgeRazor: 一种通过混合精度量化感知蒸馏实现大语言模型轻量化的框架

Shu-Hao Zhang, Le-Tong Huang, Xiang-Sheng Deng, Xin-Yi Zou, Chen Wu, Nan Li, Shao-Qun Zhang, Zhi-Hua Zhou

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Microsoft AI（微软AI） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出EdgeRazor框架，通过混合精度量化感知蒸馏方法，在资源受限设备上部署大语言模型，实现了更高的压缩比和更高效的性能。

Time-Prompt: Integrated Heterogeneous Prompts for Unlocking LLMs in Time Series Forecasting

Time-Prompt: 集成异构提示以解锁时间序列预测中的LLM

Zesen Wang, Lijuan Lan, Yonggang Li

机构 * Central South University, Changsha, China（中南大学，长沙，中国） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Time-Prompt框架，通过构建统一的提示范式、设计语义空间嵌入和跨模态对齐模块以及高效微调LLM参数，提升时间序列预测性能，并在碳排放数据集上验证其有效性。

Comments Accepted at IJCNN 2026

Fitting Is Not Enough: Smoothness in Extremely Quantized LLMs

拟合并不足够：在极量化的LLM中平滑性

Yuzhuang Xu, Xu Han, Yuxuan Li, Pengzhan Li, Wanxiang Che

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文指出极量化LLM存在平滑性退化问题，通过平滑性代理发现量化位宽越小退化越严重，提出保持平滑性的方法提升性能，强调平滑性在极端量化中的重要性。

Comments 19 pages, 4 tables, 14 figures

ReAD: Reinforcement-Guided Capability Distillation for Large Language Models

ReAD：基于强化学习的能力蒸馏用于大语言模型

Xueqi Cheng, Xugui Zhou, Tyler Derr, Yushun Dong

机构 * Florida State University（佛罗里达州立大学） ； Louisiana State University（路易斯安那州立大学） ； Vanderbilt University（范德比大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ReAD通过强化学习指导能力蒸馏，在固定token预算下提升下游任务性能，减少有害溢出和无效蒸馏成本。

Curriculum Learning-Guided Progressive Distillation in Large Language Models

基于课程学习的渐进蒸馏：大型语言模型中的知识蒸馏

Jincheng Cao, Fanzhi Zeng, Leqi Liu, Aryan Mokhtari

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google Research（谷歌研究） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CLPD框架，通过结合数据难度与教师强度，改进知识蒸馏方法，实验证明其在推理任务中优于传统方法。

Reasoning emerges from constrained inference manifolds in large language models

推理源自大型语言模型中受限推断流形

Yanbiao Ma, Fei Luo, Linfeng Zhang, Chuangxin Zhao, Mingxuan Wang, Yinan Wu, Zhe Qian, Yang Lu, Long Chen, Zhao Cao, Xiaoshuai Hao, Ji-Rong Wen, Jungong Han

机构 * Renmin University of China（中国人民大学） ； Tsinghua University（清华大学） ； Xiaomi EV（小米电动车） ； Xiamen University（厦门大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究通过分析推理过程中的内部表示演变，发现推理动态在高维空间中自组织为低维流形，但需满足表示能力、流形压缩和非退化信息体积等条件才能实现稳定推理。

Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters

通过凯莱单位ary适配器在量子硬件上增强大型语言模型

Borja Aizpurua, Sukhbinder Singh, Augustine Kshetrimayum, Saeed S. Jahromi, Roman Orus

机构 * Multiverse Computing ； Parque Científico y Tecnológico de Gipuzkoa（吉普乌科阿科技公园） ； Department of Basic Sciences（基础科学系） ； Tecnun – University of Navarra（塔努大学） ； Centre for Social Innovation（社会创新中心） ； Donostia International Physics Center（多斯蒂亚国际物理中心） ； Ikerbasque Foundation for Science（Ikerbasque科学基金会） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本研究通过在预训练语言模型的冻结投影层中插入量子电路块，利用IBM Quantum System Two处理器提升Llama 3.1 8B模型的困惑度，仅需6000个额外参数，并在真实量子处理器上验证端到端推理。

Comments 31 pages, 6 figures

Self Knowledge Re-expression: A Fully Local Method for Adapting LLMs to Tasks Using Intrinsic Knowledge

自知重述：一种完全局部的方法，用于通过内在知识适应LLM到任务

Mengyu Wang, Xiaoying Zhi, Zhiyi Li, Robin Schmucker, Shay B. Cohen, Tiejun Ma, Fran Silavong

机构 * The University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SKR方法，通过将LLM的输出从通用token生成转变为高效任务特定表达，提升非生成任务性能，实验显示在信息检索、目标检测和异常检测任务中取得显著提升。

Rethinking Scale: Deployment Trade-offs of Small Language Models under Agent Paradigms

重新思考规模：在代理范式下小型语言模型的部署权衡

Xinlin Wang, Mats Brorsson

机构 * Proximus Luxembourg S.A.（普罗米修斯卢森堡股份有限公司） ； University of Luxembourg（卢森堡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了在代理范式下小型语言模型的部署权衡，通过对比基础模型、单代理工具系统和多代理协作系统，发现单代理系统在性能与成本间达到最佳平衡。

Modular Representation Compression: Adapting LLMs for Efficient and Effective Recommendations

模块化表示压缩：适应LLM以实现高效且有效的推荐

Yunjia Xi, Menghui Zhu, Jianghao Lin, Bo Chen, Ruiming Tang, Yong Yu, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah's Ark Lab（华为诺亚实验室） ； Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MARC方法，通过模块化调整和任务解耦，解决LLM表示压缩中的MRA问题，提升推荐系统效率与效果。

Comments SIGIR 2026

Beyond Surface Statistics: Robust Conformal Prediction for LLMs via Internal Representations

超越表面统计：通过内部表示实现LLM的鲁棒置信预测

Yanli Wang, Peng Kuang, Xiaoyu Han, Kaidi Xu, Haohan Wang

机构 * Imperial College London（伦敦帝国学院） ； Zhejiang University（浙江大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于内部表示的置信预测框架，通过层间信息评分提升LLM在分布偏移下的鲁棒性，优于文本层面基线方法。

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

通过自动化构建环境提升大语言模型的反馈驱动工具使用

Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Tao Gui, Xuanjing Huang, Jiecao Chen

机构 * Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出自动化环境构建流程和可验证奖励机制，提升大语言模型的工具使用能力，实验表明在不降低通用能力的情况下显著增强工具使用性能。

Comments Accepted by ACL 2026

Incentive-Aware Multi-Fidelity Optimization for Generative Advertising in Large Language Models

面向激励的多保真度优化用于大语言模型生成广告

Jiayuan Liu, Barry Wang, Jiarui Gan, Tonghan Wang, Leon Xie, Mingyu Guo, Vincent Conitzer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adelaide University（阿德莱德大学） ； University of Oxford（牛津大学） ； Harvard University（哈佛大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出IAMFM框架，结合VCG激励与多保真度优化，解决生成广告中广告商策略行为和高成本的约束问题，通过主动反事实优化提升计算效率，实验表明其在不同预算下优于单保真度基线。

PolySwarm: A Multi-Agent Large Language Model Framework for Prediction Market Trading and Latency Arbitrage

PolySwarm：一种多智能体大语言模型框架，用于预测市场交易和延迟套利

Rajat M. Barot, Arjun S. Borkhatariya

机构 * Department of Computer Science, State University of New York, Binghamton（纽约州立大学宾汉姆顿分校计算机科学系） ； Department of Software Engineering, Arizona State University（亚利桑那州立大学软件工程系） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PolySwarm框架，通过多智能体大语言模型实时预测市场交易和去中心化平台上的延迟套利，结合贝叶斯方法和信息论分析，展示其在概率校准上的优越性能。

Comments 13 pages, 3 figures, 3 tables

SoLA: Leveraging Soft Activation Sparsity and Low-Rank Decomposition for Large Language Model Compression

SoLA：利用软激活稀疏性和低秩分解实现大语言模型压缩

Xinhao Huang, You-Liang Huang, Zeyi Wen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 SoLA通过软激活稀疏性和低秩分解技术，在无需训练的情况下压缩大语言模型，显著提升语言模型和下游任务的准确性。

Diversity-Aware Reverse Kullback-Leibler Divergence for Large Language Model Distillation

具有多样性的反Kullback-Leibler散度用于大规模语言模型蒸馏

Hoang-Chau Luong, Dat Ba Tran, Lingwei Chen

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Rowan University（罗文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DRKL，通过消除非目标梯度影响并增强非目标监督，改进了RKL在大规模语言模型蒸馏中的性能与多样性平衡。

From Efficiency to Adaptivity: A Deeper Look at Adaptive Reasoning in Large Language Models

从效率到适应性：深入探讨大语言模型中的适应性推理

Chao Wu, Baoheng Li, Mingchen Gao, Yu Tian, Zhenyi Wang

机构 * University at Buffalo（布法罗大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨大语言模型中适应性推理的核心方法与贡献，提出适应性推理的控制增强策略优化问题，并构建系统分类法以比较不同策略。

Robust Batch-Level Query Routing for Large Language Models under Cost and Capacity Constraints

在成本和容量限制下大型语言模型的鲁棒批量级查询路由

Jelena Markovic-Voronov, Kayhan Behdin, Yuanda Xu, Zhengze Zhou, Zhipeng Wang, Rahul Mazumder

机构 * LinkedIn（领英） ； MIT（麻省理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种考虑资源的批量级查询路由框架，通过优化模型分配以提高鲁棒性和效率，实验显示在对抗性批处理下性能提升显著。

Set-Valued Prediction for Large Language Models with Feasibility-Aware Coverage Guarantees

针对大型语言模型的集合值预测与可行性意识覆盖保证

Ye Li, Anqi Hu, Yuanchang Ye, Shiyan Tong, Zhiyuan Wang, Bo Fu

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Zhejiang University of Finance and Economics（浙江财经大学） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种集合值预测框架，通过数据驱动校准方法确保预测集包含正确答案的概率，提升大语言模型的预测可靠性与效率。

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models

自蒸馏推理器：用于大型语言模型的在线自蒸馏

Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover

机构 * Meta Superintelligence Labs（Meta 超智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。

Comments code is released here: https://github.com/siyan-zhao/OPSD

Unlocking Full Efficiency of Token Filtering in Large Language Model Training

解锁大语言模型训练中令牌过滤的全面效率

Di Chai, Pengbo Li, Feiyuan Zhang, Yilun Jin, Han Tian, Kaiqiang Xu, Binhang Yuan, Dian Shen, Junxue Zhang, Kai Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Centrifuge系统，通过算法与系统协同设计提升令牌过滤效率，减少反向传播时间达49.9%，端到端训练时间达34.7%，并提升模型性能26.6%。

Discovering Decoupled Functional Modules in Large Language Models

在大型语言模型中发现解耦的功能模块

Yanke Yu, Jin Li, Ying Sun, Ping Li, Zhefeng Wang, Yi Zheng

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过提出ULCMOD框架，解耦LLM中的神经元并发现输入样本的主题模块，提升模型可解释性和性能。

Comments AAAI-26 Oral

Intelligent Materials Modelling: Large Language Models Versus Partial Least Squares Regression for Predicting Polysulfone Membrane Mechanical Performance

智能材料建模：大语言模型与偏最小二乘回归在预测聚砜膜机械性能中的比较

Dingding Cao, Mieow Kee Chan, Wan Sieng Yeo, Said Bey, Alberto Figoli

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文比较了大语言模型与偏最小二乘回归在预测聚砜膜机械性能中的表现，发现大语言模型在非线性、约束敏感属性上表现更优，而偏最小二乘回归在需要可解释性分解的线性关系中仍具竞争力。

Comments 29 pages, 8 figures, 5 tables

Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

Bielik-Minitron-7B：通过结构化剪枝和知识蒸馏压缩大型语言模型以适应波兰语

Remigiusz Kinas, Paweł Kiszczak, Sergio P. Perez, Krzysztof Ociepa, Łukasz Flis, Krzysztof Wróbel, Adrian Gwoździej

专题命中 效率与部署 ：language model(title,abstract)；large language model(title)；SFT(abstract)；preference optimization(abstract)

AI总结 Bielik-Minitron-7B通过结构化剪枝和知识蒸馏将Bielik-11B-v3.0模型压缩至7.35B参数，优化波兰语性能，实现90%的性能恢复和50%的推理加速。

Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression

信息容量：通过文本压缩评估大语言模型的效率

Cheng Yuan, Jiawei Shao, Xuelong Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出信息容量作为评估大语言模型效率的新指标，通过文本压缩性能与计算复杂性关系衡量模型效率，并揭示主流模型的语言偏见问题。

Comments Code: https://github.com/TeleAI-AI-Flow/InformationCapacity. Data: https://huggingface.co/datasets/TeleAI-AI-Flow/InformationCapacity

RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models

RACER：面向大型语言模型的风险感知校准高效路由

Sai Hao, Hao Zeng, Hongxin Wei, Bingyi Jing

机构 * Southern University of Science and Technology, China（南方科技大学） ； The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）） ； Shenzhen Loop Area Institute, China（深圳环湖研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 RACER通过构建嵌套模型集和校准阈值，实现了对大型语言模型路由的风险感知校准，从而提升下游任务的准确性。

ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning

ROSE：重新排序的稀疏GPT用于更准确的一次性大语言模型剪枝

Mingluo Su, Huan Wang

机构 * Westlake University（西湖大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 ROSE通过重新排序稀疏GPT方法，优先剪枝潜在误差大的权重，提升一次性大语言模型剪枝的准确性。

Comments CPAL 2026 oral

VLMQ: Token Saliency-Driven Post-Training Quantization for Vision-language Models

VLMQ：基于令牌显著性的后训练量化用于视觉-语言模型

Yufei Xue, Yushi Huang, Jiawei Shao, Lunjie Zhu, Chi Zhang, Xuelong Li, Jun Zhang

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 VLMQ通过显著性驱动的后训练量化方法，针对视觉-语言模型的激活特性优化量化过程，实现低比特下的高性能压缩。