语言大模型 / LLM

Truth as a Compression Artifact in Language Model Training

真相作为语言模型训练中的压缩特征

Konstantin Krestnikov

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现语言模型在矛盾数据训练中更倾向于正确答案，这源于错误的可压缩性而非真相本身。通过小规模Transformer模型实验，发现当错误遵循一致规则时，模型无法区分虚假系统与真相，提出压缩-一致性原则解释这一现象。

Comments v3: Added Qwen3 architecture check (0.6B), ~1B experiment on FineWeb-Edu, generative eval at all scales, matched-random ablation. Formal MDL predictions. Softened claims, fixed bibliography, added NeurIPS checklist. 210+ models (was 160+)

How Pruning Reshapes Features: Sparse Autoencoder Analysis of Weight-Pruned Language Models

权重剪枝如何重塑特征：稀疏自编码器对语言模型权重剪枝的分析

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * organization= VRAIN -- Valencian Research Institute for Artificial Intelligence, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain ； organization= Department of Economics ； organization= Department of Business Organisation, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过稀疏自编码器分析权重剪枝对语言模型特征几何的影响，发现低频特征更易通过剪枝，揭示了剪枝的隐含特征选择机制及压缩下的可解释性挑战。

Comments 27 pages, 6 figures, 6 tables. Analysis covers Gemma 3 1B, Gemma 2 2B, and Llama 3.2 1B across 22 experimental runs. Code and data available at https://github.com/hborobia/sae-pruning-paper

SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models

SpecTM：用于可信基础模型的频谱定向遮蔽

Syed Usama Imtiaz, Mitra Nasr Azadani, Nasrin Alamdari

机构 * Department of Civil and Environmental Engineering（土木与环境工程系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SpecTM，一种结合物理约束的遮蔽设计，通过预训练时利用交叉频谱上下文重建目标波段，提升EO领域基础模型的可信度和可解释性。

Comments Accepted to IEEE IGARSS 2026

CurvZO: Adaptive Curvature-Guided Sparse Zeroth-Order Optimization for Efficient LLM Fine-Tuning

CurvZO：适应性曲率引导的稀疏零阶优化用于高效的LLM微调

Shuo Wang, Ziyu Chen, Ming Tang

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen, China.（计算机科学与工程系，南方科技大学，深圳，中国） ； Department of Mathematics, Southern University of Science and Technology, Shenzhen, China.（数学系，南方科技大学，深圳，中国） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 CurvZO通过在线跟踪标量零阶反馈中的曲率信号，构建参数采样分布以减少稀疏零阶梯度估计的方差，从而提升LLM微调效率和性能。

Open-Source LLM-Driven Federated Transformer for Predictive IoV Management

开源LLM驱动的联邦Transformer用于预测智能交通管理

Yazan Otoum, Arghavan Asad, Ishtiaq Ahmad

机构 * School of Computer Science and Technology, Algoma University, Canada（计算机科学与技术学院，阿尔戈马大学，加拿大） ； Faculty of Electrical Engineering, Czech Technical University in Prague, Czech Republic（电气工程系，布拉格捷克技术大学，捷克共和国） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FPoTT框架，利用开源LLM实现预测性智能交通管理，通过动态提示优化和联邦学习提升轨迹预测精度，验证了开源LLM在隐私保护和可扩展性方面的潜力。

Comments Preprint version; submitted for academic peer review

RAMP: Reinforcement Adaptive Mixed Precision Quantization for Efficient On Device LLM Inference

RAMP：强化适应混合精度量化用于高效设备端LLM推理

Arpit Singh Gautam, Saurabh Jha

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RAMP通过强化学习动态调整各层位宽，优化精度与效率平衡，在LLaMA 2 7B上实现更小模型体积和更高推理质量。

POLCA: Stochastic Generative Optimization with LLM

POLCA：基于LLM的随机生成优化

Xuanfei Ren, Allen Nie, Tengyang Xie, Ching-An Cheng

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出POLCA框架，通过生成语言模型作为优化器，结合数值奖励和文本反馈，解决复杂系统的随机生成优化问题，实现高效探索与利用的平衡，实验表明其在多种基准测试中表现优异。

Cost-Efficient Multimodal LLM Inference via Cross-Tier GPU Heterogeneity

通过跨层级GPU异构性实现高效的多模态大语言模型推理

Donglin Yu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过跨层级GPU异构性优化多模态大语言模型推理，减少跨设备传输复杂度，提升吞吐量并降低部署成本。

Rating Quality of Diverse Time Series Data by Meta-learning from LLM Judgment

通过LLM判断对异质时间序列数据进行质量评级

Shunyu Wu, Dan Li, Wenjie Feng, Haozheng Ye, Jian Lou, See-Kiong Ng

机构 * Sun Yat-sen University（中山大学） ； State Key Laboratory of Al Safety（人工智能安全国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(title)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TSRating框架，利用LLM判断对异质时间序列数据进行质量评级，通过元学习提升跨领域适应性。

Comments Accepted at ICLR 2026

Towards a more efficient bias detection in financial language models

迈向更高效的金融语言模型偏见检测

Firas Hadj Kacem, Ahmed Khanfir, Mike Papadakis

机构 * SnT, University of Luxembourg（卢森堡大学SnT学院） ； RIADI, ENSI, University of Manouba（突尼斯曼努巴大学RIADI学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过大规模分析五个金融语言模型的偏见，提出跨模型引导的偏见检测方法，显著降低偏见检测成本。

Journal ref ICLR 2026 Workshop on Advances in Financial AI (AFA)

Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference

Orion: 为大语言模型训练和推理表征和编程苹果的神经引擎

Ramchand Kumaresan

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Orion通过直接编程苹果神经引擎实现LLM训练和推理，提供高效的编译器和运行时，显著提升训练速度并支持动态适配器更新。

MoEless: Efficient MoE LLM Serving via Serverless Computing

MoEless：通过无服务器计算实现高效的MoE大语言模型服务

Hanfei Yu, Bei Ouyang, Shwai He, Ang Li, Hao Wang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； University of Maryland College Park（马里兰大学帕克分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MoEless通过无服务器计算实现高效的MoE大语言模型服务，减少推理延迟和成本。

FreeAct: Freeing Activations for LLM Quantization

FreeAct: 为LLM量化释放激活

Xiaohao Liu, Xiaobo Xia, Manyi Zhang, Ji-Fu Li, Xianzhi Yu, Fei Shen, Xiu Su, See-Kiong Ng, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； Huawei Technology（华为技术有限公司） ； Central South University（中央南大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FreeAct通过放松静态转换约束，为LLM量化提供动态适应的激活转换方法，实现性能提升5.3%。

Comments 26 pages, 18 figures, 2 tables

Best-of-$\infty$ -- Asymptotic Performance of Test-Time LLM Ensembling

最佳的无穷大 -- 测试时LLM融合的渐近性能

Junpei Komiyama, Daisuke Oba, Masafumi Oyamada

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·宾·扎耶德人工智能大学） ； New York University（纽约大学） ； RIKEN AIP（理化学研究所AIP） ； Institute of Science Tokyo（东京科学研究所） ； NEC Corporation（日本电报电话株式会社） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种自适应生成方案，通过动态选择N和加权融合多个LLM，实现测试时LLM融合的渐近性能优化。

Comments To appear at ICLR2026. Our code is available at https://github.com/jkomiyama/BoInf-code-publish/. Updated the title

AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size

AdaBlock-dLLM: 通过自适应块大小实现语义感知的扩散语言模型推理

Guanxi Lu, Hao Mark Chen, Yuto Karashima, Zhican Wang, Daichi Fujiki, Hongxiang Fan

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AdaBlock-dLLM通过自适应块大小实现语义感知的扩散语言模型推理，提升解码准确性与效率。

Comments Published as a conference paper at ICLR 2026

Distribution-Aligned Decoding for Efficient LLM Task Adaptation

面向高效大语言模型任务适应的分布对齐解码

Senkang Hu, Xudong Han, Jinqi Jiang, Yihang Tao, Zihan Fang, Yong Dai, Sam Tak Wu Kwong, Yuguang Fang

机构 * Hong Kong JC STEM Lab of Smart City（香港JC智能城市STEM实验室） ； City University of Hong Kong（香港城市大学） ； University of Sussex（苏塞克斯大学） ； Huazhong University of Science and Technology（华中科技大学） ； Fudan University（复旦大学） ； Lingnan University（岭大大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SVDecode通过引导输出分布对齐提升大语言模型任务适应性能，理论证明其与全微调等价，实验显示在多个任务上准确率提升显著。

Comments Accepted by NeurIPS'25

FineScope : SAE-guided Data Selection Enables Domain Specific LLM Pruning and Finetuning

FineScope：基于SAE的 数据选择 使 得领域特定 LLM 剪枝 和 微调

Chaitali Bhattacharyya, Hyunsei Lee, Junyoung Lee, Shinhyoung Jang, Il hong Suh, Yeseong Kim

机构 * POSTECH ； DGIST ； COGA Robotics（COGA机器人） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FineScope通过SAE指导的数据选择，实现领域特定LLM的高效剪枝与微调，提升领域任务性能。

pQuant: Towards Effective Low-Bit Language Models via Decoupled Linear Quantization-Aware Training

pQuant：通过解耦线性量化感知训练实现有效的低比特语言模型

Wenzheng Zhang, Bingzheng Liu, Yang Hu, Xiaoying Bai, Wentao Zhang, Bin Cui

机构 * School of Computer Science, Peking University（北京大学计算机学院） ； College of Future Information Technology, Fudan University（复旦大学未来信息技术学院） ； Center for Information Research, Academy of Military Sciences（军事科学院信息研究所） ； Advanced Institute of Big Data（大数据高级研究所） ； Center of Machine Learning Research, Peking University（北京大学机器学习研究中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 pQuant通过解耦线性层为两个专门分支，提升低比特语言模型的精度与可扩展性。

Comments 10 pages, 7 figures

DOTResize: Reducing LLM Width via Discrete Optimal Transport-based Neuron Merging

DOTResize: 通过基于离散最优传输的神经元合并减少LLM宽度

Neha Verma, Kenton Murray, Kevin Duh

机构 * Center for Language and Speech Processing, Johns Hopkins University, Baltimore, MD, USA（语言与语音处理中心，约翰霍普金斯大学，巴尔的摩，MD，美国） ； Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA（人工智能语言技术卓越中心，约翰霍普金斯大学，巴尔的摩，MD，美国） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 DOTResize通过离散最优传输方法实现神经元宽度缩减，作为剪枝的补充手段，有效降低计算成本。

Benchmarking Distilled Language Models: Performance and Efficiency in Resource-Constrained Settings

评估压缩语言模型：在资源受限环境中的性能与效率

Sachin Gopal Wani, Eric Page, Ajay Dholakia, David Ellison

专题命中 效率与部署 ：language model(title,abstract)；small language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过对比蒸馏模型与原始模型，验证了蒸馏在资源受限环境下提升性能与效率的优越性。

Comments 16 pages, 5 figures, accepted at the the 2025 TPCTC Conference

The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models

脚本税：衡量基于分词驱动的效率和延迟差异在多语言语言模型中的表现

Aradhya Dixit, Shreem Dixit

机构 * Wake Technical Community College（韦克技术社区学院） ； University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现多语言语言模型中基于分词的效率和延迟差异显著，通过比较不同正字法变体，揭示了分词对不同书写系统的影响，并提出脚本意识的分词和预训练方法。

Found-RL: foundation model-enhanced reinforcement learning for autonomous driving

Found-RL: 基于基础模型的强化学习用于自动驾驶

Yansong Qu, Zihao Sheng, Zilin Huang, Jiancong Chen, Yuhao Luo, Tianyi Wang, Yiheng Feng, Samuel Labi, Sikai Chen

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Found-RL通过异步批量推理和多样化监督机制，提升自动驾驶中强化学习的效率与实时性。

Comments 39 pages

Dynamic Vocabulary Pruning: Stable LLM-RL by Taming the Tail

动态词汇剪枝：通过驯服尾部实现稳定的LLM强化学习

Yingru Li, Jiawei Xu, Jiacai Liu, Yuxuan Tong, Ziniu Li, Tianle Cai, Ge Zhang, Qian Liu, Baoxiang Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 动态词汇剪枝通过限制RL目标到安全词汇，减少尾部token的偏置误差，从而实现稳定的大语言模型强化学习。

dUltra: Ultra-Fast Diffusion Language Models via Reinforcement Learning

dUltra: 通过强化学习实现超快扩散语言模型

Shirui Chen, Jiantao Jiao, Lillian J. Ratliff, Banghua Zhu

机构 * University of Washington（华盛顿大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 dUltra通过端对端强化学习框架实现超快扩散语言模型，提升并行生成效率和准确性。

DynSplit-KV: Dynamic Semantic Splitting for KVCache Compression in Efficient Long-Context LLM Inference

DynSplit-KV: 动态语义分割用于高效长上下文LLM推理中的KV缓存压缩

Jiancai Ye, Jun Liu, Qingchen Li, Tianlang Zhao, Hanbin Zhang, Jiayi Pan, Ningyi Xu, Guohao Dai

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 DynSplit-KV通过动态语义分割和统一映射策略，提升长上下文LLM推理的准确性与效率，减少内存占用。

Mano: Restriking Manifold Optimization for LLM Training

Mano：重新审视面向大语言模型训练的流形优化

Yufei Gu, Zeke Xie

机构 * xLeaF Lab, The Hong Kong University of Science and Technology (Guangzhou)（xLeaF实验室，香港科学与技术大学（广州）） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Mano是一种新颖高效的流形优化器，通过创新投影和约束方法，在训练大语言模型时显著优于AdamW和Muon。

Agentic reinforcement learning empowers next-generation chemical language models for molecular design and synthesis

代理强化学习赋能下一代化学语言模型用于分子设计与合成

Hao Li, He Cao, Shenyao Peng, Zijing Liu, Bin Feng, Yu Wang, Zhiyuan Yan, Yonghong Tian, Yu Li, Li Yuan

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） ； Shenzhen Graduate School, Shenzhen, 518055, China（深圳研究生院，深圳，518055，中国） ； International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA）） ； Peng Cheng Laboratory, Shenzhen, 518000, China（鹏城实验室，深圳，518000，中国） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 ChemCRAFT通过代理强化学习实现化学语言模型的高效分子设计与合成，突破传统模型在成本与隐私间的限制。

Comments Working in Progress, 13 pages, 4 figures

What Matters in Linearizing Language Models? A Comparative Study of Architecture, Scale, and Task Adaptation

语言模型线性化中什么更重要？架构、规模和任务适应的比较研究

Patrick Haller, Jonas Golde, Alan Akbik

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究比较了七种架构在线性化语言模型中的表现，发现架构归纳偏置是影响线性化成功的关键因素，而非单纯扩大训练计算量。

Comments 9 pages

Cross-Lingual Activation Steering for Multilingual Language Models

多语言激活引导用于多语言语言模型

Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar

机构 * Department of Computer Science, Portland State University, USA（波特兰州立大学计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CLAS方法，通过激活引导提升多语言模型在非主导语言上的性能，无需修改模型权重。

Comments Under review

LiLM-RDB-SFC: Lightweight Language Model with Relational Database-Guided DRL for Optimized SFC Provisioning

LiLM-RDB-SFC：轻量语言模型结合关系数据库引导的深度强化学习用于优化SFC配置

Parisa Fard Moshiri, Xinyu Zhu, Poonam Lohan, Burak Kantarci, Emil Janulewicz

机构 * University of Ottawa（渥太华大学） ； Ciena（CIENA公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 LiLM-RDB-SFC结合轻量语言模型与关系数据库引导深度强化学习，实现高效SFC配置，FLAN-T5在准确性与处理时间上优于BART和SQLCoder。

Comments 9 pages, 6 figures, Accepted to IEEE 16th International Conference on Network of the Future (NoF) 2025