语言大模型 / LLM

Are More Tokens Rational? Inference-Time Scaling in Language Models as Adaptive Resource Rationality

更多令牌是否理性？语言模型推理时的扩展作为适应性资源理性

Zhimin Hu, Riya Roshan, Sashank Varma

机构 * Georgia Tech（佐治亚理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过变量归因任务探讨语言模型在推理时扩展对资源理性的影响，发现模型能根据任务复杂性调整策略，即使无显式成本奖励。

Scaling Embeddings Outperforms Scaling Experts in Language Models

嵌入式扩展优于专家扩展在语言模型中

Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

机构 * Meituan LongCat Team（美团LongCat团队） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出通过嵌入式扩展而非专家扩展来提升语言模型的稀疏性，展示了LongCat-Flash-Lite在推理速度上的显著提升。

Found-RL: foundation model-enhanced reinforcement learning for autonomous driving

Found-RL: 基于基础模型的强化学习用于自动驾驶

Yansong Qu, Zihao Sheng, Zilin Huang, Jiancong Chen, Yuhao Luo, Tianyi Wang, Yiheng Feng, Samuel Labi, Sikai Chen

专题命中 效率与部署 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Found-RL通过异步批量推理和多样化监督机制，提升自动驾驶中强化学习的效率与实时性。

Comments 39 pages

Vulnerabilities in Partial TEE-Shielded LLM Inference with Precomputed Noise

部分TEE防护LLM推断中的漏洞

Abhishek Saini, Haolin Jiang, Hang Liu

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究揭示了部分TEE防护LLM推断中的漏洞，通过两种攻击证明了预计算静态秘密基础导致的加密漏洞，并展示了对先进LLMs的实际攻击效果。

KernelBand: Steering LLM-based Kernel Optimization via Hardware-Aware Multi-Armed Bandits

KernelBand: 通过硬件感知的多臂老虎机实现基于LLM的核优化

Dezhi Ran, Shuxiao Xie, Mingfang Ji, Anmin Liu, Mengzhou Wu, Yuan Cao, Yuzhe Guo, Hao Yu, Linyi Li, Yitao Hu, Wei Yang, Tao Xie

机构 * Key Lab of HCST (PKU), MOE（HCST关键实验室（北京大学）） ； SCS, Peking University, Beijing, China（SCS，北京大学，北京，中国） ； Hong Kong University of Science（香港科学大学） ； East China Normal University, Shanghai, China（华东师范大学，上海，中国） ； Department of Computer Science, Tianjin University, Tianjin, China（天津大学计算机科学系，天津，中国） ； School of Computing Science, Simon Fraser University, Burnaby, BC, Canada（Simon Fraser大学计算机科学学院，Burnaby，BC，加拿大） ； University of Texas at Dallas, USA（德克萨斯大学达拉斯分校，美国） ； Beijing Tongming Lake Information Technology Application Innovation Center, China（北京同铭湖信息技术应用创新中心，中国） ； Fudan University Institute of Systems for Advanced Computing, China（复旦大学高级计算系统研究所，中国） ； Shanghai Institute of Systems for Open Computing, China（上海开放计算系统研究所，中国） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 KernelBand通过硬件感知的多臂老虎机框架，实现基于LLM的核优化，显著提升性能。

Comments 19 pages (9 pages main text), 4 figures. v2: Full revision

Advancing Block Diffusion Language Models for Test-Time Scaling

推进块扩散语言模型用于测试时间扩展

Yi Lu, Deyang Kong, Jianing Wang, Linsen Guo, Xue Wang, Qi Guo, Tao Gui, Xuanjing Huang, Wei Ye, Shikun Zhang, Wei Wang

机构 * Fudan University（复旦大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出BACD和TCCF方法，提升块扩散语言模型在测试时间扩展中的推理效率和效果。

Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model

迈向单个语音语言模型中的高效语音-文本联合解码

Haibin Wu, Yuxuan Hu, Ruchao Fan, Xiaofei Wang, Kenichi Kumatani, Bo Ren, Jianwei Yu, Heng Lu, Lijuan Wang, Yao Qian, Jinyu Li

机构 * Microsoft（微软公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出了一种早停交错解码方法，以提升语音-文本联合解码的效率和性能，并通过高质量QA数据集进一步优化语音问答性能。

Comments Accepted by ASRU 2025

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

通过屋顶线建模为设备端大语言模型设计硬件协同缩放定律

Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

机构 * AI Lab, The Yangtze River Delta Institution of Automation, Chinese Academy of Sciences（人工智能实验室，长江三角洲自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； University College London（伦敦大学学院） ； Institution of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过屋顶线建模为设备端大语言模型设计硬件协同缩放定律，通过训练170个模型建立架构与训练损失的缩放关系，实现准确度与延迟的直接对应，降低架构选择时间并提升模型性能。

Text summarization via global structure awareness

通过全局结构意识进行文本摘要

Jiaquan Zhang, Chaoning Zhang, Shuxu Chen, Yibei Liu, Chenghao Li, Qigan Sun, Shuai Yuan, Fachrina Dewi Puspitasari, Dongshen Han, Guoqing Wang, Sung-Ho Bae, Yang Yang

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GloSA-sum通过拓扑数据分析实现全局结构意识，高效摘要的同时保留语义和逻辑依赖，提升长文本处理效率和下游任务表现。

Comments 24pages

ClinAlign: Scaling Healthcare Alignment from Clinician Preference

ClinAlign: 从医生偏好扩展医疗对齐

Shiwei Lyu, Xidong Wang, Lei Liu, Hao Zhu, Chaohe Zhang, Jian Wang, Jinjie Gu, Benyou Wang, Yue Shen

机构 * Ant Group（蚂蚁集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ClinAlign通过HealthRubrics和HealthPrinciples实现医疗输出与医生偏好的高效对齐，验证了资源高效的临床对齐方法。

TableDART: Dynamic Adaptive Multi-Modal Routing for Table Understanding

TableDART: 表格理解的动态自适应多模态路由

Xiaobo Xing, Wei Yuan, Tong Chen, Quoc Viet Hung Nguyen, Xiangliang Zhang, Hongzhi Yin

机构 * The University of Queensland, Australia（昆士兰大学） ； Griffith University, Australia（格里菲斯大学） ； University of Notre Dame, USA（诺丁汉大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TableDART通过动态选择文本、图像或融合视角，提升表格理解的准确性和效率，避免昂贵的多模态模型微调。

Comments Accepted to ICLR 2026. 26 pages, 11 figures

When Speculation Spills Secrets: Side Channels via Speculative Decoding In LLMs

当猜测泄露秘密：通过猜测解码的侧信道在大语言模型中

Jiankun Wei, Abdulrahman Abdulrazzag, Tianchen Zhang, Adel Muursepp, Gururaj Saileshwar

机构 * University of Toronto（多伦多大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示了通过猜测解码在大语言模型中泄露用户信息的侧信道，并提出缓解措施。

Cross-Attention Speculative Decoding

跨注意力推测解码

Wei Zhong, Manasa Bharadwaj, Yixiao Wang, Yipeng Ji, Chul Lee

机构 * LGE（LGE公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Beagle是一种基于跨注意力的新型推测解码模型，实现了与EAGLE-v2相当的性能，同时简化了架构，提高了训练效率并保持了稳定的内存使用。

Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment

跨模态冲突下的全方位安全：漏洞、动态机制和高效对齐

Kun Wang, Zherui Li, Zhenhong Zhou, Yitong Zhang, Yan Mi, Kun Yang, Yiming Zhang, Junhao Dong, Zhongxiang Sun, Qiankun Li, Yang Liu

机构 * Nanyang Technological University（南洋理工大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出OmniSteer方法，通过提取黄金拒绝向量和轻量级适配器提升多模态模型的安全性与通用能力。

Generative Prompt Internalization

生成性提示内化

Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 生成性提示内化通过联合训练方法实现复杂提示的内化，减少计算开销并提升模型性能。

Comments NAACL 2025 (Main Conference)

Journal ref NAACL 2025

MoEEdit: Efficient and Routing-Stable Knowledge Editing for Mixture-of-Experts LLMs

MoEEdit: 高效且路由稳定的知识编辑用于专家混合语言模型

Yupu Gu, Rongzhe Wei, Andy Zhu, Pan Li

机构 * Tsinghua University（清华大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MoEEdit提出一种高效且路由稳定的知识编辑方法，用于稀疏混合专家语言模型，通过空空间投影和块坐标下降求解器实现高效率和稳定性。

Meta Context Engineering via Agentic Skill Evolution

通过代理技能进化实现元上下文工程

Haoran Ye, Xuning He, Vincent Arak, Haonan Dong, Guojie Song

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出元上下文工程（MCE），通过代理技能进化提升上下文优化效果，实现更灵活的上下文生成与适应性。

Comments 46 pages, 4 figures

SeeDNorm: Self-Rescaled Dynamic Normalization

SeeDNorm: 自适应动态归一化

Wenrui Cai, Defa Zhu, Qingjie Liu, Qiyang Min

机构 * School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北航大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SeeDNorm通过动态调整缩放系数提升模型表示能力，在保持输入范数信息的同时实现自适应动态归一化，有效提升大语言模型及计算机视觉任务的性能。

Comments Accepted to ICLR 2026, 32 pages, 14 figures, 18 tables

DiffuTester: Accelerating Unit Test Generation for Diffusion LLMs via Mining Structural Pattern

DiffuTester: 通过挖掘结构模式加速扩散大语言模型的单元测试生成

Lekang Yang, Yuetong Liu, Yitong Zhang, Jia Li

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； School of Software, Beihang University（北航软件学院） ； School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DiffuTester通过挖掘结构模式提升扩散大语言模型在单元测试生成中的效率，实现高质量测试用例生成。

Comments Update format and add some experimental results

AFD-SLU: Adaptive Feature Distillation for Spoken Language Understanding

AFD-SLU: 适应性特征蒸馏用于语音语言理解

Yan Xie, Yibo Cui, Liang Xie, Erwei Yin

机构 * School of Advanced Manufacturing and Robotics（先进制造与机器人学院） ； Peking University（北京大学） ； National Institute of Defense Technology Innovation（国防科技创新国家研究院） ； Academy of Military Sciences（军事科学院） ； Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 AFD-SLU通过自适应特征蒸馏框架，将教师模型的语义表示转移到轻量级学生模型，提升语音语言理解的准确率与效率。

Comments Accepted to IEEE ICASSP 2026

Information Retrieval in the Age of Generative AI: The RGB Model

在生成式AI时代的信息检索：RGB模型

Michele Garetto, Alessandro Cornacchia, Franco Galante, Emilio Leonardi, Alessandro Nordio, Alberto Tarable

机构 * University of Turin（都灵大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RGB模型，用于分析生成式AI时代信息动态，揭示其对信息检索和真实性带来的挑战及风险。

Comments To be presented at ACM SIGIR 25

EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling

EST：通过统一建模实现点击通过率预测的高效扩展规律

Mingyang Liu, Yong Bai, Zhangming Chan, Sishuo Chen, Xiang-Rong Sheng, Han Zhu, Jian Xu, Xinyang Chen

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 EST通过统一建模实现点击通过率预测的高效扩展，采用轻量级交叉注意力和内容稀疏注意力模块，提升广告效果与收益。

Do More Predictions Improve Statistical Inference? Filtered Prediction-Powered Inference

预测更多能改善统计推断吗？过滤预测推断

Shirong Xu, Will Wei Sun

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出FPPI框架，通过选择性整合预测以提升推断效率，应对预测质量不均的问题。

Catching the Details: Self-Distilled RoI Predictors for Fine-Grained MLLM Perception

捕捉细节：用于细粒度MLLM感知的自蒸馏RoI预测器

Yuheng Shi, Xiaohuan Pei, Minjing Dong, Chang Xu

机构 * University of Sydney（悉尼大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出SD-RPN，通过自蒸馏方法提升MLLM细粒度感知的效率和准确性。

Comments 20 pages, 6 figures

When LLMs get significantly worse: A statistical approach to detect model degradations

当大语言模型显著变差：一种检测模型退化的方法

Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

机构 * Amazon（亚马逊） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于McNemar检验的统计方法，用于检测大语言模型的退化，通过对比每个样本的模型评分，有效区分退化与噪声。

Comments https://openreview.net/forum?id=cM3gsqEI4K

Journal ref ICLR 2026

A.X K1 Technical Report

A.X K1 技术报告

Sung Jun Cheon, Jaekyung Cho, Seongho Choi, Hyunjun Eun, Seokhwan Jo, Jaehyun Jun, Minsoo Kang, Jin Kim, Jiwon Kim, Minsang Kim, Seungsik Kim, Sungwan Kim, Tae Yoon Kim, Youngrang Kim, Hyeongmun Lee, Sangyeol Lee, Sungeun Lee, Youngsoon Lee, Yujin Lee, Seongmin Ok, Chanyong Park, Hyewoong Park, Junyoung Park, Hyunho Yang, Subin Yi, Dhammiko Arya, Soohyun Bae, Dongyeon Cho, Seungmo Cho, Sangho Choi, Yongseok Choi, Gyoungeun Han, Yong-jin Han, Seokyoung Hong, Hyeon Hwang, Wonbeom Jang, Minjeong Ju, Wonjin Jung, Keummin Ka, Sungil Kang, Dongnam Kim, Jonghwi Kim, Joonghoon Kim, SaeRom Kim, Sangjin Kim, Seongwon Kim, Youngjin Kim, Seojin Lee, Sunwoo Lee, Taehoon Lee, Chanwoo Park, Sohee Park, Sooyeon Park, Yohan Ra, Sereimony Sek, Seungyeon Seo, Gun Song, Sanghoon Woo, Janghan Yoon, Sungbin Yoon

机构 * SK Telecom（SK电信） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 A.X K1 是一个5190亿参数的混合专家语言模型，通过Think-Fusion训练配方实现可控推理，具备在韩语基准测试中优于开源模型的性能。

GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation

GeoPurify: 一种数据高效的几何蒸馏框架用于开放词汇3D分割

Weijia Dou, Xu Zhang, Yi Bin, Jian Liu, Bo Peng, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； Tianjin University（天津大学） ； University of Electronic Science and Technology of China（电子科学与技术大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 GeoPurify通过几何蒸馏和亲和网络提升3D分割的数据效率，实现高效且准确的开放词汇3D分割

Comments Accepted at ICLR 2026. Code available at: https://github.com/tj12323/GeoPurify

Bridging the Compression-Precision Paradox: A Hybrid Architecture for Clinical EEG Report Generation with Guaranteed Measurement Accuracy

弥合压缩-精度悖论：一种用于临床EEG报告生成的混合架构，保证测量精度

Wuyang Zhang, Zhen Luo, Chuqiao Gu, Jianming Ma, Yebo Cao, Wangming Yuan, Yinzhi Jin

机构 * Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

AI总结 本研究提出了一种混合架构，通过信号处理和跨模态翻译实现临床EEG报告生成，保证测量精度，减少误报并提升检测速度。

Comments 7 pages

1%>100%: High-Efficiency Visual Adapter with Complex Linear Projection Optimization

1%>100%: 高效视觉适配器与复杂线性投影优化

Dongshuo Yin, Xue Yang, Deng-Ping Fan, Shi-Min Hu

机构 * BNRist, Department of Computer Science ； Technology, Tsinghua University, Beijing, China ； School of Automation ； Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China ； Nankai lnternational Advanced Research Institute (Shenzhen Futian) \& SLAI, Shenzhen, China 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 CoLin通过复杂线性投影优化，以仅1%参数实现视觉基础模型高效适应，超越传统微调方法。

LightGTS-Cov: Covariate-Enhanced Time Series Forecasting

LightGTS-Cov: 考虑协变量的时间序列预测

Yong Shang, Zhipeng Yao, Ning Jin, Xiangfei Qiu, Hui Zhang, Bin Yang

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 LightGTS-Cov通过整合过去和未来已知协变量提升时间序列预测性能，适用于电力价格和可再生能源预测等实际应用。