语言大模型 / LLM

The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models

约束税：小语言模型结构化输出中正确性与准确性的权衡度量

Jaideep Ray

机构 * ACM（美国计算机协会） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract,abstract_cn)；SLM(abstract,abstract_cn)

AI总结 本文提出“约束税”测量协议，通过实验证明硬输出约束会显著降低小语言模型的答案准确性和可执行准确性，并建议生产系统应分别报告模式有效性、答案准确性、可执行准确性和错误有效模式率。

Self-signals Driven Multi-LLM Debate for Efficient and Accurate Reasoning

自信号驱动的多LLM辩论以实现高效准确的推理

Xuhang Chen, Zhifan Song, Deyi Ji, Shuo Gao, Lanyun Zhu

机构 * University of Cambridge（剑桥大学） ； Sorbonne Université（索邦大学） ； University of Science and Technology of China（中国科学技术大学） ； Beihang University（北航大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种利用模型级置信度和token级语义焦点两种自信号来自适应引导多LLM辩论过程的方法，在提高准确性的同时减少token消耗。

Grok in the Wild: Characterizing the Roles and Uses of Large Language Models on Social Media

野外Grok：表征社交媒体上大语言模型的角色与用途

Katelyn Xiaoying Mei, Robert Wolfe, Nicholas Weber, Martin Saveski

专题命中 效率与部署 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 本研究通过分析X平台上三个月的Grok交互数据，系统性地探究了LLM在公共社交空间中的使用模式、角色分类及用户特征，发现Grok主要充当信息提供者，但也承担争议管理角色。

Comments Camera-ready Version for ICWSM 2026

Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization

向量并非中性：从摘要任务中导出的LLM表示进行敏感信息推断

Weixin Liu, Bowen Qu, Juming Xiong, Congning Ni, Bradley A. Malin, Zhijun Yin

机构 * Vanderbilt University（范德比大学） ； Vanderbilt University Medical Center（范德比大学医学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM摘要系统导出向量中的敏感信息泄露风险，提出SurfaceLoRA微调方法降低特定向量的可恢复性，但未针对的池化向量仍存在风险。

Comments 30 pages, 2 figures; preprint

Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU

Xe-Forge：面向Intel GPU的多阶段LLM驱动的内核优化

Marcin Spoczynski, Daniel Fleischer, Moshe Berchansky, Gabriela Ben-Melech Stan, Shira Guskin, Weilin Xu, Adam Siemieniuk, Alexander Heinecke

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；SLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Xe-Forge，一个多阶段LLM流水线，通过Chain-of-Verification-and-Refinement（CoVeR）代理和硬件验证，自动将Triton内核优化为Intel GPU，实现几何平均1.17倍加速，Flash Attention加速2-13.3倍。

InfoQuant: Shaping Activation Distributions for Low-Bit LLM Quantization

InfoQuant：为低比特LLM量化塑造激活分布

Ke Li, Dong An, Xiaoling Zang, Can Ye, Liang Xie, Qibo Qiu, Chen Shen, Xiaofei He, Wenxiao Wang

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Ant Group（蚂蚁集团） ； College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院） ； China Mobile (Zhejiang) Research & Innovation Institute（中国移动（浙江）研究院） ； Alibaba Cloud Computing（阿里云计算） ； State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对低比特激活量化中分布与量化器不匹配的问题，提出基于信息论的分析和无需训练的峰值抑制正交变换（PSOT）方法，显著提升量化精度。

Identifying and Mitigating Systemic Measurement Bias in Production LLM Inference Benchmarks

识别和减轻生产级LLM推理基准中的系统性测量偏差

Ashok Chandrasekar, Jason Kramberger

机构 * Google（谷歌） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对生产级LLM推理基准中因客户端排队导致的测量偏差，提出基于多进程的无偏评估框架和归一化输出令牌时间（NTPOT）指标，实现高并发下的准确性能评估。

It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers

不是能力问题：LLM 智能体层级间的驾驭敏感性非单调

Yong-eun Cho

机构 * KailosLab（凯罗斯实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 通过 432 次实验，发现 LLM 智能体的驾驭敏感性随模型层级非单调变化，且依赖模型类型（聊天 vs. 推理），推翻了“更高能力模型需要更少结构指导”的假设。

Comments 9 pages, 3 figures

"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization

“给我BF16，否则给我死亡”？LLM量化中的精度-性能权衡

Eldar Kurtic, Alexandre Marques, Shubhra Pandit, Mark Kurtz, Dan Alistarh

机构 * Red Hat AI（红帽AI） ； Institute of Science and Technology Austria（奥地利科学与技术研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过超过50万次评估，全面研究了FP8、INT8和INT4量化在Llama-3.1模型族上的精度-性能权衡，发现FP8无损、INT8精度损失低、INT4权重仅量化具有竞争力，并基于vLLM框架给出了不同部署场景下的最优量化格式建议。

Comments Accepted to ACL 2025

Conceptual Schema Inference for Tabular Datasets using Large Language Models

使用大语言模型对表格数据集进行概念模式推断

Zhenyu Wu, Jiaoyan Chen, Norman W. Paton

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对异构表格数据源，提出两种基于大语言模型的方法（GeSI和EmSI），分别利用生成式和嵌入技术从列标题和单元格值中自动推断概念模式，包括实体类型、属性和类型间关系。

Comments Withdrawn by the authors because this submission was created as a separate arXiv record in error. It is an extended/revised version of arXiv:2509.04632 and should have been submitted as a replacement to that existing record. Readers should refer to arXiv:2509.04632 for the maintained version

AGORA: Adapter-Grounded Observation-Action Retention for Inference-Free Prompt Compression in LLM Agents

AGORA: 基于适配器接地观察-动作保留的LLM智能体无推理提示压缩

Haoran Zhang, Zhaohua Sun

机构 * AI Agent Technologies (Hong Kong) Limited（人工智能代理技术（香港）有限公司） ； Department of Mechanical Engineering, The University of Hong Kong（香港大学机械工程系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对LLM智能体，提出AGORA无推理步骤级压缩器，通过结构提示解析器、格式关键内容保留和125M参数相关性评分器，在9个测试单元中8个保持≥75%的无压缩性能。

Comments 10 pages, 2 figures. Code and data: https://github.com/ranranrannervous/agoracompression

One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

一个工具就够了：面向仓库级LLM智能体的强化学习

Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Weikang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Yunfang Wu

机构 * National Key Laboratory for Multimedia Information Processing, Peking University（信息处理国家级重点实验室，北京大学） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Zhongguancun Institute of Artificial Intelligence (ZGCI)（中关村人工智能研究院（ZGCI）） ； Baidu Inc（百度公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出RepoNavigator，一个仅配备单一执行感知工具（跳转到调用符号定义）的LLM智能体，通过强化学习端到端训练，在仓库级问题定位中达到最先进性能。

Rethinking Agentic RAG: Toward LLM-Driven Logical Retrieval Beyond Embeddings

重新思考智能体RAG：迈向超越嵌入的LLM驱动逻辑检索

Yuqi Zeng, Qixiang Deng, Yulei Wan, Ruiquan Jiang, Xiaoqing Zheng, Xuanjing Huang

专题命中 效率与部署 ：LLM(title,title_cn)

AI总结 提出一种智能体RAG框架，让LLM通过逻辑表达式控制检索，使用轻量级倒排索引后端，在降低成本和幻觉的同时匹配强基线性能。

CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credit

CreditDecoding: 利用轨迹信用加速扩散大语言模型中的并行解码

Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） ； Westlake University（西湖大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散大语言模型并行解码中正确令牌被反复重掩导致冗余迭代的问题，提出基于轨迹信用的无训练并行解码方法CreditDecoding，融合历史证据与当前logits提升低置信度正确令牌的置信度，实现高达5.48倍加速并提升准确性。

Comments 19 pages, 13 figures, 9 tables, Accepted to ACL 2026 main conference

Spectra as Language: Large Language Models for Scalable Stellar Parameter and Abundance Inference

光谱即语言：用于可扩展恒星参数和丰度推断的大型语言模型

Hai-Ling Lu, Yu-Yang Li, Yin-Bi Li, Cun-Shi Wang, A-Li Luo, Jun-Chao Liang, Shuo Li

机构 * National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100101, China（中国科学院国家天文台） ； University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院大学） ； School of Astronomy and Space Science, University of Chinese Academy of Sciences, Beijing 100049, China（中国科学院大学天文与空间科学学院） ； University of Chinese Academy of Sciences, Nanjing 211135, China（中国科学院大学南京校区） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 提出两阶段大型语言模型框架，将恒星光谱视为序列信号，实现有效温度、表面重力、金属丰度及约20种化学元素丰度的准确估计，并展示随数据量增加性能系统提升的可扩展性。

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W: 通过哈达玛旋转和激活感知缩放实现LLM权重的联合2D码本量化

Preetam Sharma, Kacper Dobek

机构 * Independent Research（独立研究） ； Institute of Computing Science（计算科学研究所） ； Poznan University of Technology（波兹南技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出QAM-W方法，通过L2归一化、块哈达玛旋转和2D坐标配对量化，结合激活感知缩放，在约5.5 bpw下使困惑度接近BF16，优于极坐标编码，并在5-6 bpw范围内保持质量。

Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live

Continuum: 基于KV缓存生存时间的高效鲁棒多轮LLM智能体调度

Hanchen Li, Runyuan He, Qiuyang Mang, Qizheng Zhang, Huanzhi Mao, Xiaokun Chen, Hangrui Zhou, Alvin Cheung, Joseph Gonzalez, Ion Stoica

机构 * UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； Tensormesh（Tensormesh公司） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对多轮智能体工作负载中工具调用导致KV缓存无法跨轮重用的问题，提出Continuum系统，通过引入KV缓存的生存时间（TTL）机制，在GPU内存中选择性固定缓存，权衡重算/重载成本与排队延迟，实现作业完成时间平均提升8倍以上。

Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score

精简你的大语言模型：通过融合任务特定重要性分数的维度级全局剪枝

Jimyung Hong, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种无需训练的维度级结构化剪枝方法DIET，通过跨任务激活幅度多数投票构建全局掩码，在保持任务感知能力的同时避免高昂训练成本，在Gemma-2模型上显著提升剪枝后准确率。

Comments 14 pages, 10 figures. Code available at https://github.com/Jimmy145123/DIET

AdaSD: Adaptive Speculative Decoding for Efficient Language Model Inference

AdaSD：面向高效语言模型推理的自适应推测解码

Kuan-Wei Lu, Ding-Yong Hong, Pangfeng Liu, Jan-Jan Wu

机构 * Institute of Information Science, Academia Sinica（学术院信息研究所） ； Department of Computer Science and Information Engineering, National Taiwan University（台湾大学计算机科学与信息工程系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL

AI总结 提出一种无超参数的自适应推测解码方法AdaSD，通过动态调整生成长度和接受标准，在保持准确率下降低于1.8%的同时实现最高1.46倍加速。

MONA: Muon Optimizer with Nesterov Acceleration for Scalable Language Model Training

MONA: 基于Nesterov加速的Muon优化器用于可扩展语言模型训练

Jiacheng Li, Jianchao Tan, Hongtao Xu, Jiaqi Zhang, Yifan Lu, Yerui Sun, Yuchen Xie, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 提出MONA优化器，通过将Nesterov加速项集成到Muon的梯度处理流程中，实现曲率感知加速，从而帮助逃离尖锐局部最小值，并在1B到68B参数的混合专家预训练中取得更优收敛和下游任务性能。

Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

自验证蒸馏：你的语言模型秘密地就是它自己的合成数据管道

Tony Lee, Percy Liang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 提出自验证蒸馏算法，让大语言模型仅用无标注种子问题，通过自生成、自验证和自训练提升推理能力，在数学、科学和编程任务上取得显著提升。

The Bridge-Garden Dilemma in LLM Distillation: Why Mixing Hard and Soft Labels Works

LLM蒸馏中的桥园困境：为什么混合硬标签和软标签有效

Guanghui Wang, Kaiwen Lv Kacuila, Zhiyong Yang, Zitai Wang, Jin-Wen Wu, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学计算机科学与技术学院） ； Alibaba Group, Hangzhou, China（阿里巴巴集团） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院人工智能安全国家重点实验室） ； Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management (BDKM), University of Chinese Academy of Sciences, Beijing, China（中国科学院大数据挖掘与知识管理重点实验室） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型知识蒸馏中硬标签与软标签的混合使用，提出桥园分解理论解释其降低暴露偏差的机制，并开发自适应混合监督方法，在多个模型上实现性能提升和9.7倍训练成本降低。

Comments Accepted at ICML 2026

Dense2MoE: Pushing the Pareto Frontier of On-Device LLMs via Unified Pruning and Upcycling

Dense2MoE：通过统一剪枝和升级推动设备端LLM的帕累托前沿

Fengfa Li, Hongjin Ji, Yifeng Ding, Lei Ren, Chen Wei

机构 * Li Auto ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；分类 cs.AI、cs.LG

AI总结 提出Dense2MoE框架，通过层融合升级（LF-UC）统一剪枝和升级，将密集LLM高效转换为设备端MoE模型，在推理延迟与准确性之间取得更优帕累托前沿。

Comments 19 pages

VERA-V: Variational Inference Framework for Jailbreaking Vision-Language Models

VERA-V：用于破解视觉语言模型的变分推断框架

Qilin Liao, Anamika Lochab, Ruqi Zhang

机构 * Department of Computer Science, Purdue University, USA（美国普渡大学计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出VERA-V变分推断框架，通过联合后验分布生成隐蔽的文本-图像对抗输入，以系统性地发现视觉语言模型的多模态漏洞，在多个基准上攻击成功率最高提升53.75%。

Comments 18 pages, 7 Figures,

JetViT: Efficient High-Resolution Vision Transformer with Post-Training Attention Search

JetViT: 高效高分辨率视觉Transformer与训练后注意力搜索

Dongyun Zou, Zhuoyang Zhang, Junyu Chen, Wenkun He, Qinhe Peng, Hanrong Ye, Yao Lu, Hongxu Yin, Yu Wang, Song Han, Han Cai

机构 * MIT（麻省理工学院） ； University of Pennsylvania（宾夕法尼亚大学） ； NVIDIA（NVIDIA公司） ； Physical Intelligence（物理智能） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出JetViT混合架构视觉Transformer，通过训练后注意力搜索将预训练全注意力ViT转换为高效混合注意力变体，在高分辨率图像上实现更高推理效率且不损失精度。

Comments Accepted to CVPR 2026 Findings

The Stability of Singular Distribution: A Spectral Perspective on the Two-Phase Dynamics of Language Model Pre-training

奇异分布的稳定性：语言模型预训练两阶段动力学的谱视角

Hongtao Zhang, Wenjie Zhou, Chenxi Jia, Wei Chen, Xueqi Cheng

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学先进交叉学科学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； School of Mathematics, Southeast University, Nanjing, China（东南大学数学学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文发现语言模型预训练中奇异值谱的早期稳定现象（SoSD），并证明该现象与慢下降阶段同步，通过理论分析揭示了权重范数增长导致SoSD阈值，从而限制后续损失下降速率。

DEI: Diversity in Evolutionary Inference for Quality-Diversity Search

DEI：质量-多样性搜索中的进化推理多样性

John Donaghy, Shikhar Rastogi

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DEI框架，通过异构大语言模型作为变异算子进行分布式质量-多样性搜索，实验表明模型多样性比并行性更能提升搜索性能。

Comments Accepted to ICML 2026 Workshop Scalable Learning and Optimization for Efficient Multimodal AI Agents (SCALE)

Securing Multi-Agent Systems Against Corruptions via Node Contribution Backpropagation

通过节点贡献反向传播保护多智能体系统免受腐败影响

Chengcan Wu, Zhixin Zhang, Mingqian Xu, Zeming Wei, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多智能体系统中对抗性智能体注入误导信息的问题，提出一种基于有向无环图的反向传播动态防御方法，通过计算每个智能体对最终决策的贡献来识别和隔离恶意智能体，实验表明该方法优于现有防御机制。

Comments ICML 2026

Natural Language Query to Configuration for Retrieval Agents

面向检索代理的自然语言查询到配置

Melissa Z. Pan, Negar Arabzadeh, Mathew Jacob, Fiodar Kazhamiaka, Esha Choukse, Matei Zaharia

机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Microsoft Azure Research - Systems（微软Azure研究 - 系统） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出BRANE方法，利用LLM将查询转换为工作负载特征，并训练轻量级预测器选择最优配置，在多个基准上实现成本-质量帕累托前沿的优化。

The Coverage Illusion: From Pre-retrieval Routing Failure to Post-retrieval Cascades in a Production RAG System

覆盖幻觉：从检索前路由失败到生产RAG系统中的检索后级联

Zafar Hussain, Kristoffer Nielbo

机构 * Aarhus University（奥胡斯大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文通过丹麦国家百科全书的案例研究，发现合成查询高估了LLM增强的需求（覆盖幻觉），并提出一种检索后级联策略，按成本递增顺序执行工作流，仅在无结果时升级到LLM增强，从而在无需训练开销的情况下提升质量并降低延迟。