语言大模型 / LLM

Charon: A Unified and Fine-Grained Simulator for Large-Scale LLM Training and Inference

Charon：一种用于大规模大语言模型训练和推理的统一且细粒度模拟器

Mengtian Yang, Zhekun Zhang, Mingheng Wu, Jianwen Yan, Hanshi Sun, Li-wen Chang

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Charon模拟器，通过统一、模块化和细粒度的方法，准确预测大语言模型性能，实验显示其在不同模型和配置上具有高精度，预测误差低于5.35%，并在实际推理部署中发现提升系统吞吐量的配置，展示了其实际价值。

Comments Accepted by MLSys 2026

PulseCol: Periodically Refreshed Column-Sparse Attention for Accelerating Diffusion Language Models

PulseCol: 周期性刷新的列稀疏注意力用于加速扩散语言模型

Yanyi Lyu, Letian Chen, Futing Sun, Miao Zhang, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出PulseCol，一种周期性刷新的列稀疏注意力方法，通过更细粒度的稀疏化策略提升扩散语言模型的计算效率和加速性能，同时保持模型质量。

END: Early Noise Dropping for Efficient and Effective Context Denoising

END：早期噪声丢弃以实现高效有效的上下文去噪

Hongye Jin, Pei Chen, Jingfeng Yang, Zhengyang Wang, Fangran Mo, Jinghan Zhang, Meng Jiang, Yifan Gao, Binxuan Huang, Xinyang Zhang, Zheng Li, Tianyi Liu, Huasheng Li, Bing Yin

机构 * Amazon（亚马逊） 纠错

专题命中 效率与部署 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出END方法，通过在早期层对输入序列进行分割和线性探针，有效识别并丢弃噪声部分，从而提升LLM在不同任务上的性能和效率，同时加深了对LLM内部上下文推理机制的理解。

torchtune: PyTorch native post-training library

torchtune: 一种基于PyTorch的后训练库

Mark Obozov, Maxime Griot, Joseph Cummings, Evan Smothers, Felipe Mello, Rafi Ayub, Philip John Bontrager, Salman Mohammadi, Ariel Kwiatkowski, Nathan Azrak, Mircea Mironenco

机构 * PyTorch ； Meta ； Stanford（斯坦福） ； Meta-FAIR 纠错

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文介绍了torchtune，一种基于PyTorch的后训练库，旨在简化大语言模型的后训练生命周期，提供高效的微调、实验和部署流程，通过模块化和可扩展性提升性能和灵活性。

Comments 14 pages

Flow Map Language Models: One-step Language Modeling via Continuous Denoising

流映射语言模型：通过连续去噪实现一步语言建模

Chanhyuk Lee, Jaehoon Yoo, Manan Agarwal, Sheel Shah, Jerry Huang, Aditi Raghunathan, Seunghoon Hong, Nicholas M. Boffi, Jinwoo Kim

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于连续流的流映射语言模型，通过在one-hot token嵌入上构建连续流，实现了在质量和速度上优于离散扩散模型的性能，展示了连续流在离散模态生成建模中的潜力。

Comments 58 pages, 40 figures

FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

FEAT: 一个线性复杂度的超大规模结构化数据基础模型

Zhenghang Song, Tang Qian, Lu Chen, Yushuai Li, Zhengke Hu, Bingbing Fang, Yumeng Song, Junbo Zhao, Sheng Zhang, Tianyi Li

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Aalborg University（奥尔堡大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FEAT，一种线性复杂度的基础模型，用于处理超大规模结构化数据，通过多层双轴编码架构和自适应融合双向状态空间模型，实现线性时间内的跨元组上下文化，同时支持排列不变的表示学习。

Agentic Model Checking

代理模型检查

Youcheng Sun, Jiawen Liu, Daniel Kroening, Jason Xue

专题命中 效率与部署 ：LLM(summary_cn,abstract)

AI总结 本文提出了一种代理模型检查方法，结合LLM代理与受限模型检查后端，通过代理提出任务并由求解器验证，以解决LLM生成系统代码的验证难题，包括规范缺失和安全合同隐式编码的问题。

The Quiet Path from Seemingly Minor Design Errors to Workplace AI Incidents

从看似微小的设计错误到工作场所AI事件的沉默路径

Julia De Miguel Velázquez, Sanja Šćepanović, Andrés Gvirtz, Daniele Quercia

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究探讨了工作场所中人工智能系统设计与员工需求之间的不匹配问题，发现83%的工作场所AI事件源于员工与AI系统之间的不匹配，主要表现为员工期望系统精准、有洞察力或个性化，但实际获得的是基础、简单或通用的系统，且开发者过度关注效率和速度导致了大量问题。

Comments Accepted in April 2026 to be published in the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26), June 25-28, 2026, Montreal, QC, Canada

Multi-agent Collaboration with State Management

具有状态管理的多智能体协作

Mengyang Liu, Taozhi Chen, Zhenhua Xu, Xue Jiang, Yihong Dong

机构 * Shanghai Jiaotong University（上海交通大学） ； Cortices AI ； Emory University（埃默里大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出STORM，一种面向多智能体协作的状态管理方法，通过在共享工作区中调解智能体的交互，确保每个智能体在一致的代码库视图上操作，并在写入时检测和解决冲突。STORM在多个LLM上优于基于git-worktree的多智能体基线，且在成本效率上具有竞争力，表明显式状态管理比工作区隔离更有效。

Improving Quantized Model Performance in Qualitative Analysis with Multi-Pass Prompt Verification

通过多轮提示验证提升量化模型在定性分析中的性能

Aisvarya Adeseye, Jouni Isoaho, Adeyemi Adeseye

机构 * University of Turku, Turku, Finland（图尔库大学，芬兰图尔库） ； Brilloconnetz Partners avoin yhtiö, Turku, Finland（Brilloconnetz Partners 有限公司，芬兰图尔库） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了不同位数量化级别和类型对LLaMA-3.1(8B)在定性分析中的性能影响，提出了一种量化感知的多轮提示验证方法以提高模型的稳定性和准确性，结果显示8位模型最接近黄金标准，4位模型在应用方法后变得稳定，3位和2位模型在提示设计和验证后性能有所提升。

Comments Accepted to publish in 12th Intelligent Systems Conference 2026; 3-4 September 2026 in Amsterdam, The Netherlands

Runtime-Certified Bounded-Error Quantized Attention

具有运行时认证的误差受限量化注意

Dean Calver

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种分层的KV缓存架构，通过在GPU内存中存储INT8键和INT4值，同时在系统RAM中保留FP16原始数据，实现了运行时认证的注意机制，通过误差分解得到每头每步的误差界，以驱动自适应精度选择和多阶段回退流程，确保在需要时能恢复到精确的密集注意输出。

Comments 32 pages, 1 figure

Measuring and mitigating overreliance to build human-compatible AI

测量和缓解过度依赖以构建人类兼容的AI

Lujain Ibrahim, Katherine M. Collins, Sunnie S. Y. Kim, Anka Reuel, Max Lamparth, Kevin Feng, Lama Ahmad, Prajna Soni, Alia El Kattan, Merlin Stein, Siddharth Swaroop, Vishakh Padmakumar, Ilia Sucholutsky, Andrew Strait, Diyi Yang, Q. Vera Liao, Umang Bhatt

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了大型语言模型过度依赖的风险，探讨了测量和缓解过度依赖的方法，以确保AI能增强而非削弱人类能力。

A Human-in-the-Loop Framework for Efficient Prompt Selection in Microscopy Vision-Language Models

一种用于显微镜视觉-语言模型中高效提示选择的人机协作框架

Abhiram Kandiyana, Ankur Mali, Lawrence O. Hall, Peter R. Mouton, Dmitry Goldgof

机构 * University of South Florida（佛罗里达州立大学） ； SRC Biosciences（SRC生物科学公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)

AI总结 本文提出了一种人机协作框架，通过目标驱动的主动学习方法解决显微镜视觉-语言模型中提示集构建的问题，减少专家验证图像的数量，提高分类性能。

Comments Accepted to CVPR workshops, 2026

How Open Must Language Models be to Enable Reliable Scientific Inference?

语言模型必须多开放才能实现可靠的科学推断？

James A. Michaelov, Catherine Arnett, Tyler A. Chang, Pamela D. Rivière, Samuel M. Taylor, Cameron R. Jones, Sean Trott, Roger P. Levy, Benjamin K. Bergen, Micah Altman

机构 * Massachusetts Institute of Technology（麻省理工学院） ； EleutherAI ； University of California San Diego（加州大学圣地亚哥分校） ； Rutgers University-Newark（新泽西州立大学罗威特分校） ； Stony Brook University（史泰森布魯克大學） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.CL、cs.AI

AI总结 本文探讨了语言模型的开放程度如何影响基于其研究的科学推断可靠性，指出封闭模型通常不适合科学用途，并提出系统识别和缓解推断威胁的方法。

GraphRAG on Consumer Hardware: Benchmarking Local LLMs for Healthcare EHR Schema Retrieval

在消费级硬件上实现GraphRAG：对本地LLMs在医疗EHR模式检索中的基准测试

Peter Fernandes, Ria Kanjilal

机构 * Department of Computer Engineering（计算机工程系） ； California Polytechnic State University（加州州立大学波特兰分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了在消费级硬件上使用本地LLMs进行医疗EHR模式检索的GraphRAG方法，评估了四种不同模型在索引效率、知识图构建、查询延迟、回答质量和幻觉方面的表现，发现模型参数大小和检索模式对结果有显著影响。

Comments 9 pages, 1 figure, 5 tables

ROSE: Rollout On Serving GPUs via Cooperative Elasticity for Agentic RL

ROSE: 通过协作弹性在服务GPU上进行 rollout

Wei Gao, Yuheng Zhao, Dilxat Muhtar, Dakai An, Xuchun Shang, Tianyuan Wu, Lunxi Cao, Shaopan Xiong, Weixun Wang, Ju Huang, Teng Ma, Siran Yang, Jiamang Wang, Lin Qu, Bo Zheng, Wei Wang

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 针对代理强化学习中计算密集型多轮rollout资源需求波动的问题，ROSE通过协作弹性机制共享已部署的服务GPU，提高端到端吞吐量并减少rollout时间，同时保障服务SLA。

Comments 18 pages, 15 figures

Sustainability Is Not Linear: Quantifying Performance, Energy, and Privacy Trade-offs in On-Device Intelligence

可持续性并非线性：在设备智能中量化性能、能耗和隐私的权衡

Eziyo Ehsani, Luca Giamattei, Ivano Malavolta, Roberto Pietrantuono

机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了将大语言模型从云集群迁移到边缘设备过程中性能、能耗和隐私之间的权衡，通过实验证明模型架构对电池寿命的影响大于量化方案，并发现中等大小模型在响应质量和可持续能耗之间达到最佳平衡。

Comments Under review at Empirical Software Engineering (EMSE)

Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning

分布对齐作为设计任务向量在上下文学习中的准则

Jihoon Kwon, Jiwon Choi, Jy-yong Sohn

机构 * Seoul National University（首尔国立大学） ； Yonsei University（延世大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过分布对齐来设计任务向量，引入了NTP距离作为衡量指标，并开发了线性任务向量方法以提升性能和效率。

Comments 9 pages, preprint

Trusted Weights, Treacherous Optimizations? Optimization-Triggered Backdoor Attacks on LLMs

可信的权重，危险的优化？针对大语言模型的优化触发后门攻击

Yifei Wang, Tianlin Li, Xiaohan Zhang, Yida Yang, Xiaoyu Zhang, Li Pan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Beihang University（北京航空航天大学） ； Tongji University（同济大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种利用编译优化过程植入隐蔽后门的攻击方法，通过两种互补策略在无需修改编译器或硬件的情况下，实现对大语言模型的后门攻击，并展示了其在多个开源大语言模型上的高成功率。

Comments 20 pages, 3 figures

It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs

需要两人：互补的自我蒸馏用于大语言模型中的上下文完整性

Sangwoo Park, Woongyeong Yeo, Seanie Lee, Yumin Choi, Hyomin Lee, Kangsan Kim, Jinheon Baek, Seong Joon Oh, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SELFCI框架，通过分离信息抑制与任务解决，解决大语言模型中隐私与效用的权衡问题，通过互补的自我蒸馏方法提升上下文完整性。

Comments 28 pages, 16 figures

TCARD: Nearly Balanced Two-Level Designs with Treatment Cardinality Constraints with an Application to LLM Prompt Engineering

TCARD: 近似平衡的双水平设计与处理基数约束及其在大语言模型提示工程中的应用

Kexin Xie, Ryan Lekivetz, Xinwei Deng

专题命中 效率与部署 ：LLM(title)

AI总结 本文研究了在处理基数约束下近似平衡的双水平设计，提出了一种新的无模型目标函数，用于优化设计的平衡性和均匀性，并通过数值实验验证了其在不同问题规模和约束强度下的有效性。

Reviving Error Correction in Modern Deep Time-Series Forecasting

在现代深度时间序列预测中复兴误差校正

Minh Hoang Nguyen, Dai Do, Huu Hiep Nguyen, Dung Nguyen, Kien Do, Hung Le

机构 * Deakin Applied AI Initiative, Deakin University, Australia（德克萨斯应用人工智能倡议，德克萨斯大学，澳大利亚） 纠错

专题命中 效率与部署 ：SLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究了深度时间序列预测中的误差累积问题，提出了一种通用误差校正器，通过分解趋势和季节性成分来提升预测的准确性和鲁棒性。

Comments 27 pages

Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

从零开始构建人工智能技能和任务的定制分类体系

Stephen Meisenbacher, Peter Norlander

机构 * Technical University of Munich（慕尼黑技术大学） ； Loyola University Chicago（芝加哥洛约拉大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文通过分析招聘广告数据，探讨了如何构建更清晰的人工智能技能和任务分类体系，提出TaxonomyBuilder作为系统研究的蓝图，展示了过滤输入数据能提供更具体的领域覆盖。

Comments 14 pages, 2 figures, 8 tables. Accepted to CustomNLP4U 2026

TRAM: Test-Time Risk Adaptation with Mixture of Agents

TRAM: 测试时风险适应与代理混合

Mohamad Fares El Hajj Chehade, Amrit Singh Bedi, Amy Zhang, Hao Zhu

机构 * UT Austin（得克萨斯大学） ； University of Central Florida（中央佛罗里达大学） ； MIT（麻省理工学院） ； UMD（大学公园分校） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究了在部署时无需更新的零更新适应问题，提出TRAM方法通过混合代理评估源策略的风险调整分数，以降低部署风险并保持奖励。

Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs

Mix-Quant: 量化预填，精准解码用于代理大语言模型

Haiquan Lu, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出Mix-Quant，一种简单有效的阶段感知量化框架，用于加速代理大语言模型的推理。通过在预填阶段应用高吞吐量NVFP4量化，同时保留BF16精度用于解码，从而在保持任务性能的同时显著提高效率，实现预填阶段高达3倍的速度提升。

Block-Sparse Global Attention for Efficient Multi-View Geometry Transformers

块稀疏全局注意力：用于高效多视图几何变换器

Chung-Shien Brian Wang, Christian Schmidt, Jens Piekenbrinck, Bastian Leibe

机构 * Computer Vision Group（计算机视觉组） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出了一种块稀疏替代密集全局注意力的方法，通过优化内核实现高效多视图重建，显著提升处理大规模图像集的可扩展性。

Comments Project page at https://vision.rwth-aachen.de/sparse-vggt

AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals

AVSD：通过平衡共识和教师特定的特权信号实现自适应视图自蒸馏

Duy Nguyen, Hanqi Xiao, Archiki Prasad, Zaid Khan, Anirban Das, Austin Zhang, Sambit Sahu, Hyunji Lee, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One（Capital One公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出AVSD，一种通过平衡共识和教师特定的特权信号来实现自适应视图自蒸馏的方法，以解决自蒸馏中教师和学生信息不对称和特权信息选择的问题。

Comments Code: https://github.com/duykhuongnguyen/AVSD

TrimCaching: Parameter-sharing Edge Caching for AI Model Downloading

TrimCaching: 面向AI模型下载的边缘参数共享缓存

Guanqiao Qu, Zheng Lin, Qian Chen, Jian Li, Fangming Liu, Xianhao Chen, Kaibin Huang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出TrimCaching框架，通过共享AI模型中的参数块提高存储效率，解决多边缘无线网络中的缓存命中率优化问题，证明其在一般情况下的贪心算法具有近似保证。

Comments 19 pages, 13 figures. Part of this work has been accepted by ICDCS 2024

SegRAG: Training-Free Retrieval-Augmented Semantic Segmentation

SegRAG: 无需训练的检索增强语义分割

Abderrahmene Boudiaf, Irfan Hussain, Sajid Javed

机构 * Khalifa University（卡利法大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；prompting(abstract)

AI总结 本文提出SegRAG，一种无需训练的检索增强语义分割框架，通过结合类特定点提示和文本信息，提升分割性能，在多个基准测试中取得显著提升。

Towards Resilient and Autonomous Networks: A BlueSky Vision on AI-Native 6G

迈向稳健和自主的网络：AI原生6G的BlueSky愿景

Liang Wu, Kelly Wan, Mayank Darbari, Liangjie Hong

机构 * Nokia（诺基亚） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种AI原生6G的BlueSky愿景，旨在将人工智能原生整合到6G中，从'为AI的网络'转向'为网络的AI'，通过基础模型和协作多智能体系统，将网络管理转化为统一的多模态多任务优化问题，推动6G向智能自维持通信基础设施发展。

Comments Accepted at KDD 2026