语言大模型 / LLM

RATrain: A Resource-Aware Training Runtime for Large Language Models on Bandwidth-Constrained Heterogeneous Supercomputing Platforms

RATrain：面向带宽受限异构超级计算平台的大语言模型资源感知训练运行时

Yao Lu, Shiqing Ma, Zhongzhi Luan, Gen Li, Jiaxing Qi, Bin Han, Hailong Yang, Depei Qian

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对显存层级化、DDR容量有限且集群间通信受限的MT-3000平台，提出资源感知训练运行时RATrain，通过训练状态生命周期调度和资源感知规划器，实现高达1.35倍加速和97.0%的扩展效率。

Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics

通过流形轨迹动力学防御大语言模型的越狱攻击

Hangtao Zhang, Yucheng Zhao, Sishun Liu, Ziqi Zhou, Zeyu Ye, Wei Wan, Minghui Li, Shengshan Hu, Yanjun Zhang, Yi Liu, Leo Yu Zhang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出流形轨迹动力学（MTK）方法，通过分析提示词在模型层间的邻域结构演化来检测越狱攻击，在伪恶意提示和自适应攻击下均表现鲁棒。

Comments Accepted to USENIX Security '26 Cycle 2. Code is available at https://github.com/Rookie143/mtk

Learning to Route LLMs from Implicit Cost-Performance Preferences via Meta-Learning

通过元学习从隐式成本-性能偏好中学习路由LLM

Jiahao Zeng, Ming Tang, Ningning Ding

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MetaRouter框架，利用元学习从少量交互中学习用户隐式成本-性能偏好，实现个性化LLM路由，在分布内外任务上优于基线方法。

CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery

CauTion：知道何时信任LLM进行集成因果发现

Bo Peng, Kaiwen Wu, Sirui Chen, Zhiheng Wang, Yu Qiao, Chaochao Lu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Nanjing University（南京大学） ； Tongji University（同济大学） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CauTion框架，通过共识过滤和LLM可靠性估计，将LLM领域知识可靠地集成到多个统计因果发现算法中，解决纯统计方法的局限和LLM错误问题。

DistFlow: A Fully Distributed RL Framework for Scalable and Efficient LLM Post-Training

DistFlow: 一种用于可扩展高效LLM后训练的全分布式强化学习框架

Zhixin Wang, Jiaming Xu, Tianyi Zhou, Mingjun Zhang, Liming Liu, Jiarui Hu, Dian Yang, Tongyu Wang, Ping Zhang, Jinlong Hou, Siyuan Feng, Yuan Qi, Yuan Cheng

专题命中 效率与部署 ：LLM(title,title_cn)；post-training(title)；large language model(abstract)；language model(abstract)

AI总结 提出DistFlow框架，通过解耦数据传输与控制调度、采用多控制器范式和基于DAG的任务调度器，实现近线性可扩展性并提升吞吐量达2.63倍。

Conceptual Schema Inference for Tabular Datasets using Large Language Models

使用大语言模型对表格数据集进行概念模式推断

Zhenyu Wu, Jiaoyan Chen, Norman W. Paton

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对异构表格数据源，提出两种基于大语言模型的方法（GeSI和EmSI），分别利用生成式和嵌入技术从列标题和单元格值中自动推断概念模式，包括实体类型、属性和类型间关系。

Comments Withdrawn by the authors because this submission was created as a separate arXiv record in error. It is an extended/revised version of arXiv:2509.04632 and should have been submitted as a replacement to that existing record. Readers should refer to arXiv:2509.04632 for the maintained version

SemanticZip: A Pilot Framework for Lossy Text Compression with LLMs as Semantic Decompressors

SemanticZip: 以LLM作为语义解压器的有损文本压缩的试点框架

Natalia Trukhina, Vadim Vashkelis

机构 * Embedded Intelligence Lab (EMILAB)（嵌入式智能实验室） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SemanticZip框架，通过LLM将文本压缩为紧凑代码并解压为任务相关语义，在结构化散文、JSON等六种表示上评估，发现结构化散文恢复率最高（WAR=0.956，19.1%令牌增益），而CCL-Min平衡性最佳（39.4%令牌增益，WAR=0.874）。

Comments 13 pages, 1 figure, 2 tables. Pilot framework paper; code and supplementary artifacts available in ancillary files

OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models

OmniSelect: 动态模态感知的令牌压缩用于高效多模态大语言模型

Morunliu Yang, Ruotao Xu, Le Li, Yue Wang, Jianxin Zhang, Juntao Li, Yihang Lou, Siwei Feng, Peifeng Li

机构 * Soochow University（苏州大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出OmniSelect，一种无需训练的模态自适应令牌剪枝框架，通过动态选择压缩策略来提高多模态大语言模型的效率，通过轻量级AudioCLIP模型估计跨模态相关性，并根据相关性得分在不同时间组中进行细粒度令牌剪枝，从而在不增加训练成本的情况下实现高效的多模态令牌压缩。

Query-Conditioned Test-Time Self-Training for Large Language Models

基于查询的测试时自我训练用于大语言模型

Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim

机构 * School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院） ； Graduate School of Green Growth and Sustainability, KAIST（韩国科学技术院可持续增长与绿色发展研究生院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出QueST框架，通过直接从输入查询生成查询条件对，实现测试时参数自适应，无需外部数据，在多个基准测试中优于现有方法。

Comments 17 pages, 7 figures

Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference

冰淇淋不导致溺水：对LLM在因果推断统计陷阱中的基准测试

Jin Du, Li Chen, Xun Xian, An Luo, Fangqiao Tian, Ganghua Wang, Charles Doss, Xiaotong Shen, Jie Ding

机构 * School of Statistics, University of Minnesota（明尼苏达大学统计学系） ； Data Science Institute, University of Chicago（芝加哥大学数据科学研究所） 纠错

专题命中 效率与部署 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出CausalPitfalls基准测试，评估LLM在因果推断中的能力，揭示当前LLM在统计因果推断中的局限性。

ServeGen: Workload Characterization and Generation of Large Language Model Serving in Production

ServeGen：生产环境中大型语言模型服务的工作负载特征与生成

Yuxing Xiang, Xue Li, Kun Qian, Wenyuan Yu, Ennan Zhai, Xin Jin

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文通过深入分析真实世界中的大型语言模型服务工作负载，提出ServeGen框架，通过按客户端组合生成真实工作负载，有效避免了50%的欠配问题，提升了性能基准测试效果。

Comments 15 pages, NSDI'26

Detector-Empowered Video Large Language Model for Efficient Spatio-Temporal Grounding

基于检测器的视频大语言模型用于高效的时空定位

Shida Gao, Feng Xue, Xiangfeng Wang, Anlong Ming, Zhaowen Lin, Haiyang Zhang, Teng Long, Nicu Sebe, Yihua Shao, Haozhe Wang, Wei Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Trento（特伦特大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hong Kong University of Science and Technology（香港科技大学） ； ZTE Corporation（中兴通讯） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出DEViL模型，通过将密集空间定位任务转移给训练良好的检测器，提升视频时空定位的效率与性能，实现43.1%的m_vIoU和14.33 FPS的高效表现。

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

从局部到全局：重新审视大型语言模型的结构剪枝范式

Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； DreamSoul ； University of Minnesota（明尼苏达大学） ； Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出GISP，一种基于全局重要性度量的迭代结构剪枝方法，通过去除注意力头和MLP通道提升模型效率和下游任务性能。

Comments 20 pages, 6 figures. Accepted by ACL2026 Main Conference

Lightweight Retrieval-Augmented Generation and Large Language Model-Based Modeling for Scalable Patient-Trial Matching

轻量级检索增强生成与基于大语言模型的建模用于可扩展的患者试验匹配

Xiaodi Li, Yang Xiao, Munhwan Lee, Konstantinos Leventakos, Young J. Juhn, David Jones, Terence T. Sio, Wei Liu, Maria Vassilaki, Nansu Zong

机构 * Department of Artificial Intelligence and Informatics, Mayo Clinic（人工智能与信息学系，梅奥诊所） ； Computer Science Department, University of Tulsa（图兰大学计算机科学系） ； Mayo Clinic Comprehensive Cancer Center, Mayo Clinic（梅奥诊所综合癌症中心，梅奥诊所） ； Division of Community Pediatric and Adolescent Medicine, Department of Pediatrics, Mayo Clinic（社区儿科与青少年医学分会，儿科部，梅奥诊所） ； Department of Neurology, Mayo Clinic（神经病学部，梅奥诊所） ； Department of Radiation Oncology, Mayo Clinic（放射肿瘤学部，梅奥诊所） ； Department of Quantitative Health Sciences, Mayo Clinic（定量健康科学部，梅奥诊所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出轻量级框架，结合检索增强生成和大语言模型建模，解决患者试验匹配中长异构电子健康记录和复杂资格标准的可扩展性、泛化性和计算效率问题。

Comments 31 pages, 7 figures

Intelligent Drill-Down: Large Language Model-Driven Drill-Down Technique for Human-AI Collaborative Visual Exploration

智能钻取：基于大语言模型的人机协作视觉探索钻取技术

Zhijun Zheng, Tian Qiu, Yuheng Zhao, Siming Chen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出基于大语言模型的智能钻取框架，通过生成视觉洞察、解读用户意图和生成钻取路径，提升多维数据探索效率，减少认知负担。

Comments 11 pages, 6 figures. Accepted to IEEE PacificVis 2026

Enhancing Large Language Models with Retrieval Augmented Generation for Software Testing and Inspection Automation

通过检索增强生成提升大型语言模型用于软件测试和检查自动化

Zoe Fingleton, Nazanin Siavash, Armin Moin

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文通过检索增强生成方法提升大型语言模型在软件测试和检查自动化中的应用，有效减少项目成本并提高验证与确认活动的效果和效率。

Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe

重新思考大型语言模型的在线策略蒸馏：现象、机制和配方

Yaxuan Li, Yuxin Zuo, Bingxiang He, Jinqian Zhang, Chaojun Xiao, Cheng Qian, Tianyu Yu, Huan-ang Gao, Wenkai Yang, Zhiyuan Liu, Ning Ding

机构 * Tsinghua University（清华大学） ； ShanghaiTech University（上海交通大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Renmin University of China（中国人民大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文系统研究了在线策略蒸馏的动态和机制，发现成功关键在于师生思维模式兼容及教师提供新能力，提出两种恢复失败蒸馏的策略，并指出密集奖励的表面优势背后存在代价。

Comments 30 pages, 23 figures. Code: https://github.com/thunlp/OPD

Relaxing Anchor-Frame Dominance for Mitigating Hallucinations in Video Large Language Models

缓解视频大语言模型幻觉的锚架主导问题

Zijian Liu, Sihan Cao, Pengcheng Zheng, Kuien Liu, Caiyan Qin, Xiaolin Qin, Jiwei Wei, Chaoning Zhang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Chengdu Institute of Computer Applications, Chinese Academy of Sciences, University of the Chinese Academy of Sciences（中国科学院成都计算机应用研究所，中国科学院大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出DTR方法，通过解码器侧时间再平衡缓解视频大语言模型在生成时的时间证据分配不均问题，提升幻觉鲁棒性并保持视频理解性能。

oxo-call: Documentation-grounded Skill Augmentation for Accurate Bioinformatics Command-line Generation with Large Language Models

oxo-call：基于文档的技能增强用于准确的生物信息学命令行生成与大型语言模型

Yun Peng, Yujun Sun, Jia Ding, Bin Yan, Zhangyu Wang, Chunyang Wang, Chenyang Shu, Jian-Guo Zhou, Shixiang Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 oxo-call通过文档优先 grounding 和精选技能增强策略，提升生物信息学命令行生成的准确性，提供150+内置技能和可扩展的流程引擎。

Comments 19 pages, 4 figures

Toward Adaptive Large Language Models Structured Pruning via Hybrid-grained Weight Importance Assessment

面向基于混合粒度权重重要性评估的自适应大语言模型结构剪枝

Jun Liu, Zhenglun Kong, Pu Zhao, Changdi Yang, Hao Tang, Xuan Shen, Geng Yuan, Wei Niu, Wenbin Zhang, Xue Lin, Dong Huang, Yanzhi Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出HyWIA方法，通过混合粒度权重重要性评估提升大语言模型剪枝效果，实现更优的性能保留和结构优化。

Comments AAAI 2025

Point Cloud as a Foreign Language for Multi-modal Large Language Model

点云作为多模态大语言模型的外语

Sneha Paul, Zachary Patterson, Nizar Bouguila

机构 * Concordia University（康科迪亚大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；preference optimization(abstract)

AI总结 SAGE是首个端到端3D多模态大语言模型，通过轻量级3D分词器直接处理点云，提升3D任务的推理能力与鲁棒性。

Comments Accepted in The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026

COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics

COLD-Steer: 通过上下文一步学习动态引导大型语言模型

Kartik Sharma, Rakshit S. Trivedi

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 COLD-Steer通过近似学习动态实现无需训练的LLM引导，有效提升引导效果并减少样本需求。

Comments ICLR 2026. Code available at https://github.com/Ksartik/cold-steer

Mitigating Over-Refusal in Aligned Large Language Models via Inference-Time Activation Energy

通过推理时间激活能量缓解对齐大语言模型中的过度拒绝

Eric Hanchen Jiang, Weixuan Ou, Run Liu, Shengyuan Pang, Guancheng Wan, Ranjie Duan, Wei Dong, Kai-Wei Chang, XiaoFeng Wang, Ying Nian Wu, Xinfeng Li

机构 * UCLA（加州大学洛杉矶分校） ； Alibaba Cloud Computing（阿里云计算） ； SJTU（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； NTU（国立科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过能量景观引导框架，提升大语言模型的安全性并减少虚假拒绝，实验显示在ORB-H基准上合规性显著提高。

FinBloom: Knowledge Grounding Large Language Model with Real-time Financial Data

FinBloom：基于实时金融数据的知识引导大型语言模型

Ankur Sinha, Chaitanya Agarwal, Pekka Malo

机构 * Indian Institute of Management Ahmedabad（印度管理学院阿赫迈德亚德分校） ； Aalto University School of Business（阿尔托大学商学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 FinBloom通过实时金融数据增强LLMs能力，实现高效金融任务处理。

Comments 39 pages, 10 tables

Knowledge Fusion of Large Language Models Via Modular SkillPacks

通过模块化技能包实现大语言模型的知识融合

Guodong Du, Zhuo Li, Xuanning Zhou, Junlin Li, Zesheng Shi, Wanyu Lin, Ho-Kin Tang, Xiucheng Li, Fangming Liu, Wenya Wang, Min Zhang, Jing Li

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GraftLLM通过模块化技能包实现大语言模型的知识融合，提升跨能力迁移的效率和效果。

Comments Accepted at ICLR 2026

Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing

通过针对性表征编辑实现大语言模型中的精确属性强度控制

Rongzhi Zhang, Liqin Ye, Yuzhao Heng, Xiang Chen, Tong Yu, Lingkai Kong, Sudheer Chava, Chao Zhang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Adobe Research（Adobe研究） ； Harvard University（哈佛大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过针对性表征编辑方法，实现大语言模型中精确属性强度控制，提升模型对用户需求的适应能力。

Dist2ill: Distributional Distillation for One-Pass Uncertainty Estimation in Large Language Models

Dist2ill: 基于分布的蒸馏用于大语言模型中单次传递的不确定性估计

Yicong Zhao, King Yeung Tsang, Harshil Vejendla, Haizhou Shi, Zhuohang Li, Zhigang Hua, Qi Xu, Tunyu Zhang, Yi Wang, Ligong Han, Bradley A. Malin, Hao Wang

机构 * Rutgers University（罗格斯大学） ； Vanderbilt University（范德比尔特大学） ； Meta 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Dist2ill通过在单次推断中生成多个多样化的推理路径，利用轻量级模块近似置信度分数，实现大语言模型中更准确的不确定性估计。

Comments Preprint; work in progress. Update Log: 05/2025 (v1&v2): Introduced Dist2ill (previously named EUD) for efficient uncertainty estimation, focusing on discriminative reasoning tasks. 02/2026 (v3): Extended Dist2ill to a unified framework supporting both discriminative and generative reasoning

CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems

CALM：一种面向服务质量的自适应协调方法，用于基于小型语言模型的系统中路由

Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；SLM(abstract)

AI总结 CALM通过自适应协调机制优化小型语言模型路由，降低延迟和能耗，提升服务质量

Comments Accepted as full paper at SEAMS 2026

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

DP-Fusion: 令牌级差分隐私推理用于大语言模型

Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎德·本·泽亚德人工智能大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DP-Fusion通过令牌级差分隐私机制，在保证隐私的同时提升大语言模型的文本质量。

Comments Code: https://github.com/rushil-thareja/dp-fusion-lib | PyPI: https://pypi.org/project/dp-fusion-lib/ | Demo: https://www.documentprivacy.com

SVIP: Towards Verifiable Inference of Open-source Large Language Models

SVIP：面向开源大语言模型的可验证推理

Yifan Sun, Yuhang Li, Yue Zhang, Yuchen Jin, Huan Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hyperbolic Labs（双曲实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SVIP是一种基于秘密的可验证LLM推理协议，通过计算高效的方法确保计算提供者诚实，实现低误报率和高效验证。

Comments 21 pages