语言大模型 / LLM

Beluga: A CXL-Based Memory Architecture for Scalable and Efficient LLM KVCache Management

Beluga：基于CXL的内存架构用于可扩展和高效的LLM KVCache管理

Xinjun Yang, Qingda Hu, Junru Li, Feifei Li, Yicong Zhu, Yuqi Zhou, Qiuru Lin, Jian Dai, Yang Kong, Jiayu Zhang, Guoqiang Xu, Qiang Liu

机构 * Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

AI总结 Beluga通过CXL交换机实现GPU与CPU共享大规模内存池，显著提升LLM推断中的KVCache管理效率。

Comments 13 pages, accepted by SIGMOD'26

ThetaEvolve: Test-time Learning on Open Problems

ThetaEvolve：开放问题的测试时间学习

Yiping Wang, Shao-Rong Su, Zhiyuan Zeng, Eva Xu, Liliang Ren, Xinyu Yang, Zeyi Huang, Xuehai He, Luyao Ma, Baolin Peng, Hao Cheng, Pengcheng He, Weizhu Chen, Shuohang Wang, Simon Shaolei Du, Yelong Shen

机构 * Microsoft（微软公司） ； University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 ThetaEvolve通过测试时间强化学习提升开放问题求解能力，实现开源模型在数学优化问题上的新突破。

Comments 30 pages, link: https://github.com/ypwang61/ThetaEvolve

LFM2 Technical Report

LFM2 技术报告

Alexander Amini, Anna Banaszak, Harold Benoit, Arthur Böök, Tarek Dakhran, Song Duong, Alfred Eng, Fernando Fernandes, Marc Härkönen, Anne Harrington, Ramin Hasani, Saniya Karwa, Yuri Khrustalev, Maxime Labonne, Mathias Lechner, Valentine Lechner, Simon Lee, Zetian Li, Noel Loo, Jacob Marks, Edoardo Mosca, Samuel J. Paech, Paul Pak, Rom N. Parnichkun, Alex Quach, Ryan Rogers, Daniela Rus, Nayan Saxena, Bettina Schlager, Tim Seyde, Jimmy T. H. Smith, Aditya Tadimeti, Neehal Tumma

机构 * Liquid AI 纠错

专题命中 效率与部署 ：foundation model(abstract)；post-training(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 LFM2 是一种高效部署且具备强大任务能力的液体基础模型家族，通过紧凑的混合主干和优化训练流程，在多种基准测试中表现出色，支持多模态和检索变体。

VeriDispatcher: Multi-Model Dispatching through Pre-Inference Difficulty Prediction for RTL Generation Optimization

VeriDispatcher: 通过预推理难度预测实现多模型调度以优化RTL生成

Zeng Wang, Weihua Xiao, Minghao Shao, Raghu Vamshi Hemadri, Ozgur Sinanoglu, Muhammad Shafique, Ramesh Karri

机构 * NYU Tandon School of Engineering（纽约大学Tandon工程学院） ； NYU Abu Dhabi（纽约大学阿布扎赫尔分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 VeriDispatcher通过预推理难度预测调度多个LLM，提高RTL生成的准确性和降低成本。

How Can We Effectively Expand the Vocabulary of LLMs with 0.01GB of Target Language Text?

如何用0.01GB的目标语言文本有效扩展LLM的词汇？

Atsuki Yamaguchi, Aline Villavicencio, Nikolaos Aletras

机构 * University of Sheffield, United Kingdom（英国谢菲尔德大学） ； University of Exeter, United Kingdom（英国埃克塞特大学） ； The Alan Turing Institute, United Kingdom（英国艾伦·图灵研究所） ； Federal University of Rio Grande do Norte, Brazil（巴西里奥格兰德杜纳伊联邦大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种在低资源条件下通过少量目标语言文本扩展LLM词汇的方法，以提升推理速度并保持下游任务性能。

Comments Accepted to Computational Linguistics

Cacheback: Speculative Decoding With Nothing But Cache

Cacheback: 基于缓存的推测解码

Zhiyao Ma, In Gim, Lin Zhong

机构 * Yale University（耶鲁大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Cacheback是一种基于缓存的推测解码方法，通过利用语言局部性加速LLM推理，具有简洁设计和高效性能。

Journal ref In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pp. 31067-31072. 2025

OBSeg: Accurate and Fast Instance Segmentation Framework Using Segmentation Foundation Models with Oriented Bounding Box Prompts

OBSeg: 基于定向边界框提示的准确且快速的实例分割框架

Zhen Zhou, Junfeng Fan, Yunkai Ma, Sihan Zhao, Fengshui Jing, Min Tan

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 OBSeg通过引入定向边界框提示，提升了实例分割的准确性和速度，同时优化了轻量级基础模型的性能。

Journal ref Machine Intelligence Research 2025

Evolutionary Discovery of Heuristic Policies for Traffic Signal Control

进化发现交通信号控制的启发式策略

Ruibing Wang, Shuhan Guo, Zeen Li, Zhen Wang, Quanming Yao

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学，西安） ； Tsinghua University, Beijing, China（清华大学，北京） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于大语言模型的交通信号控制策略进化方法，通过结构化状态抽象和信用分配反馈模块，生成针对特定交通环境的高效启发式策略。

Efficient Reasoning via Thought-Training and Thought-Free Inference

通过思维训练和无思维推理实现高效推理

Canhui Wu, Qiong Cao, Chao Xue, Wei Xi, Xiaodong He

机构 * Xi’an Jiaotong University（西安交通大学） ； JD Future Academy（京东未来学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 3TF通过训练混合模型实现高效推理，使模型能在无显式推理生成的情况下进行高质量推理。

Comments 11 pages, 4 figures

Visual Generation Tuning

视觉生成微调

Jiahao Guo, Sinan Du, Jingfeng Yao, Wenyu Liu, Bo Li, Haoxiang Cao, Kun Gai, Chun Yuan, Kai Wu, Xinggang Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； School of Artificial Intelligence, South China Normal University（华南师范大学人工智能学院） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） 纠错

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 本文提出VGT，通过视觉生成微调提升视觉语言模型的视觉生成能力，在图像重建和生成任务中均取得优异成果。

HarmoCLIP: Harmonizing Global and Regional Representations in Contrastive Vision-Language Models

HarmoCLIP：在对比视觉语言模型中协调全局和区域表示

Haoxi Zeng, Haoxuan Li, Yi Bin, Pengpeng Zeng, Xing Xu, Yang Yang, Heng Tao Shen

机构 * Tongji University（同济大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 效率与部署 ：language model(title)；分类 cs.AI

AI总结 HarmoCLIP通过引入细粒度语义监督和区域-语言对齐策略，协调CLIP中全局与区域表示，提升检索和边界框分类性能，实现平衡高效的全局-局部权衡解决方案。

Comments 13 pages, 7 figures, 6 tables

MCTS-SQL: Light-Weight LLMs can Master the Text-to-SQL through Monte Carlo Tree Search

MCTS-SQL: 轻量级大语言模型可通过蒙特卡洛树搜索掌握文本到SQL

Shuozhi Yuan, Limin Chen, Miaomiao Yuan, Zhao Jin

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MCTS-SQL通过蒙特卡洛树搜索引导轻量级大语言模型高效生成SQL查询，实验证明其在文本到SQL任务中优于现有方法。

Comments Accepted by AAAI 2026

CURENet: Combining Unified Representations for Efficient Chronic Disease Prediction

CURENet：结合统一表示以实现高效的慢性疾病预测

Cong-Tinh Dao, Nguyen Minh Thao Phan, Jun-En Ding, Chenwei Wu, David Restrepo, Dongsheng Luo, Fanyi Zhao, Chun-Chieh Liao, Wen-Chih Peng, Chi-Te Wang, Pei-Fu Chen, Ling Chen, Xinglong Ju, Feng Liu, Fang-Ming Hung

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Can Tho University（Cần Thơ 大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； University of Michigan（密歇根大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Florida International University（佛罗里达国际大学） ； Southern Utah University（南方犹他大学） ； Far Eastern Memorial Hospital（东方纪念医院） ； Yuan Ze University（元智大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 CURENet通过整合多模态EHR数据，利用LLMs和Transformer编码器提升慢性疾病预测的准确率，达到94%以上的预测效果。

Enhancing Trustworthiness with Mixed Precision: Benchmarks, Opportunities, and Challenges

通过混合精度提升可信度：基准测试、机遇与挑战

Guanxi Lu, Hao Mark Chen, Zhiqiang Que, Wayne Luk, Hongxiang Fan

机构 * Department of Computing Imperial College London（计算系 帝国理工学院伦敦分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了量化对可信度指标的影响，提出了一种混合精度集合投票方法，提升了可信度指标性能。

Comments ASP-DAC 2026 Special Session

Making Every Head Count: Sparse Attention Without the Speed-Performance Trade-off

每头计数：无需速度-性能权衡的稀疏注意力

Mingkuan Zhao, Wentao Hu, Jiayin Wang, Xin Lai, Tianchen Huang, Yuheng Min, Rui Yan, Xiaoyan Zhu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SPAttention通过引入结构稀疏性范式，优化多头注意力机制，提升计算效率与模型性能。

Chart2Code-MoLA: Efficient Multi-Modal Code Generation via Adaptive Expert Routing

Chart2Code-MoLA: 通过自适应专家路由实现高效的多模态代码生成

Yifei Wang, Jacky Keung, Zhenyu Mao, Jingyu Zhang, Yuchen Cao

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 Chart2Code-MoLA通过自适应专家路由实现高效多模态代码生成，提升生成准确性、降低内存消耗并加速收敛。

The Immutable Tensor Architecture: A Pure Dataflow Approach for Secure, Energy-Efficient AI Inference

不可变张量架构：一种纯数据流方法用于安全、节能的AI推理

Fang Li

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 不可变张量架构通过将模型权重转化为物理电路拓扑，实现安全、节能的AI推理。

Comments Code and data can be found here: https://github.com/fanglioc/ita-fpga-prototype

TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies

TWEO: 无需极端异常值的Transformer 使FP8训练和量化变得容易

Guang Liang, Jie Shao, Ningyuan Tang, Xinyao Liu, Jianxin Wu

机构 * Nationa Key Laboratory for Novel Software Technology（新型软件技术国家实验室） ； School of Artificial Intelligence（人工智能学院） ； Zhongguancun Academy（中关村学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 TWEO通过简单损失函数有效减少训练中的极端异常值，使FP8训练和量化成为可能，显著提升训练效率和模型性能。

PULSE-ICU: A Pretrained Unified Long-Sequence Encoder for Multi-task Prediction in Intensive Care Units

PULSE-ICU：一种预训练的统一长序列编码器用于重症监护室多任务预测

Sejeong Jang, Joo Heung Yoon, Hyo Kyung Lee

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 PULSE-ICU通过预训练统一长序列编码器，实现对ICU多任务预测的高效且鲁棒的处理，提升了数据效率和适应性。

GPS: General Per-Sample Prompter

GPS：通用每样本提示器

Pawel Batorski, Paul Swoboda

专题命中 效率与部署 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 GPS提出了一种通用的每样本提示方法，无需任务特定调优，为每个输入生成定制提示，提升多样任务性能，无需大规模数据和优化循环。

Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs

行为等效标记：用于LLMs长提示的单标记替代

Jiancheng Dong, Pengyue Jia, Jingyu Peng, Maolin Wang, Yuhao Wang, Lixin Su, Xin Sun, Shuaiqiang Wang, Dawei Yin, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL

AI总结 本文提出了一种轻量级框架，通过学习单个行为等效标记替代长提示，实现提示长度减少3000倍并保持98%的下游性能。

Comments 15 pages, 5 figures

VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction

VQRAE：用于多模态理解、生成和重建的表示量化自编码器

Sinan Du, Jiahao Guo, Bo Li, Shuhao Cui, Zhengzhuo Xu, Yifu Luo, Yongxian Wei, Kun Gai, Xinggang Wang, Kai Wu, Chun Yuan

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 VQRAE通过统一的分词器生成连续语义特征和离散标记，提升多模态理解、生成和重建的性能。

Comments 19 pages, 10 figures

SafeHumanoid: VLM-RAG-driven Control of Upper Body Impedance for Humanoid Robot

SafeHumanoid: 通过VLM-RAG驱动的人形机器人上半身阻抗控制

Yara Mahmoud, Jeffrin Sam, Nguyen Khang, Marcelino Fernando, Issatay Tokmurziyev, Miguel Altamirano Cabrera, Muhammad Haris Khan, Artem Lykov, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯克洛尔沃科学与技术研究所） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 SafeHumanoid通过VLM-RAG结合自身视觉，实现人形机器人上半身阻抗控制，提升人机交互的安全性与任务成功率。

Look Where It Matters: Training-Free Ultra-HR Remote Sensing VQA via Adaptive Zoom Search

关注关键区域：通过自适应缩放搜索实现无需训练的超高清遥感视觉问答

Yunqi Zhou, Chengjie Jiang, Chun Yuan, Jing Li

机构 * Central University of Finance and Economics（中央财经大学） ； Tsinghua University（清华大学） ； East China Normal University（华东师范大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 ZoomSearch通过自适应缩放搜索实现无需训练的超高清遥感视觉问答，提升准确性和效率。

Comments 17 pages, 8 figures

PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning

PURE 编码器：残差熵的渐进展开用于语音编码器学习

Jiatong Shi, Haoran Wang, William Chen, Chenda Li, Wangyou Zhang, Jinchuan Tian, Shinji Watanabe

机构 * CMU（卡内基梅隆大学） ； SJTU（上海交通大学） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 PURE编码器通过预训练语音增强模型指导多阶段量化，提升低比特率语音编码的训练稳定性与重建质量，尤其在嘈杂环境下表现优异。

Comments Accepted by ASRU2025

UNION: A Lightweight Target Representation for Efficient Zero-Shot Image-Guided Retrieval with Optional Textual Queries

UNION: 一种轻量级的目标表示用于高效零样本图像引导检索与可选文本查询

Hoang-Bao Le, Allie Tran, Binh T. Nguyen, Liting Zhou, Cathal Gurrin

专题命中 效率与部署 ：language model(abstract)

AI总结 UNION通过融合图像嵌入与空文本提示，实现高效零样本图像引导检索，仅需5,000训练样本即在多个基准测试中超越传统基线。

Comments Accepted at ICDM - MMSR Workshop 2025

Building Domain-Specific Small Language Models via Guided Data Generation

通过引导数据生成构建领域专用小型语言模型

Aman Kumar, Ekant Muljibhai Amin, Xian Yeow Lee, Lasitha Vidyaratne, Ahmed K. Farahat, Dipanjan D. Ghosh, Yuta Koreeda, Chetan Gupta

专题命中 领域大模型 ：language model(title,abstract)；small language model(title)；large language model(abstract)；pretraining(abstract)

AI总结 本文提出一种通过引导数据生成构建领域专用小型语言模型的方法，结合领域适应预训练、监督微调和偏好优化，展示了在工业诊断任务中优于开源模型的性能。

Comments Accepted at Thirty-Eighth Annual Conference on Innovative Applications of Artificial Intelligence (IAAI-26)

Domain adaptation of large language models for geotechnical applications

大语言模型在地质应用中的领域适应

Lei Fan, Fangxue Liu, Cheng Chen

专题命中 领域大模型 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 本文系统回顾了大语言模型在地质应用中的领域适应方法，分析了四种关键策略并评估其优劣，指出领域适应LLMs在提升推理准确性方面的作用，同时揭示数据稀缺和可解释性挑战等限制。

Swarms of Large Language Model Agents for Protein Sequence Design with Experimental Validation

大规模语言模型代理群组用于蛋白质序列设计的实验验证

Fiona Y. Wang, Di Sheng Lee, David L. Kaplan, Markus J. Buehler

机构 * Laboratory for Atomistic and Molecular Mechanics (LAMM), Department of Biological Engineering, Massachusetts Institute of Technology（原子分子力学实验室（LAMM），生物工程系，麻省理工学院） ； Department of Biomedical Engineering, Tufts University（生物医学工程系，塔夫茨大学） ； Laboratory for Atomistic and Molecular Mechanics (LAMM), Department of Civil and Environmental Engineering, Department of Mechanical Engineering, Center for Computational Science and Engineering, Schwarzman College of Computing, Massachusetts Institute of Technology（原子分子力学实验室（LAMM），土木与环境工程系，机械工程系，计算科学与工程中心，计算机科学学院，麻省理工学院） 纠错

专题命中 领域大模型 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于大规模语言模型代理群组的蛋白质序列设计方法，通过去中心化协调实现高效目标导向设计，无需微调或特定训练，且在实验中验证了其有效性。

Simulated patient systems powered by large language model-based AI agents offer potential for transforming medical education

基于大语言模型的AI代理的模拟患者系统有潜力改变医学教育

Huizi Yu, Jiayan Zhou, Lingyao Li, Shan Chen, Jack Gallifant, Anye Shi, Xiang Li, Jingxian He, Wenyue Hua, Mingyu Jin, Guang Chen, Yang Zhou, Zhao Li, Trisha Gupte, Ming-Li Chen, Zahra Azizi, Qi Dou, Bryan P. Yan, Yongfeng Zhang, Yanqiu Xing, Themistocles L. Danielle S. Bitterman, Themistocles L. Assimes, Xin Ma, Lin Lu, Lizhou Fan

专题命中 领域大模型 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 基于大语言模型的AI代理构建的模拟患者系统在医学教育中展现出高保真度和教育价值，优于人类模拟患者。

Comments 19 pages, 6 figures, 4 tables