语言大模型 / LLM

Sparse Feature Coactivation Reveals Causal Semantic Modules in Large Language Models

稀疏特征共激活揭示大语言模型中的因果语义模块

Ruixuan Deng, Xiaoyang Hu, Miles Gilberti, Shane Storks, Aman Taxali, Mike Angstadt, Chandra Sripada, Joyce Chai

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Brown University（布朗大学） ； University of Michigan（密歇根大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过稀疏自编码器特征的共激活，研究发现大语言模型中存在语义连贯且上下文一致的网络组件，揭示了模型的模块化结构及高效操控方法。

Comments ACL 2026

Training-Free Test-Time Contrastive Learning for Large Language Models

无需训练的测试时对比学习用于大语言模型

Kaiwen Zheng, Kai Zhou, Jinwu Hu, Te Gu, Mingkai Peng, Fei Liu

机构 * South China University of Technology（南方科技大学） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出无需训练的测试时对比学习（TF-TTCL），通过动态'探索-反思-引导'循环提升冻结大语言模型的在线推理能力，优于零样本基线和代表性测试时适应方法。

Comments Accepted by Findings ACL 2026

ERC-SVD: Error-Controlled SVD for Large Language Model Compression

ERC-SVD: 基于误差控制的大型语言模型压缩SVD

Haolei Bai, Siyong Jian, Tuo Liang, Yu Yin, Huan Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本文提出ERC-SVD方法，通过利用截断过程生成的残差矩阵减少截断损失，并选择性压缩模型最后一层以降低误差传播，从而提升压缩模型性能。

Knowledge Distillation for Large Language Models

为大型语言模型进行知识蒸馏

Alejandro Paredes La Torre, Barbara Flores, Diego Rodriguez

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；prompting(abstract)

AI总结 本文提出一种高效的压缩框架，结合引导的思维链强化学习，通过知识蒸馏和链式思维提示提升模型效率，实现更小规模的模型部署。

Comments Code and data are available at: https://github.com/AlejandroParedesLT/knowledge_distillLLM

Astro: Activation-guided Structured Regularization for Outlier-Robust LLM Post-Training Quantization

Astro: 基于激活引导的结构正则化用于鲁棒性LLM后训练量化

Xi Chen, Ming Li, Junxi Li, Changsheng Li, Peisong Wang, Lizhong Ding, Ye Yuan, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Hebei Province Key Laboratory of Big Data Science and Intelligent Technology（河北省大数据科学与智能技术重点实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 Astro通过激活引导的结构正则化方法，在高效且无延迟的情况下提升LLM后训练量化的鲁棒性与性能。

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

BILLY：通过合并人设向量来引导大型语言模型进行创造性生成

Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang

机构 * Department of Electrical Engineering, National Taiwan University（国立台湾大学电子工程系） ； Department of Computer Science & Information Engineering, National Taiwan University（国立台湾大学计算机科学与信息工程系） ； Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） ； CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 BILLY通过合并人设向量在单个模型中实现多视角生成，提升创造力并降低计算成本。

Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings

利用基于大语言模型的句子嵌入增强交易理解的基础模型

Xiran Fan, Zhimeng Jiang, Chin-Chia Michael Yeh, Yuzhong Chen, Yingtong Dou, Menghai Pan, Yan Zheng

机构 * Visa Research（Visa研究） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种结合大语言模型生成的句子嵌入与轻量级交易模型的混合框架，以提升交易理解任务的性能和效率。

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing: Industry Track (EMNLP 2025), pages 903-911

In-Context and Few-Shots Learning for Forecasting Time Series Data based on Large Language Models

基于大语言模型的时序数据预测中的上下文学习与少样本学习

Saroj Gopali, Bipin Chhetri, Deepika Giri, Sima Siami-Namini, Akbar Siami Namin

机构 * Department of Computer Science（计算机科学系） ； Texas Tech University（德克萨斯理工大学） ； Advanced Academic Programs Science（高级学术计划科学） ； Johns Hopkins University（约翰霍普金斯大学） ； Cumberland University（坎布里奇大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 本文研究了基于大语言模型的时序数据预测，探讨了上下文学习、零样本和少样本学习方法，发现TimesFM在预测性能上表现最佳。

Reversing Large Language Models for Efficient Training and Fine-Tuning

反向大型语言模型以实现高效的训练和微调

Eshed Gal, Moshe Eliasof, Javier Turek, Uri Ascher, Eran Treister, Eldad Haber

机构 * Department of Computer Science, University of British Columbia（计算机科学系，不列颠哥伦比亚大学） ； Department of Computer Science, Ben Gurion University（计算机科学系，本· Gurion大学） ； EarthDynamics AI ； Department of Earth, Ocean and Atmospheric Sciences, University of British Columbia（地球、海洋和大气科学系，不列颠哥伦比亚大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 本研究提出可逆架构以高效训练和微调LLM，通过时间可逆动力学减少内存消耗，提升吞吐量，并通过微调将现有模型转换为可逆架构。

HELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts

Neil He, Rishabh Anand, Hiren Madhu, Ali Maatouk, Smita Krishnaswamy, Leandros Tassiulas, Menglin Yang, Rex Ying

机构 * Yale University, USA（耶鲁大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Metadata Extraction Leveraging Large Language Models

Cuize Han, Sesh Jalagam

机构 * Box AI Platform（Box人工智能平台） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

A systematic review of trial-matching pipelines using large language models

Braxton A. Morrison, Madhumita Sushil, Jacob S. Young

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments 28 pages, 3 figures

Sample-efficient Integration of New Modalities into Large Language Models

Osman Batur İnce, André F. T. Martins, Oisin Mac Aodha, Edoardo M. Ponti

机构 * University of Edinburgh（爱丁堡大学） ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院） ； Unbabel 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

Comments Pre-print

Speed Always Wins: A Survey on Efficient Architectures for Large Language Models

Weigao Sun, Jiaxi Hu, Yucheng Zhou, Jusen Du, Disen Lan, Kexin Wang, Tong Zhu, Xiaoye Qu, Yu Zhang, Xiaoyu Mo, Daizong Liu, Yuxuan Liang, Wenliang Chen, Guoqi Li, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； HKUST (GZ)（香港科技大学） ； University of Macau（澳门大学） ； Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所） ； Soochow University（苏州大学） ； KTH Royal Institute of Technology（皇家理工学院） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

Comments Survey, 82 pages, GitHub: https://github.com/weigao266/Awesome-Efficient-Arch

AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

Zhenyu Han, Ansheng You, Haibo Wang, Kui Luo, Guang Yang, Wenqi Shi, Menglong Chen, Sicheng Zhang, Zeshun Lan, Chunshi Deng, Huazhong Ji, Wenjie Liu, Yu Huang, Yixiang Zhang, Chenyi Pan, Jing Wang, Xin Huang, Chunsheng Li, Jianping Wu

机构 * Huawei（华为） ； Huawei Individual Researcher（华为独立研究者） ； Individual Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

Large Language models for Time Series Analysis: Techniques, Applications, and Challenges

Feifei Shi, Xueyan Yin, Kang Wang, Wanyu Tu, Qifu Sun, Huansheng Ning

机构 * School of Computer and Communication Engineering, University of Science and Technology Beijing（计算机与通信工程学院，北京科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

GANQ: GPU-Adaptive Non-Uniform Quantization for Large Language Models

Pengxiang Zhao, Xiaoming Yuan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models

Xintong Wang, Jingheng Pan, Liang Ding, Longyue Wang, Longqin Jiang, Xingshan Li, Chris Biemann

机构 * Department of Informatics, Universität Hamburg（汉堡大学信息学院） ； The University of Sydney（悉尼大学） ； Alibaba International Digital Commerce（阿里巴巴国际数字商业） ； Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments Accepted to Findings of ACL 2025

Beyond the Tip of Efficiency: Uncovering the Submerged Threats of Jailbreak Attacks in Small Language Models

Sibo Yi, Tianshuo Cong, Xinlei He, Qi Li, Jiaxing Song

机构 * Tsinghua University（清华大学） ； Zhongguancun Laboratory（中关村实验室） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shandong Key Laboratory of Artificial Intelligence Security（山东省人工智能安全重点实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

Comments Accepted to ACL 2025 findings

SLearnLLM: A Self-Learning Framework for Efficient Domain-Specific Adaptation of Large Language Models

Xiang Liu, Zhaoxiang Liu, Peng Wang, Kohou Wang, Huan Hu, Kai Wang, Shiguo Lian

机构 * Unicom Data Intelligence（中国联通数据智能研究所） ； Data Science & Artificial Intelligence Research Institute（数据科学与人工智能研究院） ； China United Network Communications Group Corporation Limited（中国联合网络通信集团有限公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments 12 pages, 5 figures

Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models

Bernd Huber, Ghazal Fazelnia, Andreas Damianou, Sebastian Peleato, Max Lefarov, Praveen Ravichandran, Marco De Nadai, Mounia Lalmas-Roellke, Paul N. Bennett

机构 * Spotify 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Generalizing Large Language Model Usability Across Resource-Constrained

Yun-Da Tsai

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments Doctoral disstertation

Textual Steering Vectors Can Improve Visual Understanding in Multimodal Large Language Models

Woody Haosheng Gan, Deqing Fu, Julian Asilis, Ollie Liu, Dani Yogatama, Vatsal Sharan, Robin Jia, Willie Neiswanger

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

SwiftPrune: Hessian-Free Weight Pruning for Large Language Models

Yuhan Kang, Yang Shi, Mei We, Jun He, Jianchao Yang, Zeyu Xue, Jing Feng, Xinwang Liu

机构 * National University of Defense Technology（国防科技大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Radio: Rate-Distortion Optimization for Large Language Model Compression

Sean I. Young

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Comments Accepted to ICML 2025

Dynamic Compressing Prompts for Efficient Inference of Large Language Models

Jinwu Hu, Wei Zhang, Yufeng Wang, Yu Hu, Bin Xiao, Mingkui Tan, Qing Du

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments Under review (submited in 2024.11)

Taxonomy Inference for Tabular Data Using Large Language Models

Zhenyu Wu, Jiaoyan Chen, Norman W. Paton

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Helix: Serving Large Language Models over Heterogeneous GPUs and Network via Max-Flow

Yixuan Mei, Yonghao Zhuang, Xupeng Miao, Juncheng Yang, Zhihao Jia, Rashmi Vinayak

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments ASPLOS 2025

Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers

Yiran Zhao, Chaoqun Liu, Yue Deng, Jiahao Ying, Mahani Aljunied, Zhaodonghui Li, Lidong Bing, Hou Pong Chan, Yu Rong, Deli Zhao, Wenxuan Zhang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling

Yuxuan Yao, Han Wu, Mingyang Liu, Sichun Luo, Xiongwei Han, Jie Liu, Zhijiang Guo, Linqi Song

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)