语言大模型 / LLM

Antisocial behavior towards large language model users: experimental evidence

针对大型语言模型用户的反社会行为：实验证据

Paweł Niszczota, Cassandra Grützner

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现，用户对依赖大型语言模型的人施加惩罚，表明LLM的效率提升可能引发社会制裁。

BenchOverflow: Measuring Overflow in Large Language Models via Plain-Text Prompts

BenchOverflow: 通过纯文本提示测量大语言模型中的溢出现象

Erin Feiglin, Nir Hutnik, Raz Lapid

机构 * Deepkeep（深保持） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 BenchOverflow通过纯文本提示策略评估大语言模型的溢出现象，揭示长度控制对可靠性、成本和可持续性的影响，提供标准化比较框架以优化部署和防御措施。

Comments Accepted at TMLR 2026

Large Language Models for Physics Instrument Design

大型语言模型在物理仪器设计中的应用

Sara Zoccheddu, Shah Rukh Qasim, Patrick Owen, Nicola Serra

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了大型语言模型在物理仪器设计中的应用，发现其能生成有效且物理合理的配置，尽管未进行特定任务训练，并提出将LLMs与强化学习结合以优化设计工作流。

Black-Box On-Policy Distillation of Large Language Models

大规模语言模型的黑盒在线蒸馏

Tianzhu Ye, Li Dong, Zewen Chi, Xun Wu, Shaohan Huang, Furu Wei

机构 * Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出生成对抗蒸馏（GAD），通过在线和黑盒方式实现大规模语言模型的蒸馏，使学生模型在自动评估中与教师模型性能相当。

Large Language Models can Achieve Social Balance

大语言模型可以实现社会平衡

Pedro Cisneros-Velarde

机构 * VMware Research（VMware研究） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 大语言模型通过分析相互作用类型、更新机制和种群规模，实现了社会平衡，并指导了代理系统的设计与部署。

Knowledge Distillation and Dataset Distillation of Large Language Models: Emerging Trends, Challenges, and Future Directions

大型语言模型的知识蒸馏与数据集蒸馏：新兴趋势、挑战与未来方向

Luyang Fang, Xiaowei Yu, Jiazhang Cai, Yongkai Chen, Shushan Wu, Zhengliang Liu, Zhenyuan Yang, Haoran Lu, Xilin Gong, Yufang Liu, Terry Ma, Wei Ruan, Ali Abbasi, Jing Zhang, Tao Wang, Ehsan Latif, Weihang You, Hanqi Jiang, Wei Liu, Wei Zhang, Soheil Kolouri, Xiaoming Zhai, Dajiang Zhu, Wenxuan Zhong, Tianming Liu, Ping Ma

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了大型语言模型的知识蒸馏与数据集蒸馏技术，探讨了其在压缩模型、保持推理能力及语言多样性方面的挑战与未来发展方向。

Efficient Inference Using Large Language Models with Limited Human Data: Fine-Tuning then Rectification

利用有限人类数据高效推理：微调后再校正

Lei Wang, Zikun Ye, Jinglong Zhao

机构 * Foster School of Business, University of Washington（华盛顿大学福斯特商学院） ； Questrom School of Business, Boston University（波士顿大学questrom商学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种两阶段框架，结合微调与校正，并优化有限标记样本的分配，以提高估计和推理性能，实现成本节约。

Architectural Trade-offs in Small Language Models Under Compute Constraints

小型语言模型在计算限制下的架构权衡

Shivraj Singh Bhatti

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨了小型语言模型在计算限制下的架构选择权衡，发现基于注意力的模型在效率上优于MLP，但过度增加深度或上下文会损害性能，且RoPE等技术在小型模型中效果有限。

Comments 15 pages, 11 images

Mixture of Experts in Large Language Models

大语言模型中的专家混合架构

Danyang Zhang, Junhao Song, Ziqian Bi, Xinyuan Song, Yingfang Yuan, Tianyang Wang, Joe Yeong, Junfeng Hao

机构 * Department of Research（研究部） ； ByteDance Inc（字节跳动公司） ； Department of CS（计算机科学系） ； Imperial College London（伦敦帝国理工学院） ； Purdue University（普渡大学） ； Emory University（埃默里大学） ； Department of Computer Science（计算机科学系） ； Heriot-Watt University（赫罗特-瓦特大学） ； AI Agent Lab（AI代理实验室） ； Vokram Group（Vokram集团） ； Department of Anatomical Pathology（解剖病理学系） ； Singapore General Hospital（新加坡中央医院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型中专家混合架构的性能提升与应用挑战，分析了其核心机制与优化方法，探讨了MoE在任务特定性能和模型扩展方面的优势。

SkipCat: Rank-Maximized Low-Rank Compression of Large Language Models via Shared Projection and Block Skipping

SkipCat: 通过共享投影和块跳过实现大型语言模型的秩最大化低秩压缩

Yu-Chen Lu, Sheng-Feng Yu, Hui-Hsien Weng, Pei-Shuo Wang, Yu-Fang Hu, Liang Hung-Chun, Hung-Yueh Chiang, Kai-Chiang Wu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 SkipCat通过共享投影和块跳过技术实现低秩压缩，无需额外微调即可在相同压缩率下提升零样本任务的准确率7%。

Comments Accepted by AAAI 2026

Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models

利用重要性采样将对齐模块从大语言模型中分离出来

Yi Liu, Dianqing Liu, Mingye Zhu, Junbo Guo, Yongdong Zhang, Zhendong Mao

机构 * State Key Laboratory of Communication Content Cognition, People’s Daily Online（通信内容认知国家重点实验室，人民在线） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出残差对齐模型（RAM），通过重要性采样将对齐模块与大语言模型分离，提升灵活性和可扩展性，并在多种任务上优于基线模型。

Comments Accepted by NeurIPS 2025, 28 pages

Focusing on Language: Revealing and Exploiting Language Attention Heads in Multilingual Large Language Models

聚焦语言：揭示并利用多语言大语言模型中的语言注意力头

Xin Liu, Qiyang Song, Qihang Zhou, Haichao Du, Shaowen Xu, Wenbo Jiang, Weijuan Zhang, Xiaoqi Jia

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LAHIS方法，通过分析多语言大语言模型中的注意力头，揭示语言特定与通用头的作用，并通过轻量级适应提升多语言性能。

Comments Accepted by AAAI-2026

Intrinsic Structure as a Proxy for Saliency: SVD-Based Weight Preservation for Mixed-Precision Quantization in Large Language Models

内在结构作为显著性代理：基于SVD的权重保持用于大型语言模型中的混合精度量化

Shashank Landge, Abhishek Patil, Tejas kamble, Bhushan Buddhivant, Priyanka Joshi

机构 * Department of Computer Science, Indian Institute of Information Technology Pune（计算机科学系，印度信息技术学院浦那） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于SVD的无数据权重保持方法，通过保留主成分权重提升大型语言模型混合精度量化的性能。

Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models

Nemotron-Flash：迈向延迟优化的混合小型语言模型

Yonggan Fu, Xin Dong, Shizhe Diao, Matthijs Van keirsbilck, Hanrong Ye, Wonmin Byeon, Yashaswi Karnati, Lucas Liebenwein, Hannah Zhang, Nikolaus Binder, Maksim Khadkevich, Alexander Keller, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract)；分类 cs.AI、cs.LG

AI总结 Nemotron-Flash通过优化深度-宽度比和操作符选择，提升小型语言模型的准确率、降低延迟并提高吞吐量。

Comments Accepted by NeurIPS 2025

Near-Lossless Model Compression Enables Longer Context Inference in DNA Large Language Models

Rui Zhu, Xiaopu Zhou, Haixu Tang, Stephen W. Scherer, Lucila Ohno-Machado

机构 * Yale School of Medicine（耶鲁医学院） ； The Hospital for Sick Children（儿童医院） ； Luddy School of Informatics, Computing, and Engineering（信息学、计算与工程学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning

Nikunj Gupta, Bill Guo, Rajgopal Kannan, Viktor K. Prasanna

机构 * David S. Hippocampus Department of Computer Science Cranberry-Lemon University（Cranberry-Lemon大学计算机科学系） ； University of Southern California（南加州大学） ； DEVCOM Army Research Office（陆军研究办公室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

GUARD: Role-playing to Generate Natural-language Jailbreakings to Test Guideline Adherence of Large Language Models

Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Haohan Wang

机构 * School of Information Sciences University of Illinois at Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher, Starc Institute（Starc研究所独立研究者） ； Computer Science and Engineering HKUST（HKUST计算机科学与工程学院） ； Computer Science Lapis Labs University of Illinois Urbana-Champaign（计算机科学Lapis Labs伊利诺伊大学厄巴纳-香槟分校） ； School of Information Sciences University of Illinois Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments 28 papges

Measuring what Matters: Construct Validity in Large Language Model Benchmarks

Andrew M. Bean, Ryan Othniel Kearns, Angelika Romanou, Franziska Sofia Hafner, Harry Mayne, Jan Batzner, Negar Foroutan, Chris Schmitz, Karolina Korgul, Hunar Batra, Oishi Deb, Emma Beharry, Cornelius Emde, Thomas Foster, Anna Gausen, María Grandury, Simeng Han, Valentin Hofmann, Lujain Ibrahim, Hazel Kim, Hannah Rose Kirk, Fangru Lin, Gabrielle Kaili-May Liu, Lennart Luettgau, Jabez Magomere, Jonathan Rystrøm, Anna Sotnikova, Yushi Yang, Yilun Zhao, Adel Bibi, Antoine Bosselut, Ronald Clark, Arman Cohan, Jakob Foerster, Yarin Gal, Scott A. Hale, Inioluwa Deborah Raji, Christopher Summerfield, Philip H. S. Torr, Cozmin Ududec, Luc Rocher, Adam Mahdi

机构 * University of Oxford（牛津大学） ； EPFL（苏黎世联邦理工学院） ； Weizenbaum Institute Berlin（柏林Weizenbaum研究所） ； Technical University Munich（慕尼黑技术大学） ； Centre for Digital Governance, Hertie School（赫尔姆霍兹学院数字治理中心） ； Stanford University（斯坦福大学） ； UK AI Security Institute（英国人工智能安全研究所） ； SomosNLP ； Universdad Politécnica de Madrid（马德里理工大学） ； Yale University（耶鲁大学） ； Allen Institute for AI（人工智能研究所） ； University of Washington（华盛顿大学） ； Meedan ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks

Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing

Mingyu Sung, Vikas Palakonda, Suhwan Im, Sunghwan Moon, Il-Min Kim, Sangseok Yun, Jae-Mo Kang

机构 * Department of Artificial Intelligence, Kyungpook National University（人工智能系，庆北国立大学） ； Department of Electrical and Computer Engineering, Queen’s University（电气与计算机工程系，皇后大学） ； Department of Information and Communications Engineering, Pukyong National University（信息与通信工程系，浦项国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Consistency of Responses and Continuations Generated by Large Language Models on Social Media

Wentao Xu, Wenlu Fan, Yuqi Zhu, Bin Wang

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted by the 20th International AAAI Conference on Web and Social Media (ICWSM 2026), sunny Los Angeles, California, U.S

Revisiting Service Level Objectives and System Level Metrics in Large Language Model Serving

Zhibin Wang, Shipeng Li, Yuhang Zhou, Xue Li, Zhonghui Zhang, Nguyen Cam-Tu, Rong Gu, Chen Tian, Guihai Chen, Sheng Zhong

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Frustratingly Easy Task-aware Pruning for Large Language Models

Yuanhe Tian, Junjie Liu, Xican Yang, Haishan Ye, Yan Song

机构 * Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； University of Science and Technology of China（中国科学技术大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments 8 pages, 3 figures

Performance Trade-offs of Optimizing Small Language Models for E-Commerce

Josip Tomo Licardo, Nikola Tankovic

机构 * Faculty of Informatics（信息学院） ； Juraj Dobrila University of Pula（朱拉·多布里拉大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title)；large language model(abstract)；post-training(abstract)

Comments 15 pages, 9 figures

Correlation Dimension of Auto-Regressive Large Language Models

Xin Du, Kumiko Tanaka-Ishii

机构 * Waseda University（早稻田大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments Accepted at NeurIPS 2025

Efficient Large Language Model Inference with Neural Block Linearization

Mete Erdogan, Francesco Tonin, Volkan Cevher

机构 * Laboratory for Information and Inference Systems（信息与推断系统实验室） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Self-ensemble: Mitigating Confidence Mis-calibration for Large Language Models

Zicheng Xu, Guanchu Wang, Guangyao Zheng, Yu-Neng Chuang, Alexander Szalay, Xia Hu, Vladimir Braverman

机构 * Rice University（里士大学） ； University of North Carolina at Charlotte（北卡罗来纳州立大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Towards Locally Deployable Fine-Tuned Causal Large Language Models for Mode Choice Behaviour

Tareq Alsaleh, Bilal Farooq

机构 * Laboratory of Innovations in Transportation (LiTrans), Toronto Metropolitan University, Canada（交通创新实验室（LiTrans）、多伦多 Metropolitan 大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Generative Psycho-Lexical Approach for Constructing Value Systems in Large Language Models

Haoran Ye, Tianze Zhang, Yuhang Xie, Liyuan Zhang, Yuanyi Ren, Xin Zhang, Guojie Song

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（人工智能通用基础理论国家重点实验室，智能科学与技术学院，北京大学） ； Yuanpei College, Peking University（元培学院，北京大学） ； School of Psychological and Cognitive Sciences, Peking University（心理学与认知科学学院，北京大学） ； Key Laboratory of Machine Perception (Ministry of Education), Peking University（机器感知重点实验室（教育部），北京大学） ； PKU-Wuhan Institute for Artificial Intelligence（北京大学-武汉人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Main

H1B-KV: Hybrid One-Bit Caches for Memory-Efficient Large Language Model Inference

Harshil Vejendla

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments MIT URTC 2025 Technical Paper (Oral), 5 pages, 1 figure

LANTERN: Scalable Distillation of Large Language Models for Job-Person Fit and Explanation

Zhoutong Fu, Yihan Cao, Yi-Lin Chen, Aman Lunia, Liming Dong, Neha Saraf, Ruijie Jiang, Yun Dai, Qingquan Song, Tan Wang, Guoyao Li, Derek Koh, Haichao Wei, Zhipeng Wang, Aman Gupta, Chengming Jiang, Jianqiang Shen, Liangjie Hong, Wenjing Zhang

机构 * LinkedIn（领英） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 4 figures, 5 tables