语言大模型 / LLM

A Granular Study of Safety Pretraining under Model Abliteration

Shashank Agnihotri, Jonas Jakubassa, Priyam Dey, Sachin Goyal, Bernt Schiele, Venkatesh Babu Radhakrishnan, Margret Keuper

机构 * Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组） ； Vision and AI Lab, Indian Institute of Science（印度科学院视觉与人工智能实验室） ； Carnegie Mellon University（卡内基梅隆大学） ； Max-Planck-Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰信息校园） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.LG；LLM(comments)

Comments Accepted at NeurIPS 2025 bWorkshop Lock-LLM. *Equal Contribution

Quantum-RAG and PunGPT2: Advancing Low-Resource Language Generation and Retrieval for the Punjabi Language

Jaskaranjeet Singh, Rakesh Thakur

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Spoken Language Understanding on Unseen Tasks With In-Context Learning

Neeraj Agrawal, Sriram Ganapathy

机构 * Indian Institute of Science（印度科学研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Journal ref Proc. Interspeech 2025, 4103-4107

KAIROS: Unified Training for Universal Non-Autoregressive Time Series Forecasting

Kuiye Ding, Fanda Fan, Zheya Wang, Hongxiao Li, Yifan Wang, Lei Wang, Chunjie Luo, Jianfeng Zhan

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Department of Mathematical Sciences, Durham University（杜伦大学数学科学系） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Thinkquel: A Model Dedicated to Text-to-dbt Using Synthetic Data and a Span-Aware Objective

Anni Li, Aria Attar, Paul Dong

机构 * TensorStax 纠错

专题命中 预训练与数据 ：SFT(abstract)；分类 cs.AI、cs.LG

Towards Provable Emergence of In-Context Reinforcement Learning

Jiuqi Wang, Rohan Chandra, Shangtong Zhang

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments NeurIPS 2025, 29 pages

Asymptotic theory of in-context learning by linear attention

Yue M. Lu, Mary I. Letey, Jacob A. Zavatone-Veth, Anindita Maiti, Cengiz Pehlevan

机构 * The John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院） ； Center for Brain Science, Harvard University（哈佛大学脑科学中心） ； Society of Fellows, Harvard University（哈佛大学 fellows 会） ； Department of Physics, Harvard University（哈佛大学物理系） ； Perimeter Institute for Theoretical Physics, Waterloo, ON N2L 2Y5, Canada（理论物理研究所，滑铁卢，加拿大） ； The Kempner Institute for the Study of Natural and Artificial Intelligence, 150 Western Avenue, Alston, MA 02134（自然与人工智能研究 institute） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments 15 pages (main doc), 6 figures, and supplementary information (22 pages)

Journal ref Proc. Natl. Acad. Sci. U.S.A. 122 (28) e2502599122 (2025)

When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models

Yingming Zheng, Hanqi Li, Kai Yu, Lu Chen

机构 * X-LANCE Lab（X-LANCE实验室） ； MoE Key Lab of Artificial Intelligence（人工智能MoE关键实验室） ； AI Institute（人工智能研究院） ； School of Computer Science（计算机科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新机构） ； Jiangsu Key Lab of Language Computing（江苏语言计算关键实验室） ； Suzhou Laboratory（苏州实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Enhancing LLM Steering through Sparse Autoencoder-Based Vector Refinement

Anyi Wang, Xuansheng Wu, Dong Shu, Yunpu Ma, Ninghao Liu

机构 * LMU Munich（慕尼黑大学） ； University of Georgia（佐治亚大学） ； Northwestern University（西北大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 19 pages, 11 figures, 7 tables

Beyond Imitation: Recovering Dense Rewards from Demonstrations

Jiangnan Li, Thuy-Trang Vu, Ehsan Abbasnejad, Gholamreza Haffari

机构 * Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL、cs.LG

Activated LoRA: Fine-tuned LLMs for Intrinsics

Kristjan Greenewald, Luis Lastras, Thomas Parnell, Vraj Shah, Lucian Popa, Giulio Zizzo, Chulaka Gunasekara, Ambrish Rawat, David Cox

机构 * IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

Fine-tuning LLMs with variational Bayesian last layer for high-dimensional Bayesian optimization

Haotian Xiang, Jinwen Xu, Qin Lu

机构 * School of ECE University of Georgia（电子工程学院 佐治亚大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.LG

PrisonBreak: Jailbreaking Large Language Models with at Most Twenty-Five Targeted Bit-flips

Zachary Coalson, Jeonghyun Woo, Chris S. Lin, Joyce Qu, Yu Sun, Shiyang Chen, Lishan Yang, Gururaj Saileshwar, Prashant Nair, Bo Fang, Sanghyun Hong

机构 * Oregon State University（俄勒冈州立大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of Toronto（多伦多大学） ； George Mason University（乔治·梅森大学） ； Rutgers University（罗格斯大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Comments Pre-print

Mind the Gap: Linguistic Divergence and Adaptation Strategies in Human-LLM Assistant vs. Human-Human Interactions

Fulei Zhang, Zhou Yu

机构 * Amazon.com Inc.（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Accepted to The Second Workshop on Generative AI for E-commerce (GenAIECommerce '25), held September 22, 2025, in Prague, Czech Republic

On the Role of Temperature Sampling in Test-Time Scaling

Yuheng Wu, Azalia Mirhoseini, Thierry Tambe

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

Reward Models are Metrics in a Trench Coat

Sebastian Gehrmann

机构 * Bloomberg（高盛） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

Reward Model Routing in Alignment

Xinle Wu, Yao Lu

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI

Exploiting Tree Structure for Credit Assignment in RL Training of LLMs

Hieu Tran, Zonghai Yao, Hong Yu

机构 * Center for Healthcare Organization and Implementation Research, VA Bedford Health Care（VA Bedford Health Care 机构） ； Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院） ； Miner School of Computer and Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机与信息科学学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL

Comments 15 pages

EFC++: Elastic Feature Consolidation with Prototype Re-balancing for Cold Start Exemplar-free Incremental Learning

Simone Magistri, Tomaso Trinci, Albin Soutif-Cormerais, Joost van de Weijer, Andrew D. Bagdanov

机构 * Communication Center (MICC), University of Florence, Italy Tomaso Trinci. ORCID: 0000-0002-4052-1930 Global Optimization Laboratory, University of Florence, Italy Albin Soutif - Cormerais. ORCID: 0009-0008-1564-2029 LAMP Team, Computer Vision Center, Barcelona, Spain Joost van de Weijer. ORCID: 0000-0002-9656-9706 LAMP Team, Computer Vision Center, Universitat Aut\` o noma de Barcelona, Spain Andrew D. Bagdanov. ORCID: 0000-0001-6408-7043 Media Integration ； Communication Center (MICC), University of Florence, Italy Equal contribution 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

Comments Extension of our previous conference paper https://openreview.net/forum?id=7D9X2cFnt1

A-MemGuard: A Proactive Defense Framework for LLM-Based Agent Memory

Qianshan Wei, Tengchao Yang, Yaochen Wang, Xinfeng Li, Lijun Li, Zhenfei Yin, Yi Zhan, Thorsten Holz, Zhiqiang Lin, XiaoFeng Wang

机构 * Nanyang Technological University（南洋理工大学） ； University of Oxford（牛津大学） ； Max Planck Institute（马克斯·普朗克研究所） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Pre-training Limited Memory Language Models with Internal and External Knowledge

Linxi Zhao, Sofian Zalouk, Christian K. Belardi, Justin Lovelace, Jin Peng Zhou, Ryan Thomas Noonan, Dongyoung Go, Kilian Q. Weinberger, Yoav Artzi, Jennifer J. Sun

机构 * Department of Computer Science Cornell University（计算机科学系 哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Code, models, and data available at https://github.com/kilian-group/LMLM

Vibe coding: programming through conversation with artificial intelligence

Advait Sarkar, Ian Drosos

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Sarkar, A., & Drosos, I. (2025). Vibe coding: Programming through conversation with artificial intelligence. In Proceedings of the 36th Annual Conference of the Psychology of Programming Interest Group (PPIG 2025)

EntropyLong: Effective Long-Context Training via Predictive Uncertainty

Junlong Jia, Ziyang Chen, Xing Wu, Chaochen Gao, Zijia Lin, Debing Zhang, Songlin Hu, Binghui Guo

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

Comments work in progress; Correspondence to: Xing Wu <wuxing@iie.ac.cn>

SoT: Structured-of-Thought Prompting Guides Multilingual Reasoning in Large Language Models

Rui Qi, Zhibo Man, Yufeng Chen, Fengran Mo, Jinan Xu, Kaiyu Huang

机构 * Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通 key laboratory（北京交通大学）） ； School of Computer Science and Technology, Beijing Jiaotong University（计算机科学与技术学院（北京交通大学）） ； University of Montreal（蒙特利尔大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)；分类 cs.CL

Comments EMNLP 2025 (findings)

RephQA: Evaluating Readability of Large Language Models in Public Health Question Answering

Weikang Qiu, Tinglin Huang, Ryan Rullo, Yucheng Kuang, Ali Maatouk, S. Raquel Ramos, Rex Ying

机构 * Yale University, Department of Computer Science（耶鲁大学计算机科学系） ； Yale University, School of Nursing（耶鲁大学护理学院） ； Yale University, School of Public Health（耶鲁大学公共卫生学院） ； Northeastern University（东北大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments ACM KDD Health Track 2025 Blue Sky Best Paper

Multimodal Large Language Model Framework for Safe and Interpretable Grid-Integrated EVs

Jean Douglas Carvalho, Hugo Kenji, Ahmad Mohammad Saber, Glaucia Melo, Max Mauro Dias Santos, Deepa Kundur

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Comments This paper has been presented at the 2025 IEEE PES Conference on Innovative Smart Grid Technologies (ISGT 2025)

A Comprehensive Review on Harnessing Large Language Models to Overcome Recommender System Challenges

Rahul Raja, Anshaj Vats, Arpita Vats, Anirban Majumder

机构 * Linkedin, Carnegie Mellon University, Stanford University（LinkedIn、卡内基梅隆大学、斯坦福大学） ； Meta ； Linkedin, Meta AI, Amazon, Boston University（LinkedIn、Meta AI、亚马逊、波士顿大学） ； Amazon（亚马逊） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AudioStory: Generating Long-Form Narrative Audio with Large Language Models

Yuxin Guo, Teng Wang, Yuying Ge, Shijie Ma, Yixiao Ge, Wei Zou, Ying Shan

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； MAIS, Institute of Automation, CAS, Beijing（自动化研究所北京研究所MAIS） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Secure and Scalable Blockchain Voting: A Comparative Framework and the Role of Large Language Models

Kiana Kiashemshaki, Elvis Nnaemeka Chukwuani, Mohammad Jalili Torkamani, Negin Mahmoudi

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments 9 pages, 8 figures, 1 table

EvoSpeak: Large Language Models for Interpretable Genetic Programming-Evolved Heuristics

Meng Xu, Jiao Liu, Yew Soon Ong

机构 * Singapore Institute of Manufacturing Technology, Agency for Science, Technology and Research, Singapore（新加坡制造技术研究所，科技研究局，新加坡） ； College of Computing & Data Science, Nanyang Technological University, Singapore（南洋理工大学计算机与数据科学学院，新加坡） ； College of Computing and Data Science, Nanyang Technological University, and the Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research, Singapore（南洋理工大学计算机与数据科学学院，前沿人工智能研究中心，高性能计算研究所，科技研究局，新加坡） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG