语言大模型 / LLM

Self-Improving Embodied Foundation Models

Seyed Kamyar Seyed Ghasemipour, Ayzaan Wahid, Jonathan Tompson, Pannag Sanketi, Igor Mordatch

机构 * Generalist ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments Appearing in the Conference on Neural Information Processing Systems (NeurIPS 2025)

Safety Layers in Aligned Large Language Models: The Key to LLM Security

Shen Li, Liuyi Yao, Lan Zhang, Yaliang Li

专题命中 指令微调 ：LLM(title,abstract)；large language model(title)；language model(title)；分类 cs.AI

Comments Accepted by ICLR 2025. The code is available at https://github.com/listen0425/Safety-Layers

sft-wick: A formalism and package for Feynman-diagram expansion and evaluation in stochastic field theories

sft-wick: 随机场理论中费曼图展开与评估的形式化与软件包

Zheng Zhang

专题命中 指令微调 ：SFT(title,title_cn)

AI总结 提出sft-wick开源Python包，通过路径积分形式化随机场动力学，自动枚举拓扑不同的费曼图并计算代数系数和数值积分，验证与Langevin模拟一致。

Comments 32 pages, 5 figures, 2 tables. Submitted to Computer Physics Communications. The sft-wick package is open source and available at https://github.com/StatFieldTheory/sft-wick

DiverValue-Bench: A Benchmark and Fine-Tuning Framework for Aligning Large Language Models with Diverse Human Values

DiverValue-Bench：用于使大语言模型与多元人类价值观对齐的基准及微调框架

Yao Liang, Dongcheng Zhao, Feifei Zhao, Guobin Shen, Yuwei Wang, Dongqi Liang, Yi Zeng

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出覆盖74个国家/地区的人群感知基准DiverValue-Bench，发现现有LLMs存在地理与人口统计学价值观对齐差异，结合LoRA与DPO的轻量微调可提升对齐效果，为全球公平AI开发提供实用基础。

Comments 11 pages, 5 figures. Accepted to IJCAI-ECAI 2026 (Human-Centred AI Special Track). v2: Updated to the camera-ready version

Bactrainus: Optimizing Large Language Models for Multi-hop Complex Question Answering Tasks

Bactrainus：为多跳复杂问答任务优化大型语言模型

Iman Barati, Arash Ghafouri, Behrouz Minaei-Bidgoli

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对多跳问答的证据瓶颈，提出模块化选择器-阅读器框架Bactrainus，经实验验证其在HotpotQA任务中表现优异，为该领域提供了可审计的证据接口方案。

SAPE: Sandwich Adapters for Parameter Efficiency in Large Language Model Fine-Tuning

SAPE：用于大语言模型微调参数效率的三明治适配器

Mohammad Aref Jafari-Raddani, Morteza Mohajjel Kafshdooz

机构 * Qom University of Technology（库姆理工大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 SAPE是一种基于三明治式硬权重共享拓扑的PEFT框架，通过隔离边界变换降低内存与计算开销，在低参数约束下，于RoBERTa-large、LLaMA-3.2等模型的多项任务中取得优于现有方法的性能。

Comments 16 pages, 4 figures, 10 tables, includes appendix

Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation

大型语言模型在用于文本标注时会再现种族刻板印象

Petter Törnberg

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现大型语言模型在文本标注中会因身份线索产生系统性偏见，再现种族刻板印象，尤其在名字相关任务中表现显著。

Comments Withdrawn by the author due to a confound in stimulus assignment that invalidates the main results; addressing it requires re-running the experiment with matched stimuli

CHORUS: Complementary Experts for High-Coverage Testbench Stimulus Generation

CHORUS：用于高覆盖率测试平台激励生成的互补专家

Hejia Zhang, Sheng Lu, Zhongming Yu, Chia-Tung Ho, Brucek Khailany, Jishen Zhao

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对芯片设计中高覆盖率测试平台激励生成任务，提出CHORUS后训练框架，整合分阶段SFT与密集奖励RL得到的互补专家，构建4B模型，在CVDP-ECov上的Pass@1指标优于671B参数的DeepSeek-R1。

SafeCOMM: A Study on Safety Degradation in Fine-Tuned Telecom Large Language Models

SafeCOMM: 对于在电信领域微调的大型语言模型安全退化的研究

Aladin Djuhera, Swanand Ravindra Kadhe, Farhan Ahmed, Syed Zawad, Fernando Koch, Walid Saad, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） ； Florida Atlantic University（佛罗里达 Atlantic 大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在电信领域微调的大型语言模型的安全退化问题，提出TeleHarm基准测试及三种防御方法，展示了如何通过安全重对齐提升模型安全性，实现SafeCOMM模型。

Journal ref IEEE Wireless Communications and Networking Conference (WCNC), 2026

SuperCoder: Assembly Program Superoptimization with Large Language Models

SuperCoder：基于大语言模型的汇编程序超优化

Anjiang Wei, Tarun Suresh, Huanmi Tan, Yinglun Xu, Gagandeep Singh, Ke Wang, Alex Aiken

机构 * Stanford University（斯坦福大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 SuperCoder利用大语言模型实现汇编程序超优化，通过强化学习微调后，正确性达95%且平均速度提升1.46倍。

IFHierBench: Hierarchical Instruction Following for Large Language Models

IFHierBench：面向大语言模型的分层指令遵循基准

Yuetian Mao, Chunyang Chen

机构 * Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出分层指令遵循基准IFHierBench，评估发现现有大语言模型遵循嵌套约束的能力不足，为提升指令遵循能力的训练方法提供了研究方向。

Leveraging Fine-Tuned Large Language Models for Interpretable Pancreatic Cystic Lesion Feature Extraction and Risk Categorization

Ebrahim Rasromani, Stella K. Kang, Yanqi Xu, Beisong Liu, Garvit Luhadia, Wan Fung Chui, Felicia L. Pasadyn, Yu Chih Hung, Julie Y. An, Edwin Mathieu, Zehui Gu, Carlos Fernandez-Granda, Ammar A. Javed, Greg D. Sacks, Tamas Gonda, Chenchan Huang, Yiqiu Shen

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Journal ref American Journal of Roentgenology, 2026

Artificial Epanorthosis: Why large language models overuse a classical rhetorical figure, and how to mitigate it

人工矫正：为什么大语言模型过度使用一种古典修辞格，以及如何缓解这一问题

Federico Boggia

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型过度使用矫正格修辞格的问题，基于模型与人类修辞风格差异及相关分类，提出用矫正格指数评分，通过测量发现校准错误，给出以LoRA适配器为中心的缓解技术、指令及适配器效果，强调校准到人类比率而非消除的重要性。

Comments 18 pages, 7 tables. v2: corrections to the classical sources (Quintilian, Cicero) and to several cited figures, and Appendix B corpus statistics aligned to the delivered dataset; measurements, results and conclusions unchanged. Data, code, and the trained LoRA adapter: https://federicoboggia.binatomy.com/pubblicazioni/

ReliableTableQA:How Much Supervision Does Reliability Annotation Need?

可靠表格问答：可靠性标注需要多少监督？

Huei-Chung Hu, Hsin-Tai Wu, Koyo Kobayashi

机构 * DOCOMO Innovations, Inc.（都科摩创新公司） ； NTT DOCOMO, Inc.（日本电报电话公司都科摩） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出ReliableTableQA框架训练LLM标注表格问答结果统计可靠性，贡献分类法、数据管道及监督量研究。发现小的模式分层SFT集效果显著，GRPO在SFT不足时才有用，重新界定可靠性标注为数据效率问题，明确强化微调效果。

Comments 12 pages, 2 figures

SpecFuse: Ensembling Large Language Models via Next-Segment Prediction

SpecFuse：通过下一段预测进行大语言模型的集成

Bo Lv, Nayu Liu, Chen Tang, Xin Liu, Yue Yu, Ping Luo

机构 * Peng Cheng Laboratory（鹏城实验室） ； Key Lab of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（中国科学院计算技术研究所智能信息处理重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tianjin Laboratory Autonomous Intelligence Technology and Systems, School of Computer Science and Technology, Tiangong University（天津工业大学计算机科学与技术学院天津市自主智能技术与系统实验室） ； Institute for Advanced Algorithms Research, Shanghai（上海高级算法研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SpecEM框架，通过动态调整模型贡献提升集成效果，结合推测解码实现段级语义协作，实验表明在多个LLM家族和基准数据集上性能优于现有方法。

Comments 15 pages, 5 figures

Journal ref NeurIPS 2025

Reinforcement Learning Improves Traversal of Parametric Knowledge in LLMs

强化学习改善LLM中参数化知识的遍历

Renfei Zhang, Manasa Kaniselvan, Rylan Schaeffer abd Niloofar Mireshghallah

机构 * Carnegie Mellon University（卡内基梅隆大学） ； MIT（麻省理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；language model(abstract)；post-training(abstract)；prompting(abstract)

AI总结 本文发现强化学习提升LLM知识回忆能力，原因在于改进了模型对参数化知识层次结构的遍历技能，而非获取新知识。

Comments `

VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models

VibeThinker-3B：探索小型语言模型中可验证推理的前沿

Sen Xu, Shixi Liu, Wei Wang, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Xin Zhou, Junlin Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：language model(title)；small language model(title)；SFT(summary_cn)；post-training(abstract)

AI总结 提出3B参数紧凑模型VibeThinker-3B，通过频谱到信号后训练范式（课程SFT、多域强化学习、离线自蒸馏）在可验证推理任务上达到前沿性能，匹配甚至超越大模型，并验证推理增强不损害指令可控性。

Cordyceps: Covert Control Attacks on LLMs via Data Poisoning

Cordyceps: 通过数据投毒对LLM的隐蔽控制攻击

Zedian Shao, Charles Fleming, Teodora Baluta

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Systems（思科系统） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。

Comments USENIX Security '26

Pretraining Language Models on Historical Text

在历史文本上预训练语言模型

Xiaoxi Luo, Zachary Shinnick, Niclas Griesshaber, Yixuan Wang, Junchi Yu, Freda Shi, Philip Torr, Yao Lu

机构 * University of Waterloo（多伦多大学） ； Vector Institute（向量研究所） ； AIML, Adelaide University（AIML，阿德莱德大学） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Oxford Centre for Economic and Social History, University of Oxford（牛津大学经济与社会史中心） ； Department of Computer Science, University College London（伦敦大学学院计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；pretraining(title)；instruction tuning(abstract)；post-training(abstract)

AI总结 提出TypewriterLM，一个仅在1913年前英文文本上训练的7.24B历史语言模型，通过构建TypewriterCorpus语料库、引入词汇基础指令微调框架和History-Event基准套件，解决数据质量、时间泄漏、训练和评估等挑战。

GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training

GAC: 面向混合SFT-RL后训练的噪声感知自适应混合

Yuelin Hu, Zhenbo Yu, Zhengxue Cheng, Wei Liu, Li Song

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Maritime University（上海海洋大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出噪声感知控制器GAC，通过在线估计梯度方差和两个训练信号之间的不一致性，自适应调整混合权重，以改进混合后训练性能。

Comments 15 pages, 3 figures, 22 tables

Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty

不确定性下通过策略信息分配理解LLM中的推理

Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dongsheng Li, Yuqing Yang

机构 * Microsoft Research（微软研究院） ； KAIST（韩国科学技术院） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；SFT(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一个信息论框架，将推理分解为程序推进和认知外化（不确定性标记级外化），证明零散外化能在无显式错误触发时恢复收敛，并通过实验表明小规模SFT即可调控该能力，从而将推理重新定义为不确定性下的策略信息分配。

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

超越对数似然：面向模型能力连续体的监督微调概率目标

Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文系统研究监督微调中不同概率目标函数，发现模型能力连续体决定目标优劣：强模型端偏好先验倾向目标（如-p），弱模型端对数似然最优，并理论解释其转换机制。

Comments ICML 2026

Comparing Explanations is Not Enough, Explain the Change: New Standards are Needed to Explain Behavioral Shifts in Large Language Models

比较解释并不足够，解释变化：需要新的标准来解释大型语言模型中的行为转变

Martino Ciaperoni, Marzio Di Vece, Roberto Pellungrini, Luca Pappalardo, Fosca Giannotti, Francesco Giannini

机构 * Scuola Normale Superiore（诺莱学院） ； ISTI-CNR（意大利国家研究委员会ISTI研究所） ； University of Pisa（比萨大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种新的XAI方法，旨在解释大型语言模型在干预后行为转变的原因和机制，以应对现有解释方法无法解释行为转变的问题。

Graphs of Research: Citation Evolution Graphs as Supervision for Research Idea Generation

研究图谱：引用演化图谱作为研究想法生成的监督

Songyang Gao, Yinghui Xia, Siyi Liu, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出GoR方法，通过提取种子论文的2跳引用邻域，构建引用演化有向无环图，利用结构化文本提示训练LLM生成研究想法，实验表明其在想法生成任务中优于基线模型。

Towards the Next Frontier of LLMs, Training on Private Data: A Cross-Domain Benchmark for Federated Fine-Tuning

迈向LLM的下一个前沿：在私有数据上训练：一个跨域基准用于联邦微调

Daniel M. Jimenez-Gutierrez, Enrique Zuazua, Georgios Kellaris, Joaquin del Rio, Oleksii Sliusarenko, Xabi Uribe-Etxebarria

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过联邦学习平台在跨域基准中评估联邦微调方法，展示在隐私数据上训练LLM的可行性，对比三种参数高效微调策略，证明联邦微调在非独立同分布数据下的有效性。

Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs

内在护栏：人格语义几何与LLM中涌现偏差的交互

Krishak Aneja, Manas Mittal, Anmol Goel, Ponnurangam Kumaraguru, Vamshi Krishna Bonagiri

机构 * International Institute of Information Technology, Hyderabad（国际信息研究所，海得拉巴） ； Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi（Mohamed bin Zayed人工智能大学，阿布扎比） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过心理测量学方法揭示LLM人格空间的稳定性，发现人格向量可作为内在护栏抑制LLM的涌现偏差。

Comments 20 pages, 9 figures including appendix

Analysing Lightweight Large Language Models for Biomedical Named Entity Recognition on Diverse Ouput Formats

分析轻量级大语言模型在多种输出格式上的生物医学命名实体识别

Pierre Epron, Adrien Coulet, Mehwish Alam

机构 * Inria, Inserm, Université Paris Cité, HeKA, UMR 1346, Paris, France（法国国家科学研究中心（Inria）、法国国家医学研究院（Inserm）、巴黎城市大学（Université Paris Cité）、HeKA、法国国家科研机构（UMR 1346）、巴黎） ； Télécom Paris, Institut Polytechnique de Paris, France（巴黎电信学院（Télécom Paris）、巴黎理工学院（Institut Polytechnique de Paris）、法国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 研究轻量级大语言模型在生物医学命名实体识别中的性能，评估不同输出格式对模型表现的影响，发现轻量级模型在资源受限环境下具有竞争力。

Comments LREC 2026 - Language Resources and Evaluation Conference, May 2026, Palma De Majorque, Spain

Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

超越经验检索：学习生成优化的结构化经验以冻结LLM

Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

机构 * Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国） ； Quancheng Laboratory（千晨实验室） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SEAM模块，通过单次前向传递生成实例定制的经验条目，优化冻结LLM的执行效率，实验显示在数学推理基准上准确率提升显著。

RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models

RePrompT：基于结构化电子健康记录编码器的循环提示微调

Arya Hadizadeh Moghaddam, Drew Ross, Mohsen Nayebi Kerdabadi, Dongjie Wang, Zijun Yao

机构 * University of Kansas（堪萨斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 RePrompT通过循环整合结构化EHR编码器与大语言模型，解决时间序列信息丢失和代码身份模糊问题，提升临床预测性能。

Comments Finding of ACL 2026 - Accepted Paper

BitFlipScope: Scalable Fault Localization and Recovery for Bit-Flip Corruptions in LLMs

BitFlipScope：面向LLM中位翻故障的可扩展故障定位与恢复

Muhammad Zeeshan Karamat, Sadman Saif, Christiana Chamon Garcia

机构 * Bradly Dept. of ECE（布拉利电子工程系） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 BitFlipScope通过两种部署场景实现LLM中位翻故障的定位与恢复，利用差分分析和残差路径扰动等方法，支持轻量级性能恢复，提升硬件环境下的模型可靠性。

Comments Accepted at the IEEE International Symposium on Hardware Oriented Security and Trust (HOST) 2026