语言大模型 / LLM

Why is Your Language Model a Poor Implicit Reward Model?

为什么你的语言模型是一个差的隐式奖励模型？

Noam Razin, Yong Lin, Jiarui Yao, Sanjeev Arora

机构 * Some Institute（某些研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现隐式奖励模型（IM-RM）在泛化能力上劣于显式奖励模型（EX-RM），因其更依赖表面token级线索，而设计选择对模型泛化行为有显著影响。

Comments Accepted to ICLR 2026; Code available at https://github.com/princeton-pli/exrm-vs-imrm

Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?

基于直接偏好优化的LM对齐中，策略数据是否总是最佳选择？

Zetian Sun, Dongfang Li, Xuhui Chen, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出对齐阶段假设，通过理论和实证分析，揭示了静态与策略偏好数据在LM对齐中的效果差异，并提出算法识别对齐阶段边界。

Comments Accepted by ICLR-2026

Unsupervised Elicitation of Language Models

无监督的语言模型引导

Jiaxin Wen, Zachary Ankner, Arushi Somani, Peter Hase, Samuel Marks, Jacob Goldman-Wetzler, Linda Petrini, Henry Sleight, Collin Burns, He He, Shi Feng, Ethan Perez, Jan Leike

机构 * Anthropic ； Schmidt Sciences ； New York University（纽约大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出无监督算法ICM，通过模型自动生成标签来微调语言模型，无需外部监督，在多个任务中表现出色，尤其在超人类能力任务中表现更优。

Text2Grad: Reinforcement Learning from Natural Language Feedback

Text2Grad：从自然语言反馈中强化学习

Hanyang Wang, Lu Wang, Chaoyun Zhang, Tianjun Mao, Si Qin, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

专题命中 后训练与偏好优化 ：language model(abstract)；RLHF(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 Text2Grad通过将自然语言反馈转化为跨度级梯度，提升语言模型的细粒度对齐和可解释性。

Comments The code for our method is available at https://github.com/microsoft/Text2Grad

Journal ref ICLR 2026

Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback

通过AI反馈强化学习优化语音对话系统的对话质量

Siddhant Arora, Jinchuan Tian, Jiatong Shi, Hayato Futami, Yosuke Kashiwagi, Emiru Tsunoo, Shinji Watanabe

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Sony Group Corporation（索尼集团） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.CL

AI总结 本文提出多奖励RLAIF框架，通过结合语义、音频质量和情感一致性奖励，提升语音对话系统的对话质量。

GraphRAG-R1: Graph Retrieval-Augmented Generation with Process-Constrained Reinforcement Learning

GraphRAG-R1: 基于过程约束强化学习的图检索增强生成

Chuanyue Yu, Kuo Zhao, Yuhan Li, Heng Chang, Mingjian Feng, Xiangzhe Jiang, Yufei Sun, Jia Li, Yuzhi Zhang, Jianxin Li, Ziwei Zhang

机构 * Nankai University（南开大学） ； Huawei Technologies Ltd（华为技术有限公司） ； Beihang University（北航） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.LG

AI总结 GraphRAG-R1通过过程约束强化学习提升LLM多跳推理能力，结合改进的GRPO方法和两种新型奖励函数，有效解决复杂问题。

Comments Accepted by the Web Conference 2026

Differential Voting: Loss Functions For Axiomatically Diverse Aggregation of Heterogeneous Preferences

差异投票：用于异质偏好axiomatically多样聚合的损失函数

Zhiyu An, Duaa Nakshbandi, Wan Du

机构 * University of California, Merced（加州大学梅尔德分校） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI

AI总结 差异投票提出了一种统一框架，通过可微损失函数实现异质偏好聚合，支持多种经典投票规则，提升RLHF中偏好聚合的可控性和理论保证。

TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models

TestWeaver: 基于执行意识和反馈驱动的回归测试生成方法

Cuong Chi Le, Cuong Duc Van, Tung Duy Vu, Thai Minh Pham Vu, Hoang Nhat Phan, Huy Nhat Phan, Tien N. Nguyen

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 TestWeaver通过整合轻量级程序分析和针对性执行上下文，提升LLM在回归测试生成中的覆盖率和效率。

Comments Accepted in ICSE 2026

Zer0-Jack: A Memory-efficient Gradient-based Jailbreaking Method for Black-box Multi-modal Large Language Models

Zer0-Jack: 一种内存高效的基于梯度的对抗方法用于黑盒多模态大语言模型

Tiejin Chen, Kaishen Wang, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Zer0-Jack通过零阶优化实现高效黑盒对抗，显著降低内存使用并提升攻击成功率。

Comments Accepted to EACL 2026 Main

HARMONI: Multimodal Personalization of Multi-User Human-Robot Interactions with LLMs

HARMONI: 基于大语言模型的多用户人机交互多模态个性化

Jeanne Malécot, Hamed Rahimi, Jeanne Cattoni, Marie Samson, Mouad Abrini, Mahdi Khoramshahi, Maribel Pino, Mohamed Chetouani

机构 * Institut Curie, Université Paris-Saclay（巴黎-萨克勒大学Curie研究所） ； Institute of Intelligent Systems and Robotics (ISIR), Sorbonne University（索邦大学智能系统与机器人研究所） ； Assistance Publique – Hôpitaux de Paris (AP-HP), Université Paris Cité（巴黎公共医院（AP-HP）与巴黎城市大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HARMONI通过多模态个性化框架，利用大语言模型提升多用户人机交互的持续个性化和动态适应能力。

LSHBloom: Memory-efficient, Extreme-scale Document Deduplication

LSHBloom: 高效内存使用，超大规模文档去重

Arham Khan, Robert Underwood, Carlo Siebenschuh, Yadu Babuji, Aswathy Ajith, Kyle Hippe, Ozan Gokdemir, Alexander Brace, Kyle Chard, Ian Foster

机构 * University of Chicago（芝加哥大学） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LSHBloom通过轻量级Bloom过滤器替代传统LSH索引，实现高效内存使用和超大规模文档去重，提升去重性能并降低运行时间和空间消耗。

Decoding Visual Experience and Mapping Semantics through Whole-Brain Analysis Using fMRI Foundation Models

通过fMRI基础模型进行全脑分析解码视觉体验并映射语义

Yanchen Wang, Adam Turnbull, Tiange Xiang, Yunlong Xu, Sa Zhou, Adnan Masoud, Shekoofeh Azizi, Feng Vankee Lin, Ehsan Adeli

机构 * Department of Psychiatry and Behavioral Sciences, Stanford University（精神病学与行为科学系，斯坦福大学） ； Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） ； Department of Neurobiology, University of Chicago（神经生物学系，芝加哥大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：foundation model(title)

AI总结 本文提出基于fMRI基础模型的全脑分析方法，通过解码视觉体验提升对视觉处理的理解，实现超越传统视觉皮层的解码能力。

Yunque DeepResearch Technical Report

Yunque DeepResearch 技术报告

Yuxuan Cai, Xinyi Lai, Peng Yuan, Weiting Liu, Huajian Li, Mingda Li, Xinghua Wang, Shengxie Zheng, Yanchao Hao, Yuyang Yin, Zheng Wei

机构 * Tencent BAC（腾讯BAC） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Yunque DeepResearch提出了一种分层、模块化且稳健的框架，通过多代理协调、动态上下文管理和主动监督模块解决深度研究中的关键挑战，实现先进性能并开源支持社区发展。

PsyProbe: Proactive and Interpretable Dialogue through User State Modeling for Exploratory Counseling

PsyProbe: 通过用户状态建模实现探索性辅导的主动与可解释对话

Sohhyung Park, Hyunji Kang, Sungzoon Cho, Dongil Kim

机构 * Department of Industrial Engineering, Seoul National University（工业工程系，首尔国立大学） ； Department of Education, Seoul National University（教育系，首尔国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 PsyProbe通过系统性用户状态建模和主动提问提升探索性辅导的互动效果和专业性。

Comments In Findings of the Association for Computational Linguistics: EACL 2026

Mitigating Attention Sinks and Massive Activations in Audio-Visual Speech Recognition with LLMs

利用大语言模型缓解音频视觉语音识别中的注意力下沉和大规模激活

Anand, Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * University of British Columbia, Canada（不列颠哥伦比亚大学） ； Imperial College London, UK（伦敦帝国学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文提出了一种简单有效的去相关损失，通过减少BOS与其它token的余弦相似性，缓解音频视觉语音识别中的注意力下沉和大规模激活问题，同时在高下采样率下降低词错误率。

Comments IEEE ICASSP 2026. The code is available at https://github.com/umbertocappellazzo/Llama-AVSR

Group Distributionally Robust Optimization-Driven Reinforcement Learning for LLM Reasoning

基于组分布鲁棒优化的强化学习用于大语言模型推理

Kishan Panaganti, Zhenwen Liang, Wenhao Yu, Haitao Mi, Dong Yu

机构 * Tencent AI Lab in Bellevue WA USA（腾讯AI实验室（西雅图华盛顿州）） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)；post-training(abstract)

AI总结 本文提出多对手组分布鲁棒优化框架，通过动态调整训练分布提升大语言模型推理性能，实现训练后精度提升10.6%和10.1%。

Comments Keywords: Large Language Models, Reasoning Models, Reinforcement Learning, Distributionally Robust Optimization, GRPO

A Benchmark for Audio Reasoning Capabilities of Multimodal Large Language Models

多模态大语言模型音频推理能力的基准测试

Iwona Christop, Mateusz Czyżnikiewicz, Paweł Skórzewski, Łukasz Bondaruk, Jakub Kubiak, Marcin Lewandowski, Marek Kubis

机构 * Adam Mickiewicz University（亚当·密克维茨大学） ； Samsung R&D Institute Poland（三星波兰研发中心） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出Audio Reasoning Tasks基准测试，用于评估多模态模型在结合不同音频任务进行推理方面的能力。

Comments 31 pages, 2 figures, accepted to EACL 2026

ThinkNote: Enhancing Knowledge Integration and Utilization of Large Language Models via Constructivist Cognition Modeling

ThinkNote: 通过建构主义认知建模增强大型语言模型的知识整合与利用

Zhipeng Xu, Zhenghao Liu, Yukun Yan, Shuo Wang, Shi Yu, Zheni Zeng, Chaojun Xiao, Zhiyuan Liu, Ge Yu, Chenyan Xiong

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 ThinkNote通过建构主义认知建模提升大型语言模型的知识整合与利用能力，实验表明其在问答任务中优于基线方法。

LLM-Specific Utility: A New Perspective for Retrieval-Augmented Generation

针对大语言模型的特定效用：检索增强生成的新视角

Hengran Zhang, Keping Bi, Jiafeng Guo, Jiaming Zhang, Shuaiqiang Wang, Dawei Yin, Xueqi Cheng

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Baidu Inc（百度公司） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LLM特定效用的概念，指出不同大语言模型对证据的需求不同，提出构建基准以研究这种效用，并推动生成器定制的证据选择方法改进RAG。

Comments 13 pages, 9 figures

ComAgent: Multi-LLM based Agentic AI Empowered Intelligent Wireless Networks

ComAgent：基于多LLM的代理式AI赋能智能无线网络

Haoyun Li, Ming Xiao, Kezhi Wang, Robert Schober, Dong In Kim, Yong Liang Guan

机构 * IEEE 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ComAgent通过多LLM代理式AI框架，实现复杂无线网络任务的自动化设计与优化，展现出超越单体LLM的性能优势。

GLOVE: Global Verifier for LLM Memory-Environment Realignment

GLOVE：LLM内存-环境重对齐的全局验证器

Xingkun Yin, Hongyang Du

机构 * University of Hong Kong（香港大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GLOVE通过引入相对真理的概念，实现LLM内存与环境的自适应重对齐，无需地面真相监督或强依赖模型反思，提升代理在动态环境中的表现。

LLM Agents for Knowledge Discovery in Atomic Layer Processing

用于原子层处理中知识发现的LLM代理

Andreas Werbrouck, Marshall B. Lindsay, Matthew Maschmann, Matthias J. Young

机构 * University of Missouri Columbia（密苏里大学哥伦比亚分校） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究利用LLM代理在原子层处理中探索化学相互作用，通过试错和持续探索实现知识发现。

Comments Accepted submission to the AI4MAT workshop@NEURIPS 2025. As submitted, except author names added

RL of Thoughts: Navigating LLM Reasoning with Inference-time Reinforcement Learning

思维强化学习：通过推理时间强化学习导航大语言模型推理

Qianyue Hao, Sibo Li, Jian Yuan, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（电子工程系、BNRist、清华大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RL-of-Thoughts通过强化学习训练轻量级导航模型，提升大语言模型推理能力，实现多任务适应性和参数高效性。

"Do I Trust the AI?" Towards Trustworthy AI-Assisted Diagnosis: Understanding User Perception in LLM-Supported Reasoning

我是否信任AI？：迈向可信的AI辅助诊断：理解用户在LLM支持推理中的感知

Yuansong Xu, Yichao Zhu, Haokai Wang, Yuchen Wu, Yang Ouyang, Hanlu Li, Wenzhe Zhou, Xinyu Liu, Chang Jiang, Quan Li

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究医生对LLM临床推理能力的感知，通过实验揭示医生对LLM诊断能力的评估，并探讨提升医生与LLM协作可信度的方法。

Comments Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI'26), April 13--17, 2026, Barcelona, Spain

Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning

保存好的前缀：通过过程监督强化学习实现精确误差惩罚以增强大语言模型推理

Haolin Liu, Dian Yu, Sidi Lu, Yujun Zhou, Rui Liu, Zhenwen Liang, Haitao Mi, Chen-Yu Wei, Dong Yu

机构 * Tencent AI Lab（腾讯AI实验室） ； University of Virginia（弗吉尼亚大学） ； University of Notre Dame（圣母大学） ； University of Maryland（马里兰大学） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过过程监督强化学习实现精确误差惩罚，提升大语言模型推理能力。

MetaGen: Self-Evolving Roles and Topologies for Multi-Agent LLM Reasoning

MetaGen: 多智能体LLM推理中的自演化角色与拓扑

Yimeng Wang, Jiaxing Zhao, Hongbin Xie, Hexing Ma, Yuzhen Lei, Shuangxue Liu, Xuan Song, Zichen Zhang, Haoran Zhang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； School of Urban Planning and Design, Peking University（北京大学城市规划与设计学院） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MetaGen通过自演化角色和拓扑提升多智能体LLM推理的准确性和效率

Demystifying the Roles of LLM Layers in Retrieval, Knowledge, and Reasoning

解析大语言模型中层的作用：检索、知识与推理

Xinyuan Song, Keyu Wang, PengXiang Li, Lu Yin, Shiwei Liu

机构 * Emory University（埃默里大学） ； University of Tuebingen（图宾根大学） ； University of Surrey（萨里大学） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究解析了大语言模型中不同深度层在检索、知识和推理中的作用，发现浅层主导知识和检索，深层影响推理，且不同评估方法下深度利用存在显著差异。

Comments Accepted by ICASSP 2026

From Answer Givers to Design Mentors: Guiding LLMs with the Cognitive Apprenticeship Model

从答案提供者到设计导师：通过认知 apprenticeship 模型引导 LLMs

Yongsu Ahn, Lejun R Liao, Benjamin Bach, Nam Wook Kim

机构 * Boston College（波士顿学院） ； Inria（法国国家信息与自动化技术研究院） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过认知 apprenticeship 模型引导 LLMs 作为设计导师，提升设计推理和反思反馈质量。

Improving Value-based Process Verifier via Structural Prior Injection

通过结构先验注入改进基于价值的过程验证器

Zetian Sun, Dongfang Li, Baotian Hu, Jun Yu, Min Zhang

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过注入结构先验改进基于价值的过程验证器，提升其性能并减少误差。

Comments This version is deprecated. Please refer to our new version: arXiv:2508.10539

SHIELD: An Auto-Healing Agentic Defense Framework for LLM Resource Exhaustion Attacks

SHIELD：一种针对LLM资源耗尽攻击的自愈代理防御框架

Nirhoshan Sivaroopan, Kanchana Thilakarathna, Albert Zomaya, Manu, Yi Guo, Jo Plested, Tim Lynar, Jack Yang, Wangli Yang

机构 * The University of Sydney（悉尼大学） ； Western Sydney University（西部悉尼大学） ； University of New South Wales（新南威尔士大学） ； University of Wollongong（沃林戈大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.AI

AI总结 SHIELD通过多代理自愈机制有效应对LLM资源耗尽攻击，整合语义检索、模式匹配和LLM推理，实现动态知识更新和防御优化。