语言大模型 / LLM

LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

LZ惩罚：一种用于自回归语言模型的信息论重复惩罚项

Antonio A. Ginart, Naveen Kodali, Jason Lee, Caiming Xiong, Silvio Savarese, John R. Emmons

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LZ惩罚，基于LZ77压缩算法，可让开源推理模型用贪婪解码时无退化重复，优于现有频率、重复惩罚。

Comments Post-publication corrections (minor calculation mistakes)

Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values

价值泄露：大语言模型的答案被其自身价值观悄然塑造

Jan Betley, Johannes Treutlein, Jan Dubiński, Harry Mayne, Karol Gałązka, Niels Warncke, Anna Sztyber-Betley, Owain Evans

专题命中 推理与问题求解 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大语言模型存在价值泄露问题，即其答案受自身价值观影响却未向用户披露。为此引入评估套件量化，发现模型受多种价值观影响，前沿模型差异大，价值泄露是新的失败模式，当前训练和评估未充分解决。

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

作为陪审团的语言模型：跨模型共识在语言模型推理方面可超越过程奖励模型

Ning Liu

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究在语言模型推理中从候选推理链选正确答案的问题，提出跨模型共识方法，将其视为语言模型陪审团，通过错误去相关机制工作，在多个基准测试中表现出色，能预先表征，有定律和下限。

CityRiSE: Reasoning Urban Socio-Economic Status in Large Vision-Language Models via Reinforcement Learning

CityRiSE：基于强化学习的大视觉语言模型城市社会经济地位推理框架

Tianhui Liu, Hetian Pang, Xin Zhang, Jie Feng, Pan Hui, Yong Li

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心） ； Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出CityRiSE框架，结合强化学习与大视觉语言模型，提升城市社会经济感知的预测准确性与泛化能力，尤其在未见城市和指标上表现优异。

Comments Accepted by ACM MM 2026, https://github.com/tsinghua-fib-lab/CityRiSE

Capability Provenance in Language Models: A Case Study in Social Reasoning

社会推理从何而来？语言模型中的能力来源

Glenn Matlin, Chandreyi Chakraborty, Saehee Eom, Mika Okamoto, Rayan Castilla, Louis Jaburi, Alvin Deng, Taywon Min, Lucia Quirke, Stella Biderman, Mark Riedl

机构 * Georgia Institute of Technology, College of Computing（佐治亚理工学院计算学院） ； MATS Program（MATS项目） ； EleutherAI ； KAIST AI（韩国科学技术院人工智能学院） ； Georgia Tech AI Safety Initiative（佐治亚理工学院人工智能安全倡议） 纠错

专题命中 推理与问题求解 ：language model(title)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 通过训练数据归因方法，发现OLMo3-7B中社会推理和STEM推理依赖于不同的预训练语料区域，且推理层面的差异比知识层面更显著。

Comments 120 pages. Published as a conference paper at COLM 2026

LEDOM: Reverse Language Model

LEDOM：反向语言模型

Xunjian Yin, Sitao Cheng, Yuxi Xie, Xinyu Hu, Li Lin, Xinyi Wang, Liangming Pan, William Yang Wang, Xiaojun Wan

机构 * Peking University（北京大学） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； University of Arizona（亚利桑那大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 LEDOM是一种反向自回归语言模型，通过反向训练获得独特能力，如演绎推理和解决反转诅咒，并在多个基准测试中提升了性能。

Comments Work in progress; Models can be found at: https://huggingface.co/Corning/Reverse-Model-7B-348B/tree/main

Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models

Embodied-R1.5：通过具身基础模型演化物理智能

Yifu Yuan, Yaoting Huang, Xianze Yao, Yutong Li, Shuoheng Zhang, Linqi Han, Pengyi Li, Jiangeng Sun, Wenting Jia, Zhao Zhang, Yuhao Liu, Ruihao Liao, Yucheng Hu, Qiyu Wu, Yuxiao Li, Zibin Dong, Fei Ni, Yan Zheng, Shuyang Gu, Yi Ma, Hongyao Tang, Han Hu, Jianye Hao

机构 * Tianjin University（天津大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出统一具身基础模型Embodied-R1.5，通过自动化数据管道和多任务平衡强化学习，在8B参数下实现24项基准中16项最优，并支持微调为VLA模型。

Comments Embodied R1.5 technical report. Project page: https://embodied-r.github.io/

MUGEN: Evaluating and Improving Multi-audio Understanding of Large Audio-Language Models

MUGEN：评估和改进大型音频-语言模型的多音频理解

Chih-Kai Yang, Yun-Shao Tsai, Yu-Kai Guo, Ping-Le Tsai, Yen-Ting Piao, Hung-Wei Chen, Ting-Lin Hsiao, Yun-Man Hsu, Ke-Han Lu, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 MUGEN通过评估多音频理解能力，揭示了大型音频-语言模型在多音频输入下的性能瓶颈，并通过排列自一致性策略提升了模型的预测准确性。

Comments Interspeech 2026. Project page: https://github.com/danielqwer/MUGEN

Peer-Predictive Self-Training for Language Model Reasoning

同伴预测自训练用于语言模型推理

Shi Feng, Hanlin Zhang, Fan Nie, Sham Kakade, Yiling Chen

机构 * Harvard University（哈佛大学） ； Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PST框架，通过多模型协作利用交叉模型聚合响应作为内部训练信号，提升数学推理任务的准确率并减少生成-验证差距。

Comments 22 pages, 5 figures

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

语言模型中的演绎推理：横向与纵向推理

Davide Maltoni, Matteo Ferrara

机构 * Department of Computer Science and Engineering, University of Bologna（博洛尼亚大学计算机科学与工程系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究小型Transformer语言模型在演绎任务中的推理机制，区分横向推理（自回归生成中间步骤）和纵向推理（跨层隐式推理），发现思维链监督有助于学习基于规则的推理，并通过机械可解释性揭示其实现方式。

OmniSapiens: A Foundation Model for Social Behavior Processing via Heterogeneity-Aware Relative Policy Optimization

OmniSapiens: 一种通过异质性感知相对策略优化进行社会行为处理的基础模型

Keane Ong, Sabri Boughorbel, Luwei Xiao, Chanakya Ekbote, Wei Dai, Ao Qu, Jingyao Wu, Rui Mao, Ehsan Hoque, Erik Cambria, Gianmarco Mengaldo, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Prince Sattam bin Abdulaziz University（普森·萨塔姆·本·阿卜杜勒阿齐兹大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对行为数据异质性导致的训练不平衡问题，提出Omnisapiens-7B 2.0基础模型，采用异质性感知相对策略优化（HARPO）方法，在10个行为任务和5个零样本泛化基准上取得最佳性能。

Comments Accepted to ICML 2026 Main Conference

Language Model Circuits Are Sparse in the Neuron Basis

语言模型电路在神经元基上是稀疏的

Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文实证发现MLP神经元与稀疏自编码器一样是稀疏特征基，并基于此开发了端到端梯度归因流水线，在多项任务中揭示了因果有效的神经元电路。

Comments ICML Spotlight, camera-ready

Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning

自适应教师暴露用于大语言模型推理中的自蒸馏

Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun

机构 * ByteDance Douyin（字节跳动抖音） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对自蒸馏中教师暴露完整推理导致学生难以吸收的问题，提出自适应教师暴露方法ATESD，通过轻量Beta策略控制器动态调整暴露比例，并用折扣学习进步奖励优化，在多个模型和数据集上提升推理性能。

Comments 11 pages, 4 figures; code not released yet

RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments

RLVE: 利用自适应可验证环境扩展语言模型的强化学习

Zhiyuan Zeng, Hamish Ivison, Yiping Wang, Lifan Yuan, Shuyue Stella Li, Zhuorui Ye, Siting Li, Jacqueline He, Runlong Zhou, Tong Chen, Chenyang Zhao, Yulia Tsvetkov, Simon Shaolei Du, Natasha Jaques, Hao Peng, Pang Wei Koh, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出RLVE方法，通过程序化生成问题并提供可验证奖励的可验证环境，自适应调整难度以扩展语言模型的强化学习，在400个环境中联合训练使六个推理基准平均提升3.37%。

Comments ICML 2026

Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

干扰导致的失败：当有缺陷机制掩盖健全机制时，语言模型在平衡括号任务中出错

Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

机构 * George Mason University（乔治·马歇尔大学） ； University of Central Florida（中央佛罗里达大学） ； Department of Computer Science（计算机科学系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型在平衡括号任务中出错的原因：部分组件实现可靠机制，而其他组件引入噪声，当噪声机制主导时导致错误。提出RASteer方法，通过增强可靠组件贡献，将部分模型准确率从0%提升至近100%，并在算术推理任务中取得约20%的性能提升。

Comments 23 pages, 10 figures, accepted for NeurIPS 2025

VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors

VLMs需要词语：视觉语言模型倾向于通过语义锚点而非视觉细节进行推理

Haz Sameen Shahgir, Xiaofu Chen, Yu Fu, Erfan Shayegani, Nael Abu-Ghazaleh, Yova Kementchedjhieva, Yue Dong

机构 * University of California, Riverside（加州大学河滨分校） ； MBZUAI（穆桑人工智能研究院） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL

AI总结 研究发现视觉语言模型在需要细粒度视觉感知的任务中表现不佳，因其依赖语义锚点而非视觉细节。通过实验验证，模型在可命名实体上表现更佳，而Logit Lens分析显示其能恢复语义标签。任务特定微调可提升性能，无需语言先验。

Comments Accepted at the Conference on Language Modeling 2026

QRS: A Rule-Synthesizing Neuro-Symbolic Triad for Autonomous Vulnerability Discovery

QRS：一种用于自主漏洞发现的神经符号三元组规则生成器

George Tsigkourakos, Constantinos Patsakis

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 QRS通过神经符号方法生成代码查询，发现超出预定义模式的漏洞，显著降低假阳性，并在低开销下发现高严重性漏洞。

ThinkLog: Leveraging Reasoning for Log Statement Generation

ThinkLog：利用推理进行日志语句生成

Kazuki Kusama, Honglin Shu, Masanari Kondo, Tao Xiao, Yasutaka Kamei

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)

AI总结 针对现有端到端日志语句生成方法准确性有限的问题，提出ThinkLog，该方法基于LLM，通过将推理融入提示作为少样本示例，引导LLM生成日志语句，在准确率提升15.4%的同时，推理成本约为现有最佳方法的50%。

Comments 16 pages, Accepted at the 26th IEEE International Conference on Software Quality, Reliability, and Security (QRS 2026), Short Papers Track

LLMs Encode Their Failures: Predicting Success from Pre-Generation Activations

LLMs编码其失败：从预生成激活中预测成功

William Lugoloobi, Thomas Foster, William Bankes, Chris Russell

机构 * Oxford Internet Institute, University of Oxford（牛津大学牛津互联网研究所） ； FLAIR, University of Oxford（牛津大学FLAIR） ； Department of Computer Science, University College London（伦敦大学学院计算机科学系） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过预生成激活预测LLM在数学和编程任务中的成功率，发现模型内部表示能有效指导更高效的推理，且在MATH任务中通过模型池路由可提升性能并降低70%的推理成本。

Comments Accepted at COLM 2026

AgentModernize: Preserving Business Logic in Legacy Modernization with Multi-Agent LLMs and Behavioral Specification Graphs

AgentModernize: 通过多智能体LLM和行为规范图在遗留系统现代化中保留业务逻辑

Sheikh Nazib Ahmed, Marnim Galib

专题命中 推理与问题求解 ：LLM(title_cn,abstract)

AI总结 本文提出AgentModernize框架，通过多智能体系统和行为规范图来保留业务逻辑，解决传统方法在遗留系统现代化中丢失隐含规则和交叉模块约束的问题，实验表明该方法在多个场景中表现优异。

Comments 10 pages, 8 tables, 1 figure

KVerus: Scalable and Resilient Formal Verification Proof Generation for Rust Code

KVerus：面向Rust代码的可扩展且高鲁棒性的形式化验证证明生成工具

Yuwei Liu, Xinyi Wan, Yanhao Wang, Minghua Wang, Lin Huang, Tao Wei

专题命中 推理与问题求解 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 KVerus是适配Rust代码的形式化验证工具，通过自适应范式与动态知识库，在单文件、仓库级基准及Rust内核验证中均优于现有方案，为形式化验证的规模化应用提供了关键进展。

Comments Accepted at ASE 2026

EcoTable: Cost-effective Table Integration in Data Lakes for Natural Language Queries

EcoTable: 数据湖中面向自然语言查询的经济高效的表集成

Yuhui Wang, Jinqi Liu, Chengliang Chai, Hangyu Zhao, Yuhao Deng, Yuyu Luo, Xin Tang, Ye Yuan, Guoren Wang, Fengjin Wang, Lei Cao

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)

AI总结 针对数据湖中表格格式多样导致ETL困难的问题，提出EcoTable框架，利用LLM的语义理解和复杂推理能力，通过图结构搜索和轻量级模型降低LLM调用成本，在4个基准数据集上准确率提升30%以上，成本降低5倍。

LASAR: Latent Adaptive Semantic Aligned Reasoning for Generative Recommendation

LASAR：潜在自适应语义对齐推理用于生成推荐

Yiwen Chen, Fuwei Zhang, Zehao Chen, Hehan Li, Peizhi Xu, Hanmeng Liu, Shuanglong Li, Xin Pei, Fuzhen Zhuang, Zhao Zhang

专题命中 推理与问题求解 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 LASAR通过自适应语义对齐推理提升生成推荐性能，解决潜在推理与语义对齐的挑战，实现更高效的推荐质量与速度。

Recovering Fine-Grained Code Change Rationale from Multiple Software Artifacts

细粒度多文档提取与代码变更理由生成

Mehedi Sun, Antu Saha, Nadeeshan De Silva, Antonio Mastropaolo, Oscar Chaparro

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)

AI总结 本文研究如何从多个文档中提取代码变更理由，提出ARGUS方法，通过LLM生成简洁的变更理由摘要，提升代码理解和维护效率。

DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning

DiscoLoop: 循环离散嵌入与连续隐藏状态用于多跳推理

Hengyu Fu, Tianyu Guo, Zixuan Wang, Hanlin Zhu, Jason D. Lee, Jiantao Jiao, Stuart Russell, Song Mei

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理与问题求解 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对多跳推理中非循环Transformer的深度局部存储问题，提出DiscoLoop架构，通过循环同时携带离散嵌入和连续隐藏状态，实现近乎完美的泛化，并在符号和合成语言任务中显著减少训练步数。

Comments 16 pages, 7 figures

Toward Human-Centered Multi-Agent Systems: Integrating Cognition, Culture, Values, and Cooperation in AI Agents

迈向以人为中心的多智能体系统：在AI智能体中整合认知、文化、价值观与合作

Safia Baloch, Rahemeen Khan

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文综述了从认知科学、文化对齐、价值学习到多智能体协调的研究，指出现有系统缺乏整合认知、文化、价值观和社会行为的统一框架，并提出了构建文化感知、价值对齐、认知基础与合作的多智能体系统的方向。

Comments 14 pages

Automated Lemma Discovery in Agentic Program Verification

代理程序验证中的引理发现

Huan Zhao, Haoxin Tu, Zhengyao Liu, Martin C. Rinard, Abhik Roychoudhury

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出LemmaNet代理，通过分析源代码和规格，发现辅助引理以提升程序验证的正确性保证。

Comments 13 pages. To appear in ASE 26

RecGPT-V3 Technical Report

RecGPT-V3技术报告

Bowen Zheng, Chao Yi, Dian Chen, Gaoyang Guo, Han Zhu, Jiakai Tang, Jian Wu, Mao Zhang, Wen Chen, Yifan Lu, Yujie Luo, Yuning Jiang, Zhujin Gao, Bo Zheng, Chenchi Zhang, Dixuan Wang, Hao Fang, Jiancai Liu, Jing Yu, Junjun Zheng, Ke Chen, Kewei Zhu, Mengyan Li, Mingke Xu, Wenjun Yang, Xiangheng Kong, Xinming Zhang, Xunke Xi, Zile Zhou

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 研究针对大规模运行RecGPT的挑战，提出RecGPT-V3这一有状态混合模态推荐系统。通过内存中心、混合模态基础模型和潜在意图推理等方法，在淘宝“猜你喜欢”推荐中取得多指标提升及资源消耗降低的成果。

Comments Technique Report

RetroAgent: Harnessing LLMs to Search Over Structured Memory for Agentic Retrosynthesis Planning

RetroAgent：利用大语言模型在结构化记忆中进行搜索以实现智能逆合成规划

Yanqiao Zhu, Jingru Gan, Xiaoqi Sun, Fang Sun, Yidan Shi, Md Mofijul Islam, Chao Shang, Wenhao Gao, Connor W. Coley, Yizhou Sun, Wei Wang

机构 * UCLA（加利福尼亚大学洛杉矶分校） ； MIT（麻省理工学院） ； Amazon（亚马逊公司） ； UPenn（宾夕法尼亚大学） 纠错

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多步逆合成规划难题，提出RetroAgent智能体，通过结合结构化记忆桥接符号搜索与神经推理，利用记忆和化学工具观察搜索状态，实验证明其在分布内和分布外基准测试中性能强且泛化能力好。

Comments To appear at COLM 2026

The atomic structure of work: a micro-action instrument reveals two-pole AI occupational exposure and its decade-scale polar inversion

稳定几何，反转两极：AI职业替代性的双极结构及其十年尺度反转

Shuyao Gao, Minghao Huang

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)

AI总结 通过多智能体LLM流水线将O*NET活动分解为微动作，发现职业替代性呈双极结构（物理操作与规划设计为两极），且过去十年间两极高低顺序已反转。

Comments v2: major revision, retitled (v1: "Stable Geometry, Reversing Poles"). Adds an independent blind three-annotator validation study (construct kappa = 0.90; encoder-vs-human kappa = 0.63), a vintage-matched O*NET 18.1 reprojection, a demographic overlay, and recalibrated claims throughout. 27 pages; Supplementary Information (29 pages) in ancillary files. Dataset: doi:10.5281/zenodo.21395792