语言大模型 / LLM

When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models

当思考有害时：视觉语言模型推理链中的认知信号

Mayank Singal

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究视觉语言模型推理链中的认知信号，通过在相同对抗样本上运行四个模型，发现不同模型的答案熵行为模式有差异，思考链熵在部分情况下优于答案熵，还发现结构化弃权及其实用弃权门可提升准确率。

Comments 7 pages, 2 figures, 5 tables. Oral paper at the 2nd Workshop on Epistemic Intelligence in Machine Learning (EIML@ICML 2026), Seoul, South Korea

Peer-Predictive Self-Training for Language Model Reasoning

同伴预测自训练用于语言模型推理

Shi Feng, Hanlin Zhang, Fan Nie, Sham Kakade, Yiling Chen

机构 * Harvard University（哈佛大学） ； Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PST框架，通过多模型协作利用交叉模型聚合响应作为内部训练信号，提升数学推理任务的准确率并减少生成-验证差距。

Comments 22 pages, 5 figures

Onnes: A Physics-Grounded Multi-Agent LLM Simulator for Cryogenic Fault Diagnosis in Quantum Computing Infrastructure

昂内斯：用于量子计算基础设施低温故障诊断的基于物理的多智能体大语言模型模拟器

Praneeth Narisetty, Uday Kumar Reddy Kattamanchi, Shiva Nagendra Babu Kore

机构 * Onnes Research（昂内斯研究公司） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对量子计算基础设施中稀释制冷机故障诊断问题，提出基于物理的多智能体大语言模型模拟器昂内斯，通过数字孪生模拟结合真实数据与故障类别，经实验对比及优化提升分类准确率，实现对故障的有效监测与诊断。

Comments 18 pages, 14 figures, 10 tables. Code, data, and released run logs: https://github.com/Onnes-Research/onnes

Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge

通过专家乘积桥接的扩散语言模型并行解码

Juntong Shi, Brian L. Trippe, Jure Leskovec, Stefano Ermon, Minkai Xu

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出PoE-Bridge框架，通过专家乘积构建中间分布，结合扩散语言模型并行解码和自回归模型质量，实现5倍加速并恢复至少95%的AR性能。

Comments ICML 2026

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

语言模型中的演绎推理：横向与纵向推理

Davide Maltoni, Matteo Ferrara

机构 * Department of Computer Science and Engineering, University of Bologna（博洛尼亚大学计算机科学与工程系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究小型Transformer语言模型在演绎任务中的推理机制，区分横向推理（自回归生成中间步骤）和纵向推理（跨层隐式推理），发现思维链监督有助于学习基于规则的推理，并通过机械可解释性揭示其实现方式。

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

CALIBER: 在语言模型推理前后校准置信度

Conor Finlay, Joshua Kurien, Saurabh Dash, Marzieh Fadaee, Beyza Ermis

机构 * Cohere Labs（Cohere 实验室） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出CALIBER方法，在推理前和推理后分别估计置信度，并匹配相应的监督目标，显著降低期望校准误差（ECE）并提升校准性能。

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

通过稀疏自编码器提取和分析视觉语言模型中的多模态概念

Sergio Lanza, Jae Hee Lee, Stefan Wermter

机构 * Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。

Comments International Conference on Artificial Neural Networks (ICANN), 2026, Padua

Continuous Audio Thinking for Large Audio Language Models

面向大型音频语言模型的连续音频思考

Gyojin Han, Dong-Jae Lee, Changho Choi, Jongsuk Kim, Junmo Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出连续音频思考（CoAT）框架，通过专家蒸馏在连续潜在空间中组织声学信息，使音频语言模型在生成响应前利用丰富声学特征，无需额外自回归解码成本，在多个音频任务上提升性能。

Comments Preprint

OmniSapiens: A Foundation Model for Social Behavior Processing via Heterogeneity-Aware Relative Policy Optimization

OmniSapiens: 一种通过异质性感知相对策略优化进行社会行为处理的基础模型

Keane Ong, Sabri Boughorbel, Luwei Xiao, Chanakya Ekbote, Wei Dai, Ao Qu, Jingyao Wu, Rui Mao, Ehsan Hoque, Erik Cambria, Gianmarco Mengaldo, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Prince Sattam bin Abdulaziz University（普森·萨塔姆·本·阿卜杜勒阿齐兹大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对行为数据异质性导致的训练不平衡问题，提出Omnisapiens-7B 2.0基础模型，采用异质性感知相对策略优化（HARPO）方法，在10个行为任务和5个零样本泛化基准上取得最佳性能。

Comments Accepted to ICML 2026 Main Conference

Who Should Lead Decoding Now? Tracking Reliable Trajectories for Ensembling Masked Diffusion Language Models

现在谁应该主导解码？跟踪可靠轨迹以集成掩码扩散语言模型

Heecheol Yun, Joonhyung Park, Joowon Kim, Eunho Yang

机构 * KAIST（韩国科学技术院） ； AITRICS 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对掩码扩散语言模型集成问题，提出TIE框架，通过跟踪答案相关位置的置信度动态，迭代识别并传递可靠解码轨迹，实现多模型协同生成。

Comments preprint

NTS-CoT: Mitigating Hallucinations in LLM-based News Timeline Summarization with Chain-of-Thought Reasoning

NTS-CoT: 基于思维链推理减轻大模型新闻时间线摘要中的幻觉

Feng Lyu, Huiqin Yan, Sijing Duan, Hao Wu, Shuang Gu, Xue Qiao, Weixu Zhang, Haolun Wu

机构 * Central South University（中南大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Suzhou Aerospace Information Research Institute（苏州空天信息研究院） ； McGill University（麦吉尔大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对大模型在新闻时间线摘要中产生内容不忠实和信息遗漏两类幻觉，提出NTS-CoT框架，通过元素思维链、日期选择和因果思维链三个模块有效缓解幻觉，在三个基准上超越现有方法。

Language Model Circuits Are Sparse in the Neuron Basis

语言模型电路在神经元基上是稀疏的

Aryaman Arora, Zhengxuan Wu, Jacob Steinhardt, Sarah Schwettmann

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文实证发现MLP神经元与稀疏自编码器一样是稀疏特征基，并基于此开发了端到端梯度归因流水线，在多项任务中揭示了因果有效的神经元电路。

Comments ICML Spotlight, camera-ready

Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents

Afrispeech Semantics: 评估跨领域和口音的口语语言模型中的音频语义推理

Chibuzor Okocha, Christan Grant

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出五项语义与副语言推理任务（蕴含、一致性、合理性、口音漂移、口音约束），评估音频语言模型在口音变化、领域迁移和语义过度推断下的推理能力，揭示当前评估的局限性。

Comments Accepted to ACL

A Continuous-Time Markov Chain Framework for Insertion Language Models

插入语言模型的连续时间马尔可夫链框架

Dhruvesh Patel, Benjamin Rozonoyer, Soumitra Das, Tahira Naseem, Tim G. J. Rudner, Andrew McCallum

机构 * UMass Amherst（马萨诸塞大学阿默斯特分校） ； IBM Research（IBM研究院） ； University of Toronto（多伦多大学） ； Vijil（维吉尔） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出基于连续时间马尔可夫链的插入语言模型去噪框架，统一现有方法，在规划任务中优于自回归和掩码扩散模型，语言建模中与现有方法竞争且采样更灵活。

Comments Accepted at AISTATS 2026. Code is available at https://github.com/dhruvdcoder/ctmc_dilm

Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning

自适应教师暴露用于大语言模型推理中的自蒸馏

Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun

机构 * ByteDance Douyin（字节跳动抖音） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对自蒸馏中教师暴露完整推理导致学生难以吸收的问题，提出自适应教师暴露方法ATESD，通过轻量Beta策略控制器动态调整暴露比例，并用折扣学习进步奖励优化，在多个模型和数据集上提升推理性能。

Comments 11 pages, 4 figures; code not released yet

RLVE: Scaling Up Reinforcement Learning for Language Models with Adaptive Verifiable Environments

RLVE: 利用自适应可验证环境扩展语言模型的强化学习

Zhiyuan Zeng, Hamish Ivison, Yiping Wang, Lifan Yuan, Shuyue Stella Li, Zhuorui Ye, Siting Li, Jacqueline He, Runlong Zhou, Tong Chen, Chenyang Zhao, Yulia Tsvetkov, Simon Shaolei Du, Natasha Jaques, Hao Peng, Pang Wei Koh, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出RLVE方法，通过程序化生成问题并提供可验证奖励的可验证环境，自适应调整难度以扩展语言模型的强化学习，在400个环境中联合训练使六个推理基准平均提升3.37%。

Comments ICML 2026

Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

干扰导致的失败：当有缺陷机制掩盖健全机制时，语言模型在平衡括号任务中出错

Daking Rai, Samuel Miller, Kevin Moran, Ziyu Yao

机构 * George Mason University（乔治·马歇尔大学） ； University of Central Florida（中央佛罗里达大学） ； Department of Computer Science（计算机科学系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型在平衡括号任务中出错的原因：部分组件实现可靠机制，而其他组件引入噪声，当噪声机制主导时导致错误。提出RASteer方法，通过增强可靠组件贡献，将部分模型准确率从0%提升至近100%，并在算术推理任务中取得约20%的性能提升。

Comments 23 pages, 10 figures, accepted for NeurIPS 2025

Harnessing Structural Context for Entity Alignment Foundation Models

利用结构上下文进行实体对齐基础模型

Xingyu Chen, Yuanning Cui, Zequn Sun, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（南京大学新型软件技术国家重点实验室） ； Nanjing University of Information Science and Technology, Nanjing, China（南京信息科学技术大学） ； National Institute of Healthcare Data Science, Nanjing University, Nanjing, China（南京大学健康数据科学国家研究院） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出ContextEA框架，通过交叉KG交互编码器和结构校准解码器增强结构上下文的构建与利用，在29个数据集上超越强基线，实现更强的跨KG迁移能力。

Learning Self-Correction in Vision-Language Models via Rollout Augmentation

通过回滚增强学习视觉-语言模型中的自我纠正

Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种基于回滚增强的强化学习框架Octopus，通过重新组合现有回滚生成密集的自我纠正示例，提高样本效率并稳定RL优化，同时引入响应遮蔽策略以解耦自我纠正与直接推理，从而在7个基准测试中实现开源VLM的SOTA性能。

Comments 18 pages

Journal ref ICML 2026

Arithmetic Pedagogy for Language Models

语言模型的算术教学法

Andhika Bernard Lumbantobing, Hokky Situngkir

机构 * Bandung Fe Institute & Adjunct Science Fellow in InaAI（巴旦格Fe研究所及InaAI兼职科学研究员） ； AI Research Center IT Del & Bandung Fe Institute（IT Del人工智能研究中心及巴旦格Fe研究所） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 借鉴人类数学教学法，通过将GASING方法操作化为链式思维监督训练小规模GPT-2模型，使其在算术推理上达到高准确率并展现出联想式心算能力。

Comments 18 pages, 6 figures

OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning

OGLS-SD：基于结果引导的对数几率操控的在线自蒸馏用于大语言模型推理

Yuxiao Yang, Xiaoyun Wang, Weitong Zhang

机构 * UNC Chapel Hill（UNC夏洛特山分校） 纠错

专题命中 推理与问题求解 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出OGLS-SD框架，通过结果奖励校准教师对数几率，解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题，提升数学推理性能。

Comments 17 pages, 10 figures, 5 tables

Do Language Models Track Entities Across State Changes?

语言模型是否在状态变化中跟踪实体？

Zilu Tang, Qiao Zhao, Gabriel Franco, Derry Wijaya, Aaron Mueller, Sebastian Schuster, Najoung Kim

机构 * Department of Computer Science, Boston University, Boston, USA（波士顿大学计算机科学系） ； Department of Data Science, Monash University, Indonesia（墨尔本大学数据科学系） ； Faculty of Computer Science, University of Vienna, Austria（维也纳大学计算机科学系） ； Department of Linguistics, Boston University, Boston, USA（波士顿大学语言学系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型在自然语言中处理多步状态变化操作时的实体跟踪机制，发现其采用非增量策略，在最后token并行聚合信息，并揭示了REMOVE操作的全局抑制标签及其导致的失败模式。

Comments ICML main conference 2026, 9 pages

A Foundation Model for Zero-Shot Logical Rule Induction

零样本逻辑规则归纳的基础模型

Yin Jun Phua

机构 * Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出神经规则归纳器（NRI），一种基于统计编码和并行槽解码的预训练模型，实现零样本逻辑规则归纳，无需重新训练即可泛化到新谓词。

Comments Camera-ready version accepted at IJCAI 2026, with full appendices

Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models

早期决策至关重要：非自回归扩散语言模型中的邻近偏差与初始轨迹塑造

Jiyeon Kim, Sungik Choi, Yongrae Jo, Moontae Lee, Minjoon Seo

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过分析非自回归扩散语言模型的推理动态，发现其存在邻近偏差导致的错误传播问题，并提出一种轻量级规划器和序列结束温度退火方法来引导早期令牌选择，从而显著提升推理与规划任务的性能。

Comments ICML 2026 Camera Ready

Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models

循环语言模型中测试时可扩展潜在推理的稳定循环动力学

Xiao-Wen Yang, Ziyu Han, Xi-Hua Zhang, Wen-Da Wei, Jie-Jing Shao, Lan-Zhe Guo, Yu-Feng Li

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室，南京大学，南京，中国） ； School of Artificial Intelligence, Nanjing University, Nanjing, China（人工智能学院，南京大学，南京，中国） ； School of Intelligence Science and Technology, Nanjing University, Nanjing, China（智能科学与技术学院，南京大学，南京，中国） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出STARS训练框架，通过雅可比谱半径正则化约束潜在状态趋近渐近稳定不动点，解决循环语言模型深度递归时性能崩溃问题，实现可靠的测试时扩展并提升峰值性能。

Comments ICML 2026

PolyFusionAgent: A Multimodal Foundation Model and Autonomous AI Assistant for Polymer Property Prediction and Inverse Design

PolyFusionAgent: 用于聚合物性能预测和逆向设计的多模态基础模型与自主AI助手

Manpreet Kaur, Xingying Zhang, Qian Liu

机构 * Department of Applied Computer Science, The University of Winnipeg（应用计算机科学系，温尼伯大学） ； Department of Mechanical Engineering, University of Manitoba（机械工程系，曼尼托巴大学） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出PolyFusionAgent框架，结合多模态聚合物基础模型PolyFusion和工具增强的设计代理PolyAgent，通过对齐序列、拓扑、3D几何和指纹等多模态视图学习共享潜在空间，实现热物理性能预测和化学有效、结构新颖的聚合物逆向设计，并利用文献证据检索闭环设计流程。

Comments 23 pages, 5 figures, 2 tables; Supplementary material included

Real-Time Progress Prediction in Reasoning Language Models

推理语言模型中的实时进度预测

Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

机构 * Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究通过离散化推理轨迹训练线性探针和微调模型生成0-100%进度估计，实现推理语言模型中的实时进度预测，并在数学推理任务上达到0.161 MAE。

Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models

方向对齐缓解语言模型强化学习中的奖励黑客问题

Wenlong Deng, Jiaji Huang, Kaan Ozkara, Yushu Li, Christos Thrampoulidis, Xiaoxiao Li, Youngsuk Park

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Amazon（亚马逊） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 通过分析强化学习更新的几何结构，发现奖励黑客源于优化偏离稳定低维学习轨迹，提出可信方向投影方法约束梯度在干净参考子空间内，延迟捷径利用并保持任务性能。

Leveraging Foundation Models for Causal Generative Modeling

利用基础模型进行因果生成建模

Aneesh Komanduri, Xintao Wu

机构 * University of Arkansas（亚拉巴马大学） 纠错

专题命中 推理与问题求解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出FM-CGM框架，通过预训练基础模型实现零样本因果发现、干预和反事实生成，并引入因果语义引导机制确保忠实反事实图像生成。

Flat-Pack Bench: Evaluating Spatio-Temporal Understanding in Large Vision-Language Models through Furniture Assembly

Flat-Pack Bench: 通过家具组装评估大视觉-语言模型的时空理解

Aditya Chetan, Eric Cai, Peeyush Kushwaha, Bharath Raj Nagoor Kani, Utkarsh Mall, Qianqian Wang, Noah Snavely, Bharath Hariharan

机构 * Cornell University（康奈尔大学） ； Cornell Tech（康奈尔科技） ； MBZUAI（麦吉尔-伯克利-浙江大学人工智能研究院） ； UC Berkeley（伯克利大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Flat-Pack Bench基准，用于评估大视觉-语言模型在复杂视频场景中的时空理解能力，发现当前模型在细粒度时空推理上存在显著不足。

Comments CVPR 2026