大模型推理能力

OptScale: Probabilistic Optimality for Inference-time Scaling

OptScale: 推断时间缩放的概率最优性

Youkang Wang, Jian Wang, Rubing Chen, Xiao-Yong Wei

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OptScale通过概率框架和动态样本决策，提升LLMs推理性能并减少采样开销。

Comments Accepted by AAAI-2026

DreamPRM-Code: Function-as-Step Process Reward Model with Label Correction for LLM Coding

DreamPRM-Code: 一种基于函数作为步骤的进程奖励模型与标签校正用于LLM编码

Ruiyi Zhang, Peijia Qin, Qi Cao, Pengtao Xie

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DreamPRM-Code通过链式函数提示策略和元学习校正机制，提升LLM在编码任务中的表现，达到LiveCodeBench的最高准确率

Reinforce-Ada: An Adaptive Sampling Framework under Non-linear RL Objectives

Reinforce-Ada: 非线性强化学习目标下的自适应采样框架

Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Reinforce-Ada通过自适应采样框架提升大语言模型在非线性强化学习目标下的推理性能，有效恢复丢失信号并加速收敛。

Comments 27 pages, 10 figures

OptPO: Optimal Rollout Allocation for Test-time Policy Optimization

OptPO：测试时间策略优化的最优回放分配

Youkang Wang, Jian Wang, Rubing Chen, Tianyi Zeng, Xiao-Yong Wei, Qing Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Department of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OptPO通过自适应分配推理预算，结合贝叶斯序列概率比率检验实现测试时间策略优化，减少回放开销并提高准确性。

Comments Work in Progress

Beyond N-grams: A Hierarchical Reward Learning Framework for Clinically-Aware Medical Report Generation

超越n-gram：一种面向临床意识的医疗报告生成层次奖励学习框架

Yuan Wang, Shujian Gao, Jiaxiang Liu, Songtao Jiang, Haoxiang Xia, Xiaotian Zhang, Zhaolu Kang, Yemin Wang, Zuozhu Liu

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)

AI总结 本文提出HiMed-RL框架，通过层次化奖励学习提升医疗报告生成的临床质量与事实准确性。

Comments 10 pages, 4 figures

Analyzing Image Beyond Visual Aspect: Image Emotion Classification via Multiple-Affective Captioning

超越视觉层面的图像分析：通过多情感描述进行图像情感分类

Zibo Zhou, Zhengjun Zhai, Huimin Chen, Wei Dai, Hansen Yang

机构 * School of Computer Science, Northwestern Polytechnical University（计算机科学学院，西北工业大学） ； School of Cybersecurity, Northwestern Polytechnical University（网络安全学院，西北工业大学） ； School of Electronics and Information, Northwestern Polytechnical University（电子与信息学院，西北工业大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文提出基于多情感描述的图像情感分类方法，通过文本捕捉图像情感信息，有效解决情感差距问题，提升分类性能。

Beyond Introspection: Reinforcing Thinking via Externalist Behavioral Feedback

超越内省：通过外部主义行为反馈强化思维

Diji Yang, Linda Zeng, Kezhen Chen, Yi Zhang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DRR框架，通过外部主义行为反馈提升LLM推理质量，无需修改基础模型。

Inference-Aware Fine-Tuning for Best-of-N Sampling in Large Language Models

为大型语言模型的最佳-N采样进行推理感知微调

Yinlam Chow, Guy Tennenholtz, Izzeddin Gur, Vincent Zhuang, Bo Dai, Sridhar Thiagarajan, Craig Boutilier, Rishabh Agarwal, Aviral Kumar, Aleksandra Faust

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种推理感知微调方法，通过改进最佳-N采样策略提升大型语言模型的性能和推理效率。

PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training

Sarat Chandra Bobbili, Ujwal Dinesha, Dheeraj Narasimha, Srinivas Shakkottai

机构 * Texas A&M University（德克萨斯A&M大学） ； Inria（法国国家信息与自动化研究所） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence

Sean McLeish, Ang Li, John Kirchenbauer, Dayal Singh Kalra, Brian R. Bartoldson, Bhavya Kailkhura, Avi Schwarzschild, Jonas Geiping, Tom Goldstein, Micah Goldblum

机构 * University of Maryland（马里兰大学） ； New York University（纽约大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of North Carolina（北卡罗来纳大学） ； ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen AI Center（图宾根ELLIS研究所、马克斯·普朗克智能系统研究所、图宾根人工智能中心） ； Columbia University（哥伦比亚大学） 纠错

专题命中 测试时计算 ：test-time compute(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments code: https://github.com/mcleish7/retrofitting-recurrence, models: https://huggingface.co/collections/tomg-group-umd/retrofitting-recurrence

Accelerating Diffusion LLMs via Adaptive Parallel Decoding

Daniel Israel, Guy Van den Broeck, Aditya Grover

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 10 pages, 5 figures

Reinforcement Learning Teachers of Test Time Scaling

Edoardo Cetin, Tianyu Zhao, Yujin Tang

机构 * Sakana AI, Japan（日本Sakana AI） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2025

Visual Autoregressive Models Beat Diffusion Models on Inference Time Scaling

Erik Riise, Mehmet Onurcan Kaya, Dim P. Papadopoulos

机构 * Technical University of Denmark（丹麦技术大学） ； Pioneer Center for AI（先锋人工智能中心） 纠错

专题命中 测试时计算 ：reasoning(abstract)；verifier(abstract)

CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features

Seonglae Cho, Zekun Wu, Adriano Koshiyama

机构 * University College London（伦敦大学学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 42 pages, 9 tables

DLER: Doing Length pEnalty Right - Incentivizing More Intelligence per Token via Reinforcement Learning

Shih-Yang Liu, Xin Dong, Ximing Lu, Shizhe Diao, Mingjie Liu, Min-Hung Chen, Hongxu Yin, Yu-Chiang Frank Wang, Kwang-Ting Cheng, Yejin Choi, Jan Kautz, Pavlo Molchanov

机构 * NVIDIA 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NVIDIA-Tech Report

Budget-aware Test-time Scaling via Discriminative Verification

Kyle Montgomery, Sijun Tan, Yuqi Chen, Siyuan Zhuang, Tianjun Zhang, Raluca Ada Popa, Chenguang Wang

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

MoEs Are Stronger than You Think: Hyper-Parallel Inference Scaling with RoE

Soheil Zibakhsh, Mohammad Samragh, Kumari Nishu, Lauren Hannah, Arnav Kundu, Minsik Cho

机构 * Apple（苹果公司） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 测试时计算 ：chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Corrected typo in arxiv abstract

RLFR: Extending Reinforcement Learning for LLMs with Flow Environment

Jinghao Zhang, Naishan Zheng, Ruilin Li, Dongzhou Cheng, Zheming Liang, Feng Zhao, Jiaqi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； ByteDance（字节跳动） ； Wuhan University（武汉大学） ； Southeast University（东南大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Project Website: https://jinghaoleven.github.io/RLFR/

Contrastive Decoding for Synthetic Data Generation in Low-Resource Language Modeling

Jannek Ulm, Kevin Du, Vésteinn Snæbjarnarson

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 13 pages, 3 figures

AdaSTaR: Adaptive Data Sampling for Training Self-Taught Reasoners

Woosung Koh, Wonbeen Oh, Jaein Jang, MinHyung Lee, Hyeongjin Kim, Ah Yeon Kim, Joonkee Kim, Junghyun Lee, Taehyeon Kim, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； LG AI Research（LG人工智能研究） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025

On the Role of Temperature Sampling in Test-Time Scaling

Yuheng Wu, Azalia Mirhoseini, Thierry Tambe

机构 * Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Just Do It!? Computer-Use Agents Exhibit Blind Goal-Directedness

Erfan Shayegani, Keegan Hines, Yue Dong, Nael Abu-Ghazaleh, Roman Lutz, Spencer Whitehead, Vidhisha Balachandran, Besmira Nushi, Vibhav Vineet

机构 * Microsoft Research AI Frontiers（微软研究院人工智能前沿） ； Microsoft AI Red Team（微软AI红色团队） ； University of California, Riverside（加州大学河滨分校） ； NVIDIA（英伟达） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Control the Temperature: Selective Sampling for Diverse and High-Quality LLM Outputs

Sergey Troshin, Wafaa Mohammed, Yan Meng, Christof Monz, Antske Fokkens, Vlad Niculae

机构 * Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室） ； Computational Linguistics and Text Mining Lab, Vrije Universiteit Amsterdam（阿姆斯特丹自由大学计算语言学与文本挖掘实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Second Conference on Language Modeling, 2025

Reference-Free Rating of LLM Responses via Latent Information

Leander Girrbach, Chi-Ping Su, Tankred Saanum, Richard Socher, Eric Schulz, Zeynep Akata

机构 * Technical University of Munich, Munich Center for Machine Learning, MDSI（慕尼黑技术大学，慕尼黑机器学习中心，MDSI） ； National Yang Ming Chiao Tung University（阳明交通大学） ； Helmholtz Munich（海德堡慕尼黑研究所） ； Harvard University（哈佛大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 21 pages

HS-STaR: Hierarchical Sampling for Self-Taught Reasoners via Difficulty Estimation and Budget Reallocation

Feng Xiong, Hongling Xu, Yifei Wang, Runxi Cheng, Yong Wang, Xiangxiang Chu

机构 * Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Process Reinforcement through Implicit Rewards

Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Yuchen Zhang, Jiacheng Chen, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

机构 * Shanghai AI Lab（上海人工智能实验室） ； Tsinghua University（清华大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校） ； Peking University（北京大学） ； Shanghai Jiaotong University（上海交通大学） ； CUHK（香港中文大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 24 pages. Model&Code&Data available at https://github.com/PRIME-RL/PRIME

Inference-Time Scaling for Generalist Reward Modeling

Zijun Liu, Peiyi Wang, Runxin Xu, Shirong Ma, Chong Ruan, Peng Li, Yang Liu, Yu Wu

机构 * DeepSeek-AI ； Dept. of Computer Sci. & Tech., Tsinghua University（计算机科学与技术系，清华大学） ； Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Preprint, under review. 44 pages. Models are available at https://huggingface.co/collections/BBQGOD/deepseek-grm-68b4681169dbb97fd30614b5 and https://www.modelscope.cn/collections/DeepSeek-GRM-ff6a2d8babdd4a

Automating Steering for Safe Multimodal Large Language Models

Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

机构 * Zhejiang University（浙江大学） ； Zhejiang University - Ant Group Joint Lab of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室） ； National University of Singapore, NUS-NCS Joint Lab（新加坡国立大学NUS-NCS联合实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 Main Conference. 23 pages (8+ for main); 25 figures; 1 table

Slim-SC: Thought Pruning for Efficient Scaling with Self-Consistency

Colin Hong, Xu Guo, Anand Chaanan Singh, Esha Choukse, Dmitrii Ustiugov

机构 * NTU Singapore（新加坡国立大学） ； KTH Royal Institute of Technology（皇家理工学院） ； Microsoft（微软公司） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by EMNLP 2025 (Oral), 9 pages

Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models

NVIDIA, :, Aaron Blakeman, Aarti Basant, Abhinav Khattar, Adithya Renduchintala, Akhiad Bercovich, Aleksander Ficek, Alexis Bjorlin, Ali Taghibakhshi, Amala Sanjay Deshmukh, Ameya Sunil Mahabaleshwarkar, Andrew Tao, Anna Shors, Ashwath Aithal, Ashwin Poojary, Ayush Dattagupta, Balaram Buddharaju, Bobby Chen, Boris Ginsburg, Boxin Wang, Brandon Norick, Brian Butterfield, Bryan Catanzaro, Carlo del Mundo, Chengyu Dong, Christine Harvey, Christopher Parisien, Dan Su, Daniel Korzekwa, Danny Yin, Daria Gitman, David Mosallanezhad, Deepak Narayanan, Denys Fridman, Dima Rekesh, Ding Ma, Dmytro Pykhtar, Dong Ahn, Duncan Riach, Dusan Stosic, Eileen Long, Elad Segal, Ellie Evans, Eric Chung, Erick Galinkin, Evelina Bakhturina, Ewa Dobrowolska, Fei Jia, Fuxiao Liu, Gargi Prasad, Gerald Shen, Guilin Liu, Guo Chen, Haifeng Qian, Helen Ngo, Hongbin Liu, Hui Li, Igor Gitman, Ilia Karmanov, Ivan Moshkov, Izik Golan, Jan Kautz, Jane Polak Scowcroft, Jared Casper, Jarno Seppanen, Jason Lu, Jason Sewall, Jiaqi Zeng, Jiaxuan You, Jimmy Zhang, Jing Zhang, Jining Huang, Jinze Xue, Jocelyn Huang, Joey Conway, John Kamalu, Jon Barker, Jonathan Cohen, Joseph Jennings, Jupinder Parmar, Karan Sapra, Kari Briski, Kateryna Chumachenko, Katherine Luna, Keshav Santhanam, Kezhi Kong, Kirthi Sivamani, Krzysztof Pawelec, Kumar Anik, Kunlun Li, Lawrence McAfee, Leon Derczynski, Lindsey Pavao, Luis Vega, Lukas Voegtle, Maciej Bala, Maer Rodrigues de Melo, Makesh Narsimhan Sreedhar, Marcin Chochowski, Markus Kliegl, Marta Stepniewska-Dziubinska, Matthieu Le, Matvei Novikov, Mehrzad Samadi, Michael Andersch, Michael Evans, Miguel Martinez, Mike Chrzanowski, Mike Ranzinger, Mikolaj Blaz, Misha Smelyanskiy, Mohamed Fawzy, Mohammad Shoeybi, Mostofa Patwary, Nayeon Lee, Nima Tajbakhsh, Ning Xu, Oleg Rybakov, Oleksii Kuchaiev, Olivier Delalleau, Osvald Nitski, Parth Chadha, Pasha Shamis, Paulius Micikevicius, Pavlo Molchanov, Peter Dykas, Philipp Fischer, Pierre-Yves Aquilanti, Piotr Bialecki, Prasoon Varshney, Pritam Gundecha, Przemek Tredak, Rabeeh Karimi, Rahul Kandu, Ran El-Yaniv, Raviraj Joshi, Roger Waleffe, Ruoxi Zhang, Sabrina Kavanaugh, Sahil Jain, Samuel Kriman, Sangkug Lym, Sanjeev Satheesh, Saurav Muralidharan, Sean Narenthiran, Selvaraj Anandaraj, Seonmyeong Bak, Sergey Kashirsky, Seungju Han, Shantanu Acharya, Shaona Ghosh, Sharath Turuvekere Sreenivas, Sharon Clay, Shelby Thomas, Shrimai Prabhumoye, Shubham Pachori, Shubham Toshniwal, Shyamala Prayaga, Siddhartha Jain, Sirshak Das, Slawek Kierat, Somshubra Majumdar, Song Han, Soumye Singhal, Sriharsha Niverty, Stefania Alborghetti, Suseella Panguluri, Swetha Bhendigeri, Syeda Nahida Akter, Szymon Migacz, Tal Shiri, Terry Kong, Timo Roman, Tomer Ronen, Trisha Saar, Tugrul Konuk, Tuomas Rintamaki, Tyler Poon, Ushnish De, Vahid Noroozi, Varun Singh, Vijay Korthikanti, Vitaly Kurin, Wasi Uddin Ahmad, Wei Du, Wei Ping, Wenliang Dai, Wonmin Byeon, Xiaowei Ren, Yao Xu, Yejin Choi, Yian Zhang, Ying Lin, Yoshi Suhara, Zhiding Yu, Zhiqi Li, Zhiyu Li, Zhongbo Zhu, Zhuolin Yang, Zijia Chen

机构 * NVIDIA 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG