语言大模型 / LLM

Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL

通过跨回合元强化学习提升大语言模型的上下文在线学习能力

Xiaofeng Lin, Sirou Zhu, Yilei Chen, Mingyu Chen, Hejian Sang, Ioannis Paschalidis, Zhipeng Wang, Aldo Pacchiano, Xuezhou Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ORBIT通过元强化学习框架提升LLMs在动态环境中的上下文在线学习能力，使开源模型在未见环境中性能超越传统RL微调。

Defending Against Prompt Injection with DataFilter

用DataFilter抵御提示注入

Yizhu Wang, Sizhe Chen, Raghad Alkhudair, Basel Alomair, David Wagner

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 DataFilter通过在数据到达LLM前移除恶意指令，有效防御提示注入攻击，同时保持模型的效用。

Learning to Reason in 13 Parameters

在13个参数中学习推理

John X. Morris, Niloofar Mireshghallah, Mark Ibrahim, Saeed Mahloujifar

机构 * FAIR at Meta（Meta 的 FAIR） ； Cornell University（康奈尔大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；分类 cs.LG

AI总结 TinyLoRA通过仅训练13个参数实现高效推理学习，显著提升模型性能并降低训练成本。

No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

并非万能一把抓：利用合成与原创数据构建翻译系统用于巴什基尔语、哈萨克语、吉尔吉斯语、塔塔尔语和楚瓦什语

Dmitry Karpov

机构 * PAO Severstal / Moscow, Russia（莫斯科俄罗斯塞维尔塔尔公司） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过合成与原创数据构建多突厥语翻译系统，展示了不同方法在各语言上的翻译效果，并发布相关数据集和模型权重。

Comments Accepted to EACL 2026 (LoResMT workshop)

Explicit Uncertainty Modeling for Active CLIP Adaptation with Dual Prompt Tuning

显式不确定性建模用于主动CLIP适应与双提示微调

Qian-Wei Wang, Yaguang Song, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本文提出基于双提示微调的显式不确定性建模框架，用于提升主动CLIP适应的分类可靠性与主动样本选择效果。

RF-DETR: Neural Architecture Search for Real-Time Detection Transformers

RF-DETR：实时检测Transformer的神经架构搜索

Isaac Robinson, Peter Robicheaux, Matvei Popov, Deva Ramanan, Neehar Peri

机构 * Roboflow ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 RF-DETR通过轻量级检测Transformer和神经架构搜索，在实时检测中实现更高的精度和速度，超越现有方法。

Comments This work has been accepted to the International Conference on Learning Representations (ICLR) 2026. Project Page: https://rfdetr.roboflow.com/

PersoDPO: Scalable Preference Optimization for Instruction-Adherent, Persona-Grounded Dialogue via Multi-LLM Evaluation

PersoDPO: 通过多LLM评估实现可扩展的偏好优化

Saleh Afzoon, MohammadHossein Ahmadi, Usman Naseem, Amin Beheshti

机构 * School of Computing, Macquarie University（计算机学院，麦考瑞大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 PersoDPO通过多LLM评估实现可扩展的偏好优化，提升对话系统的人格导向和上下文连贯性。

Comments Accepted at WISE 2025 Conference

RL in Name Only? Analyzing the Structural Assumptions in RL post-training for LLMs

仅名义上的强化学习？分析在LLM中post-training强化学习的结构假设

Soumya Rani Samineni, Durgesh Kalwar, Karthik Valmeekam, Kaya Stechly, Subbarao Kambhampati

机构 * SCAI, Arizona State University（SCAI，亚利桑那州立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文分析了LLM post-training强化学习的结构假设，发现其退化为过滤迭代SFT，且激励生成更长的中间token序列。

Improving Detection of Watermarked Language Models

提升水印语言模型的检测能力

Dara Bahri, John Wieting

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；RLHF(abstract)

AI总结 本文通过结合水印与非水印检测器提升大型语言模型的检测能力。

Comments Published at TMLR 2026

Building Coding Agents via Entropy-Enhanced Multi-Turn Preference Optimization

通过熵增强的多轮偏好优化构建编码代理

Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

机构 * Department of Computer Science, Northwestern University, Evanston, USA（西北大学计算机科学系） ； Meta AI, Bellevue, USA（Meta AI） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出EntroPO框架，通过增强熵的方法提升多轮交互中编码代理的性能，实现更高效的测试时间扩展。

Adaptive Helpfulness-Harmlessness Alignment with Preference Vectors

基于偏好向量的自适应有益有害对齐

Ren-Wei Liang, Chin-Ting Hsu, Chan-Hung Yu, Saransh Agrawal, Shih-Cheng Huang, Chieh-Yen Lin, Shang-Tse Chen, Kuan-Hao Huang, Shao-Hua Sun

机构 * National Taiwan University（国立台湾大学） ； Texas A&M University（德克萨斯A&M大学） ； Appier AI Research（Appier人工智能研究院） ； Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；preference optimization(abstract)

AI总结 本文提出偏好向量框架，通过模块化方法实现细粒度的用户可控偏好调整，提升大语言模型的有益性和无害性平衡。

Comments Accepted at The 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2026), Rabat, Morocco

Extending RLVR to Open-Ended Tasks via Verifiable Multiple-Choice Reformulation

通过可验证的多选改写扩展RLVR以应对开放性任务

Mengyu Zhang, Siyu Ding, Weichong Yin, Yu Sun, Hua Wu

机构 * Baidu Ernie Team（百度文心团队） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出VMR-RLVR方法，通过将开放性任务数据转化为可验证的多选格式，提升LLM在无明确真实值情况下开放性任务的推理能力。

Comments 8 pages

DeepVideo-R1: Video Reinforcement Fine-Tuning via Difficulty-aware Regressive GRPO

DeepVideo-R1: 通过难度感知的回归GRPO实现视频强化微调

Jinyoung Park, Jeehye Na, Jinyoung Kim, Hyunwoo J. Kim

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Korea University（韩国大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 DeepVideo-R1通过回归GRPO和难度感知数据增强，提升视频大语言模型的推理能力。

Comments NeurIPS 2025

GOPO: Policy Optimization using Ranked Rewards

GOPO：基于排名奖励的策略优化

Kyuseong Choi, Dwaipayan Saha, Woojeong Kim, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech, Cornell University, NY, United States（康奈尔科技、康奈尔大学，纽约，美国） ； Columbia University, NY, United States（哥伦比亚大学，纽约，美国） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 GOPO通过使用奖励排名而非绝对值，提高了不可验证任务中策略优化的性能和效率。

Comments 17 pages, 8 figures

Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition

超越单模态捷径：MLLMs作为跨模态推理器用于 grounded 命名实体识别

Jinlong Ma, Yu Zhang, Xuefeng Bai, Kehai Chen, Yuwei Wang, Zeming Liu, Jun Yu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MCR方法，通过多风格推理模式注入和约束引导的可验证优化，解决MLLMs在跨模态推理中的模态偏见问题，提升 grounded 命名实体识别的性能。

Comments GMNER

Focus-LIME: Surgical Interpretation of Long-Context Large Language Models via Proxy-Based Neighborhood Selection

Focus-LIME: 通过基于代理的邻域选择实现长上下文大语言模型的手术解释

Junhao Liu, Haonan Yu, Zhenyu Yan, Xin Zhang

机构 * Key Lab of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学）） ； School of Computer Science, Peking University（计算机学院（北京大学）） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 Focus-LIME通过基于代理的邻域选择方法，实现长上下文大语言模型的手术级解释，解决了高维特征空间下的归因稀释问题。

LycheeDecode: Accelerating Long-Context LLM Inference via Hybrid-Head Sparse Decoding

LycheeDecode: 通过混合头稀疏解码加速长上下文LLM推理

Gang Lin, Dongfang Li, Zhuoen Chen, Yukun Shi, Xuhui Chen, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LycheeDecode通过混合头稀疏解码方法，实现长上下文LLM推理的高效与高质量

Comments ICLR 2026

Can Vision Replace Text in Working Memory? Evidence from Spatial n-Back in Vision-Language Models

视觉能否取代文本在工作记忆中的作用？来自视觉-语言模型中空间n-Back任务的证据

Sichu Liang, Hongyu Zhu, Wenwen Wang, Deyu Zhou

机构 * Southeast University（东南大学） ； Shanghai Jiao Tong University（上海交通大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究通过空间n-Back任务评估视觉-语言模型中视觉与文本对工作记忆的影响，发现文本条件下的表现优于视觉条件，揭示了视觉信息处理中的计算差异。

Empirical-MCTS: Continuous Agent Evolution via Dual-Experience Monte Carlo Tree Search

经验-MCTS：通过双经验蒙特卡洛树搜索实现连续智能体进化

Hao Lu, Haoyuan Huang, Yulin Zhou, Chen Li, Ningxin Zhu

机构 * JianChengXingYun Technology Co., Ltd.（健成星云科技有限公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 经验-MCTS通过双环框架实现连续智能体进化，结合局部探索与全局记忆优化，提升复杂推理任务性能。

Comments 9 pages, 5 figures

Beyond Many-Shot Translation: Scaling In-Context Demonstrations For Low-Resource Machine Translation

超越多示例翻译：为低资源机器翻译扩展上下文演示

Luis Frentzen Salim, Esteban Carlin, Alexandre Morinvil, Xi Ai, Lun-Wei Ku

机构 * Institute of Information Science, Academia Sinica（台湾“中央研究院”信息科学研究所） ； National Taiwan University of Science and Technology（台湾科技大学） ； Ecole Centrale de Marseille（马赛中央理工学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究探索了通过扩展上下文长度来改进低资源机器翻译的ICL方法，发现增加上下文可提升性能但存在饱和点，且不同语料库类型对结果影响显著。

Comments 8 pages, 18 figures, EACL 2026 Conference - LoResMT workshop

ROSA-Tuning: Enhancing Long-Context Modeling via Suffix Matching

ROSA-Tuning: 通过后缀匹配增强长上下文建模

Yunao Zheng, Xiaojie Wang, Lei Ren, Wei Chen

机构 * Beijing University of Posts and Telecommunications (BUPT)（北京邮电大学） ； Li Auto Inc.（Li Auto公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ROSA-Tuning通过结合CPU的ROSA检索模块与范围受限注意力，提升长上下文建模能力，实现高效处理。

EvoFSM: Controllable Self-Evolution for Deep Research with Finite State Machines

EvoFSM: 通过有限状态机实现可控的自我进化用于深度研究

Shuo Zhang, Chaofa Yuan, Ryan Guo, Xiaomin Yu, Rui Xu, Zhangquan Chen, Zinuo Li, Zhi Yang, Shuhao Guan, Zhenheng Tang, Sen Hu, Liwen Zhang, Ronghao Chen, Huacan Wang

机构 * QuantaAlpha ； HKUST(GZ)（香港科技大学（广州）） ； FDU（福建大学） ； THU（清华大学） ； SUFE（上海财经大学） ； UCD（都柏林大学） ； HKUST（香港科技大学） ； PKU（北京大学） ； UCAS（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 EvoFSM通过有限状态机实现可控自我进化，提升智能体在开放性问题中的适应性与稳定性，有效解决传统方法的不稳定性与幻觉问题。

S-MUSt3R: Sliding Multi-view 3D Reconstruction

S-MUSt3R：滑动多视角三维重建

Leonid Antsfeld, Boris Chidlovskii, Yohann Cabon, Vincent Leroy, Jerome Revaud

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 S-MUSt3R通过序列分割和轻量级优化实现高效单目三维重建，利用MUSt3R模型在大规模RGB流中实现高精度重建。

Comments 8 pages, 5 figures, 5 tables

Inference-Time Reasoning Selectively Reduces Implicit Social Bias in Large Language Models

推理时的推理选择性减少大语言模型中的隐性社会偏见

Molly Apsel, Michael N. Jones

机构 * Cognitive Science Program Department of Psychological & Brain Sciences Indiana University Bloomington（心理与脑科学系认知科学计划印第安纳大学布卢明顿） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 该研究通过推理增强减少大语言模型中的隐性社会偏见，揭示推理对公平性评估的影响。

Knowledge Model Prompting Increases LLM Performance on Planning Tasks

知识模型提示增强了LLM在规划任务上的性能

Erik Goh, John Kos, Ashok Goel

机构 * School of Interactive Computing（交互计算学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 TMK框架通过显式任务分解和因果推理提升LLM在规划任务中的性能，使其在复杂符号任务中达到97.3%的准确率。

Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study

大语言模型作为元代理模型用于数据驱动的多任务优化：原理验证研究

Xian-Rong Zhang, Yue-Jiao Gong, Yuan-Ting Zhong, Ting Huang, Jun Zhang

机构 * School of Computer Science and Engineering, South China University of Technology, Guangzhou, China.（计算机科学与工程学院，华南理工大学，广州，中国） ； Guangzhou Institute of Technology, Xidian University, China.（广州理工大学，西安电子科技大学，中国） ； College of Artificial Intelligence, Nankai University, Tianjin, China.（人工智能学院，南开大学，天津，中国） ； Hanyang University, 15588 Ansan, South Korea.（湖南衡阳大学，韩国） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出利用大语言模型作为元代理模型，通过多任务优化框架提升适应度预测效率，实现跨任务知识共享与新任务适应性，验证了其在进化迁移优化中的有效性。

Comments 39 pages

Journal ref Information Sciences 726 (2026) 122762

Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work

对大型语言模型诊断学生手写数学作业认知技能的基准测试

Yoonsu Kim, Hyoungwook Jin, Hayeon Doh, Eunhye Kim, Dongyun Jung, Seungju Kim, Kiyoon Choi, Jinho Son, Juho Kim

机构 * School of Computing, KAIST, Daejeon, Republic of Korea（韩国庆熙大学计算机学院） ； University of Michigan, Ann Arbor, USA（美国密歇根大学） ； Ewha Womans University, Seoul, Republic of Korea（韩国成均馆大学） ； AlgorithmLabs, Seoul, Republic of Korea（韩国AlgorithmLabs公司） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文评估了18种大型语言模型在诊断学生手写数学作业认知技能时的表现，发现模型在模糊证据下表现不佳，揭示了模型在证据处理上的系统性问题。

ResT: Reshaping Token-Level Policy Gradients for Tool-Use Large Language Models

ResT: 重塑令牌级策略梯度以适应工具使用大型语言模型

Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Guojun Yin, Wei Lin, Ran He

机构 * CRIPAC, Institute of Automation（CRIPAC，自动化研究所） ； Meituan（美团） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 ResT通过熵引导的令牌重新加权优化工具使用任务的策略梯度，提升训练稳定性与效率，实现优于现有方法的性能。

Comments Accepted by ICLR2026

Likelihood-Based Reward Designs for General LLM Reasoning

基于似然的奖励设计用于通用大语言模型推理

Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

机构 * Meta FAIR ； University of Amsterdam（阿姆斯特丹大学） ； New York University（纽约大学） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出基于对数概率的奖励设计，用于提升大语言模型在推理任务中的表现，尤其在可验证和不可验证场景中均表现出色。

From Assumptions to Actions: Turning LLM Reasoning into Uncertainty-Aware Planning for Embodied Agents

从假设到行动：将大语言模型推理转化为具有不确定性的代理规划

SeungWon Seo, SooBin Lim, SeongRae Noh, Haneul Kim, HyeongYeop Kang

机构 * Department of Computer Science and Engineering, Korea University（计算机科学与工程系，韩国大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 PCE框架通过结构化决策树将LLM推理中的假设转化为可靠策略，提升多智能体环境下的规划效率和任务完成率。

Comments 31 pages, 10 figures, Accepted ICLR 2026