语言大模型 / LLM

AlignTune: Modular Toolkit for Post-Training Alignment of Large Language Models

AlignTune: 大型语言模型后训练对齐的模块化工具包

R E Zera Marveen Lyngkhoi, Chirag Chawla, Pratinav Seth, Utsav Avaiya, Soham Bhattacharjee, Mykola Khandoga, Rui Yuan, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；SFT(abstract)

AI总结 AlignTune通过模块化工具包提供统一接口，支持监督微调和RLHF优化，解决后端干扰和不可复现问题，提升对齐研究的可控性和复现性。

Comments Library opensource and available at https://github.com/Lexsi-Labs/aligntune

TVCACHE: A Stateful Tool-Value Cache for Post-Training LLM Agents

TVCACHE: 一种具有状态的工具-价值缓存用于训练后LLM代理

Abhishek Vijaya Kumar, Bhaskar Kataria, Byungsoo Oh, Emaad Manzoor, Rachee Singh

机构 * cornell（康奈尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；分类 cs.LG

AI总结 TVCACHE通过维护工具调用序列树和最长前缀匹配，实现LLM代理训练后的高效缓存，提高缓存命中率并减少工具调用时间。

Comments Abhishek Vijaya Kumar and Bhaskar Kataria have equal contribution

Flow of Spans: Generalizing Language Models to Dynamic Span-Vocabulary via GFlowNets

动态跨度的流动：通过GFlowNets泛化语言模型到动态跨度词典

Bo Xue, Yunchong Song, Fanghao Shao, Xuekai Zhu, Lin Chen, Luoyi Fu, Xinbing Wang, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出FOSS，一种基于GFlowNets的跨度生成框架，通过动态跨度词典和DAG结构状态空间提升语言模型的生成能力与泛化性能。

Comments Published as a conference paper at ICLR 2026

Fixing the Broken Compass: Diagnosing and Improving Inference-Time Reward Modeling

修复破碎的指南针：诊断并改进推理时间奖励建模

Jiachun Li, Pengfei Cao, Zhuoran Jin, Yubo Chen, Jiexin Xu, Huaijun Li, Xiaojian Jiang, Kang Liu, Jun Zhao

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所认知与决策智能复杂系统重点实验室） ； China Merchants Bank（中国 Merchants 银行） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CRISP算法，通过聚类和逐步前缀优化，提升LLM在推理任务中的性能，实现5%的准确率提升。

Comments 38 pages, 30 figures, Accpeted by ICLR 2026

Asymmetric Prompt Weighting for Reinforcement Learning with Verifiable Rewards

可验证奖励下的强化学习中不对称提示加权

Reinhard Heckel, Mahdi Soltanolkotabi, Christos Thramboulidis

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.LG

AI总结 本文提出不对称提示加权方法，用于提升可验证奖励强化学习中低成功率提示的训练效率，尤其在从头开始的强化学习中表现更佳。

SecCodePRM: A Process Reward Model for Code Security

SecCodePRM: 一种用于代码安全的过程奖励模型

Weichen Yu, Ravi Mangal, Yinyi Luo, Kai Hu, Jingxuan He, Corina S. Pasareanu, Matt Fredrikson

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SecCodePRM通过一种面向安全的过程奖励模型，提升代码安全性和检测效率，适用于完整代码漏洞检测、部分代码漏洞检测和安全代码生成。

Comments 20 pages

From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models

从偏好到偏见：对齐调谐在视频扩散模型中塑造社会偏见的作用

Zefan Cai, Haoyi Qiu, Haozhe Zhao, Ke Wan, Jiachen Li, Jiuxiang Gu, Wen Xiao, Nanyun Peng, Junjie Hu

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Microsoft（微软公司） 纠错

专题命中 后训练与偏好优化 ：prompting(abstract)；分类 cs.CL

AI总结 本文研究了对齐调谐在视频扩散模型中如何塑造社会偏见，提出VideoBiasEval框架以评估和缓解偏见，揭示了对齐调谐使偏见更稳定且刻板化的现象。

Comments TMLR

Internalizing Meta-Experience into Memory for Guided Reinforcement Learning in Large Language Models

将元经验内化到记忆中以指导大语言模型的强化学习

Shiting Huang, Zecheng Li, Yu Zeng, Qingnan Ren, Zhen Fang, Qisheng Su, Kou Shi, Lin Chen, Zehui Chen, Feng Zhao

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 通过将元经验内化到记忆中，MEL提升了大语言模型的强化学习效果，实现了更有效的知识重用和推理能力增强。

ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training

ZeroTuning: 解锁初始标记的潜力以无需训练的方式提升大语言模型

Feijiang Han, Xiaodong Yu, Jianheng Tang, Delip Rao, Weihua Du, Lyle Ungar

机构 * University of Pennsylvania（宾夕法尼亚大学） ； AMD（AMD公司） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ZeroTuning通过仅调整初始标记的注意力实现无需训练的大语言模型性能提升，适用于多种任务和场景。

Comments ICLR 2026 Accepted Version: proofread, introduction rewritten, additional experiments and appendix material added

From Assistant to Double Agent: Formalizing and Benchmarking Attacks on OpenClaw for Personalized Local AI Agent

从助手到双代理：形式化和评估 OpenClaw 对个性化本地 AI 代理的攻击

Yuhang Wang, Feiming Xu, Zheng Lin, Guangyu He, Yuzhe Huang, Haichang Gao, Zhenxing Niu, Shiguo Lian, Zhaoxiang Liu

机构 * Xidian University（西安电子科技大学） ； Data Science & Artificial Intelligence Research Institute（数据科学与人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出个性化代理安全评估框架 PASB，用于评估 OpenClaw 在现实部署中的安全风险，揭示其在多个执行阶段的关键漏洞。

Comments 11 pages,2 figures

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers

旋转位置嵌入作为相位调制：长上下文Transformer的RoPE基础理论界限

Feilong Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文将RoPE重新解释为相位调制，推导出长上下文Transformer中RoPE基础的理论界限，揭示了位置一致性、精度和深度对模型性能的影响。

WAVE++: Capturing Within-Task Variance for Continual Relation Extraction with Adaptive Prompting

WAVE++: 通过自适应提示捕捉任务内方差以实现连续关系抽取

Bao-Ngoc Dao, Minh Le, Quang Nguyen, Luyen Ngo Dinh, Nam Le, Linh Ngo Van

机构 * Hanoi University of Science and Technology（河内科学技术大学） 纠错

专题命中 长上下文与记忆 ：prompting(title)；分类 cs.CL

AI总结 WAVE++通过自适应提示捕捉任务内方差，提升连续关系抽取的鲁棒性与准确性。

Comments Accepted in Neurocomputing, Elsevier

When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning

何时记忆何时停止：用于长上下文推理的门控循环记忆

Leheng Sheng, Yongtao Zhang, Wenchang Ma, Yaorui Shi, Ting Huang, Xiang Wang, An Zhang, Ke Shen, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GRU-Mem通过引入两个文本控制的门，实现了更稳定和高效的长上下文推理，显著提升了推理速度和性能。

Comments 26 pages

UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory

UMEM: 通用记忆的统一记忆提取与管理框架

Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo

机构 * Xiamen University（厦门大学） ； Alibaba International Digital Commerce（阿里巴巴国际数字商务） ； Tongyi Lab, Alibaba Group（阿里云实验室，阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 UMEM通过联合优化大语言模型，实现记忆的提取与管理，提升记忆的泛化能力，实验显示在多轮交互任务中表现优于基线模型。

Building Production-Ready Probes For Gemini

为Gemini构建生产级探针

János Kramár, Joshua Engels, Zheng Wang, Bilal Chughtai, Rohin Shah, Neel Nanda, Arthur Conmy

机构 * Google（谷歌） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出新的探针架构以应对长上下文分布变化，并通过实验验证其在网络安全领域的有效性，同时展示了自动化AI安全研究的初步成果。

Comments v4 (another minor acknowledgements fix)

LUCID: Attention with Preconditioned Representations

LUCID：带有预条件表示的注意力

Sai Surya Duvvuri, Nirmal Patel, Nilesh Gupta, Inderjit S. Dhillon

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google（谷歌公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 LUCID通过预条件表示改进注意力机制，提升长上下文检索任务性能，尤其在BABI Long和RULER任务中表现更优。

VERA: Identifying and Leveraging Visual Evidence Retrieval Heads in Long-Context Understanding

VERA：识别和利用长上下文理解中的视觉证据检索头

Rongcan Pei, Huan Li, Fang Guo, Qi Zhu

机构 * Tongji University（同济大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 VERA通过识别和利用视觉证据检索头，提升长上下文理解能力，显著提高开源VLMs的性能。

Comments 12 pages, 12 figures

Force Generative Imitation Learning: Bridging Position Trajectory and Force Commands through Control Technique

力生成模仿学习：通过控制技术弥合位置轨迹与力命令之间的鸿沟

Hiroshi Sato, Sho Sakaino, Toshiaki Tsuji

机构 * Graduate School of Systems and Information Engineering, University of Tsukuba（东京大学系统与信息工程研究生院） ； Graduate School of Science and Engineering, Saitama University（埼玉大学科学与工程研究生院） ； Department of Intelligent Interaction Technologies, Institute of Systems and Information Engineering, University of Tsukuba（东京大学系统与信息工程研究所智能交互技术系） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 本文提出一种力生成模型，通过无记忆反馈控制机制提升机器人在未见过位置轨迹下的力命令生成能力，以改善现实任务中的泛化性能。

Comments Accepted for IEEE Access

Abstraction Generation for Generalized Planning with Pretrained Large Language Models

基于预训练大语言模型的通用规划抽象生成

Zhenhe Cui, Huaxiang Xia, Hangjun Shen, Kailun Luo, Yong He, Wei Liang

机构 * Hunan University of Science and Technology（湖南科技大学） ； Dongguan University of Technology（东莞理工学院） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出利用预训练大语言模型生成通用规划的抽象，并通过自动化调试修正抽象，以提升规划效率。

Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models

通过在大型语言模型上积累知识来精通图神经网络设计

Jialiang Wang, Hanmo Liu, Shimin Di, Zhili Wang, Jiachuan Wang, Lei Chen, Xiaofang Zhou

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Southeast University（东南大学） ； HoHuawei Hong Kong Research Center (HKRC)（华为香港研究中心） ； University of Tsukuba（筑波大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 DesiGNN通过在大型语言模型上积累知识，提升图神经网络设计的自动化水平，实现高效精准的模型生成。

Comments Accepted at WSDM 2026. Title changed from "Computation-friendly graph neural network design by accumulating knowledge on large language models" to "Proficient Graph Neural Network Design by Accumulating Knowledge on Large Language Models"

From Belief Entrenchment to Robust Reasoning in LLM Agents

从信念固化到LLM代理的稳健推理

Jihwan Oh, Minchan Jeong, Jongwoo Ko, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DReaMAD通过引入多样化推理和动态辩论机制，有效缓解了LLM代理中的信念固化问题，提升了推理准确性与胜率。

Comments Accepted to TACL

Consistency Meets Verification: Enhancing Test Generation Quality in Large Language Models Without Ground-Truth Solutions

一致性与验证：在没有真实解决方案的情况下提升大型语言模型的测试生成质量

Hamed Taherkhani, Alireza DaghighFarsoodeh, Mohammad Chowdhury, Hung Viet Pham, Hadi Hemmati

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)

AI总结 ConVerTest通过自我一致性、验证链和双执行协议，在无需真实解决方案的情况下提升大型语言模型的测试生成质量。

Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models

隐式概率推理不反映大语言模型中的显式答案

Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren

机构 * University of Fribourg, Switzerland（弗里堡大学） ； armasuisse S+T, Switzerland（armasuisse S+T） 纠错

专题命中 推理与问题求解 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现大语言模型在显式概率推理中表现良好，但在隐式概率推理中预测与真实情况存在显著差异，且传统评估方法无法检测此类错误。

Comments Published in Transactions on Machine Learning Research

Polymer-Agent: Large Language Model Agent for Polymer Design

聚合物代理：用于聚合物设计的大型语言模型代理

Vani Nigam, Achuth Chandrasekhar, Amir Barati Farimani

机构 * Department of Materials Science and Engineering, Carnegie Mellon University（材料科学与工程系，卡内基梅隆大学） ； Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 推理与问题求解 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 本文提出基于LLM的聚合物代理，通过结构-性质预测和生成技术，助力实验室研究人员高效发现新型聚合物结构。

EventCast: Hybrid Demand Forecasting in E-Commerce with LLM-Based Event Knowledge

EventCast：基于LLM事件知识的电子商务混合需求预测

Congcong Hu, Yuang Shi, Fan Huang, Yang Xiang, Zhou Ye, Ming Jin, Shiyu Wang

机构 * ByteDance China（字节跳动中国） ； National University of Singapore（新加坡国立大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 EventCast通过整合LLM事件知识提升电子商务需求预测精度，实现86.9%和97.7%的MAE和MSE改进。

UniAudio 2.0: A Unified Audio Language Model with Text-Aligned Factorized Audio Tokenization

UniAudio 2.0：一种具有文本对齐因子化音频标记化的统一音频语言模型

Dongchao Yang, Yuanyuan Wang, Dading Chong, Songxiang Liu, Xixin Wu, Helen Meng

机构 * The Chinese University of Hong Kong, China（香港中文大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)

AI总结 UniAudio 2.0通过引入ReasoningCodec和统一自回归架构，实现了文本对齐的因子化音频标记化，提升了音频理解和生成性能，并在多种任务中展现了强大的泛化能力。

Privacy Control in Conversational LLM Platforms: A Walkthrough Study

对话式大语言模型平台中的隐私控制：一项 walkthrough 研究

Zhuoyang Li, Yanlai Wu, Yao Li, Xinning Gui, Yuhan Luo

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究对话式大语言模型平台的数据控制机制，揭示用户数据生成与共享的复杂性，并为开发者和政策制定者提供隐私控制优化的实用建议。

Advances in LLMs with Focus on Reasoning, Adaptability, Efficiency and Ethics

大语言模型的进展：聚焦推理、适应性、效率和伦理

Asifullah Khan, Muhammad Zaeem Khan, Aleesha Zainab, Saleha Jamshed, Sadia Ahmad, Kaynat Khatib, Faria Bibi, Abdul Rehman

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文综述了大语言模型在推理、适应性、效率和伦理方面的进展，探讨了关键技术和挑战，提出未来研究方向。

Improving Reasoning for Diffusion Language Models via Group Diffusion Policy Optimization

通过群体扩散策略优化提升扩散语言模型的推理能力

Kevin Rojas, Jiahe Lin, Kashif Rasul, Anderson Schneider, Yuriy Nevmyvaka, Molei Tao, Wei Deng

机构 * Georgia Institute of Technology（佐治亚理工学院） ； ML Research, Morgan Stanley（摩根士丹利机器学习研究部） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文提出GDPO算法，通过减少ELBO估计的方差提升扩散语言模型的推理能力，实验证明其在多个基准上优于现有方法。

VulReaD: Knowledge-Graph-guided Software Vulnerability Reasoning and Detection

VulReaD: 基于知识图谱的软件漏洞推理与检测

Samal Mukhtar, Yinghua Yao, Zhu Sun, Mustafa Mustafa, Yew Soon Ong, Youcheng Sun

机构 * The University of Manchester（曼彻斯特大学） ； Agency for Science, Technology and Research（科技研究局） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 VulReaD通过知识图谱引导的推理方法，在软件漏洞检测中实现CWE级别的分类，提升二元和多类检测性能，增强可解释性。

Comments 22 pages, 3 figures