语言大模型 / LLM

Supporting Our AI Overlords: Redesigning Data Systems to be Agent-First

支持我们的AI主宰者：重新设计数据系统以面向代理

Shu Liu, Soujanya Ponnapalli, Shreya Shankar, Sepanta Zeighami, Alan Zhu, Shubham Agarwal, Ruiqi Chen, Samion Suwito, Shuo Yuan, Ion Stoica, Matei Zaharia, Alvin Cheung, Natacha Crooks, Joseph E. Gonzalez, Aditya G. Parameswaran

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出重新设计数据系统以更原生支持代理工作负载，通过代理推测的特点探索新的架构机会。

Block Sparse Flash Attention

块稀疏Flash注意力

Daniel Ohayon, Itay Lamprecht, Itay Hubara, Israel Cohen, Daniel Soudry, Noam Elata

机构 * Technion -- Israel Institute of Technology, Haifa, Israel（技术离子-以色列理工学院, 海法, 以色列） ； Intel -- Habana Labs, Tel Aviv, Israel（英特尔 -- Habana实验室, 特拉维夫, 以色列） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 块稀疏Flash注意力通过精确计算查询-键相似性，提升长上下文推理效率并保持高准确性。

Comments 10 pages, 5 figures. Code: https://github.com/Danielohayon/Block-Sparse-Flash-Attention

OSVBench: Benchmarking LLMs on Specification Generation Tasks for Operating System Verification

OSVBench：用于操作系统验证的大型语言模型规范生成基准测试

Shangyu Li, Juyong Jiang, Tiancheng Zhao, Jiasi Shen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 OSVBench通过长上下文任务评估LLMs在操作系统验证中的规范生成能力，揭示现有模型在复杂代码生成任务中的性能差异。

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs

超越现实：旋转位置嵌入的虚数扩展用于长上下文LLM

Xiaoran Liu, Yuerong Song, Zhigeng Liu, Zengfeng Huang, Qipeng Guo, Zhaoxiang Liu, Shiguo Lian, Ziwei He, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； China Unicom（中国联合网络通信集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过复数扩展提升旋转位置嵌入，以增强长上下文LLM对位置信息的建模能力。

Comments 20 pages, 6 figures, under review

Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs

Rhea: 以角色意识的启发式片段注意力用于对话大语言模型

Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li

机构 * National Key Laboratory of Parallel and Distributed Computing（平行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Rhea通过角色意识启发式片段注意力框架，有效缓解多轮对话中上下文衰减问题，提升对话模型的准确性和指令一致性。

PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory

PersonaMem-v2：通过学习隐式用户人设和代理记忆实现个性化智能

Bowen Jiang, Yuan Yuan, Maohao Shen, Zhuoqun Hao, Zhangchen Xu, Zichen Chen, Ziyi Liu, Anvesh Rao Vijjini, Jiashu He, Hanchao Yu, Radha Poovendran, Gregory Wornell, Lyle Ungar, Dan Roth, Sihao Chen, Camillo Jose Taylor

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） ； University of California Santa Barbara（加州大学圣巴巴拉分校） ； Meta ； University of Southern California（南加州大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Microsoft Corporation（微软公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 PersonaMem-v2通过学习隐式用户人设和代理记忆提升LLM个性化能力，实验显示强化微调使模型在隐式个性化任务中准确率达53%。

Comments Data is available at https://huggingface.co/datasets/bowen-upenn/PersonaMem-v2

VLM-Assisted Continual learning for Visual Question Answering in Self-Driving

基于视觉语言模型的持续学习用于自动驾驶中的视觉问答

Yuxin Lin, Mengshi Qi, Liang Liu, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文提出结合视觉语言模型与持续学习的方法，以提升自动驾驶中视觉问答系统的性能和可靠性。

JT-DA: Enhancing Data Analysis with Tool-Integrated Table Reasoning Large Language Models

JT-DA：利用工具集成的表格推理大语言模型提升数据分析

Ce Chi, Xing Wang, Zhendong Wang, Xiaofan Liu, Ce Li, Zhiyan Song, Chen Zhao, Kexin Yang, Boshen Shi, Jingjing Yang, Chao Deng, Junlan Feng

机构 * Jiutian Research, China Mobile, Beijing, China（钧天研究，中国移动，北京） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 JT-DA-8B通过工具集成的表格推理方法，提升复杂表格分析任务的性能和准确性。

The Geometry of Persona: Disentangling Personality from Reasoning in Large Language Models

人格的几何学：从推理中分离人格特征于大型语言模型

Zhixiang Wang

机构 * Precision and Intelligence Medical Imaging Lab, Beijing Friendship Hospital, Capital Medical University（首都医科大学北京友谊医院精准与智能医学影像实验室） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；prompting(abstract)

AI总结 本文提出Soul Engine框架，通过解耦人格特质于LLM推理，实现安全可控的人格个性化。

Comments 10 pages, 3 figures, 1 table. Code and dataset available at https://huggingface.co/Zx93/Soul-Engine-Qwen2.5-0.5B

NeSTR: A Neuro-Symbolic Abductive Framework for Temporal Reasoning in Large Language Models

NeSTR：一种用于大语言模型时间推理的神经符号抽象框架

Feng Liang, Weixin Zeng, Runhao Zhao, Xiang Zhao

机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家重点实验室） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 NeSTR通过结合符号表示与反思推理，提升大语言模型在复杂时间约束下的推理能力。

Comments Accepted by AAAI 2026

Unilaw-R1: A Large Language Model for Legal Reasoning with Reinforcement Learning and Iterative Inference

Unilaw-R1：基于强化学习和迭代推理的法律推理大语言模型

Hua Cai, Shuang Zhao, Liang Zhang, Xuli Shen, Qing Xu, Weilin Shen, Zihao Wen, Tianke Ban

机构 * UniDT ； Fudan University（复旦大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.CL

AI总结 Unilaw-R1通过强化学习和迭代推理，提升法律推理能力，在多个基准测试中超越同类模型。

Hyperbolic Large Language Models

双曲大语言模型

Sarang Patil, Zeyong Zhang, Yiran Huang, Tengfei Ma, Mengjia Xu

机构 * Department of Data Science, New Jersey Institute of Technology（数据科学系，新泽西理工学院） ； Department of Biomedical Informatics, Stony Brook University（生物医学信息学系，石溪大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出双曲大语言模型，通过双曲几何提升语义表示学习和多尺度推理能力。

Comments 27 pages, 7 figures

Exploring the Hidden Reasoning Process of Large Language Models by Misleading Them

通过误导性训练探索大型语言模型的隐藏推理过程

Guanyu Chen, Peiyang Wang, Yizhou Jiang, Yuqian Liu, Chujie Zhao, Ying Fang, Tianren Zhang, Feng Chen

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） ； College of Computer and Cyber Security, Fujian Normal University（计算机与网络安全学院，福建师范大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文通过误导性训练方法探索LLMs的隐藏推理过程，发现其具备在任务抽象前进行推理的内部机制。

BEACON: A Unified Behavioral-Tactical Framework for Explainable Cybercrime Analysis with Large Language Models

BEACON：一种结合大语言模型的可解释性网络犯罪分析统一行为-战术框架

Arush Sachdeva, Rajendraprasad Saravanan, Gargi Sarkar, Kavita Vemuri, Sandeep Kumar Shukla

机构 * International Institute of Information Technology Hyderabad（国际信息研究所海得拉巴） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 BEACON通过整合行为心理学与网络犯罪战术生命周期，利用大语言模型实现网络犯罪的可解释性分析，提升分类准确率和推理质量。

VRSA: Jailbreaking Multimodal Large Language Models through Visual Reasoning Sequential Attack

通过视觉推理序列攻击对多模态大语言模型进行劫持

Shiji Zhao, Shukun Xiong, Yao Huang, Yan Jin, Zhenyu Wu, Jiyang Guan, Ranjie Duan, Jialing Tao, Hui Xue, Xingxing Wei

机构 * Alibaba Group（阿里巴巴集团） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)

AI总结 VRSA通过视觉推理序列攻击方法，针对多模态大语言模型的视觉模态进行劫持，提升攻击成功率。

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

超越马尔可夫：通过贝叶斯自适应强化学习实现LLM推理的反思探索

Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

机构 * Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过贝叶斯自适应强化学习实现LLM推理的反思探索，提升测试性能与令牌效率。

OpenFOAMGPT: a RAG-Augmented LLM Agent for OpenFOAM-Based Computational Fluid Dynamics

OpenFOAMGPT：一种基于检索增强生成的LLM代理，用于基于OpenFOAM的计算流体力学

Sandeep Pandey, Ran Xu, Wenkang Wang, Xu Chu

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 OpenFOAMGPT是一种基于检索增强生成的LLM代理，用于优化OpenFOAM的CFD模拟，通过高效处理复杂任务提升工程应用效率。

Subgoal Graph-Augmented Planning for LLM-Guided Open-World Reinforcement Learning

子目标图增强的规划用于LLM引导的开放世界强化学习

Shanwei Fan, Bin Zhang, Zhiwei Xu, Yingxuan Teng, Siqi Dai, Lin Cheng, Guoliang Fan

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SGA-ACR框架，通过整合环境特定的子目标图和多LLM规划流程，解决LLM在开放世界强化学习中的规划-执行对齐问题，提升子目标的可行性和可验证性。

Going All-In on LLM Accuracy: Fake Prediction Markets, Real Confidence Signals

全面投入LLM准确性：假预测市场，真实信心信号

Michael Todasco

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过将评估任务设计为赌博游戏，研究发现LLM的置信度信号可通过虚拟货币激励提升，但准确性提升未达统计显著性。

Comments 25 pages, 8 tables, 2 figures. Pilot study. Data, prompts, and code available at https://osf.io/dc24t/

Descrip3D: Enhancing Large Language Model-based 3D Scene Understanding with Object-Level Text Descriptions

Descrip3D: 通过物体级文本描述增强基于大语言模型的3D场景理解

Jintang Xue, Ganning Zhao, Jie-En Yao, Hong-En Chen, Yue Hu, Meida Chen, Suya You, C. -C. Jay Kuo

机构 * University of Southern California（南加州大学） ； DEVCOM Army Research Laboratory（国防部陆军研究实验室） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；large language model(title)

AI总结 Descrip3D通过引入物体级文本描述，提升大语言模型在3D场景理解中的关系推理能力，有效增强复杂室内场景的语义理解。

Training Task Reasoning LLM Agents for Multi-turn Task Planning via Single-turn Reinforcement Learning

通过单次强化学习训练多轮任务规划的LLM代理

Hanjiang Hu, Changliu Liu, Na Li, Yebin Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL）） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过单次强化学习训练LLM代理进行多轮任务规划，利用GRPO实现高效策略优化，实验显示其在复杂任务规划中的表现优于大参数基线模型。

Comments Accepted by IEEE Control Systems Letters (L-CSS)

FlockVote: LLM-Empowered Agent-Based Modeling for Simulating U.S. Presidential Elections

FlockVote: 基于大语言模型的智能体建模用于模拟美国总统选举

Lingfeng Zhou, Yi Xu, Zhenyu Wang, Dequan Wang

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 FlockVote利用大语言模型构建智能体建模框架，用于模拟美国总统选举，实现高保真度的社会模拟与可解释性研究。

Comments Published as a conference paper at ICAIS 2025

On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models

在预训练、中训练和强化学习对推理语言模型的相互作用中

Charlie Zhang, Graham Neubig, Xiang Yue

机构 * Carnegie Mellon University, Language Technologies Institute（卡内基梅隆大学，语言技术研究所） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究探讨了预训练、中训练和强化学习在推理语言模型中的相互作用，发现RL需预训练留有余地才能提升能力，中训练提升性能，过程级奖励提高推理准确性。

DataGovBench: Benchmarking LLM Agents for Real-World Data Governance Workflows

DataGovBench: 为现实世界数据治理工作流程评估LLM代理

Zhou Liu, Zhaoyang Han, Guochen Yan, Hao Liang, Bohan Zeng, Xing Chen, Yuanfeng Song, Wentao Zhang

机构 * Peking University（北京大学） ； ByteDance（字节跳动） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DataGovBench通过150种现实任务评估LLM代理在数据治理中的表现，提出DataGovAgent框架提升复杂任务性能和调试效率。

Comments Equal contribution: Zhou Liu and Zhaoyang Han. Corresponding authors: Yuanfeng Song and Wentao Zhang

Unsupervised decoding of encoded reasoning using language model interpretability

使用语言模型可解释性进行无监督解码编码推理

Ching Fang, Samuel Marks

机构 * Goodfire AI ； Anthropic ； Cambridge-Boston Alignment Initiative（剑桥-波士顿对齐计划） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本研究通过微调模型进行加密推理并利用logit lens分析，验证了可解释性技术在解码隐藏推理过程中的有效性，提出了无监督解码方法以提升对AI系统监督能力。

Comments Modifying author contact information

LLM-Powered Quantum Code Transpilation

基于大语言模型的量子代码编译

Nazanin Siavash, Armin Moin

机构 * Department of Computer Science University of Colorado Colorado Springs (UCCS) United States 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究利用大语言模型实现灵活的量子代码转换，解决跨平台开发中的互操作性问题。

Comments IEEE International Conference on Quantum Computing and Engineering (QCE) 2025 - Extended Abstract

Using Vision-Language Models as Proxies for Social Intelligence in Human-Robot Interaction

利用视觉-语言模型作为社交智能代理在人机交互中的应用

Fanjun Bu, Melina Tsai, Audrey Tjokro, Tapomayukh Bhattacharjee, Jorge Ortiz, Wendy Ju

机构 * Cornell University, Cornell Tech（康奈尔大学，康奈尔科技） ； Cornell University（康奈尔大学） ； Rutgers University（罗格斯大学） ； Cornell Tech, Jacobs Technion Cornell Institute（康奈尔科技，雅各布斯技术学院康奈尔研究所） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；prompting(abstract)

AI总结 本文提出利用视觉-语言模型作为代理，通过轻量级感知检测器触发，实现机器人在人机交互中的社交响应能力。

Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models

Video-R2: 通过强化一致性和基于现实的推理提升多模态语言模型

Muhammad Maaz, Hanoona Rasheed, Fahad Shahbaz Khan, Salman Khan

机构 * Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学） ； Linköping University（林肯皮大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；large language model(abstract)

AI总结 Video-R2通过强化学习提升多模态模型在视频推理中的时间对齐和逻辑一致性，提高准确性和可信度。

Comments Video-R2 Technical Report

Do Persona-Infused LLMs Affect Performance in a Strategic Reasoning Game?

带有个性特征的LLM是否会影响战略推理游戏中的表现？

John Licato, Stephen Steinle, Brayden Hollis

机构 * Bellini College of Artificial Intelligence, Cybersecurity and Computing（人工智能、网络安全与计算学院） ； University of South Florida（佛罗里达州立大学） ； Information Directorate（信息 Directorate） ； Air Force Research Library（空军研究图书馆） 纠错

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究探讨了个性提示对战略推理游戏表现的影响，提出了一种基于心理测量原理的启发式生成方法，通过中介过程提升启发式策略的可靠性。

Comments Accepted at IJCNLP-AACL 2025

VulnLLM-R: Specialized Reasoning LLM with Agent Scaffold for Vulnerability Detection

VulnLLM-R：基于代理架构的专用推理LLM用于漏洞检测

Yuzhou Nie, Hongwei Li, Chengquan Guo, Ruizhe Jiang, Zhun Wang, Bo Li, Dawn Song, Wenbo Guo

机构 * Department of Computer Science, University of California, Santa Barbara, CA, USA（加州大学圣芭芭拉分校计算机科学系） ； Department of Computer Science, University of Chicago, Chicago, IL, USA（芝加哥大学计算机科学系） ； Department of Electrical Engineering and Computer Sciences, University of California, Berkeley, CA, USA（加州大学伯克利分校电子工程与计算机科学系） ； Department of Computer Science, University of Illinois Urbana-Champaign, Champaign, IL, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；分类 cs.AI

AI总结 VulnLLM-R通过专用推理模型和代理架构，在漏洞检测中实现高效准确的AI驱动检测。