语言大模型 / LLM

How Do Large Language Models Learn Concepts During Continual Pre-Training?

大型语言模型在持续预训练中如何学习概念？

Barry Menglong Yao, Sha Li, Yunzhi Yao, Minqian Liu, Zaishuo Xia, Qifan Wang, Lifu Huang

机构 * UC Davis（加州大学戴维斯分校） ； Virginia Tech（弗吉尼亚理工大学） ； UCLA（加州大学洛杉矶分校） ； Meta AI 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；pretraining(abstract)

AI总结 本研究揭示了大型语言模型在持续预训练中概念学习的动态机制，通过分析概念电路揭示了概念获取、遗忘及相互作用的规律，为设计更可解释的训练策略提供依据。

Comments 19 pages, 27 figures

Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models

Know3D: 通过视觉-语言模型的知识提示3D生成

Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang

机构 * Peking University（北京大学） ； Math Magic（数学魔术） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology（广东省超高清沉浸媒体技术重点实验室） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；prompting(title)；large language model(abstract)

AI总结 本文提出Know3D框架，利用多模态大语言模型的知识提升3D生成的可控性，通过潜在状态注入实现语言可控的后视图生成，改进3D生成的几何细节与一致性。

Comments ECCV2026 page: https://xishuxishu.github.io/Know3D.github.io/

TabCausal: Pretraining Across Causal Environments for Tabular Causal Discovery

TabCausal: 跨因果环境的表格因果发现预训练

Zi-Rong Li, Si-Yang Liu, Tian-Zuo Wang, Han-Jia Ye

机构 * Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.LG

AI总结 提出TabCausal，一种通过动态任务构建策略在多样化因果环境中进行大规模预训练的因果发现基础模型，在合成和语义基准上优于现有方法。

Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

将离策略令牌转换为策略内令牌：一种改进大语言模型对齐的插件方法

Yu Li, Xiuyu Li, Mingyang Yi, Jiaxing Wang, Liangxu Zhang, Zhaolong Xing, Zhen Chen

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究针对大语言模型强化学习后训练中离策略数据问题，提出选择性重要性采样（SIS），受拒绝采样启发，以离策略模型为提议分布进行令牌级拒绝测试，理论证明可减少梯度估计差距，实验验证其有效性。

TabularQGAN: A quantum generative model for tabular data synthesis

TabularQGAN：一种用于表格数据合成的量子生成模型

Pallavi Bhardwaj, Caitlin Jones, Lasse Dierich, Aleksandar Vučković

机构 * SAP SE（SAP公司） ； BASF Digital Solutions（巴斯夫数字解决方案） ； QUTAC Quantum Technology and Application Consortium（QUTAC量子技术与应用联盟） ； Technical University of Munich CIT（慕尼黑技术大学CIT） ； Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学） ； Merck KGaA（默克公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出新型量子生成对抗网络TabularQGAN，针对异构表格数据建模，在MIMIC-III等数据集上与经典及LLM方法对比，取得有竞争力甚至领先的合成性能，验证了其泛化能力。

Comments 19 pages,8 figures and 4 tables

Journal ref Sci. Rep. 16, 23555 (2026)1-19

Convergent Evolution: How Different Language Models Learn Similar Number Representations

趋同进化：不同语言模型如何学习相似的数字表示

Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

机构 * University of Southern California（南加州大学） ； UC San Diego（圣地亚哥大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究探讨了不同语言模型如何通过不同训练信号学习相似的数字表示，揭示了特征学习中的趋同进化现象。

Comments COLM 2026

LENS: In-Context Search via Latent Evidence Exploration over Dynamic Raw Documents

LENS：基于动态原始文档的潜在证据探索的上下文内搜索

Xingjun Wang, Gongsheng Li, Qi Fan, Yunlin Mao, Luyan Su, Yingda Chen

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对动态原始文档的上下文内搜索问题，提出无索引框架LENS，通过迭代选择候选证据并更新置信度实现预算约束下的证据定位，在多组实验中其证据召回率和答案依据表现优于基线方法。

ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection

ContextClaim: 一种基于上下文的可验证声明检测范式

Yufeng Li, Rrubaa Panchendrarajan, Arkaitz Zubiaga

机构 * School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ContextClaim范式，通过提取实体、检索维基知识并生成上下文摘要，提升可验证声明检测的可靠性，验证其在不同领域和模型设置下的有效性。

One Pipeline, Many Transformers: Pattern-Specific Imputation Specialists for Tabular Missing Data

TabImpute: 通用零样本填补表格数据

Jacob Feitelberg, Dwaipayan Saha, Kyuseong Choi, Zaid Ahmad, Anish Agarwal, Raaz Dwivedi

机构 * Industrial Engineering \& Operations Research, Columbia University, New York, USA ； Department of Statistics, Columbia University, New York, USA ； Operations Research \& Information Engineering, Cornell Tech, New York, USA 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 TabImpute通过预训练Transformer实现通用零样本表格数据填补，采用高效特征化和合成数据生成提升填补速度与准确性。

LLM-Based Generative Retrieval for Snapchat Content Recommendation

基于大语言模型的生成式检索用于Snapchat内容推荐

Liam Collins, Jiwen Ren, Donald Loveland, Bhuvesh Kumar, Clark Mingxuan Ju, Xuan Guo, Mo Li, Alvin Hou, Yi Cui, Peng Yang, Jian Wang, Saud Afzal Shafi, Nga Than, Ruiming Lu, Wenfeng Zhuo, Dongheng Li, Lili Zhang, Mingtao Zhang, Jinchao Ye, Vincent Xue, Chunhui Zhu, Neil Shah

专题命中 指令微调 ：LLM(title,summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究针对将预训练LLM转化为生成式检索器的挑战，设计了SnapLGR系统，通过三项核心优化实现了Snapchat短视频推荐效果的提升。

Can LLMs Reliably Self-Report Adversarial Prefills, and How?

LLM 能否可靠地自我报告对抗性预填充，以及如何实现？

Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；SFT(abstract_cn)

AI总结 研究LLM在安全场景中识别自身输出是否受对抗性预填充攻击的能力，发现模型平均27.3%声称预填充输出有意图，且内省信号主要来自安全/拒绝推理，LoRA微调方法扩大了意图-篡改探针差距并提高了攻击成功率。

Comments In submission

Bactrainus: Optimizing Large Language Models for Multi-hop Complex Question Answering Tasks

Bactrainus：为多跳复杂问答任务优化大型语言模型

Iman Barati, Arash Ghafouri, Behrouz Minaei-Bidgoli

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对多跳问答的证据瓶颈，提出模块化选择器-阅读器框架Bactrainus，经实验验证其在HotpotQA任务中表现优异，为该领域提供了可审计的证据接口方案。

D-LiFT: Improving LLM-based Decompiler Backend via Code Quality-driven Fine-tuning

D-LiFT：通过代码质量驱动的微调改进基于大语言模型的反编译器后端

Muqi Zou, Hongyu Cai, Hongwei Wu, Zion Leonahenahe Basque, Arslan Khan, Berkay Celik, Dave, Tian, Antonio Bianchi, Ruoyu, Wang, Dongyan Xu

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究针对反编译器输出质量问题，提出D-LIFT方法。通过代码质量感知强化学习微调LLM，利用D-Score综合评估系统指导，在保持准确性的同时提升可读性，实验证明该方法有效提高了反编译代码质量。

ChatPlanner: A Large Language Model Framework for Personalized Public Transit Routing

ChatPlanner: 一个用于个性化公共交通路线规划的大型语言模型框架

Tingting Yang, Chenhao Xue, Jun Chen

机构 * School of Engineering and Materials Science, Queen Mary University of London（伦敦玛丽女王大学工程与材料科学学院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出ChatPlanner框架，利用大型语言模型和检索增强生成技术从自然语言查询中提取用户偏好并融入路线规划算法，实验证明其能生成更符合个性化需求的可行路线方案。

Comments Under Review at Transportation Research Part C

Constitutional Midtraining: Content Presence Drives Alignment Gains

宪法式中间训练：内容存在驱动对齐增益

Desiree Cho, Cameron Tice, Bernie Hogan, Hunar Batra, Puria Radmard, Jun Zhao, Nigel Shadbolt

机构 * University of Oxford（牛津大学） ； Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所） ； Geodesic Research ； Oxford Internet Institute, University of Oxford（牛津大学互联网研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出宪法式中间训练方法，在中间训练中插入基于原则价值观的内容，可提升模型对齐的泛化性与持久性，削弱SFT灌输的敲诈倾向且不造成能力损失，为以SFT为中心的流程提供低成本补充方案。

LLM-Driven Large-Scale Spectrum Access

基于大语言模型的大规模频谱接入

Ning Yang, Jinliang Gao, Haijun Zhang

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文提出基于群体相对策略优化的LSA框架，通过分层状态序列化机制解决超长提示导致的计算崩溃问题，实现高效频谱管理。

Comments 11 pages, 2 figures, 8 tables. Submitted to IEEE Transactions on Mobile Computing (TMC)

Cytoarchitecture in Words: Weakly Supervised Vision-Language Modeling for Human Brain Microscopy

词中结构：用于人类大脑显微镜的弱监督视觉-语言建模

Matthew Sutton, Katrin Amunts, Timo Dickscheid, Christian Schiffer

机构 * Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich（神经科学与医学研究所（INM-1），焦耳研究中心） ； Helmholtz AI, Research Centre Jülich（海德堡人工智能研究所，焦耳研究中心） ； Institute for Brain Research, University Hospital Düsseldorf（脑研究所在杜塞尔多夫大学医院） ； Computer Vision, Institute for Computational Visualistics, University of Koblenz（计算机视觉，计算视觉研究所，科布伦茨大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)

AI总结 本研究提出了一种弱监督视觉-语言建模方法，通过标签介导生成人类大脑显微镜的区域描述，实现了在缺乏配对标注情况下的自然语言生成。

Comments 13 pages, 5 figures, accepted for inclusion at GCPR 2026

Parametric Knowledge in RAG-SFT for Domain-Specific Document Generation

参数化知识与检索行为在电子设计自动化RAG微调中的研究

Julian Oestreich, Maximilian Bley, Frank Binder, Lydia Müller, André Alcalde, Maksym Sydorenkoq

机构 * Institute for Applied Informatics (InfAI) at Leipzig University（莱比锡大学应用信息学院） ； CELUS GmbH, Munich（慕尼黑CELUS GmbH） 纠错

专题命中 指令微调 ：SFT(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨RAG微调在电子设计自动化长文本生成中的应用，提出TriFEX评估框架和参数化知识精度指标，揭示传统指标的局限性，并展示小型模型在专用任务中的有效性。

Palmyra x6 Technical Report: An Agentic, Tool-Use Model Post-Trained via Anchored Supervised Fine-Tuning

Palmyra x6技术报告：一种通过锚定监督微调进行后训练的具工具使用能力的智能体模型

Peng Du, Kiran Kamble, Rakshith Vasudev, Zhizhuo Yang, Rohith Nadimpally, Arjun Krishna, Waseem Alshikh, Daniel M. Bikel

机构 * Writer AI Research, Writer, Inc.（Writer AI研究院，Writer公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 Palmyra x6是一款针对企业级智能体任务优化的大语言模型，通过锚定监督微调后训练构建，在公开基准测试及偏见安全评估中表现优异。

Comments 12 pages

What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems

下一步编辑什么：对话系统中视觉对齐的图像编辑后续建议

Zhijing Zhang, Jinpeng Yu, Xin Song, Bingnan Li, Chuyue Li, Changhui Du, Xiaolin Fang, Jiaming Liu, Ruihua Huang

机构 * Qwen Business Unit of Alibaba（阿里巴巴通义千问业务单元） ； Southeast University（东南大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对对话系统的图像创作场景，提出三阶段多模态推荐框架，经测试可降低视觉不一致率并显著提升推荐相关指标。

Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya

扩展基于吉兹语的非洲语言词汇：阿姆哈拉语和提格雷尼亚语的比较研究

Hailay Kidu Teklehaymanot, Debela Desalegn Yadeta, Wolfgang Nejdl

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 针对低资源非拉丁脚本语言表现不佳问题，提出VEXMLM。通过训练特定语言分词器扩展XLM - R词汇并初始化嵌入，分两阶段训练，在多种任务上评估。贡献为定制程序、两阶段策略及多语言评估，提升了相关语言任务性能。

Comments 13 pages , 7 tables , 2 figurs

VL-UniTrack: A Unified Framework with Visual-Language Prompts for UAV-Ground Visual Tracking

VL-UniTrack：一种用于无人机-地面视觉跟踪的融合视觉-语言提示的统一框架

Boyue Xu, Ruichao Hou, Tongwei Ren, Gangshan Wu

专题命中 指令微调 ：prompting(abstract)

AI总结 针对无人机-地面视觉跟踪中现有双流方法的特征孤立与外观匹配不可靠问题，提出VL-UniTrack统一框架，通过视觉-语言提示实现跨视角交互，在最新基准上达到SOTA性能。

Measuring Obedience to Authority Across Large Language Models with the Milgram Paradigm

用米尔格拉姆范式测量大型语言模型对权威的服从性

Hidayet Aksu

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI

AI总结 该研究将米尔格拉姆服从范式迁移至LLMs，测量42个模型的服从性概况，发现服从性异质性高、具模型特异性，受情境因素影响，且反映检查点而非模型谱系。

Comments 11 pages, 7 figures,

MCTS-KBQA: Monte Carlo Tree Search with Information Gain Rewards for Knowledge Base Question Answering

MCTS-KBQA：基于信息增益奖励的知识库问答蒙特卡洛树搜索

Guanming Xiong, Haochen Li, Zonghong Dai, Liqiang Wen, Wen Zhao

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对基于LLM的KBQA中MCTS应用的奖励设计与计算成本问题，提出Fast MCTS方法，以信息增益奖励替代中间状态终端展开，在四个KBQA基准上提升了准确率-成本权衡。

Comments Accepted to CIKM 2026

Likelihood Hacking in Probabilistic Program Synthesis

概率程序合成中的似然黑客行为

Jacek Karwowski, Younesse Kaddar, Zihuiwen Ye, Esmeralda S. Whitammer, Sam Staton

机构 * University of Oxford, Department of Computer Science（牛津大学计算机科学系） ； University of Edinburgh, School of Informatics（爱丁堡大学信息学院） ； CIFAR Fellow, Learning in Machines and Brains（CIFAR Fellow, 机器与大脑学习） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.LG

AI总结 研究概率程序合成中语言模型通过强化学习生成程序时可能人为夸大边际似然奖励的问题，提出安全语言片段SafeStan以防止似然黑客行为。

Journal ref Proceedings of the 42nd Conference on Uncertainty in Artificial Intelligence, PMLR 337:2744-2791, 2026

Risk-Controllable Multi-View Diffusion for Driving Scenario Generation

可控风险多视角扩散用于驾驶场景生成

Hongyi Lin, Wenxiu Shi, Heye Huang, Dingyi Zhuang, Song Zhang, Yang Liu, Xiaobo Qu, Jinhua Zhao

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 RiskMV-DPO通过整合风险水平与物理风险建模，实现可控风险的多视角驾驶场景生成，提升3D检测性能并减少FID，推动安全导向的具身智能发展。

Comments 10 pages, 4 figures; accepted at the CVPR 2026 Workshop on Video Generative Models: Benchmarks and Evaluation (VGBE). Updated to the complete camera-ready version

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026

Agent libOS: A Runtime Substrate for Capability-Controlled Self-Evolving LLM Agents

Agent libOS: 一种受库操作系统启发的运行时，用于长时间运行、能力受控的LLM智能体

Yingqi Zhang

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Agent libOS运行时，将LLM智能体建模为具有进程标识、生命周期、能力控制和审计记录的AgentProcess，通过类似libc的工具包装和运行时原语边界实现安全调度与资源控制。

Comments 20 pages, 3 figures, 7 tables. Project page: https://github.com/yingqi-z20/Agent-libOS

Attention Flows: Tracing LLM Conceptual Engagement via Story Summaries

注意力流动：通过故事摘要追踪LLM概念性参与

Rebecca M. M. Hicke, Sil Hamilton, David Mimno, Ross Deans Kristensen-McLachlan

机构 * Cornell University（康奈尔大学） ； Aarhus University（奥胡斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过比较人类与LLM生成的故事摘要，分析模型在文本中的概念性参与模式，发现模型更关注文本结尾，揭示了摘要生成任务的复杂性。

Comments Error found in data creation pipeline

H$^{2}$MT: Semantic Hierarchy-Aware Hierarchical Memory Transformer

H$^{2}$MT: 语义层次感知的层次记忆Transformer

Maryam Haghifam, Zifan He, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出H$^{2}$MT模型，通过离线构建语义层次结构并利用自底向上的后序聚合计算记忆嵌入，在推理时实现从粗到细的查询路由，从而在长上下文推理中实现质量与效率的权衡。

Ads in AI Chatbots? An Analysis of How Large Language Models Navigate Conflicts of Interest

AI聊天机器人中的广告：大型语言模型如何应对利益冲突分析

Addison J. Wu, Ryan Liu, Shuyue Stella Li, Yulia Tsvetkov, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） ； University of Washington（华盛顿大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文分析了大型语言模型在面临用户与公司利益冲突时的决策问题，通过实验发现多数模型优先考虑公司利益而非用户福祉，展示了在广告推荐中潜在的风险。

Comments COLM 2026