语言大模型 / LLM

Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining

打破冻结子空间：用于大语言模型预训练低秩优化的重要性采样

Haochen Zhang, Junze Yin, Guanchu Wang, Zirui Liu, Lin F. Yang, Tianyi Zhang, Anshumali Shrivastava, Vladimir Braverman

机构 * Rice University（Rice大学） ； University of North Carolina at Charlotte（北卡罗来纳州立大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种具有可证明收敛性的低秩优化方法，用于大语言模型预训练，以解决主导子空间在预训练中冻结的问题，并在实验中表现出优越的性能。

Comments NeurIPS 2025

The Landscape of Memorization in LLMs: Mechanisms, Measurement, and Mitigation

LLM记忆景观：机制、测量与缓解

Alexander Xiong, Xuandong Zhao, Aneesh Pappu, Dawn Song

机构 * UC Berkeley（伯克利大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究了LLM记忆现象的机制、测量方法及缓解策略，探讨了影响记忆的因素和检测技术，并分析了其法律伦理影响及缓解措施。

Advancing Weakly-Supervised Change Detection in Satellite Images via Adversarial Class Prompting

通过对抗性类别提示推进卫星图像弱监督变化检测

Zhenghui Zhao, Chen Wu, Di Wang, Hongruixuan Chen, Cuiqun Chen, Zhuo Zheng, Bo Du, Liangpei Zhang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（信息工程测绘遥感国家重点实验室，武汉大学） ； School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学） ； Graduate School of Frontier Sciences, University of Tokyo（前沿科学研究院，东京大学） ； Institute of Geodesy and Photogrammetry, ETH Zürich（测绘学研究院，苏黎世联邦理工学院） ； Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)

AI总结 提出对抗性类别提示方法，通过对抗性扰动和原型校正提升卫星图像弱监督变化检测性能。

Comments Accepted by IEEE Transactions on Image Processing

Boosting Skeleton-based Zero-Shot Action Recognition with Training-Free Test-Time Adaptation

通过无训练测试时适应提升基于骨架的零样本动作识别

Jingmin Zhu, Anqi Zhu, Hossein Rahmani, Jun Liu, Mohammed Bennamoun, Qiuhong Ke

机构 * Monash University（墨尔本大学） ； Lancaster University（兰卡斯特大学） ； University of Western Australia（西澳大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过引入Skeleton-Cache框架，利用LLM引导的语义先验实现无训练测试时适应，提升基于骨架的零样本动作识别性能。

TV2TV: A Unified Framework for Interleaved Language and Video Generation

TV2TV：一种用于交错语言和视频生成的统一框架

Xiaochuang Han, Youssef Emad, Melissa Hall, John Nguyen, Karthik Padthe, Liam Robbins, Amir Bar, Delong Chen, Michal Drozdzal, Maha Elbayad, Yushi Hu, Shang-Wen Li, Sreya Dutta Roy, Jakob Verbeek, XuDong Wang, Marjan Ghazvininejad, Luke Zettlemoyer, Emily Dinan

机构 * Meta FAIR 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TV2TV通过统一框架实现语言与视频生成的交错过程，提升视频生成的视觉质量和可控性。

Extending a Parliamentary Corpus with MPs' Tweets: Automatic Annotation and Evaluation Using MultiParTweet

扩展议会语料库以包含议员的推文：利用MultiParTweet进行自动标注和评估

Mevlüt Bagci, Ali Abusaleh, Daniel Baumartz, Giueseppe Abrami, Maxim Konca, Alexander Mehler

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文提出MultiParTweet，通过自动标注和人工验证，整合了多语言推文及媒体内容，展示了模型间互为预测性及多模态注释的优越性。

Comments Submitted to LREC 2026

Joint Learning of Wording and Formatting for Singable Melody-to-Lyric Generation

可唱旋律到歌词生成中的词汇与格式联合学习

Longshen Ou, Xichu Ma, Ye Wang

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本文提出通过联合学习词汇和格式来提升旋律到歌词生成的可唱性，实验显示在行数和音节数要求上表现更优。

Comments An extension of our previous work arXiv:2305.16816 [cs.CL]

Transfer learning of GW-Bethe-Salpeter Equation excitation energies

GW-贝瑟-萨尔皮特方程激发能的迁移学习

Dario Baum, Arno Förster, Lucas Visscher

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文通过迁移学习方法，利用预训练的图神经网络在有限的高保真数据下提升对准粒子和激发能的预测精度，扩展多体预测的化学空间范围。

Mind the Confidence Gap: Overconfidence, Calibration, and Distractor Effects in Large Language Models

注意置信差距：大型语言模型中的过度自信、校准与干扰效应

Prateek Chhikara

机构 * University of Southern California（美国南加州大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

AI总结 本研究探讨了大型语言模型中的过度自信问题，通过引入干扰项显著改善校准，提出针对性的改进策略以提升模型可靠性。

Comments Published in Transactions on Machine Learning Research (TMLR)

Integrating Ontologies with Large Language Models for Enhanced Control Systems in Chemical Engineering

将本体与大语言模型结合以增强化工工程中的控制系统

Crystal Su, Kuai Yu, Jingrui Zhang, Mingyuan Shao, Daniel Bauer

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出结合本体的LLM框架，用于增强化工工程控制系统，通过结构化知识与生成推理结合，提升过程控制和安全分析的可解释性和可靠性。

Comments This paper is withdrawn due to issues with attribution and citation accuracy

Zero-shot 3D Map Generation with LLM Agents: A Dual-Agent Architecture for Procedural Content Generation

无监督3D地图生成与LLM代理：一种双代理架构用于程序化内容生成

Lim Chien Her, Ming Yan, Yunshu Bai, Ruihao Li, Hao Zhang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种双代理架构，利用LLM代理实现无监督3D地图生成，通过迭代推理优化参数配置，提升PCG指令遵循能力。

Comments 12 pages, 6 figures

Decoding Human-LLM Collaboration in Coding: An Empirical Study of Multi-Turn Conversations in the Wild

解码人类与大语言模型在编程中的协作：多轮对话的真实世界经验研究

Binquan Zhang, Li Zhang, Haoyuan Zhang, Fang Liu, Song Wang, Bo Shen, An Fu, Lin Shi

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究通过实证分析探讨人类与LLM在编程中的协作机制，发现任务类型影响交互模式，LLM在调试和重构任务中表现欠佳，用户满意度受任务类型影响。

SUMFORU: An LLM-Based Review Summarization Framework for Personalized Purchase Decision Support

SUMFORU: 一种基于LLM的个性化购买决策支持的评论摘要框架

Yuming Feng, Xinrui Jiang

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract)；分类 cs.CL

AI总结 SUMFORU通过可调节的多元对齐方法，实现个性化购买决策支持，结合高质量数据管道和两阶段对齐流程，提升摘要的一致性、基础性和偏好对齐性能。

Comments Code available at https://github.com/Harry20030331/SumForU

Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy

视觉与语言动作政策的贝叶斯分解：看见以行动，提示以指定

Kechun Xu, Zhenjie Zhu, Anzhe Chen, Shuqi Zhao, Qing Huang, Yifei Yang, Haojian Lu, Rong Xiong, Masayoshi Tomizuka, Yue Wang

机构 * Zhejiang University（浙江大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 指令微调 ：prompting(title)；language model(abstract)；foundation model(abstract)

AI总结 本文提出BayesVLA，通过贝叶斯分解策略，解决VLA模型中因模态不平衡导致的灾难性遗忘问题，提升泛化能力和指令遵循性能。

Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs

超越早期词偏见：多语言大语言模型中的模型特定和语言特定的位置效应

Mikhail Menschikov, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

机构 * ITMO Applied AI（ITMO应用人工智能） ； SberAI ； Applied AI（应用人工智能） ； Lomonosov MSU（罗蒙诺索夫莫斯科国立大学） ； HSE University（俄罗斯高等经济大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示了多语言大语言模型中位置偏见的模型和语言特异性，发现部分模型偏好后期位置，提示策略影响准确性，且中间上下文信息对模型输出熵无显著影响。

Any2Caption:Interpreting Any Condition to Caption for Controllable Video Generation

Any2Caption：任何条件到字幕以实现可控视频生成

Shengqiong Wu, Weicai Ye, Jiahao Wang, Quande Liu, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * Kuaishou Technology（快手科技） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 Any2Caption通过多模态大语言模型实现任何条件到字幕的可控视频生成，提升视频生成的可控性和质量。

Comments Project Page: https://sqwu.top/Any2Cap/

HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance

HyperAdaLoRA: 通过超网络在训练过程中加速LoRA秩分配而不牺牲性能

Hao Zhang, Zhenjia Li, Runfeng Bao, Yifan Gao, Xi Xiao, Heng Zhang, Shuyang Zhang, Bo Huang, Yuhang Wu, Tianyang Wang, Hao Xu

机构 * Harvard University（哈佛大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Fudan University（复旦大学） ； University of Chicago（芝加哥大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； South China Normal University（华南师范大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai University of Engineering Science（上海工程技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 HyperAdaLoRA通过超网络实现训练过程中LoRA秩分配的加速，提升收敛速度同时保持性能

Comments 13 pages

qa-FLoRA: Data-free query-adaptive Fusion of LoRAs for LLMs

qa-FLoRA: 无数据查询自适应融合LoRAs用于大语言模型

Shreya Shukla, Aditya Sriram, Milinda Kuppur Narayanaswamy, Hiteshi Jain

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 qa-FLoRA通过动态计算层级融合权重，无需数据和训练，实现LoRA的查询自适应融合，有效提升多领域任务性能。

Comments Accepted at AAAI 2026 (Main Technical Track)

Large Continual Instruction Assistant

大规模持续指令助手

Jingyang Qiao, Zhizhong Zhang, Xin Tan, Yanyun Qu, Shouhong Ding, Yuan Xie

机构 * East China Normal University（东华大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Xiamen University（厦门大学） ； Tencent YouTu Lab（腾讯YouTu实验室） 纠错

专题命中 指令微调 ：instruction tuning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种持续指令微调框架，通过自适应平衡塑性与稳定性，提升模型抗遗忘能力和整体性能。

Textual Self-attention Network: Test-Time Preference Optimization through Textual Gradient-based Attention

文本自注意力网络：通过基于文本的梯度注意力进行测试时偏好优化

Shibing Mo, Haoyang Ruan, Kai Wu, Jing Liu

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出TSAN，一种无需参数更新的测试时偏好优化方法，通过文本梯度空间实现多候选响应的系统分析与综合，提升输出质量。

Comments AAAI2026

In-situ Value-aligned Human-Robot Interactions with Physical Constraints

原位价值对齐的人机交互与物理约束

Hongtao Li, Ziyuan Jiao, Xiaofeng Liu, Hangxin Liu, Zilong Zheng

机构 * College of Artificial Intelligence and Automation, Hohai University（人工智能与自动化学院，河海大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本研究提出结合人类偏好与物理约束的框架，通过ICLHF方法实现任务计划生成与约束平衡，提升人机交互的效率与适应性。

Comments 8 pages, 7 figures. Accepted by IROS 2025

Journal ref 2025 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback

通过隐式人类反馈进行人与机器人对齐的强化学习

Suzie Kim, Hye-Bin Shin, Seong-Whan Lee

机构 * Department of Artificial Intelligence, Korea University（人工智能系，韩国大学） ； Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.AI

AI总结 通过隐式人类反馈的强化学习方法，利用脑电图信号提升机器人与人类的对齐能力。

Comments Accepted to IEEE Int. Conf. Syst., Man, Cybern. (SMC) 2025

CIP: A Plug-and-Play Causal Prompting Framework for Mitigating Hallucinations under Long-Context Noise

CIP: 一种用于在长上下文噪声下缓解幻觉的即插即用因果提示框架

Qingsen Ma, Dianyun Wang, Ran Jing, Yujun Sun, Zhenbo Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CIP通过因果推理框架提升大语言模型的可解释性、稳定性和效率，有效缓解长上下文噪声下的幻觉问题。

REMODEL-LLM: Transforming C code to Java using LLMs

REMODEL-LLM：利用LLMs将C代码转换为Java代码

Aryan Gupta, Y. Raghu Reddy

专题命中 长上下文与记忆 ：LLM(title)；prompting(abstract)；分类 cs.AI

AI总结 REMODEL-LLM研究利用LLMs将C代码转换为Java代码，发现大多数模型无法生成基本代码，仅少数模型通过部分测试，揭示了量化模型在复杂转换任务中的局限性。

Unifying Dynamic Tool Creation and Cross-Task Experience Sharing through Cognitive Memory Architecture

通过认知记忆架构统一动态工具创建与跨任务经验共享

Jiarun Liu, Shiyue Xu, Yang Li, Shangkun Liu, Yongli Yu, Peng Cao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SMITH通过认知记忆架构统一动态工具创建与跨任务经验共享，实现代理能力的持续扩展和高效适应。

The Expressive Capacity of State Space Models: A Formal Language Perspective

状态空间模型的表达能力：从形式语言的角度

Yash Sarrof, Yana Veitsman, Michael Hahn

机构 * Saarland University（萨尔兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 从形式语言角度研究状态空间模型的表达能力，发现其在特定任务中优于Transformer，并指出当前SSM设计限制其表现。

Comments Published in NeurIPS 2024

Journal ref Advances in Neural Information Processing Systems 37 (2024)

KVSwap: Disk-aware KV Cache Offloading for Long-Context On-device Inference

KVSwap: 为长上下文本地推理的磁盘感知KV缓存卸载

Huawei Zhang, Chunwei Xia, Zheng Wang

机构 * University of Leeds（利兹大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 KVSwap通过磁盘感知技术提升本地长上下文推理的内存效率和吞吐量，同时保持生成质量。

Scalable Best-of-N Selection for Large Language Models via Self-Certainty

通过自我确定性实现大规模语言模型的可扩展最佳-N选择

Zhewei Kang, Xuandong Zhao, Dawn Song

机构 * UC Berkeley（伯克利大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出自我确定性方法，通过利用LLM输出的概率分布，高效提升大规模语言模型的推理能力，适用于多种推理任务和开放性生成场景。

Comments NeurIPS 2025

Large Language Model Agent for Modular Task Execution in Drug Discovery

用于药物发现模块化任务执行的大型语言模型代理

Janghoon Ock, Radheesh Sharma Meda, Srivathsan Badrinarayanan, Neha S. Aluru, Achuth Chandrasekhar, Amir Barati Farimani

机构 * Department of Chemical Engineering, Carnegie Mellon University（化学工程系，卡内基梅隆大学） ； Department of Material Science and Engineering, Carnegie Mellon University（材料科学与工程系，卡内基梅隆大学） ； Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种基于大型语言模型的模块化框架，用于药物发现中的任务执行，通过自动化分子生成和属性预测提升药物筛选效率。

From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models

从单个词到数学：语言模型中数学推理学习动态

Shubhra Mishra, Gabriel Poesia, Noah D. Goodman

机构 * Department of Computer Science 1 and Psychology 2（计算机科学系和心理学系） ； Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；instruction tuning(abstract)

AI总结 本研究分析了语言模型在预训练和后训练过程中数学推理能力的发展，揭示了数学技能学习顺序与课程设计的相关性，并探讨了指令微调对不同数学技能的影响。

Comments Accepted to COLM 2025. Dataset and code: https://github.com/gpoesia/mathcamps/

Journal ref Conference on Language Modeling (COLM), Montreal, Canada, October 7-10, 2025