语言大模型 / LLM

Kimi-Dev: Agentless Training as Skill Prior for SWE-Agents

Kimi-Dev：无代理训练作为SWE-代理的技能先验

Zonghan Yang, Shengjie Wang, Kelin Fu, Wenyang He, Weimin Xiong, Yibo Liu, Yibo Miao, Bofei Gao, Yejie Wang, Yingwei Ma, Yanhao Li, Yue Liu, Zhenxing Hu, Kaitai Zhang, Shuyi Wang, Huarong Chen, Flood Sung, Yang Liu, Yang Gao, Zhilin Yang, Tianyu Liu

机构 * Moonshot AI ； THU（清华大学） ； PKU（北京大学） ； UCAS（中国科学技术大学） ； BUPT（北京邮电大学） ； NUS（新加坡国立大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 Kimi-Dev通过无代理训练生成技能先验，使SWE-代理在SWE-bench Verified上取得60.4%的优异成绩，并通过额外SFT适应达到48.6%的pass@1，与Claude 3.5 Sonnet相当。

Comments 68 pages. GitHub repo at https://github.com/MoonshotAI/Kimi-Dev

Exploring the Potential of Encoder-free Architectures in 3D LMMs

探索无编码器架构在3D大语言模型中的潜力

Yiwen Tang, Zoey Guo, Zhuhao Wang, Ray Zhang, Qizhi Chen, Junli Liu, Delin Qu, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

机构 * Northwestern Polytechnical University（西北工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； Tele AI 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出首个无编码器3D大语言模型ENEL，通过嵌入语义编码和分层几何聚合策略，在3D理解任务中达到与SOTA模型相当的性能。

ReCAD: Reinforcement Learning Enhanced Parametric CAD Model Generation with Vision-Language Models

ReCAD: 基于强化学习的参数化CAD模型生成增强框架

Jiahao Li, Yusheng Luo, Yunzhong Lou, Xiangdong Zhou

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)

AI总结 ReCAD通过强化学习增强参数化CAD模型生成，利用预训练模型生成高精度CAD模型，显著提升几何精度和语义保真度。

Comments Accepted as an Oral presentation at AAAI 2026

Learning to Align Human Code Preferences

学习对齐人类代码偏好

Xin Yin, Chao Ni, Xiaohu Yang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；preference optimization(abstract)

AI总结 本文提出自适应偏好优化（APO）方法，通过动态整合SFT和DPO，提升模型在不同代码偏好场景下的对齐性能。

AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning

AdaRankGrad: 适应性梯度-秩和矩用于内存高效的LLM训练和微调

Yehonathan Refael, Jonathan Svirsky, Boris Shustin, Wasim Huleihel, Ofir Lindenbaum

机构 * Department of Electrical Engineering-Systems at Tel Aviv University（特拉维夫大学电子工程系统系） ； Faculty of Engineering, Bar Ilan University（巴伊兰大学工程学院） ； Mathematical Institute, University of Oxford（牛津大学数学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 AdaRankGrad通过自适应低秩梯度更新实现内存高效的大语言模型训练和微调，减少内存需求并提升模型性能。

Journal ref ICLR 2025

Time Series Foundation Models for Process Model Forecasting

用于过程模型预测的时间序列基础模型

Yongbo Yu, Jari Peeperkorn, Johannes De Smedt, Jochen De Weerdt

机构 * Research Center for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS）） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出使用时间序列基础模型（TSFMs）进行过程模型预测，通过零样本方法在不额外训练的情况下实现更优的预测性能，展示了其在处理稀疏异质时间序列方面的有效性。

Recover-to-Forget: Gradient Reconstruction from LoRA for Efficient LLM Unlearning

恢复-遗忘：从LoRA恢复梯度以实现高效的LLM反学习

Yezi Liu, Hanning Chen, Wenjun Huang, Yang Ni, Mohsen Imani

机构 * University of California, Irvine（加州大学尔湾分校） ； Purdue University Northwest（普渡大学西北分校） 纠错

专题命中 指令微调 ：LLM(title)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 R2F通过从LoRA适配器更新中恢复梯度方向，实现高效LLM反学习，无需完整微调或内部参数访问。

RMAdapter: Reconstruction-based Multi-Modal Adapter for Vision-Language Models

RMAdapter: 基于重建的多模态适配器用于视觉-语言模型

Xiang Lin, Weixin Li, Shu Guo, Lihong Wang, Di Huang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 RMAdapter通过双分支架构平衡通用与任务特定知识，提升视觉-语言模型在多模态迁移学习中的性能。

Comments Accepted by AAAI 2026(Oral)

RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation

RVLF：一种无需 gloss 的视觉-语言框架用于手语翻译

Zhi Rao, Yucheng Zhou, Benjia Zhou, Yiqing Huang, Sergio Escalera, Jun Wan

机构 * Macau University of Science and Technology（澳门科学技术大学） ； SKL-IOTSC, CIS, University of Macau（澳门大学智能物联网与通信系统研究所） ； Beijing Institute of Technology, Zhuhai（珠海北京理工大学） ； University of Barcelona（巴塞罗那大学） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；instruction tuning(abstract)；SFT(abstract)

AI总结 RVLF提出了一种无需gloss的手语翻译框架，通过融合骨架运动与视觉特征并结合强化学习优化，提升了翻译质量与语义一致性。

Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs

突破模态壁垒：基于多模态大语言模型的通用嵌入学习

Tiancheng Gu, Kaicheng Yang, Ziyong Feng, Xingjun Wang, Yanzhao Zhang, Dingkun Long, Yingda Chen, Weidong Cai, Jiankang Deng

机构 * The University of Sydney（悉尼大学） ； DeepGlint ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 UniME通过两阶段框架提升多模态表示学习，利用知识蒸馏和硬负样本微调增强判别能力与指令遵循性能。

Comments 13 pages, 8 figures, Accepted by ACM MM2025, Project page: https://garygutc.github.io/UniME

The Role of Entropy in Visual Grounding: Analysis and Optimization

熵在视觉定位中的作用：分析与优化

Shuo Li, Jiajun Sun, Zhihao Zhang, Xiaoran Fan, Senjie Jin, Hui Li, Yuming Yang, Junjie Ye, Lixing Shen, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Hikvision Research Institute（海康威视研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ECVGPO算法，通过熵控制优化视觉定位任务，提升探索与利用的平衡，实现多基准的性能提升。

Flatten Graphs as Sequences: Transformers are Scalable Graph Generators

将图扁平化为序列：Transformer是可扩展的图生成器

Dexiong Chen, Markus Krimmel, Karsten Borgwardt

机构 * Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 AutoGraph利用Transformer模型将图扁平化为序列，实现高效可扩展的图生成，生成速度比扩散模型快100倍，并展示出良好的迁移能力。

Comments Camera-ready version published at NeurIPS 2025

Towards Resilient Safety-driven Unlearning for Diffusion Models against Downstream Fine-tuning

面向对抗下游微调的鲁棒安全驱动遗忘方法用于扩散模型

Boheng Li, Renjie Gu, Junjie Wang, Leyi Qi, Yiming Li, Run Wang, Zhan Qin, Tianwei Zhang

机构 * Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Central South University, China（中南大学，中国） ； Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University, China（航空航天信息安全部门，教育部，武汉大学，中国） ； State Key Laboratory of Blockchain and Data Security, Zhejiang University, China（区块链与数据安全国家重点实验室，浙江大学，中国） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ResAlign，一种针对扩散模型对抗下游微调的鲁棒安全驱动遗忘框架，通过隐含优化问题建模和元学习策略提升安全性和生成能力。

Comments Accepted to the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

SeqProFT: Sequence-only Protein Property Prediction with LoRA Finetuning

SeqProFT: 基于序列的蛋白质属性预测与LoRA微调

Shuo Zhang, Jian K. Liu

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 SeqProFT通过LoRA微调实现基于序列的蛋白质属性预测，证明小型模型在性能和效率上可媲美大型模型，同时降低计算需求。

Journal ref IEEE Transactions on Artificial Intelligence, 2025

Personalized Image Descriptions from Attention Sequences

基于注意力序列的个性化图像描述

Ruoyu Xue, Hieu Le, Jingyi Xu, Sounak Mondal, Abe Leite, Gregory Zelinsky, Minh Hoai, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； UNC-Charlotte（北卡罗来纳大学夏洛特分校） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 DEPER通过建模个性化注意力序列，实现了基于视觉-语言模型的个性化图像描述生成，提升了描述质量与人类对齐性。

Comments 10 pages, 4 figures

Sift or Get Off the PoC: Applying Information Retrieval to Vulnerability Research with SiftRank

Sift or Get Off the PoC：将信息检索应用于漏洞研究的SiftRank

Caleb Gross

专题命中 指令微调 ：LLM(abstract)

AI总结 SiftRank利用LLM进行文档排序，通过高效算法实现大规模漏洞分析，可在99秒内识别漏洞修复函数。

An Analysis of Large Language Models for Simulating User Responses in Surveys

大型语言模型在模拟调查用户响应中的分析

Ziyun Yu, Yiru Zhou, Chen Zhao, Hongyi Wen

机构 * Center for Data Science, NYU Shanghai（纽约大学上海分校数据科学中心） ； New York University（纽约大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；RLHF(abstract)

AI总结 本文分析了大型语言模型在模拟调查用户响应中的表现，提出CLAIMSIM方法以提高响应多样性，但发现模型在处理不同人口特征时存在固有偏见和推理限制。

Comments Accepted to IJCNLP-AACL 2025 (Main Conference)

Empathy by Design: Aligning Large Language Models for Healthcare Dialogue

设计中的共情：为医疗对话对齐大语言模型

Emre Umucu, Guillermina Solis, Leon Garza, Emilia Rivas, Beatrice Lee, Anantaa Kotal, Aritran Piplai

机构 * Department of Public Health Sciences, The University of Texas at El Paso, USA（公共卫生科学系，德克萨斯理工大学埃尔帕索分校） ； Department of Nursing, The University of Texas at El Paso, USA（护理系，德克萨斯理工大学埃尔帕索分校） ； Department of Rehabilitation Sciences, The University of Texas at El Paso, USA（康复科学系，德克萨斯理工大学埃尔帕索分校） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于DPO的对齐框架，通过优化医疗对话中事实准确性、语义连贯性和共情能力，提升AI助手在医疗场景中的可信度和人文关怀。

Comparative Analysis and Parametric Tuning of PPO, GRPO, and DAPO for LLM Reasoning Enhancement

PPO、GRPO和DAPO在LLM推理增强中的比较分析与参数调优

Yongsheng Lian

机构 * Mechanical Engineering Department University of Louisville（路易斯维尔大学机械工程系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过比较PPO、GRPO和DAPO在LLM推理增强中的表现，发现GRPO和DAPO在参数调优下具有更稳定的训练动态和更高的准确性，而DAPO禁用动态采样时表现最佳。

LSRP: A Leader-Subordinate Retrieval Framework for Privacy-Preserving Cloud-Device Collaboration

LSRP: 一种用于隐私保护云-设备协作的领导者-下属检索框架

Yingyi Zhang, Pengyue Jia, Xianneng Li, Derong Xu, Maolin Wang, Yichao Wang, Zhaocheng Du, Huifeng Guo, Yong Liu, Ruiming Tang, Xiangyu Zhao

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 LSRP通过领导者-下属检索框架提升云-设备协作的隐私保护性能，增强云模型与设备模型的协同能力。

Comments Accepted at KDD'25

Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models

基于嵌入的语义奖励模型（PGSRM）：用于变换器语言模型强化学习的奖励函数

Alexandr Plashchinsky

机构 * VECTOR Labs（VECTOR实验室） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；RLHF(abstract)；分类 cs.LG

AI总结 PGSRM通过嵌入相似度生成语义奖励，为变换器语言模型强化学习提供无需人工标注的替代方案。

QiMeng-SALV: Signal-Aware Learning for Verilog Code Generation

QiMeng-SALV：面向Verilog代码生成的信号感知学习

Yang Zhang, Rui Zhang, Jiaming Guo, Lei Huang, Di Huang, Yunpu Zhao, Shuyao Cheng, Pengwei Jin, Chongxiao Li, Zidong Du, Xing Hu, Qi Guo, Yunji Chen

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（处理器国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 QiMeng-SALV通过信号感知学习提升Verilog代码生成的准确性与性能，采用信号级优化解决功能奖励不足问题。

Comments Accepted to NeurIPS 2025

MoCoRP: Modeling Consistent Relations between Persona and Response for Persona-based Dialogue

MoCoRP: 模型对话中人设与回应之间的一致性关系

Kyungro Lee, Dongha Choi, Hyunju Lee

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MoCoRP通过显式建模人设与回应之间的一致性关系，提升基于人设的对话生成质量与一致性。

Comments 18 pages

Is PRM Necessary? Problem-Solving RL Implicitly Induces PRM Capability in LLMs

PRM是否必要？问题解决RL隐式地在LLMs中诱导PRM能力

Zhangying Feng, Qianglong Chen, Ning Lu, Yongqian Li, Siqi Cheng, Shuangmu Peng, Duyu Tang, Shengcai Liu, Zhirui Zhang

机构 * Huawei Technologies Ltd.（华为技术有限公司） ； Guangdong Provincial Key Laboratory of Brain-Inspired Intelligent Computation, Department of CSE, SUSTech（广东省脑启发智能计算重点实验室、信息科学部、南方科技大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现纯RL训练可提升LLMs的推理能力并隐式诱导PRM能力，挑战了PRM的必要性。

Comments Accepted by NeurIPS 2025, camera-ready version

Beyond Token-level Supervision: Unlocking the Potential of Decoding-based Regression via Reinforcement Learning

超越标记级监督：通过强化学习解锁解码回归的潜力

Ming Chen, Sheng Tang, Rong-Xi Tan, Ziniu Li, Jiacheng Chen, Ke Xue, Chao Qian

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过强化学习提升基于解码的回归性能，引入序列级信号以提高预测精度和采样效率，优于传统方法。

Reinforcement Learning Integrated Agentic RAG for Software Test Cases Authoring

强化学习集成的代理RAG用于软件测试用例编写

Mohanakrishnan Hariharan

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种结合强化学习与自主代理的RAG框架，用于提升软件测试用例生成的准确性和缺陷检测率。

Self-Improvement Towards Pareto Optimality: Mitigating Preference Conflicts in Multi-Objective Alignment

迈向帕累托最优的自我改进：缓解多目标对齐中的偏好冲突

Moxin Li, Yuantao Zhang, Wenjie Wang, Wentao Shi, Zhuo Liu, Fuli Feng, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种自我改进的DPO框架，通过生成帕累托最优响应缓解多目标对齐中的偏好冲突，提升模型在帕累托前沿的优化效果。

Comments ACL findings (2025)

KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models

KV-CAR: 使用自编码器和KV重用的KV缓存压缩

Sourjya Roy, Shrihari Sridharan, Surya Selvam, Anand Raghunathan

机构 * Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN（电气与计算机工程系，普渡大学，西拉法叶，印第安纳州） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 KV-CAR通过自编码器和KV重用技术，有效压缩KV缓存，减少内存占用，提升大语言模型推理效率。

Evaluating Long-Term Memory for Long-Context Question Answering

评估长期记忆以实现长上下文问答

Alessandra Terranova, Björn Ross, Alexandra Birch

机构 * School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文评估了增强记忆方法在长上下文问答任务中的效果，发现通过RAG和事件记忆可显著减少令牌使用并保持准确性。

Comments Accepted as a poster at Metacognition in Generative AI EurIPS workshop

Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation

通过上下文归一化增强长上下文推理用于检索增强生成

Jiamin Chen, Yuchen Li, Xinyu Ma, Xinran Chen, Xiaokun Zhang, Shuaiqiang Wang, Chen Ma, Dawei Yin

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 通过上下文归一化策略提升RAG在长上下文推理中的鲁棒性和稳定性