语言大模型 / LLM

Field Order Should Not Matter: Permutation-Invariant Embedding Model Fine-Tuning for Structured Metadata Retrieval

字段顺序不应重要：面向结构化元数据检索的置换不变嵌入模型微调

Aivin V. Solatorio, Olivier Dupriez, Rafael Macalaba

机构 * Development Data Group（发展数据分析组） ； Office of the Chief Statistician, World Bank Group（世界银行集团首席统计官办公室） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出置换不变微调（PI-FT）方法，通过随机字段顺序和丢弃消除位置偏差，使嵌入模型关注字段标签而非位置，在开发统计数据集上以极小性能代价消除顺序变化带来的检索质量下降。

Comments 26 pages, 7 figures, 12 tables

Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies

符号机制数据归因：追踪训练对学习行为策略的影响

Reza Habibi, Darian Lee, Magy Seif El-Nasr

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出符号机制数据归因（SMDA）框架，通过稀疏自编码器特征拟合岭回归，分解微调样本对行为策略的影响，揭示安全行为中的系统性漏洞和特征间干扰。

BioMedVR: Confusion-Aware Mixture-of-Prompt Experts for Biomedical Visual Reprogramming

BioMedVR: 面向生物医学视觉重编程的混淆感知提示专家混合模型

Jiaxiang Liu, Tianxiang Hu, Juwei Guan, Yujie Wu, Yusong Wang, Yao Mu, Zuozhu Liu, Mingkun Xu

机构 * Guangdong Institute of Intelligence Science and Technology（广东智能科技研究院） ； Zhejiang University（浙江大学） ； Southeast University（东南大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Institute of Science Tokyo（东京科学大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 提出BioMedVR框架，通过可学习的VR模块实现预训练VLM在生物医学图像上的少样本适应，利用混淆最小化机制和提示专家混合模型解决细粒度分类中的类间混淆问题，在18个数据集上验证了优越性能。

Comments Accepted at ECCV 2026. 19 pages, 6 figures. Project page: https://jxliu-ai.github.io/biomedvr-page/

Self-Recognition Finetuning can Prevent and Reverse Emergent Misalignment

自我识别微调可以预防和逆转突现性失调

Arush Tagade, Shaoheng Zhou, Jiaxin Wen, Shi Feng

机构 * George Washington University（乔治·华盛顿大学） ； Google（谷歌） ； UC Berkeley（伯克利大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过自我生成文本识别微调作为角色定向干预，在GPT-4.1等模型上实验发现，该方法能有效预防和逆转突现性失调，且预防效果优于其他干预。

Comments 18 pages, 11 figures

From Refusal Geometry to Safety Geometry: Harmfulness--Refusal Coupling under Dynamic Adversarial Fine-Tuning

从拒绝几何到安全几何：动态对抗微调下的有害性-拒绝耦合

Wenhao Lan, Shan Li, Xinhua Lai, Meiqi Wu, Junbin Yang, Haihua Shen

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 研究通过双安全几何协议测量语言模型在对抗微调中有害性与拒绝机制的耦合程度，发现R2D2训练早期高耦合带来强鲁棒性但牺牲实用性，后期低耦合恢复部分实用性但攻击成功率回升。

BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM

BusterX++: 迈向基于MLLM的统一跨模态AI生成内容检测与解释

Haiquan Wen, Tianxiao Li, Zhenglin Huang, Yiwei He, Guangliang Cheng

机构 * University of Liverpool, UK（利物浦大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出统一多模态大模型BusterX++，通过纯强化学习策略实现图像与视频伪造检测的跨模态能力迁移，性能超越现有方法。

Order Is Not Control: Driven-Dissipative Response Laws Across Artificial and Biological Systems

秩序并非控制

Gareth Seneque, Lap-Hang Ho, Nafise Erfanian Saeedi, Jeffrey Molendijk, Tim Elson

机构 * Australian Broadcasting Corporation（澳大利亚广播公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证秩序不等于控制，提出接收器门控响应定律，并在生物、大语言模型、适配器和随机算子面板中验证，表明控制是局部的、可测量的。

Comments 52 pages, 7 figures, updated title

SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models

SARA: 语义自适应关系对齐用于视频扩散模型

Jiesong Lian, Zixiang Zhou, Ruizhe Zhong, Yuan Zhou, Qinglin Lu, Rui Wang, Long Hu, Yixue Hao, Baoru Huang

机构 * Tencent Hunyuan（腾讯文英） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。

CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning

CLASP: 基于语言驱动的机器人技能选择与组合，采用任务参数化学习

Markus Knauer, Valentin Gieraths, Tai Mai, Samuel Bustamante, Alin Albu-Schäffer, Freek Stulp, João Silvério

机构 * German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR），机器人与机电一体化研究所（RMC）） ； Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CLASP架构，结合任务参数化核化运动基元（TP-KMP）与预训练视觉语言模型（VLM），通过自然语言命令实现技能选择、组合和主动学习，无需微调，在7自由度机械臂上达到73.3%-100%成功率。

Comments 23 pages, 11 figues, 4 tables, 1 listing

DiTTo: Scalable Order-aware All-in-One Image Restoration Agent

DiTTo: 可扩展的排序感知全能图像修复智能体

Seungho Choi, Jihyong Oh

机构 * CMLab, Chung-Ang University（Chung-Ang 大学 CMLab） ； David S. Hippocampus Department of Computer Science Cranberry-Lemon University（Cranberry-Lemon 大学 计算机科学系 Hippocampus 教授） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 提出DiTTo框架，通过模拟器高效构建最优修复轨迹数据集，并采用排序感知对齐实现修复专家的即插即用扩展，在多退化图像修复中达到最优性能。

Comments Please visit our project page at https://cmlab-korea.github.io/DiTTo/

GuidaPA: Privacy-Preserving Chatbot for Public Administration via Federated Learning

GuidaPA: 通过联邦学习为公共行政提供隐私保护的聊天机器人

Daniel M. Jimenez-Gutierrez, Albenzio Cirillo, Raffaele Nicolussi, Alessio Beltrame, Andrea Vitaletti

机构 * University of Bologna（博洛尼亚大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GuidaPA，一个基于联邦学习（FL）在意大利公共行政文档上训练的隐私保护聊天机器人，通过参数高效的联邦微调（QLoRA）和角色访问控制，在保持数据本地化的同时实现了接近集中式微调的答案质量。

Comments Accepted to the 2nd International Conference on Federated Learning and Intelligent Computing Systems (FLICS2026)

R+R: Reassessing Java Security API Misuse in Current LLMs: A Replication on JCA and JSSE APIs with External Security Knowledge

R+R: 重新评估当前大语言模型中的Java安全API误用：对JCA和JSSE API的复制研究及外部安全知识

Tianhe Lu, Eric Spero, Sakuna Harinda Jayasundara, Robert Biddle, Giovanni Russello

专题命中 指令微调 ：LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本研究复制并扩展了Mousavi等人的工作，评估GPT-5.5和Llama-3.3-70B-Instruct在Java安全API（JCA和JSSE）使用中的误用情况，发现外部安全知识能显著改善但效果依赖模型，且误用问题仍未消除。

Comments 17 pages, 7 figures. Preprint

Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

解开LoRA干扰：用于鲁棒模型合并的正交子空间

Haobo Zhang, Jiayu Zhou

机构 * University of Michigan Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LoRA微调模型合并时性能下降的问题，提出通过微调前约束LoRA子空间正交性来减少任务间干扰的方法OSRM，可无缝集成现有合并算法，提升合并性能并保持单任务准确率。

Comments 14 pages, 5 figures, 16 tables, accepted by ACL 2025

AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security

AgentDoG 1.5：一种轻量级且可扩展的AI智能体安全与安保对齐框架

Dongrui Liu, Yu Li, Zhonghao Yang, Peng Wang, Guanxu Chen, Yuejin Xie, Qinghua Mao, Wanying Qu, Yanxu Zhu, Tianyi Zhou, Leitao Yuan, Zhijie Zheng, Qihao Lin, Yimin Wang, Haoyu Luo, Shuai Shao, Chen Qian, Qingyu Liu, Ling Tang, Ruiyang Qin, Qihan Ren, Junxiao Yang, Kun Wang, Zhiheng Xi, Linfeng Zhang, Ranjie Duan, Bo Zhang, Wenjie Wang, Wen Shen, Qiaosheng Zhang, Yan Teng, Chaochao Lu, Rui Mei, Man Li, Jialing Tao, Xi Lin, Tianhang Zheng, Yong Liu, Quanshi Zhang, Lei Zhu, Xingjun Ma, Junhua Liu, Hui Xue, Xiaoxiang Zuo, Xiangnan He, Chao Shen, Xianglong Liu, Minlie Huang, Jing Shao, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对开放世界智能体的新兴安全风险，提出一种轻量级可扩展的安全对齐框架，通过更新安全分类法、构建数据引擎并训练小模型（0.8B-8B参数），实现与闭源模型相当的性能，并降低部署开销两个数量级。

Comments 44 pages, 12 Figures, 9 Tables

CoSPlay: Cooperative Self-Play at Test-Time with Self-Generated Code and Unit Test

CoSPlay: 测试时协作自我博弈与自生成代码和单元测试

Zhangyi Hu, Chenhui Liu, Tian Huang, Jindong Li, Yang Yang, Jiemin Wu, Zining Zhong, Menglin Yang, Yutao Yue

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Deep Perception Technology, JITRI, Wuxi, China（深度感知技术研究院，无锡，中国） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CoSPlay框架，通过代码与单元测试的协作自我博弈，在无真实单元测试的情况下迭代优化两者，显著提升代码生成性能。

Comments Code is available at: https://github.com/sanae-ai/CosPlay | Data & log is available at: https://huggingface.co/datasets/yomi017/CosPlay

DASH: Fast Differentiable Architecture Search for Hybrid Attention in Minutes on a Single GPU

DASH：在单个GPU上几分钟内完成的快速可微架构搜索用于混合注意力

Weizhe Chen, Miao Zhang, Junpeng Jiang, Yaping Li, Weili Guan, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出DASH，一种快速可微架构搜索框架，用于混合注意力架构设计，通过将离散的层间注意力操作放置转化为连续的架构logits，准备可重用的教师对齐线性候选，并在模型和操作权重冻结的情况下进行架构仅搜索，显著提高了搜索效率。DASH在Qwen2.5-3B-Instruct上优于现有的所有选择器风格的混合注意力设计基线，展示了直接可微搜索可以发现更强的混合架构。此外，DASH在RULER性能上优于已发布的Jet-Nemotron模型，同时在重叠的短上下文和通用基准上保持竞争力。值得注意的是，每个DASH搜索运行仅使用12.3M tokens，并在单个RTX Pro 6000 GPU上仅需约20分钟，对应Jet-Nemotron报告的PostNAS搜索tokens的0.006%。这些结果表明，通过分钟级的可微搜索可以获得高质量的混合注意力架构，为混合架构设计提供了有前景的方向。

Comments 19 pages, 7 figures

Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training

超越困惑度：低秩预训练的几何与谱研究

Namrata Shivagunde, Vijeta Deshpande, Sherin Muckatira, Anna Rumshisky

机构 * University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过几何和谱分析研究低秩预训练方法，揭示其与全秩训练在模型性能和解空间上的差异，发现低秩方法在不同模型规模下表现各异，且困惑度不能完全反映下游任务性能。

Comments 9 pages, 5 figures, 2 tables

TwinRL: Digital Twin-Driven Reinforcement Learning for Real-World Robotic Manipulation

TwinRL: 基于数字孪生的强化学习用于真实世界机器人操作

Qinwen Xu, Jiaming Liu, Rui Zhou, Shaojun Shi, Nuowei Han, Zhuoyang Liu, Chenyang Gu, Shuo Gu, Yang Yue, Gao Huang, Wenzhao Zheng, Sirui Han, Peng Jia, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学） ； Simplexity Robotics（Simplexity机器人） ； Tsinghua University（清华大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出TwinRL框架，通过数字孪生与真实世界协同训练，提升视觉-语言-动作模型在真实世界中的探索效率和收敛速度，实现高成功率和快速收敛。

Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning

迈向长寿命机器人：通过强化微调实现持续学习的VLA模型

Yuan Liu, Haoran Li, Shuai Tian, Yuxing Qin, Yuhui Chen, Yupeng Zheng, Yongzhen Huang, Dongbin Zhao

机构 * CASIA（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出LifeLong-RFT方法，通过整合分块级在线强化学习与多维过程奖励机制，提升VLA模型在多任务学习中的性能，实现持续学习。

Dynamic Latent Routing

动态潜在路由

Fangyuan Yu, Xin Su, Amir Abdullah

机构 * Thoughtworks AI Labs (TAILS)（Thoughtworks AI实验室（TAILS）） 纠错

专题命中 指令微调 ：post-training(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出动态潜在路由（DLR），通过单阶段训练联合学习离散潜在码、路由策略和模型参数，优于监督微调，在低数据微调中取得显著提升。

Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety

通过监督微调紧凑LLMs实现儿童英语阅读故事生成：具有可控难度和安全性的方法

Qian Shen, Fanghua Cao, Min Yao, Shlok Gilda, Bonnie J. Dorr, Walter L. Leite

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过监督微调紧凑LLMs生成儿童英语阅读故事，实现可控难度和安全性，实验表明微调模型在难度指标上优于零样本模型。

Comments Comments: 15 pages, 4 figures. Author Two and Author Three contributed equally. Accepted by the 21st Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2026), ACL 2026

Fine-Tuning Models for Automated Code Review Feedback

针对自动化代码审查反馈的微调模型

Smitha S Kumar, Michael A Lones, Manuel Maarek, Hind Zantout

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了通过参数高效微调和提示工程提升Code Llama生成代码反馈质量的方法，发现PEFT显著优于提示工程，且学生反馈认为其效果与ChatGPT相当，但需增加技术术语解释以提升教学效果。

Not How Many, But Which: Parameter Placement in Low-Rank Adaptation

不是数量而是选择：低秩适应中的参数放置

Arijit Sehanobish, Charles Lovering

机构 * Kensho Technologies 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究参数放置对LoRA适配器性能的影响，发现随机与有信息的子集在监督微调中表现相当，而在基模型上GRPO时，有信息放置能恢复标准LoRA精度，归因于梯度结构差异。

Comments Preprint. Comments welcome

Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training

学会思考：通过视觉感知的自我改进训练提升多模态推理

Qihuang Zhong, Liang Ding, Wenjie Xuan, Juhua Liu, Bo Du, Dacheng Tao

机构 * School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence（计算机学院、多媒体软件国家工程研究中心、人工智能研究院） ； Hubei Key Laboratory of Multimedia（湖北多媒体重点实验室） ； Network Communication Engineering, Wuhan University, China（网络通信工程、武汉大学，中国） ； The University of Sydney, Australia（悉尼大学，澳大利亚） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出VISTA框架，通过视觉感知的自我改进训练提升多模态推理能力，解决数据不平衡和语言先验偏差问题，实验显示在多种训练场景下提升性能。

Comments Accepted by ICML 2026

AIA: Rethinking Architecture Decoupling Strategy In Unified Multimodal Model

AIA: 重新思考统一多模态模型中的架构解耦策略

Dian Zheng, Manyuan Zhang, Hongyu Li, Kai Zou, Hongbo Liu, Ziyu Guo, Kaituo Feng, Yexin Liu, Ying Luo, Hongsheng Li

机构 * MMLab, CUHK（CUHK多媒体实验室） ； Meituan（美团） ； USTC（中国科学技术大学） ； TJU（天津大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 本文提出AIA损失函数，通过学习任务特定的多模态交互模式，缓解任务冲突而不依赖模型解耦，提升生成与理解性能。

Comments Project page: https://zhengdian1.github.io/AIA-project/ Code: https://github.com/zhengdian1/AIA

Step Rejection Fine-Tuning: A Practical Distillation Recipe

步骤拒绝微调：一种实用的蒸馏配方

Igor Slinko, Ilia Zavidnyi, Egor Bogomolov, Yaroslav Zharov

机构 * JetBrains Research（JetBrains研究） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出步骤拒绝微调方法，通过利用未解决轨迹中的正确部分提升模型性能，实验显示其在SWE-bench Verified任务中将分辨率率提升至32.2%。

SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization

SE-Bench：基于知识内化的自我进化基准测试

Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 SE-Bench通过构建封闭书本训练环境，揭示了知识内化过程中开放书本悖论、RL差距及自博弈的有效性，为自我进化能力评估提供了严谨的诊断平台。

Comments Under review

PRIMETIME : Limits of LLMs in Temporal Primitives

PRIMETIME：LLMs在时间原语中的极限

Edward Gaere, Florian Wangenheim

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出PRIMETIME合成生成器，用于评估大语言模型中时间推理基础操作（解析和日期时间算术）的分解性。研究发现各原语可靠性各异，且通过生成器可生成训练数据提升事件规划任务性能。

LocalAlign: Enabling Generalizable Prompt Injection Defense via Generation of Near-Target Adversarial Examples for Alignment Training

LocalAlign: 通过生成接近目标的对抗示例实现通用的提示注入防御

Yuyang Gong, Zihao Wang, Jiawei Liu, XiaoFeng Wang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 LocalAlign通过生成接近正确响应但错误的对抗示例，提升提示注入防御的泛化能力，采用margin-aware对齐算法增强训练效果。

COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

COMPASS：持续多语言PEFT与自适应语义采样

Noah Flynn

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 COMPASS通过自适应语义采样策略，利用参数高效微调方法，在多语言任务中提升模型性能，减少跨语言干扰，实现持续学习框架以适应动态环境。

Journal ref Transactions on Machine Learning Research, 2025, https://openreview.net/forum?id=oapsbIO1Bd