语言大模型 / LLM

Domain Agnostic Text Redaction from Natural Language Rules using Instruction Tuning

基于指令微调的自然语言规则的领域无关文本脱敏

Aravindhan Arunagiri, Ayaan Khan, Udayaadithya Avadhanam, SaiBarath Sundar

机构 * Mphasis Limited（美费西斯有限公司） 纠错

专题命中 指令微调 ：instruction tuning(title)；LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于指令微调语言模型的领域无关可解释文本脱敏方案，支持用户以自然语言定义敏感信息，可应用于法律、医疗等关键场景的自动文本脱敏。

Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers

离散扩散语言模型是无需训练的多标签分类器

Pawan Kumar

机构 * International Institute of Information Technology, Hyderabad（印度海得拉巴国际信息技术学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出无需训练的多标签分类方法dLLM-SetScore，基于离散掩码扩散语言模型，在多个数据集上对比基准模型，验证了其性能优势并完成了相关理论分析。

Comments Accepted to SIAM SDM 2026, 39 pages

Moral Hazard in Multi-Agent Language Models

多智能体语言模型中的道德风险

Dane Malenfant

专题命中 指令微调 ：language model(title)；SFT(abstract,abstract_cn)；language agent(abstract)；分类 cs.AI

AI总结 研究多智能体语言模型中的道德风险，引入对话道德风险游戏，评估七个模型并分解行为，用多种优化机制更新，发现效果异质，强调应报告机制级行为而非仅团队成功。

Comments New frontier baselines, new open weight inference baselines

Computational KJ-Ho: An Analyst-Bias-Free Insight Extraction Framework from Large-Scale Qualitative Data Using Domain-Specialized LLMs

计算KJ-Ho：利用领域专用大型语言模型从大规模定性数据中提取无分析师偏差见解的框架

Kasumi Ban

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出计算KJ-Ho框架，结合领域专用LLM实现无分析师偏差的定性数据见解提取，整合三种方法论并作出五项贡献，属概念性研究。

Comments Concept paper. 38 pages, 1 figure, 2 tables

TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation

TRACE：面向多轮对抗对话评估的轨迹感知推理

Md Messal Monem Miah, Adrita Anika, Zhiyuan Yu, Ruihong Huang

机构 * Texas A&M University（德克萨斯农工大学） ； Amazon（亚马逊公司） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 针对LLM多轮越狱攻击，提出具备轨迹感知推理的Trace防御方法，训练Llama-3.1-8B-Instruct实现安全与实用平衡，在多轮攻击基准中显著降低攻击成功率并提升合规率。

MoRFI: Monotonic Sparse Autoencoder Feature Identification

MoRFI: 基于单调性的稀疏自编码器特征识别

Dimitris Dimakopoulos, Shay B. Cohen, Ioannis Konstas

机构 * University of Edinburgh, UK（爱丁堡大学） ； Heriot-Watt University, UK（赫瑞斯泰德大学） 纠错

专题命中 指令微调 ：language model(abstract,comments)；large language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 本文通过控制微调实验发现，逐步引入新知识会增加幻觉，提出MoRFI方法利用稀疏自编码器分析残差流激活，识别因果相关的潜在特征。

Comments Accepted to the Conference on Language Modeling (COLM) 2026

SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates

SubZero+：基于大学习率的高效零阶大语言模型微调方法

Ziming Yu, Shuyao Xiao, Xingyu Zhao, Sike Wang, Pan Zhou, Peiyu Zang, Xiangda Yan, Yongjie Yang, Jia Li

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SubZero+是改进的SubZero框架，通过三种互补方式提升零阶优化稳定性，在1.3B至32B参数模型的SuperGLUE任务上，优于现有零阶基线，扩大稳定学习率范围，缩小与一阶方法差距且内存开销极小。

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

面向异构联邦指令微调的MoE路由器引导聚类

Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

机构 * California State University, Dominguez Hills（加州州立大学多明戈斯山分校） ； University of California, Irvine（加州大学欧文分校） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 指令微调 ：instruction tuning(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出ClientMorpher框架，通过MoE路由特征设计两种聚类策略，在Databricks Dolly-15K数据集上验证其可提升联邦指令微调的个性化性能，且通信成本与传统方法相当。

Misconception Diagnosis From Student-Tutor Dialogue: Generate, Retrieve, Rerank

从学生-辅导对话中诊断误解：生成、检索、重排序

Joshua Mitton, Prarthana Bhattacharyya, Digory Smith, Thomas Christie, Ralph Abboud, Simon Woodhead

机构 * Eedi Renaissance Philanthropy Learning Engineering Virtual Institute（Eedi 理性慈善学习工程虚拟研究所） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出利用大语言模型从学生-辅导对话中检测误解的方法，通过生成、检索和重排序提升误解识别的准确性。

Comments Published as Oral Paper at Learning at Scale, 2026. Link: https://dl.acm.org/doi/10.1145/3774398.3811609. 21 pages, 8 figures, 8 tables. Joshua Mitton and Prarthana Bhattacharyya contributed equally to this paper

AlloEgo-VLM: Disambiguating Allocentric and Egocentric Reference Frames in Vision-Language Models

AlloEgo-VLM：在视觉语言模型中消除 allocentric（ allocentric 即 allocentric 参考框架，又称 allocentric 坐标系，指以环境为中心的参考框架）与 egocentric（ egocentric 即 egocentric 参考框架，又称自我中心坐标系，指以观察者自身为中心的参考框架）参考框架的歧义

Kuan-Lin Chen, Tzu-Ti Wei, Chao-Chi Liao, Yu-Chee Tseng, Jen-Jee Chen

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Institute of Computer Science and Engineering（工程与计算机科学学院） ； College of Artificial Intelligence（人工智能学院） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 针对VLMs理解空间语义时 allocentric 与 egocentric 参考框架的歧义问题，构建数据集AlloEgo-View并开发框架AlloEgo-VLM，经NVIDIA Isaac Sim平台验证其在具身机器人开放式物体搜索任务中的有效性。

Comments 28 pages, 9 figures. Project page and code available at https://github.com/CKL9001/AlloEgo-VLM

Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

训练留下痕迹：用于语言模型谱系验证的中心化残差特征

Aman Singh Thakur, Rayan Khoury

机构 * Amazon（亚马逊） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出中心化残差特征方法，通过移除残差训练产生的共享身份对齐组件，对比残差块特有结构得到谱系分数，可高效准确验证开源权重语言模型检查点的谱系

Comments Preprint

TransAnyText: Translating Arbitrary Text in E-commerce Images via Structured Visual Generation

TransAnyText：通过结构化视觉生成实现电商图像中任意文本的翻译

Xiaoan Liu, Lichen Ma, Zipeng Guo, Yu He, Xiaoyan Su, Shaojie Guo, Hao Yang, Jingling Fu, Xiaolong Fu, Zhen Chen, Yu Guo, Fei Wang, Xinyi Liu, Yongjun Zhang, Ke Zhang, Junshi Huang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；post-training(abstract)

AI总结 本文提出TransAnyText框架，将电商图像文本翻译转化为生成可渲染HTML补丁，经三阶段后训练优化，在多基准上表现优于对比方法，为跨境电商图像翻译提供有效可控的解决方案。

LOCAL: Enabling Learning On-device Contiguously for Agent LLMs

LOCAL：支持智能体大语言模型在设备上进行连续学习

Xinxin Liu, Jiaxin Li, Zibo Wang, Yun Ji, Zhangqi Zhu, Qing Hu, Zhibin Wang, Rong Gu, Sheng Zhong, Chen Tian

专题命中 指令微调 ：LLM(summary_cn,abstract)

AI总结 LOCAL是首个支持LLM智能体设备端连续学习的单GPU运行时，通过协同组件共享状态实现一致性，在7B级模型、24 GB单GPU上显著降低多项性能指标，保障学习与推理的连续性。

Comments 16 pages, 8 figures

LoREnc: Low-Rank Encryption for Securing Foundation Models and LoRA Adapters

LoREnc：低秩加密用于保护基础模型和LoRA适配器

Beomjin Ahn, Jungmin Kwon, Chanyong Jung, Jaewook Chung

机构 * Samsung Research（三星研究院） ； Samsung Electronics（三星电子） ； Amazon Web Services（亚马逊网络服务） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 LoREnc通过谱截断和补偿技术，在不重新训练的情况下保护基础模型和LoRA适配器，防止模型恢复攻击和知识产权泄露，实验表明其在1%计算开销下有效。

Comments Accepted to ICIP 2026

Journal ref 2026 IEEE International Conference on Image Processing (ICIP)

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化

Rujie Wu, Haozhe Zhao, Hai Ci, Yizhou Wang

机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.LG

AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。

Comments Accepted to ECCV 2026

A Plug-and-Play 2D Motion Interface for Real-World Motion Language Models

用于真实世界运动语言模型的即插即用二维运动接口

Kaname Yokoyama, Norimichi Ukita

机构 * Toyota Technological Institute（丰田工业大学） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 针对MoLMs依赖三维运动输入、真实世界适用性受限的问题，提出即插即用二维运动接口，经实验验证其性能接近三维输入，优于从零训练的二维输入方案，为MoLMs部署提供实用途径。

Comments Accepted to HCMIW at ECCV 2026 (Oral Presentation). Code and demo: https://github.com/irajisamurai/2D-Motion-Interface

TaoLive Digital Avatar Agent Technical Report: Training Agents to Evolve with Their Harness

TaoLive数字虚拟人智能体技术报告：训练智能体随其Harness进化

TaoLive AIGC LLM Team, Yuhan Sun, Wenhao Lin, Yongdong Luo, Yibo Hu, Meiguang Jin, Junfeng Ma, Weihang Pan, Jiaxin Zhao, Zulong Chen

机构 * TaoLive（陶境科技） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract)；分类 cs.CL

AI总结 本研究针对直播电商数字虚拟人主播的实时需求，提出HAT方法，结合HSA的三阶段训练，使35B紧凑模型在低延迟下适配Harness变化，性能优于基础模型及通用大语言模型。

Spectral Rank Certification for Foundation Model Adapters

基础模型适配器的谱秩验证

Mohammed Ahnouch, Lotfi Elaachak

机构 * Université Paris 1（巴黎第一大学） ； Faculty of Science and Technology of Tangier（丹吉尔科学与技术学院） ； Abdelmalek Essaadi University（阿卜杜勒-马利克·埃萨迪大学） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.LG

AI总结 本研究针对基础模型适配器开发有限样本谱秩验证框架，提出PEFT LoRA适配器的经验空工作流程，经26个公开适配器审计发现校准有效秩远小于名义秩，且能量保留与统计惊喜对应不同问题。

Comments 11 pages, 4 figures , KDD 2026 Workshop TensorKDD

TRACE-BN: Transferring Bangla-English Tutoring Behavior to a Sub-1B Offline Language Model

TRACE-BN：将孟加拉语-英语辅导行为迁移至参数量小于10亿的离线语言模型

Khan Raiyan Ibne Reza, Sanjana Aktar Maria, Mohammad Tushar Abdullah, Asfee Bhuiyan Leen, Sumaiya Tabassum Nimi

机构 * North South University（北南大学） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL

AI总结 本文提出TRACE-BN数据集，将其辅导行为通过LoRA迁移至Qwen3-0.6B模型，在资源受限离线部署下，相关指标及多维度辅导效果均获显著提升。

Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning

步骤级在线策略蒸馏：在线策略蒸馏与监督微调的插值方法

Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室） ； XingYun Lab, HUJING Digital Media & Entertainment Group（星云实验室，沪景数字媒体娱乐集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对令牌级在线策略蒸馏的局限，提出步骤级在线策略蒸馏SOPD，结合监督微调与在线策略蒸馏的优势，在推理和智能体任务上显著优于传统方法，为蒸馏研究提供新视角。

FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA

FedPA-LoRA：用于缓解异构联邦LoRA中聚合与初始化误差的产品对齐框架

Juseok Jeon, Ramy E. Ali, Doyun Kwon, Myungbeom Her, Jinhwi Kim, Jinhyun So

机构 * DGIST（大邱庆北科学技术院） ； Samsung（三星） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 FedPA-LoRA是缓解异构联邦LoRA聚合与初始化误差的产品对齐框架，在多任务实验中较基线方法平均GLUE准确率最高提升6.82个百分点。

Comments 35 pages, 6 figures. Code: https://github.com/Juseok-Jeon/FedPA-LoRA

Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans

自动还是受控？重复启动揭示基础大语言模型、指令调优大语言模型与人类的加工差异

Jinglei Ren, Yuyue Wang

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过重复启动实验对比基础大语言模型、指令调优大语言模型与人类的重复信息加工差异，发现训练后模型加工模式发生质变，且Qwen 2.5家族中该差异随规模增大而增强。

mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA

mR²AG：用于基于知识的视觉问答的多模态检索-反思增强生成

Tao Zhang, Ziqi Zhang, Zongyang Ma, Yuxin Chen, Zhongang Qi, Chunfeng Yuan, Bing Li, Junfu Pu, Yuxuan Zhao, Zehua Xie, Jin Ma, Ying Shan, Weiming Hu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态大语言模型在基于知识的视觉问答中的缺陷，提出mR²AG框架，通过两种反思操作实现自适应检索与信息定位，在相关基准任务上性能优于现有方法。

Comments Accepted for publication in IEEE Transactions on Multimedia (TMM)

The Distributional View of Knowledge Distillation

知识蒸馏的分布视角

Gordei Verbii, Juho Lee

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出知识蒸馏的分布视角，将教师表示为多温度视角族，形式化设计空间并证明相关结果，在Pythia模型实验中得出三条经验规律，发现最佳KD损失取决于上限间隙Γ。

Comments 11 pages, 4 figures

HarmTrace: Anchor-Calibrated Decoupled Optimization for Fine-Grained Target Identification in Harmful Memes

HarmTrace：用于恶意梗图细粒度目标识别的锚定校准解耦优化方法

Yujia Li, Yiqun Zhang, Zihan Cheng, Yijie Huang, Tenglong Ye, Zihan Wang, Xiaocui Yang, Shi Feng, Yifei Zhang, Daling Wang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对多模态恶意梗图检测中存在的目标识别错误问题，提出HarmTrace框架，结合实体感知微调与CTPO方法，在Qwen3-VL-8B上JRA提升至52.51%，还构建了Meme3W数据集与JRA指标。

Navigation-Informed Embeddings: Dense-Retriever Adaptation from Agent Search Traces

导航启发式嵌入：基于智能体搜索轨迹的密集检索器适配

Shrey Shah, Levent Ozgur

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出 NIE 方法，利用智能体检索轨迹无需额外标注即可适配密集检索器，在基准任务上提升了 Recall@20、长路径性能及 nDCG@10 指标，提供轻量适配通道。

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

UI-Mate：利用上下文内演示推进开放权重基础图形用户界面智能体

Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe Ma, Jiayi Mao, Zhoujie Pan, Can Qin, Tianyuan Qu, Weiqi Wang, Wenkai Wang, Yonglin Wang, Yuxin Wang, Chenxu Wu, Yingchen Yu, Chenyu Zhang, Yuhao Zheng

机构 * Tencent Hy Frontier Team（腾讯 Hy 前沿团队） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 UI-Mate是集成环境基训练栈与上下文内演示学习的GUI智能体，在多计算机使用基准上创开放权重SOTA，提升了长周期办公任务的执行可靠性

Comments UI-Mate Technical Report. Project page: https://ui-mate.github.io

DirMixE: Harnessing Test Agnostic Long-tail Recognition with Hierarchical Label Variations

DirMixE：利用层次化标签变异实现测试无关长尾识别

Zhiyong Yang, Qianqian Xu, Sicong Li, Zitai Wang, Xiaochun Cao, Qingming Huang

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 DirMixE通过分层标签变异策略提升测试无关长尾识别性能，结合参数高效微调框架实现更稳定的模型泛化能力。

Comments Conference version: Zhiyong Yang, Qianqian Xu, Zitai Wang, Sicong Li, Boyu Han, Shilong Bao, Xiaochun Cao, and Qingming Huang. Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition. ICML, 56624-56664, 2024

Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation

用于参数高效通用视觉适配的自路由张量适配器

Suraj Yadav

机构 * Indraprastha Institute of Information Technology Delhi（因德拉普拉斯信息技术学院德里分校） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 提出自路由张量适配器（SRTA），无需外部门控网络即可实现样本特定适配，在多领域视觉分类基准上，以更少参数达到与MoE式PEFT基线相当或更优的平均准确率。

Comments Accepted at ECCV Workshop 2026 (Archival Track)

Prototype-Rectified Iterative Self-supervised Manifold Denoising under Severe Acoustic Shift

严重声学偏移下的原型修正迭代自监督流形去噪

Ashish Anand Shukla, Rini Smita Thakur, Aryan Das, Vinod K. Kurmi

机构 * Indian Institute of Science Education and Research（印度科学教育与研究学院） ； Vellore Institute of Technology（韦洛尔理工大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 针对严重声学噪声下音频-文本基础模型的失效问题，提出无训练无数据源的TTA框架PRISM，在UrbanSound8K数据集上取得显著性能提升，还解决了复音陷阱问题。

Comments Accepted as a full paper at ACM CIKM 2026