语言大模型 / LLM

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

内省微调（IFT）：训练小型语言模型进行内省

Ely Hahami, Ishaan Sinha, Lavik Jain

机构 * Harvard College（哈佛大学） 纠错

专题命中 指令微调 ：language model(abstract)；small language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究小型语言模型内省能力，提出句子定位和强度比较评估范式，发现小模型有内省能力且随规模提升，引入内省微调（IFT），能提高模型内省能力，还表明内省能力可训练，对AI透明度和对齐有意义。

Comments 9 pages (excluding appendices / references), 2 figures, 3 tables

REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forgetting via Replay-Based Distribution Editing

REDDIT：基于回放的分布编辑在无遗忘条件下校正ASR的模型生成时间戳漂移

Cheng-Kang Chou, Ming-To Chuang, Ke-Han Lu, Chan-Jan Hsu, Hung-yi Lee

机构 * National Taiwan University（台湾大学） ； Carnegie Mellon University（卡内基梅隆大学） ； NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立清华大学人工智能研究中心（NTU AI-CoRE）） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 针对自回归ASR的非语音区间时间戳漂移问题，提出REDDIT两阶段后训练框架，仅用少量数据和参数更新校正时间戳，避免普通微调的灾难性遗忘。

Entropy-Preserving Supervised Fine-Tuning via Adaptive Self-Distillation for Large Reasoning Models

在学习中保持好奇心：通过自适应自蒸馏实现熵保持的监督微调以提升大推理模型

Hao Wang, Hao Gu, Hongming Piao, Kaixiong Gong, Yuxiao Ye, Xiangyu Yue, Sirui Han, Yike Guo, Dapeng Wu

机构 * City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 CurioSFT通过自适应自蒸馏和熵引导温度选择，提升大推理模型的探索能力，在监督微调和强化学习阶段均取得显著改进。

PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails

PolicyShiftGuard：基准测试与改进策略自适应图像护栏

Mingyang Song, Luxin Xu, Haoyu Sun, Minzhou Pan, Yu Cheng, Bo Li

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） ； Virtue AI（美德人工智能公司） ； The Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究策略自适应图像护栏问题，提出PolicyShiftGuard方法，结合随机策略SFT和边界对策略适应进行两阶段训练，在PolicyShiftBench基准测试中显著提升性能，消融实验验证关键因素。

Context Misleads LLMs: The Role of Context Filtering in Maintaining Safe Alignment of LLMs

上下文误导大语言模型：上下文过滤在维持大语言模型安全对齐中的作用

Jinhwa Kim, Ian G. Harris

机构 * Department of Computer Science University of California, Irvine（计算机科学系，加州大学伊维特分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型受恶意上下文欺骗问题，提出上下文过滤防御机制，通过过滤不可信上下文识别真实意图，提升安全性同时保持性能，经对比分析验证其有效性。

Comments 17 pages, 3 figures

Evil Spectra: How Optimisers can Amplify or Suppress Emergent Misalignment

邪恶光谱：优化器如何放大或抑制涌现性失调

Jason R. Brown, Patrick Leask, Lev McKinney

机构 * Astra Fellows Program（Astra Fellows 项目） ； University of Cambridge（剑桥大学） ； Durham University（杜伦大学） ； University of Toronto（多伦多大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究优化器选择对LLM涌现性失调的影响，发现优化器导致7倍失调率差异，Muon通过隐式正则化奇异值分布保持对齐，谱正则化可缓解失调。

Geo-Expert: Towards Expert-Level Geological Reasoning via Parameter-Efficient Fine-Tuning

Geo-Expert: 通过参数高效微调实现专家级地质推理

Chenyou Guo, Zongqi Liu, Yizhou Zhang, Zhaorui Jiang, Ze Liu

机构 * Ocean University of China（中国海洋大学） ； Peking University（北京大学） ； Monash University（墨尔本大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Geo-Expert，通过参数高效微调（LoRA）在定制高质量指令数据集上微调小规模语言模型，在专门的地质推理基准Geo-Eval上，8B模型超越70B通用模型和GPT-4o，32B模型接近前沿推理模型。

Comments 11 pages, 1 figure, 3 tables. Accepted at ICML 2026 AI for Science Workshop

Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization

推动主动代理的帕累托前沿：行为代理优化

Yihang Yao, Zhepeng Cen, Haohong Lin, Shiqi Liu, Zuxin Liu, Jiacheng Zhu, Zhang-Wei Hong, Laixi Shi, Ding Zhao

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出行为代理优化框架，通过增强和规范回合间行为，提升信息获取能力并抑制低效交互，从而在任务性能与用户参与间取得平衡，优于现有主动代理方法。

Priority-Aware Learning-Unlearning Correction for Dynamic Decentralized LoRA Fine-Tuning

面向动态去中心化LoRA微调的优先级感知学习-遗忘校正

Nuocheng Yang, Yechen He, Sihua Wang, Zihan Chen, Tony Q. S. Quek, Changchuan Yin

机构 * Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of Posts and Telecommunications（网络系统架构与融合北京市重点实验室，北京邮电大学） ； Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 针对去中心化边缘网络中设备动态加入/离开导致的参数纠缠问题，提出基于正交LoRA的优先级感知校正框架，通过拓扑调整和资源分配实现高效知识评估与修正。

Comments 15 pages, 8 figures

Sparsity Curse: Understanding RLVR Model Parameter Space from Model Merging

稀疏性诅咒：从模型合并理解RLVR模型参数空间

Chenrui Wu, Zexi Li, Jiajun Bu, Jiangchuan Liu, Haishuai Wang

机构 * Zhejiang University（浙江大学） ； Simon Fraser University（西蒙菲莎大学） ； The Chinese University of Hong Kong（香港中文大学） ； Zhejiang Key Lab of Accessible Perception and Intelligent Systems（浙江省可感知智能系统重点实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现RLVR模型的稀疏更新在参数空间中分散更远，形成近正交捷径导致合并脆弱，并提出SAR-Merging方法解决该问题。

Comments Accepted by KDD 2026

TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins

TuneAhead: 在完整训练开始前预测微调性能

Yuxiang Luo, Haonan Long, Chen Wang, Qiqi Duan, Xiaotian Lin, Yanwei Xu, Yuyu Luo, Weikai Yang, Nan Tang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TuneAHEAD框架，通过元特征向量和SHAP归因，在微调前预测性能，在Qwen2.5-7B-Instruct上RMSE为1.47个百分点，95.1%预测误差在±3%内。

Comments 9 pages, 6 figures, accepted as ICML 2026 poster:https://icml.cc/virtual/2026/poster/64847

ACC: Compiling Agent Trajectories for Long-Context Training

ACC：用于长上下文训练的代理轨迹编译

Qisheng Su, Zhen Fang, Shiting Huang, Yu Zeng, Yiming Zhao, Kou Shi, Ziao Zhang, Lin Chen, Zehui Chen, Lijun Wu, Feng Zhao

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（中科院大学科学技术大学MoE关键实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ACC，一种将代理轨迹编译为长上下文问答对的方法，通过整合多轮交互中的工具响应和环境观察，提升大语言模型的长上下文推理能力。

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients

SDFLoRA: 面向异构客户隐私保护微调的选择性解耦联邦LoRA

Zhikang Shen, Jianrong Lu, Haiyuan Wan, Jianhai Chen

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SDFLoRA，通过将LoRA更新解耦为共享和私有组件，仅聚合共享部分并注入差分隐私噪声，解决联邦微调中的秩异构和数据异构问题，提升隐私-效用权衡。

Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data

类别先验锁定：为何上下文学习在结构化数据上失败

Antonio Pelusi, Stefano Braghin, Alberto Trombetta

机构 * University of Insubria（因苏布里亚大学） ； IBM Research Ireland（IBM 爱尔兰研究院） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型在结构化数据生成中上下文学习的局限性，发现其无法更新预训练中的类别先验分布，导致罕见类完全无法生成；参数高效微调可解决但带来记忆化风险。

Comments 9 pages, 5 figures. Empirical study of in-context learning and LoRA fine-tuning for synthetic tabular data generation, introducing the phenomenon of categorical prior lock-in. Under review

SCALE: Scalable Cross-Attention Learning with Extrapolation for Agentic Workflow Scheduling

SCALE: 可扩展的交叉注意力学习与外推方法用于智能体工作流调度

Zhifei Xu, Jierui Lan, Zixuan Liang, Aiji Liang, Jinxi He

机构 * Faculty of Arts and Sciences, Beijing Normal University（北京师范大学文理学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SCALE调度器，通过交叉注意力指针网络和结构化表示正则化，实现无需微调即可泛化到不同规模集群的深度强化学习工作流调度。

Comments Submitted to Computer Networks

Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments

Qwen-VLA：统一跨任务、环境和机器人形态的视觉-语言-动作建模

Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie, Yitao Liu, Junhao Chen, Zhixuan Liang, Jie Zhang, Xintong Hu, Xuhong Huang, Pei Lin, Junyang Lin, Dayiheng Liu, Shuai Bai, Jingren Zhou, Jiazhao Zhang, Haoqi Yuan, Gengze Zhou, Hang Yin, Ye Wang, Yiyang Huang, Zixing Lei, Wujian Peng, Delin Chen, Yingming Zheng, Jingyang Fan, Xianwei Zhuang, Xin Zhou, Haoyang Li, Anzhe Chen, Tong Zhang, Xuejing Liu, Yuchong Sun, Ruizhe Chen, Zhaohai Li, Chenxu Lü, Zhibo Yang, Tao Yu, Xionghui Chen

机构 * Qwen Team（通义实验室） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出Qwen-VLA，一种基于DiT动作解码器的统一具身基础模型，通过大规模联合预训练和具身感知提示，将操作、导航和轨迹预测统一为动作-轨迹预测框架，实现跨任务、环境和机器人形态的泛化。

Comments 34 pages

Fine-Tuning Without Forgetting In-Context Learning: A Theoretical Analysis of Linear Attention Models

微调不忘上下文学习：线性注意力模型的理论分析

Chungpa Lee, Jy-yong Sohn, Kangwook Lee

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过线性注意力模型理论分析，揭示了微调目标如何修改注意力参数并导致少样本性能下降的条件，提出仅更新值矩阵可保持上下文学习能力。

Journal ref International Conference on Machine Learning (ICML) 2026

Cognitive Fatigue in Autoregressive Transformers: Formalization and Measurement

自回归Transformer中的认知疲劳：形式化与测量

Riju Marwah, Ritvik Garimella, Vishal Pallagani, Atishay Jain, Michael Stewart, Amit Sheth

机构 * Guru Gobind Singh Indraprastha University, India（古鲁·戈宾德·辛格·印度普拉斯塔大学） ； Artificial Intelligence Institute, University of South Carolina, USA（人工智能研究所，南卡罗来纳大学） ； Indian Institute of Technology, Kanpur, India（印度理工学院，坎浦尔） ； Indian AI Research Organization, India（印度人工智能研究组织） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文形式化自回归语言模型在长程生成中的退化现象为认知疲劳，并提出轻量级诊断指标疲劳指数（FI），通过聚合注意力衰减、表征漂移和熵校准三个信号实现实时监测，实验表明FI能高精度预测任务退化和重复生成。

Comments 9 pages, 7 figures. Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

InfiMed-ORBIT: 通过基于评分标准的增量训练使大语言模型对齐开放复杂任务

Pengkai Wang, Pengwei Liu, Qi Zuo, Zhijie Sang, Congkai Xie, Hongxia Yang

机构 * Department of Computing, The Hong Kong Polytechnic University, Hong Kong, China（香港理工大学计算机系） ； Department of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ORBIT框架，利用动态生成的病例条件评分标准指导增量强化学习，仅用2k样本将Qwen3-4B-Instruct在HealthBench-Hard上的得分从7.0提升至27.5，达到同规模开源模型最优。

MusTBENCH: Benchmarking and Advancing Temporal Grounding in Music LLMs

MusTBENCH：音乐大语言模型中的时间定位基准与推进

Daeyong Kwon, Qiyu Wu, Shinobu Kuriya, Junghyun Koo, Shuyang Cui, Zhi Zhong, Wei-Hsiang Liao, Hiromi Wakaki, Yuki Mitsufuji

机构 * Seoul National University（首尔国立大学） ； Sony Group Corporation（索尼集团） ； Sony AI（索尼人工智能） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出MusTBENCH基准和MusT四阶段优化方法，评估并提升音乐大语言模型在音频中的时间定位能力。

CroCo: Cross-Lingual Contrastive Preference Tuning on Self-Generations

CroCo: 基于自生成结果的跨语言对比偏好调优

Mike Zhang, Ali Basirat, Desmond Elliott

机构 * Department of Computer Science (DIKU), University of Copenhagen（哥本哈根大学计算机科学系（DIKU）） ； Centre for Language Technology (CST), University of Copenhagen（哥本哈根大学语言技术中心） ； Pioneer Centre for Artificial Intelligence（先锋人工智能中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CroCo方法，利用英语偏好训练的奖励模型对多语言自生成结果进行对比偏好调优，无需语言特定偏好标注，在14种高低资源语言上提升模型性能，并避免灾难性遗忘。

Dynamic Adversarial Fine-Tuning Reorganizes Refusal Geometry

动态对抗微调重组拒绝几何结构

Wenhao Lan, Shan Li, Xinhua Lai, Meiqi Wu, Junbin Yang, Haihua Shen, Yijun Yang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Inner Mongolia University of Technology（内蒙古科技大学） ； Tsinghua University（清华大学） ； Shandong University（山东大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究动态对抗微调如何改变安全对齐语言模型中拒绝行为的因果控制载体（低维子空间），发现R2D2沿鲁棒性-效用前沿重组几何结构但未建立自适应鲁棒性。

MinT: Managed Infrastructure for Training and Serving Millions of LLMs

MinT：用于训练和服务数百万LLM的托管基础设施

Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

机构 * Mind Lab 纠错

专题命中 指令微调 ：LLM(title_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出MinT系统，通过LoRA适配器管理实现大规模基础模型上的高效训练与在线服务，支持百万级策略目录。

Comments 30 pages, technical report

Context-Instrumental Data Distillation for Kubernetes Manifest Generation: Method and Experimental Evaluation

面向Kubernetes清单生成的上下文-工具数据蒸馏方法及实验评估

Andrey Kozachok, Anatoliy Bakaev, Aleksandr Kozachok, Shamil Magomedov, Artem Noev

机构 * RTU MIREA（俄罗斯莫斯科RTU MIREA） 纠错

专题命中 指令微调 ：language model(abstract)；small language model(abstract)；SLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出上下文-工具数据蒸馏方法，通过合成生成和反向指令生成构建语料库，结合外部验证器过滤，在资源受限条件下微调1.5B参数小语言模型生成Kubernetes清单，实验表明严格输出格式比增加训练样本更关键。

Comments 15 pages, 4 figures, 2 tables

RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism

RotMoLE：通过旋转门控机制增强混合低秩专家

Mengyang Sun, Maochuan Dou, Tao Feng, Dan Zhang, Yihao Wang, Junpeng Liu, Yifan Zhu, Jie Tang

机构 * Tsinghua University（清华大学） ； Beijing Information Science and Technology University（北京信息科技大学） ； National University of Singapore（新加坡国立大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对MoE-LoRA中传统门控仅标量加权限制表示能力的问题，提出RotMoLE框架，通过引入旋转门控机制对每个专家进行旋转操作，提升专家利用率和专业化程度，在多任务和多语言训练中验证有效性。

ECHO: Terminal Agents Learn World Models for Free

ECHO: 终端代理免费学习世界模型

Vaishnavi Shrivastava, Piero Kauffmann, Ahmed Awadallah, Dimitris Papailiopoulos

机构 * Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出ECHO混合目标，通过预测环境观测令牌将终端反馈转化为密集监督信号，显著提升CLI代理在TerminalBench-2.0上的性能。

HypergraphFormer: Learning Hypergraphs from LLMs for Editable Floor Plan Generation

HypergraphFormer: 从大语言模型中学习超图以实现可编辑的楼层平面图生成

Nikita Klimenko, Hesam Salehipour, Parham Eftekhar, Amir Khasahmadi, Ramon Elias Weber

机构 * Autodesk Research（Autodesk研究院） ； York University（约克大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出HypergraphFormer，利用大语言模型学习超图表示来生成楼层平面图，在RPLAN数据集上超越现有方法，并支持任意边界和高度可编辑性。

PoisonForge: Task-Level Targeted Poisoning Benchmark for Instruction-Tuned LLMs

PoisonForge: 面向指令微调LLM的任务级定向投毒基准

Luze Sun, Anshuman Suri, Harsh Chaudhari, Cristina Nita-Rotaru, Alina Oprea

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出PoisonForge基准，通过参数化四维威胁（偏差类型、投毒模式、出现次数、目标输出长度）评估12个开源LLM在1%投毒预算下的任务级投毒攻击成功率，发现11个模型ASR超过70%且非目标任务泄露低于0.5%。

Optimus: A Robust Defense Framework for Mitigating Toxicity while Fine-Tuning Conversational AI

Optimus: 一种用于在微调对话AI时缓解毒性行为的稳健防御框架

Aravind Cheruvu, Shravya Kanchi, Sifat Muhammad Abdullah, Nicholas Ka-Shing Kong, Daphne Yao, Murtuza Jadliwala, Bimal Viswanath

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出Optimus框架，通过整合训练无关的毒性分类方案和双重策略对齐过程，有效缓解微调过程中的毒性问题，并在有毒性分类器偏差时仍能保持高召回率，优于现有最佳防御方法StarDSS。

Comments Accepted at ACM CODASPY 2026

Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

插件式脉冲运算符：突破脉冲变换器中的非线性瓶颈

Xinzhe Yuan, Xiang Peng, Bin Gu, Huan Xiong

机构 * IASM, Harbin Institute of Technology, China（哈尔滨工业大学人工智能研究所，中国） ； School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院，中国） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种插件式框架，通过将Transformer中的非线性运算分解为三个基本算子（除法、指数和ℓ2范数），并利用LIF神经元群体和轻量级位移缩放实现脉冲友好的近似，从而在不需微调的情况下支持常见的Transformer非线性运算。

Comments Accepted to ICML 2026. 9 pages main paper, 8 pages appendix, 6 figures, 5 tables. Correspondence to Bin Gu and Huan Xiong