大模型对齐与安全

SafePred: A Predictive Guardrail for Computer-Using Agents via World Models

SafePred: 通过世界模型为计算机使用代理构建一种预测性防护措施

Yurun Chen, Zeyi Liao, Ping Yin, Taotao Xie, Keting Yin, Shengyu Zhang

机构 * Zhejiang University, China（浙江大学） ； The Ohio State University, USA（俄亥俄州立大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SafePred通过世界模型预测未来风险，构建风险到决策的循环，提升计算机使用代理的安全性和任务效率。

LLMs Can Unlearn Refusal with Only 1,000 Benign Samples

LLMs 可通过仅 1000 个无害样本实现拒绝反学习

Yangyang Guo, Ziwei Xu, Si Liu, Zhiming Zheng, Mohan Kankanhalli

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 通过仅 1000 个无害样本，研究发现 LLMs 可通过反学习技术降低拒绝响应，揭示安全性对齐可能依赖 token 序列记忆而非推理。

Generative AI Purpose-built for Social and Mental Health: A Real-World Pilot

面向社交与心理健康定制的生成式AI：一项现实世界试点

Thomas D. Hull, Lizhe Zhang, Patricia A. Arean, Matteo Malgaroli

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出了一种针对心理健康的生成式AI聊天机器人，通过现实世界试点研究证明其在心理健康支持方面的有效性与安全性。

H3Fusion: Helpful, Harmless, Honest Fusion of Aligned LLMs

H3Fusion: 有助于、无害且诚实的对齐大语言模型融合

Selim Furkan Tekin, Fatih Ilhan, Tiansheng Huang, Sihao Hu, Yichang Xu, Zachary Yahn, Ling Liu

机构 * Georgia Institute of Technology, USA（佐治亚理工学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 H3Fusion通过基于MoE的融合机制，在帮助性、无害性和诚实性方面优于现有方法。

Liability Sharing and Staffing in AI-Assisted Online Medical Consultation

人工智能辅助在线医疗咨询中的责任分担与人员配置

Yang Xiao

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 本文研究了人工智能辅助在线医疗咨询中责任分担与人员配置的交互作用，揭示了责任分担比例与拥堵成本对医生模式选择的影响，以及如何通过优化政策平衡风险转移与合规成本。

PAIR-SAFE: A Paired-Agent Approach for Runtime Auditing and Refining AI-Mediated Mental Health Support

PAIR-SAFE: 一种配对代理方法用于运行时审计和改进AI介导的心理健康支持

Jiwon Kim, Violeta J. Rodriguez, Dong Whi Yoo, Eshwar Chandrasekharan, Koustuv Saha

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 PAIR-SAFE通过配对代理框架，在运行时对AI生成的心理健康支持进行审计和改进，结合MITI-4框架提升临床相关性。

PurifyGen: A Risk-Discrimination and Semantic-Purification Model for Safe Text-to-Image Generation

PurifyGen：一种用于安全文本到图像生成的风险判别和语义净化模型

Zongsheng Cao, Yangfan He, Anran Liu, Jun Xie, Feng Chen, Zepeng Wang

机构 * Researcher（研究者） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 PurifyGen通过双阶段策略实现安全文本到图像生成，通过语义距离评估和双空间转换净化危险提示，减少不安全内容生成。

From Facts to Conclusions : Integrating Deductive Reasoning in Retrieval-Augmented LLMs

从事实到结论：在检索增强的大语言模型中整合演绎推理

Shubham Mishra, Samyek Jain, Gorang Mehrishi, Shiv Tiwari, Harsh Sharma, Pratik Narang, Dhruv Kumar

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出了一种增强RAG框架，通过结构化推理和冲突分析提升模型在冲突信息下的回答准确性与可解释性。

Comments Under Review

Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods

使用策略梯度方法微调离散扩散模型

Oussama Zekri, Nicolas Boullé

专题命中 安全训练 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SEPO算法，用于高效微调离散扩散模型，通过理论支持和实验验证展示了其在非可微奖励下的有效性。

Comments 33 pages, 8 figures, 8 tables

Journal ref NeurIPS 2025

WebOperator: Action-Aware Tree Search for Autonomous Agents in Web Environment

WebOperator: 基于动作意识的树搜索用于网络环境中的自主代理

Mahir Labib Dihan, Tanzima Hashem, Mohammed Eunus Ali, Md Rizwan Parvez

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Bangladesh University of Engineering and Technology (BUET)（孟加拉工程与技术大学） ； Faculty of Information Technology（信息技术学院） ； Monash University（莫纳什大学） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 WebOperator通过引入树搜索框架，实现可靠的回溯和战略探索，提升自主代理在网页环境中的任务成功率。

Comments Under review at ICLR 2026. Project page: https://kagnlp.github.io/WebOperator/

GTPO: Stabilizing Group Relative Policy Optimization via Gradient and Entropy Control

GTPO：通过梯度和熵控制稳定群体相对策略优化

Marco Simoni, Aleksandar Fontana, Giulio Rossolini, Andrea Saracino, Paolo Mori

机构 * National Doctorate on Artificial Intelligence, Sapienza Università di Roma（人工智能国家博士学院，罗马萨皮恩扎大学） ； Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant’Anna, Pisa（机器人与人工智能卓越部门，TeCIP，圣安娜高等学院，比萨） ； Institute of Informatics and Telematics, National Research Council of Italy, Pisa（信息与电信研究所，意大利国家研究理事会，比萨） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GTPO通过梯度和熵控制稳定群体相对策略优化，提升大语言模型对齐的训练稳定性与性能。

Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models

Video-R2: 通过强化一致性和基于现实的推理提升多模态语言模型

Muhammad Maaz, Hanoona Rasheed, Fahad Shahbaz Khan, Salman Khan

机构 * Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学） ； Linköping University（林肯皮大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 安全训练 ：alignment(abstract)；trustworthy(abstract)

AI总结 Video-R2通过强化学习提升多模态模型在视频推理中的时间对齐和逻辑一致性，提高准确性和可信度。

Comments Video-R2 Technical Report

iMotion-LLM: Instruction-Conditioned Trajectory Generation

iMotion-LLM：基于指令的轨迹生成

Abdulwahab Felemban, Nussair Hroub, Jian Ding, Eslam Abdelrahman, Xiaoqian Shen, Abduallah Mohamed, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology (KAUST)（卡塔尔国王阿卜杜勒阿齐兹大学科学与技术学院） ； Meta Reality Labs（Meta现实实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

AI总结 iMotion-LLM通过结合预训练LLM与轨迹预测模块，实现基于文本指令的交互式运动生成，提升自动驾驶中的轨迹生成准确性和安全性。

OmniGuard: Unified Omni-Modal Guardrails with Deliberate Reasoning

OmniGuard：统一的多模态防护机制与刻意推理

Boyu Zhu, Xiaofei Wen, Wenjie Jacky Mo, Tinghui Zhu, Yanan Xie, Peng Qi, Muhao Chen

机构 * Fudan University（复旦大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OmniGuard通过统一的多模态防护机制与刻意推理能力，有效提升多模态安全防护的鲁棒性和泛化能力。

SafeHumanoid: VLM-RAG-driven Control of Upper Body Impedance for Humanoid Robot

SafeHumanoid: 通过VLM-RAG驱动的人形机器人上半身阻抗控制

Yara Mahmoud, Jeffrin Sam, Nguyen Khang, Marcelino Fernando, Issatay Tokmurziyev, Miguel Altamirano Cabrera, Muhammad Haris Khan, Artem Lykov, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯克洛尔沃科学与技术研究所） 纠错

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)

AI总结 SafeHumanoid通过VLM-RAG结合自身视觉，实现人形机器人上半身阻抗控制，提升人机交互的安全性与任务成功率。

The Devil in the Details: Emergent Misalignment, Format and Coherence in Open-Weights LLMs

细节中的魔鬼：开放权重语言模型中的涌现偏移、格式与连贯性

Craig Dickson

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了开放权重语言模型中的涌现偏移现象，发现格式约束如JSON输出会增加偏移率，而Qwen-2.5系列比GPT-4o更抗压。

Collapse of Irrelevant Representations (CIR) Ensures Robust and Non-Disruptive LLM Unlearning

Filip Sondej, Yushi Yang

机构 * Jagiellonian University（杰尔乔夫大学） ； University of Oxford（牛津大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Open Character Training: Shaping the Persona of AI Assistants through Constitutional AI

Sharan Maiya, Henning Bartsch, Nathan Lambert, Evan Hubinger

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 12 pages, 6 figures, 4 tables

Building a Foundational Guardrail for General Agentic Systems via Synthetic Data

Yue Huang, Hang Hua, Yujun Zhou, Pengcheng Jing, Manish Nagireddy, Inkit Padhi, Greta Dolcetti, Zhangchen Xu, Subhajit Chaudhury, Ambrish Rawat, Liubov Nedoshivina, Pin-Yu Chen, Prasanna Sattigeri, Xiangliang Zhang

机构 * University of Notre Dame（诺特大学） ； MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室） ； University of Washington（华盛顿大学） ； Ca’ Foscari University of Venice（威尼斯卡福尔学院） ； IBM Research（IBM研究院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AMFT: Aligning LLM Reasoners by Meta-Learning the Optimal Imitation-Exploration Balance

Lixuan He, Jie Feng, Yong Li

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments The paper is currently under investigation regarding concerns of potential academic misconduct. While the investigation is ongoing, the authors have voluntarily requested to withdraw the manuscript

Reinforcement Learning for Clinical Reasoning: Aligning LLMs with ACR Imaging Appropriateness Criteria

Anni Tziakouri, Filippo Menolascina

专题命中 安全训练 ：alignment(abstract)；trustworthy(abstract)

Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains

Anisha Gunjal, Anthony Wang, Elaine Lau, Vaskar Nath, Yunzhong He, Bing Liu, Sean Hendryx

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments preprint

Automating Steering for Safe Multimodal Large Language Models

Lyucheng Wu, Mengru Wang, Ziwen Xu, Tri Cao, Nay Oo, Bryan Hooi, Shumin Deng

机构 * Zhejiang University（浙江大学） ； Zhejiang University - Ant Group Joint Lab of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室） ； National University of Singapore, NUS-NCS Joint Lab（新加坡国立大学NUS-NCS联合实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 Main Conference. 23 pages (8+ for main); 25 figures; 1 table

LogicGuard: Improving Embodied LLM agents through Temporal Logic based Critics

Anand Gokhale, Vaibhav Srivastava, Francesco Bullo

机构 * Department of Mechanical Engineering, University of California at Santa Barbara（加州大学圣芭芭拉分校机械工程系） ； Department of Electrical and Computer Engineering, Michigan State University（密歇根州立大学电气与计算机工程系） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Modified version of prior LTLCrit work with new robotics dataset

Iterative Prompt Refinement for Safer Text-to-Image Generation

Jinwoo Jeon, JunHyeok Oh, Hayeong Lee, Byung-Jun Lee

机构 * Korea University（韩国大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)

The Model Hears You: Audio Language Model Deployments Should Consider the Principle of Least Privilege

Luxi He, Xiangyu Qi, Michel Liao, Inyoung Cheong, Prateek Mittal, Danqi Chen, Peter Henderson

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments Published at AIES 2025

Toxicity-Aware Few-Shot Prompting for Low-Resource Singlish Translation

Ziyu Ge, Gabriel Chua, Leanne Tan, Roy Ka-Wei Lee

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AirLLM: Diffusion Policy-based Adaptive LoRA for Remote Fine-Tuning of LLM over the Air

Shiyi Yang, Xiaoxue Yu, Rongpeng Li, Jianhang Zhu, Zhifeng Zhao, Honggang Zhang

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 11 pages, 8 figures

Can A Society of Generative Agents Simulate Human Behavior and Inform Public Health Policy? A Case Study on Vaccine Hesitancy

Abe Bohan Hou, Hongru Du, Yichen Wang, Jingyu Zhang, Zixiao Wang, Paul Pu Liang, Daniel Khashabi, Lauren Gardner, Tianxing He

机构 * Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； Institute of Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Civil & Systems Engineering, Johns Hopkins University（约翰霍普金斯大学土木与系统工程系） ； Department of Computer Science, University of Chicago（芝加哥大学计算机科学系） ； Department of Epidemiology, Harvard University（哈佛大学流行病学系） ； MIT Media Lab and Department of EECS, Massachusetts Institute of Technology（麻省理工学院媒体实验室和电子工程与计算机科学系） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments Accepted to COLM 2025

Multimodal Framework for Explainable Autonomous Driving: Integrating Video, Sensor, and Textual Data for Enhanced Decision-Making and Transparency

Abolfazl Zarghani, Amirhossein Ebrahimi, Amir Malekesfandiari

专题命中 安全训练 ：safety(abstract)；trustworthy(abstract)