大模型对齐与安全

Multi-Objective Reward and Preference Optimization: Theory and Algorithms

多目标奖励与偏好优化：理论与算法

Akhil Agnihotri

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；分类 cs.LG

AI总结 本论文提出多目标约束优化算法MOPO，通过理论与算法结合，提升约束强化学习在控制、偏好学习和大语言模型对齐中的性能与安全性。

Comments PhD thesis

SyGra: A Unified Graph-Based Framework for Scalable Generation, Quality Tagging, and Management of Synthetic Data

SyGra：一种统一的基于图的框架，用于可扩展的生成、质量标记和管理合成数据

Bidyapati Pradhan, Surajit Dasgupta, Amit Kumar Saha, Omkar Anustoop, Sriram Puttagunta, Vipul Mittal, Gopal Sarda

机构 * ServiceNow Inc.（ServiceNow公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SyGra提出一种统一的基于图的框架，用于可扩展生成、质量标记和管理合成数据，通过模块化管道和双阶段质量标记机制提升合成对话数据的质量和效率。

Intelligently Weighting Multiple Reference Models for Direct Preference Optimization of LLMs

智能加权多个参考模型以直接优化大语言模型的偏好

Skyler Wu, Aymen Echarghaoui

机构 * Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出四种新的加权策略以优化大语言模型的偏好，发现单参考DPO在多数情况下优于多参考方法。

Comments Working paper. 13 pages, 4 figures

RoleRMBench & RoleRM: Towards Reward Modeling for Profile-Based Role Play in Dialogue Systems

RoleRMBench & RoleRM：迈向基于角色扮演的对话系统奖励建模

Hang Ding, Qiming Feng, Dongqi Liu, Qi Zhao, Tao Yao, Shuo Wang, Dongsheng Chen, Jian Li, Zhenye Gan, Jiangning Zhang, Chengjie Wang, Yabiao Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Saarland University（萨尔兰州大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 RoleRMBench与RoleRM旨在通过连续隐式偏好训练提升角色扮演对话系统中奖励建模的准确性与连贯性。

LDP: Parameter-Efficient Fine-Tuning of Multimodal LLM for Medical Report Generation

LDP：多模态大语言模型在医疗报告生成中的参数高效微调

Tianyu Zhou, Junyi Tang, Zehui Li, Dahong Qian, Suncheng Xiang

专题命中 偏好对齐 ：DPO(abstract)

AI总结 LDP通过多模态大语言模型和参数高效微调技术，提升结肠镜息肉诊断报告的准确性和效率，显著降低训练成本并获得专家评分。

Comments Work in progress

VLMLight: Safety-Critical Traffic Signal Control via Vision-Language Meta-Control and Dual-Branch Reasoning Architecture

VLMLight：通过视觉-语言元控制与双分支推理架构实现安全关键的交通信号控制

Maonan Wang, Yirong Chen, Aoyu Pang, Yuxin Cai, Chung Shue Chen, Yuheng Kan, Man-On Pun

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Nokia Bell Labs（诺基亚贝尔实验室） ； Fourier Intelligence（Fourier智能） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 VLMLight通过视觉-语言元控制与双分支推理架构，实现安全关键的交通信号控制，显著减少紧急车辆等待时间并提升系统安全性。

Comments 25 pages, 15 figures

GTPO: Stabilizing Group Relative Policy Optimization via Gradient and Entropy Control

GTPO：通过梯度和熵控制稳定群体相对策略优化

Marco Simoni, Aleksandar Fontana, Giulio Rossolini, Andrea Saracino, Paolo Mori

机构 * National Doctorate on Artificial Intelligence, Sapienza Università di Roma（人工智能国家博士学院，罗马萨皮恩扎大学） ； Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant’Anna, Pisa（机器人与人工智能卓越部门，TeCIP，圣安娜高等学院，比萨） ； Institute of Informatics and Telematics, National Research Council of Italy, Pisa（信息与电信研究所，意大利国家研究理事会，比萨） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GTPO通过梯度和熵控制稳定群体相对策略优化，提升大语言模型对齐的训练稳定性与性能。

Natural Language Interface for Firewall Configuration

防火墙配置的自然语言接口

F. Taghiyev, A. Aslanbayli

机构 * Tandon School of Engineering（塔恩顿工程学院） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； New York University（纽约大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于自然语言的防火墙配置接口，通过中间表示和验证层实现策略翻译与安全检查，旨在提升防火墙管理的可审计性和人机交互性。

Comments 7 pages, 3 figures. Preliminary version of an ongoing research project on natural language interfaces for firewall configuration

Collision-Aware Density-Driven Control of Multi-Agent Systems via Control Barrier Functions

考虑碰撞的密度驱动多智能体系统控制方法 via 控制屏障函数

Sungjun Seo, Kooktae Lee

专题命中 安全训练 ：safety(abstract)

AI总结 本文提出了一种结合密度驱动控制与控制屏障函数的多智能体系统控制方法，用于在存在障碍物的环境中实现安全高效的区域覆盖。

Comments 6 pages, 7 figures, Accepted for presentation at the 5th Modeling, Estimation and Control Conference (MECC 2025), Pittsburgh, USA

Unforgotten Safety: Preserving Safety Alignment of Large Language Models with Continual Learning

遗忘的安全性：通过持续学习保持大型语言模型的安全对齐

Lama Alssum, Hani Itani, Hasan Abed Al Kader Hammoud, Philip Torr, Adel Bibi, Bernard Ghanem

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过持续学习方法有效缓解大型语言模型在适应新任务时的安全退化问题，证明了持续学习在保持模型安全性和任务实用性方面的有效性。

Unveiling the Latent Directions of Reflection in Large Language Models

揭示大型语言模型中反思的潜在方向

Fu-Chieh Chang, Yu-Ting Lee, Pei-Yuan Wu

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG

AI总结 本文通过分析模型激活中的潜在方向，揭示了大型语言模型中反思机制的可控性及不同反思层次的区分。

Trustworthy Orchestration Artificial Intelligence by the Ten Criteria with Control-Plane Governance

基于十项准则的可信 orchestration 人工智能与控制平面治理

Byeong Ho Kang, Wenli Yang, Muhammad Bilal Amin

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 本文提出基于十项准则的可信 orchestration 人工智能框架，通过整合人类输入、语义一致性等要素，系统性地提升人工智能系统的可信度与可控性。

RAD: Towards Trustworthy Retrieval-Augmented Multi-modal Clinical Diagnosis

RAD：迈向可信的检索增强多模态临床诊断

Haolin Li, Tianjie Dai, Zhe Chen, Siyuan Du, Jiangchao Yao, Ya Zhang, Yanfeng Wang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Shanghai AI Laboratory（上海人工智能实验室） ； CMIC, Shanghai Jiao Tong University（上海交通大学计算机学院） ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Institute of Artificial Intelligence for Medicine, Shanghai Jiao Tong University（上海交通大学医学人工智能研究所） 纠错

专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.LG

AI总结 RAD通过检索增强多模态模型，提升临床诊断的可信度与准确性，实现任务特定知识的显式注入。

Comments Accepted to NeurIPS 2025

Teaching Language Models to Evolve with Users: Dynamic Profile Modeling for Personalized Alignment

教导语言模型与用户共同进化：面向个性化对齐的动态资料模型

Weixiang Zhao, Xingyu Sui, Yulin Hu, Jiahe Guo, Haixiao Liu, Biye Li, Yanyan Zhao, Bing Qin, Ting Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL

AI总结 本研究提出RLPA框架，通过动态资料推断提升个性化对话性能，Qwen-RLPA在多个基准测试中超越现有方法。

Comments NeurIPS 2025 Camera-ready

Achieving Trustworthy Real-Time Decision Support Systems with Low-Latency Interpretable AI Models

实现低延迟可解释AI模型的可信实时决策支持系统

Zechun Deng, Ziwei Liu, Ziqian Bi, Junhao Song, Chia Xin Liang, Joe Yeong, Xinyuan Song, Junfeng Hao

机构 * School of Physics and Astronomy（物理与天文学系） ； University of Edinburgh（爱丁堡大学） ； Siebel School of Computing and Data Science（计算与数据科学学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； AI Agent Lab（AI代理实验室） ； Vokram Group（Vokram集团） ； Department of Anatomical Pathology（解剖病理学部） ； Singapore General Hospital（新加坡中央医院） ； Department of Computer Science（计算机科学系） ； Emory University（埃默里大学） 纠错

专题命中 安全评测 ：trustworthy(title)；分类 cs.AI

AI总结 本文提出通过低延迟可解释AI模型实现可信实时决策支持系统，探讨资源受限环境下的人机协作方法及边缘计算优化策略。

AutoMedic: An Automated Evaluation Framework for Clinical Conversational Agents with Medical Dataset Grounding

AutoMedic: 一种用于具有医学数据集支撑的临床对话代理的自动化评估框架

Gyutaek Oh, Sangjoon Park, Byung-Hoon Kim

机构 * Yonsei University College of Medicine（延世大学医学院） ； Yonsei Institute for Digital Health（延世大学数字健康研究所） ； Yonsei University（延世大学） ； Institute of Behavioral Sciences in Medicine（医学行为科学研究所） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.LG

AI总结 AutoMedic是一种基于医学数据集的自动化评估框架，用于评估临床对话代理的多方面性能，包括准确性、效率、同理心和鲁棒性。

Benchmarking Multimodal LLMs on Recognition and Understanding over Chemical Tables

在化学表格上评估多模态大语言模型的基准测试

Yitong Zhou, Mingyue Cheng, Qingyang Mao, Yucong Luo, Qi Liu, Yupeng Li, Xiaohan Zhang, Deguang Liu, Xin Li, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； Artificial Intelligence Research Institute（人工智能研究院） ； iFLYTEK Co., Ltd（iFLYTEK公司） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ChemTable基准，用于评估多模态模型在理解化学表格中的能力，揭示了现有模型在跨模态对齐和领域推理方面的不足。

AgriGPT-Omni: A Unified Speech-Vision-Text Framework for Multilingual Agricultural Intelligence

AgriGPT-Omni: 一种统一的语音-视觉-文本框架用于多语言农业智能

Bo Yang, Lanfei Feng, Yunkui Chen, Yu Zhang, Jianyu Zhang, Xiao Xu, Nueraili Aierken, Shijian Li

机构 * Zhejiang University（浙江大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 AgriGPT-Omni提出了一种统一的语音-视觉-文本框架，通过数据合成、多阶段训练和三模态基准，提升多语言农业智能的性能和可重复性。

BRACE: A Benchmark for Robust Audio Caption Quality Evaluation

BRACE：一种用于鲁棒音频描述质量评估的基准

Tianyu Guo, Hongyu Chen, Hao Liang, Meiyi Qiang, Bohan Zeng, Linzhuang Sun, Bin Cui, Wentao Zhang

机构 * Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 BRACE基准用于评估参考自由环境下音频描述质量，揭示CLAP模型和LALM的局限性，推动未来研究方向。

A Methodology for Quantitative AI Risk Modeling

一种量化AI风险建模的方法论

Malcolm Murray, Steve Barrett, Henry Papadatos, Otter Quarks, Matt Smith, Alejandro Tlaie Boria, Chloé Touzet, Siméon Campos

专题命中 安全评测 ：safety(abstract)；分类 cs.CY

AI总结 本文提出了一种整合情景构建与定量风险估算的方法论，用于量化AI风险，通过六个步骤系统性地建模潜在危害，并通过实际应用验证其有效性。

Comments The only changes in v2 are some updates to a few arXiv URLs in the references

It Hears, It Sees too: Multi-Modal LLM for Depression Detection By Integrating Visual Understanding into Audio Language Models

它能听，也能看 too：通过将视觉理解整合到音频语言模型中构建多模态大语言模型以检测抑郁症

Xiangyu Zhao, Yaling Shen, Yiwen Jiang, Zimu Wang, Jiahe Liu, Maxmartwell H Cheng, Guilherme C Oliveira, Robert Desimone, Dominic Dwyer, Zongyuan Ge

机构 * Monash University（墨尔本大学） ； Massachusetts Institute of Technology（麻省理工学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出了一种多模态大语言模型框架，通过整合视觉理解到音频语言模型中，提升抑郁症检测的准确性与效率。

Beyond Words and Pixels: A Benchmark for Implicit World Knowledge Reasoning in Generative Models

超越文字和像素：生成模型中隐式世界知识推理的基准测试

Tianyang Han, Junhao Su, Junjie Hu, Peizhen Yang, Hengyu Shi, Junfeng Luo, Jialin Gao

机构 * MeiGen AI Team, Meituan（美团梅基因AI团队） ； Fudan University（复旦大学） ； D^{4} Lab（D⁴实验室） ； HHMI Janelia Research Campus（HHMI贾能实验室） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出PicWorld基准测试，用于评估生成模型在隐式世界知识和物理因果推理方面的能力，揭示了现有T2I模型在这些方面的局限性，并提出了证据基础的多代理评估器进行细粒度评估。

Aligning ASR Evaluation with Human and LLM Judgments: Intelligibility Metrics Using Phonetic, Semantic, and NLI Approaches

对齐语音识别评估与人类和LLM判断：利用音系、语义和NLI方法的可理解性度量

Bornali Phukon, Xiuwen Zheng, Mark Hasegawa-Johnson

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出结合NLI、语义和音系相似性的新型语音识别评估度量，以提高对口吃和发音障碍语音的可理解性评估精度。

Comments 5 pages, 2 figures, Interspeech 2025

Classifying Metamorphic versus Single-Fold Proteins with Statistical Learning and AlphaFold2

利用统计学习和AlphaFold2对变构蛋白与单构蛋白进行分类

Yongkai Chen, Samuel WK Wong, SC Kou

机构 * Harvard University（哈佛大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出利用AlphaFold2生成构象集合并结合统计学习，对变构与单构蛋白进行分类，提高了对变构蛋白识别的准确性。

Geo6DPose: Fast Zero-Shot 6D Object Pose Estimation via Geometry-Filtered Feature Matching

Geo6DPose：通过几何过滤特征匹配实现快速零样本6D物体姿态估计

Javier Villena Toro, Mehdi Tarkian

机构 * Linköping University（利乌普斯大学） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 Geo6DPose通过几何过滤特征匹配实现快速零样本6D姿态估计，无需训练或网络访问，具备高效推理与高鲁棒性。

Mind the Gap! Pathways Towards Unifying AI Safety and Ethics Research

注意差距！迈向统一人工智能安全与伦理研究的路径

Dani Roytburg, Beck Miller

机构 * Department of Machine Learning（机器学习系） ； Carnegie Mellon University（卡内基梅隆大学） ； Department of Computer Science（计算机科学系） ； Emory University（埃默里大学） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)；AI safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文通过文献计量学分析揭示人工智能安全与伦理研究的结构性分裂，并提出通过共享基准、跨机构平台和混合方法整合两者以构建更公正的人工智能系统。

Comments Accepted for presentation at IASEAI 2026

AI Through the Human Lens: Investigating Cognitive Theories in Machine Psychology

通过人类之眼审视人工智能：在机器心理学中探究认知理论

Akash Kundu, Rishika Goswami

机构 * Heritage Institute of Technology（赫里蒂奇理工学院） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 本文通过四个心理学框架研究LLMs的认知模式，发现其在叙述生成、框架偏差、道德判断和自我矛盾等方面表现出与人类相似但受训练数据影响的行为特征。

Comments Accepted to IJCNLP-AACL 2025 Student Research Workshop

Human or AI? Comparing Design Thinking Assessments by Teaching Assistants and Bots

人类还是人工智能？教学助教与机器人的设计思维评估比较

Sumbul Khan, Wei Ting Liow, Lay Kee Ang

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本研究比较了教学助教与AI在评估设计思维教育学生海报中的表现，发现教师更偏好助教评分，但AI在一致性与反馈效率上具有一定优势。

Comments to be published in IEEE TALE 2025

CIEGAD: Cluster-Conditioned Interpolative and Extrapolative Framework for Geometry-Aware and Domain-Aligned Data Augmentation

CIEGAD：基于几何感知和领域对齐的数据增强的聚类条件插值与外推框架

Keito Inoshita, Xiaokang Zhou, Akira Kawai, Katsutoshi Yada

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 CIEGAD通过聚类条件插值与外推，结合几何感知和领域对齐，有效增强数据分布外围，提升分类任务的F1和召回率。

RLAX: Large-Scale, Distributed Reinforcement Learning for Large Language Models on TPUs

RLAX：在TPUs上为大语言模型实现大规模分布式强化学习

Runlong Zhou, Lefan Zhang, Shang-Chen Wu, Kelvin Zou, Hanzhi Zhou, Ke Ye, Yihao Feng, Dong Yin, Alex Guillen Garcia, Dmytro Babych, Rohit Chatterjee, Matthew Hopkins, Xiang Kong, Chang Lan, Lezhi Li, Yiping Ma, Daniele Molinari, Senyu Tong, Yanchao Sun, Thomas Voice, Jianyu Wang, Chong Wang, Simon Wang, Floris Weers, Yechen Xu, Guolin Yin, Muyang Yu, Yi Zhang, Zheng Zhou, Danyang Zhuo, Ruoming Pang, Cheng Leong

专题命中 其他安全 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 RLAX在TPUs上实现大规模分布式强化学习，通过参数服务器架构和新数据集筛选技术，提升大语言模型的推理能力。

Comments The submission is being withdrawn because internal stakeholders determined that it is not appropriate to publish work on this topic at this time