大模型对齐与安全

A Systematic Evaluation of Preference Aggregation in Federated RLHF for Pluralistic Alignment of LLMs

对联邦RLHF中偏好聚合的系统评估：为LLM的多元化对齐

Mahmoud Srewa, Tianyu Zhao, Salma Elmalaki

机构 * Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系 加州大学伊文斯分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种自适应偏好聚合方法，通过动态调整权重提升联邦RLHF中LLM的公平性与对齐性能。

Comments This paper is accepted at the NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle

Holistic Utility Preference Learning for Listwise Alignment

整体效用偏好学习用于列表对齐

Jiacong Zhou, Xianyun Wang, Min Zhang, Jun Yu

机构 * School of Computer Science and Technology, Hangzhou Dianzi University（计算机科学与技术学院，杭州电子科技大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；DPO(abstract)；safety(abstract)

AI总结 DRPO通过整体效用学习提升列表对齐效果，优化响应排名质量

A First-Order Logic-Based Alternative to Reward Models in RLHF

基于一阶逻辑的强化学习人类反馈中奖励模型的替代方案

Chunjin Jian, Xinhua Zhu

机构 * School of Computer Science（计算机科学系） ； Engineering Guangxi Normal University Guilin, China（广西师范大学） 纠错

专题命中 偏好对齐 ：RLHF(title,abstract)；alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 本文提出基于一阶逻辑的奖励机制，替代传统奖励建模，通过逻辑一致性提升模型对齐性能，实验显示其在性能和鲁棒性上优于标准微调方法。

Explainable reinforcement learning from human feedback to improve alignment

通过人类反馈改进强化学习的可解释性以提升对齐

Shicheng Liu, Siyuan Xu, Wenjie Qiu, Hangfan Zhang, Minghui Zhu

机构 * Department of Electrical Engineering, Pennsylvania State University（宾夕法尼亚州立大学电气工程系） ； Department of Computer Science, Rutgers University（罗格斯大学计算机科学系） ； College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出通过纠正RLHF中不满意响应的原因来提升语言模型对齐性的方法，结合事后解释与卸载技术改进模型响应质量。

RecGPT-V2 Technical Report

RecGPT-V2 技术报告

Chao Yi, Dian Chen, Gaoyang Guo, Jiakai Tang, Jian Wu, Jing Yu, Mao Zhang, Wen Chen, Wenjun Yang, Yujie Luo, Yuning Jiang, Zhujin Gao, Bo Zheng, Binbin Cao, Changfa Wu, Dixuan Wang, Han Wu, Haoyi Hu, Kewei Zhu, Lang Tian, Lin Yang, Qiqi Huang, Siqi Yang, Wenbo Su, Xiaoxiao He, Xin Tong, Xu Chen, Xunke Xi, Xiaowei Huang, Yaxuan Wu, Yeqiu Yang, Yi Hu, Yujin Yuan, Yuliang Yan, Zile Zhou

机构 * RecGPT Team（RecGPT 团队） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 RecGPT-V2通过多代理系统、元提示框架、受约束强化学习和代理作为裁判框架，提升推荐系统意图推理的效率和准确性，实现60%的GPU消耗降低和11.46%的NER提升。

AI-Powered Annotation Pipelines for Stabilizing Large Language Models: A Human-AI Synergy Approach

基于AI的标注流程用于稳定大语言模型：一种人机协同方法

Gangesh Pathak, Prasanna Kumar

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI

AI总结 本文提出了一种基于AI的标注流程，通过人机协同方法系统识别并修复大语言模型的不稳定性，提升模型的可靠性和鲁棒性。

Comments 16 Pages

The Instability of Safety: How Random Seeds and Temperature Expose Inconsistent LLM Refusal Behavior

安全性的不稳定性：随机种子和温度如何暴露LLM拒绝行为的一致性问题

Erik Larsen

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现LLM在随机种子和温度变化下安全拒绝行为不稳定，提出安全性稳定性指数并推荐多样本评估以提高可靠性。

Comments 16 pages, 7 figures, 9 tables. Code and data available at https://github.com/erikl2/safety-refusal-stability

State-Dependent Refusal and Learned Incapacity in RLHF-Aligned Language Models

基于状态依赖拒绝和学习无能的强化学习人类反馈对齐语言模型

TK Lee

专题命中 安全训练 ：RLHF(title)；alignment(abstract)；分类 cs.AI

AI总结 本研究提出通过观察行为来审计强化学习人类反馈对齐语言模型中的状态依赖拒绝和学习无能现象。

Comments 23 pages, 6 figures. Qualitative interaction-level analysis of response patterns in a large language model. Code and processed interaction data are available at https://github.com/theMaker-EnvData/llm_learned_incapacity_corpus

STEMS: Spatial-Temporal Enhanced Safe Multi-Agent Coordination for Building Energy Management

STEMS: 基于空间-时间增强的安全多智能体协调的建筑能源管理

Huiliang Zhang, Di Wu, Arnaud Zinflou, Benoit Boulet

机构 * Department of Electrical Computer Engineering, McGill University（电气计算机工程系，麦吉尔大学） ； Data Science Team, Institut de Recherche Hydro Québec（水电研究所数据科学团队） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 STEMS提出一种安全约束的多智能体强化学习框架，通过空间-时间图表示学习和控制屏障函数，提升建筑能源管理的效率与安全性。

The Laminar Flow Hypothesis: Detecting Jailbreaks via Semantic Turbulence in Large Language Models

层流假说：通过大语言模型中的语义湍流检测对抗性突破

Md. Hasib Ur Rahman

机构 * Brac University（布拉克大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；jailbreak(abstract)

AI总结 本研究提出层流假说，通过检测大语言模型中的语义湍流，实现对抗性突破的实时检测与安全架构诊断。

Beyond Jailbreak: Unveiling Risks in LLM Applications Arising from Blurred Capability Boundaries

超越劫持：揭示LLM应用中因能力边界模糊而产生的风险

Yunyi Zhang, Shibo Cui, Baojun Liu, Jingkai Yu, Min Zhang, Fan Shi, Han Zheng

专题命中 越狱攻击 ：jailbreak(title,abstract)

AI总结 本文研究了LLM应用中因能力边界模糊导致的能力降级和升级风险，提出评估框架并揭示了应用安全性的关键影响因素。

Comments Accepted by Network and Distributed System Security (NDSS) Symposium 2026

Reasoning-Style Poisoning of LLM Agents via Stealthy Style Transfer: Process-Level Attacks and Runtime Monitoring in RSV Space

通过隐蔽的风格迁移进行LLM代理的推理风格污染：过程级攻击与运行时监控在RSV空间中

Xingfu Zhou, Pengfei Wang

机构 * college of computer science, National University of Defense Technology（计算机科学学院，国防科技大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本研究提出推理风格污染攻击，通过隐蔽方式改变LLM代理的推理风格，导致性能下降并绕过内容过滤，提出运行时监控方法应对该漏洞。

Safe2Harm: Semantic Isomorphism Attacks for Jailbreaking Large Language Models

Safe2Harm: 语义同构攻击用于大型语言模型的劫持

Fan Yang

机构 * Jinan University（济南大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.AI

AI总结 Safe2Harm通过语义同构攻击方法，利用合法与有害场景的底层原理一致性，实现高效的大规模语言模型劫持，并提出有害内容评估数据集用于防御。

Semantic-Drive: Democratizing Long-Tail Data Curation via Open-Vocabulary Grounding and Neuro-Symbolic VLM Consensus

语义驱动：通过开放词汇锚定和神经符号视觉语言共识民主化长尾数据整理

Antonio Guillen-Perez

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 Semantic-Drive通过开放词汇锚定和神经符号视觉语言共识，提升自动驾驶中长尾数据整理的效率与隐私保护。

Estimating problem difficulty without ground truth using Large Language Model comparisons

无需真实数据即可利用大语言模型比较估计问题难度

Marthe Ballon, Andres Algaba, Brecht Verbeken, Vincent Ginis

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLM compare方法，通过大语言模型的成对比较估计问题难度，克服传统方法在分布外问题上的局限性，具有高一致性与鲁棒性。

Comments 19 pages, 10 figures

Reliable Statistical Guarantees for Conformal Predictors with Small Datasets

在小数据集上为符合预测器提供可靠的统计保证

Miguel Sánchez-Domínguez, Lucas Lacasa, Javier de Vicente, Gonzalo Rubio, Eusebio Valero

机构 * ETSIAE-UPM - School of Aeronautics, Universidad Politécnica de Madrid（西班牙马德里理工大学航空航天学院） ； Institute for Cross-Disciplinary Physics and Complex Systems (IFISC), CSIC-UIB（交叉学科物理与复杂系统研究所（IFISC），CSIC-UIB） ； Center for Computational Simulation, Universidad Politécnica de Madrid, Campus de Montegancedo, Boadilla del Monte（计算模拟中心，马德里理工大学蒙特加森多校区，博阿迪利亚德尔蒙特） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种新的统计保证方法，用于在小数据集上提高符合预测器的可靠性，通过提供覆盖概率信息并验证其有效性。

A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis

语义增强的生成基础模型提升病理图像合成

Xianchao Guan, Zhiyuan Fan, Yifeng Wang, Fuqiang Chen, Yanjiang Zhou, Zengyang Che, Hongxue Meng, Xin Li, Yaowei Wang, Hongpeng Wang, Min Zhang, Heng Tao Shen, Zheng Zhang, Yongbing Zhang

专题命中 隐私与版权 ：alignment(abstract)；分类 cs.AI

AI总结 CRAFTS通过语义增强的生成基础模型提升病理图像合成质量，生成多样化病理图像并增强多种临床任务性能。

Comments 68 pages, 9 figures, 16 tables

EXAONE Path 2.5: Pathology Foundation Model with Multi-Omics Alignment

EXAONE Path 2.5：多组学对齐的病理基础模型

Juseung Yun, Sunwoo Yu, Sumin Ha, Jonghyun Kim, Janghyeon Lee, Jongseong Jang, Soonyoung Lee

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.LG

AI总结 EXAONE Path 2.5通过多组学对齐构建病理基础模型，实现更全面的肿瘤生物学建模，展现高效率和适应性，推动精准肿瘤学发展。

Assessing Greenspace Attractiveness with ChatGPT, Claude, and Gemini: Do AI Models Reflect Human Perceptions?

利用ChatGPT、Claude和Gemini评估绿地吸引力：AI模型能反映人类感知吗？

Milad Malekzadeh, Magdalena Biernacka, Elias Willberg, Jussi Torkko, Edyta Łaszkiewicz, Tuuli Toivonen

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文研究了AI模型在评估绿地吸引力方面的表现，发现其在正式绿地和非正式空间的判断一致性较高，但存在对安全性和本地嵌入质量的低估问题。

Optimizing Large Language Models for ESG Activity Detection in Financial Texts

优化大型语言模型以检测金融文本中的ESG活动

Mattia Birti, Andrea Maurino, Francesco Osborne

机构 * Department of Informatics, Systems and Communication, University of Milano-Bicocca（信息学、系统与通信系，米兰-比科卡大学） ； University of Milano-Bicocca（米兰-比科卡大学） ； The Open University（开放大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出通过微调优化大型语言模型，提升金融文本中ESG活动检测的准确性。

Comments Published in the Proceedings of the ACM International Conference on AI in Finance (ICAIF). ACM version

Journal ref Proceedings of the ACM International Conference on AI in Finance (ICAIF), 2024, ACM

Polypersona: Persona-Grounded LLM for Synthetic Survey Responses

Polypersona：基于身份的LLM生成合成调查回应

Tejaswani Dash, Dinesh Karri, Anudeep Vurity, Gautam Datla, Tazeem Ahmad, Saima Rafi, Rohith Tangudu

机构 * George Mason University, Virginia, USA（乔治·马歇尔大学） ； New Jersey Institute of Technology (NJIT), New Jersey, USA（新泽西理工学院） ； University of Southern Queensland, Queensland, Australia（南方昆士兰大学） ； Edinburgh Napier University, Edinburgh, Scotland（爱丁堡纳皮尔大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 PolyPersona通过基于身份的微调，使小型语言模型能生成可靠且一致的合成调查数据，实现多领域高效调查数据生成。

Comments Accepted in IEEE Bigdata 2025- LLMs4ALL

Criminal Liability in AI-Enabled Autonomous Vehicles: A Comparative Study

人工智能赋能的自动驾驶车辆中的刑事责任：比较研究

Sahibpreet Singh, Manjit Singh

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文通过比较研究分析人工智能赋能自动驾驶车辆中的刑事责任问题，探讨不同国家的监管差异及责任归属机制，强调全球法律统一对技术发展的重要性。

Comments Published in Journal of University Institute of Legal Studies, Vol. 18, Issue 1, pp. 57-78, 2025

Journal ref Journal of University Institute of Legal Studies 18(1), 57-78 (2025)

Single-Agent Scaling Fails Multi-Agent Intelligence: Towards Foundation Models with Native Multi-Agent Intelligence

单智能体扩展无法实现多智能体智能：迈向具有原生多智能体智能的基础模型

Shuyue Hu, Haoyang Yan, Yiqun Zhang, Yang Chen, Dongzhan Zhou, Lei Bai

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文指出单智能体扩展无法实现多智能体智能，提出构建具有原生多智能体智能的基础模型的关键方向。

DIWALI: Diversity and Inclusivity aWare cuLture specific Items for India: Dataset and Assessment of LLMs for Cultural Text Adaptation in Indian Context

DIWALI：多样性与包容性-aware的文化特定项目用于印度：数据集和对LLM进行文化文本适应的评估

Pramit Sahoo, Maharaj Brahma, Maunendra Sankar Desarkar

机构 * Natural Language and Information Processing Lab (NLIP) Indian Institute of Technology Hyderabad（自然语言与信息处理实验室（NLIP）印度理工学院海得拉巴） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 DIWALI数据集通过17个文化维度的8,000个文化概念，评估LLM在印度文化文本适应中的文化意识与一致性。

Comments Accepted at EMNLP 2025

Native Intelligence Emerges from Large-Scale Clinical Practice: A Retinal Foundation Model with Deployment Efficiency

原生智能源自大规模临床实践：一种具有部署效率的视网膜基础模型

Jia Guo, Jiawei Du, Shengzhu Yang, Shuai Lu, Wenquan Cheng, Kaiwen Zhang, Yihua Sun, Chuhong Yang, Weihang Zhang, Fang Chen, Yilan Wu, Lie Ju, Guochen Ning, Longfei Ma, Huiping Yao, Jinyuan Wang, Peilun Shi, Yukun Zhou, Jie Xu, Pearse A. Keane, Hanruo Liu, Hongen Liao, Ningli Wang, Huiqi Li

机构 * School of Biomedical Engineering, Tsinghua Medicine, Tsinghua University（生物医学工程学院，清华大学医学部，清华大学） ； School of Information and Electronics, Beijing Institute of Technology（信息与电子学院，北京理工大学） ； Beijing Key Laboratory of Intelligent Diagnosis Technology and Equipment for Optic Nerve-Related Eye Diseases（北京智能诊断技术与设备重点实验室） ； School of Medical Technology, Beijing Institute of Technology（医学技术学院，北京理工大学） ； Beijing Tongren Hospital, Capital Medical University（北京同仁医院，首都医科大学） ； School of Biomedical Engineering, Shanghai Jiaotong University（生物医学工程学院，上海交通大学） ； Beijing Visual Science and Translational Eye Research Institute (BERI), Beijing Tsinghua Changgung Hospital Eye Center, School of Clinical Medicine, Tsinghua Medicine, Tsinghua University Institute of Ophthalmology（北京视觉科学与转化眼研所（BERI），北京清华长庚医院眼科中心，临床医学学院，清华大学医学部，清华大学眼科学院） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 ReVision通过直接从真实临床数据中学习，实现了在低资源环境下高效部署的视网膜基础模型，无需额外标注即可在多种医学任务中取得优异性能。

Immutable Explainability: Fuzzy Logic and Blockchain for Verifiable Affective AI

不可变的可解释性：模糊逻辑与区块链用于可验证的情感人工智能

Marcelo Fransoy, Alejandro Hossian, Hernán Merlino

专题命中 安全评测 ：trustworthy(abstract)

AI总结 本文提出不可变可解释性架构，结合模糊逻辑与区块链，实现情感AI的透明决策和可信审计。

XAI-Driven Diagnosis of Generalization Failure in State-Space Cerebrovascular Segmentation Models: A Case Study on Domain Shift Between RSNA and TopCoW Datasets

基于XAI的州空间脑血管分割模型泛化失败诊断：在RSNA与TopCoW数据集域偏移案例研究

Youssef Abuzeid, Shimaa El-Bana, Ahmad Al-Kabbany

机构 * Department of Electronics and Electrical Communications Engineering（电子与电气通信工程系） ； Cairo University（开罗大学） ； Multimedia Interaction and Communication Lab（多媒体交互与通信实验室） ； Arab Academy for Science and Technology（阿拉伯科学与技术学院） ； Wearables, Biosensing, and Biosignal Processing Research lab（可穿戴设备、生物传感与生物信号处理研究实验室） 纠错

专题命中 安全评测 ：trustworthy(abstract)

AI总结 本文提出基于XAI的两阶段方法，诊断州空间模型在脑血管分割中的泛化失败原因，揭示模型因关注机制失效而学习虚假相关性。

Trustworthy, responsible, ethical AI in manufacturing and supply chains: synthesis and emerging research questions

制造业与供应链中的可信、负责任、道德AI：综合与新兴研究问题

Alexandra Brintrup, George Baryannis, Ashutosh Tiwari, Svetan Ratchev, Giovanna Martinez-Arellano, Jatinder Singh

专题命中 AI治理与伦理 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 本文探讨制造业中负责任、道德和可信AI的应用，提出研究问题以指导未来研究，确保AI应用的安全性和责任性。

Comments Pre-print under peer-review

Journal ref Data-Centric Engineering 6 (2025) e53

Enhancing Transparency and Traceability in Healthcare AI: The AI Product Passport

提升医疗AI的透明度与可追溯性：AI产品护照

A. Anil Sinaci, Senan Postaci, Dogukan Cavdaroglu, Machteld J. Boonstra, Okan Mercan, Kerem Yilmaz, Gokce B. Laleci Erturkmen, Folkert W. Asselbergs, Karim Lekadir

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本研究提出AI产品护照，通过生命周期文档提升医疗AI的透明度和可追溯性，符合FUTURE-AI原则，确保公平性和可用性，并通过开源平台实现可访问性。

Comments A total of 33 pages: First 16 pages for the manuscript and the remaining 17 pages for the supplementary user guide of the graphical user interface

Human-AI Collaboration Mechanism Study on AIGC Assisted Image Production for Special Coverage

面向特殊报道的AIGC辅助图像生成中的人机协作机制研究

Yajie Yang, Yuqing Zhao, Xiaochao Xi, Yinan Zhu

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出了一种人机协作机制，用于在特殊报道中通过AIGC辅助图像生成，结合高精度分割、语义对齐和风格调节技术，确保内容准确性和可验证性。

Comments AAAI-AISI 2026