AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2025-09-22 至 2025-09-22 共收录 6 篇信号源：cs.CL, cs.AI, cs.CY, cs.LG

1. 偏好对齐 6 篇

2310.08164 2025-09-22 cs.LG 70%

Interpreting Learned Feedback Patterns in Large Language Models

Luke Marks, Amir Abdullah, Clement Neo, Rauno Arike, David Krueger, Philip Torr, Fazl Barez

机构 * Luke Marks ； Amir Abdullah ； Clement Neo ； Rauno Arike ； David Krueger ； Philip Torr ； Fazl Barez

专题命中偏好对齐：RLHF(abstract)；safety(abstract)；分类 cs.LG

Comments 19 pages, 8 figures. Accepted to NeurIPS 2024

2505.14442 2025-09-22 cs.CL cs.AI 62%

Creative Preference Optimization

Mete Ismayilzada, Antonio Laverghetta, Simone A. Luchini, Reet Patel, Antoine Bosselut, Lonneke van der Plas, Roger Beaty

机构 * EPFL（苏黎世联邦理工学院）； Università della Svizzera Italiana（瑞士联邦理工学院）； Wesleyan University（韦斯利安大学）； Pennsylvania State University（宾夕法尼亚州立大学）

专题命中偏好对齐：alignment(abstract)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP 2025 Findings

2503.12123 2025-09-22 cs.CL cs.AI 62%

MT-RewardTree: A Comprehensive Framework for Advancing LLM-Based Machine Translation via Reward Modeling

Zhaopeng Feng, Jiahan Ren, Jiayuan Su, Jiamei Zheng, Hongwei Wang, Zuozhu Liu

机构 * Zhejiang University（浙江大学）

专题命中偏好对齐：alignment(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings. Project page:https://sabijun.github.io/MT_RewardTreePage

2412.11006 2025-09-22 cs.LG cs.CL 62%

Entropy-Regularized Process Reward Model

Hanning Zhang, Pengcheng Wang, Shizhe Diao, Yong Lin, Rui Pan, Hanze Dong, Dylan Zhang, Pavlo Molchanov, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）； University of Toronto（多伦多大学）； NVIDIA（英伟达）； Princeton University（普林斯顿大学）； Salesforce Research（Salesforce研究）

专题命中偏好对齐：RLHF(abstract)；分类 cs.CL、cs.LG

Comments Upate TMLR version

2506.07570 2025-09-22 cs.CV cs.AI 57%

OptiScene: LLM-driven Indoor Scene Layout Generation via Scaled Human-aligned Data Synthesis and Multi-Stage Preference Optimization

Yixuan Yang, Zhen Luo, Tongsheng Ding, Junru Lu, Mingqi Gao, Jinyu Yang, Victor Sanchez, Feng Zheng

机构 * Southern University of Science and Technology（南方科技大学）； Shanghai Innovation Institute（上海创新研究院）； University of Warwick（沃林顿大学）

专题命中偏好对齐：DPO(abstract)；分类 cs.AI

2509.16127 2025-09-22 cs.CV 50%

BaseReward: A Strong Baseline for Multimodal Reward Model

Yi-Fan Zhang, Haihua Yang, Huanyu Zhang, Yang Shi, Zezhou Chen, Haochen Tian, Chaoyou Fu, Haotian Wang, Kai Wu, Bo Cui, Xu Wang, Jianfei Pan, Haotian Wang, Zhang Zhang, Liang Wang

机构 * ByteDance（字节跳动）； CASIA（中国科学院自动化研究所）； NJU（南京大学）； PKU（北京大学）； THU（清华大学）

专题命中偏好对齐：RLHF(abstract)