AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2025-10-09 至 2025-10-09 共收录 5 篇信号源：cs.CL, cs.AI, cs.CY, cs.LG

1. 偏好对齐 5 篇

2510.07000 2025-10-09 cs.CL cs.AI 73%

Pragyaan: Designing and Curating High-Quality Cultural Post-Training Datasets for Indian Languages

Neel Prabhanjan Rachamalla, Aravind Konakalla, Gautam Rajeev, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal

机构 * Krutrim AI

专题命中偏好对齐：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

2510.06652 2025-10-09 cs.CL 70%

Aligning Large Language Models via Fully Self-Synthetic Data

Shangjian Yin, Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Yu Meng

机构 * University of California, Riverside（加州大学河滨分校）； University of Virginia（弗吉尼亚大学）

专题命中偏好对齐：alignment(abstract)；RLHF(abstract)；分类 cs.CL

2503.03654 2025-10-09 cs.CL cs.AI cs.LG 67%

Improving Neutral Point-of-View Generation with Data- and Parameter-Efficient RL

Jessica Hoffmann, Christiane Ahlheim, Zac Yu, Aria Walfrand, Jarvis Jin, Marie Tano, Ahmad Beirami, Erin van Liemt, Nithum Thain, Hakim Sidahmed, Lucas Dixon

机构 * Google DeepMind（谷歌DeepMind）

专题命中偏好对齐：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

2510.06391 2025-10-09 cs.CL cs.AI 62%

Reward Model Perspectives: Whose Opinions Do Reward Models Reward?

Elle

机构 * Elle University of Oxford（埃勒奥克舍大学）

专题命中偏好对齐：alignment(abstract)；分类 cs.CL、cs.AI

Comments Published at EMNLP 2025 under the full author name "Elle"

2510.06627 2025-10-09 cs.LG 57%

POME: Post Optimization Model Edit via Muon-style Projection

Yong Liu, Di Fu, Yang Luo, Zirui Zhu, Minhao Cheng, Cho-Jui Hsieh, Yang You

机构 * National University of Singapore（新加坡国立大学）； Penn State University（宾夕法尼亚州立大学）； University of California, Los Angeles（加州大学洛杉矶分校）

专题命中偏好对齐：RLHF(abstract)；分类 cs.LG