大模型对齐与安全

Exploring Re-inforcement Learning via Human Feedback under User Heterogeneity

通过用户异质性探索基于人类反馈的强化学习

Sarvesh Shashidhar, Abhishek Mishra, Madhav Kotecha

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)

AI总结 本研究通过聚类和个性化奖励模型处理用户异质性，提升强化学习模型的胜率。

Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures

超越正确性：跨文化的主观写作偏好评估

Shuangshuang Ying, Yunwen Li, Xingwei Qu, Xin Li, Sheng Jin, Minghao Liu, Zhoufutu Wen, Xeron Du, Tianyu Zheng, Yichi Zhang, Letian Ni, Yuyang Cheng, Zhenzhu Yang, Qiguang Chen, Jingzhe Ding, Shengda Long, Wangchunshu Zhou, Jiazhan Feng, Wanjun Zhong, Libo Qin, Ge Zhang, Wenhao Huang, Wanxiang Che, Chenghua Lin

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出WritingPreferenceBench数据集，发现基于序列的奖励模型在评估主观写作偏好时表现不佳，而生成奖励模型通过推理链达到更高准确率，揭示了当前RLHF方法在捕捉主观偏好方面的局限性。