Oracle（甲骨文）

Balancing Safety and Helpfulness in Healthcare AI Assistants through Iterative Preference Alignment

通过迭代偏好对齐平衡医疗AI助手的安全性与帮助性

Huy Nghiem, Swetasudha Panda, Devashish Khatwani, Huy V. Nguyen, Krishnaram Kenthapadi, Hal Daumé

机构 * University of Maryland（马里兰大学） ； Oracle Labs（Oracle实验室） ； Oracle Health AI（Oracle健康AI） 纠错

AI总结 本文提出通过迭代偏好对齐框架提升医疗AI助手的安全性与帮助性，通过KTO和DPO优化改进模型，提升有害查询检测性能并平衡安全与效用。

Comments ML4H 2025 Proceedings, Best Paper Award