Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs
测试黑箱:面向消费者的健康大语言模型独立评估的结构性障碍
机构 * Massachusetts Institute of Technology(麻省理工学院) ; Johns Hopkins University(约翰霍普金斯大学) ; University of California, Berkeley(加州大学伯克利分校) ; Toronto General Hospital, University Health Network(多伦多综合医院,大学健康网络) ; McGill University(麦吉尔大学) ; University of Toronto(多伦多大学) ; Independent Researcher(独立研究者) ; Rutgers University(罗格斯大学) ; Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心) ; Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院)
专题命中 安全评测 :alignment(abstract);分类 cs.AI
AI总结 本研究通过模拟用户档案,测试面向消费者的健康大语言模型在响应变异和谄媚行为方面的表现,发现五大结构性障碍阻碍独立评估。
Comments 6 pages, 1 figure. Preprint submitted for review