RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering
RECOM:开放式 Reddit 问答中自动评估指标的有效性与区分性权衡
机构 * University of Alabama Huntsville(阿拉巴马大学亨茨维尔分校) ; University of North Alabama(北阿拉巴马大学) ; Stanford University(斯坦福大学) ; Meta AI ; Amazon GenAI(亚马逊生成人工智能)
AI总结 提出 RECOM 数据集,发现自动评估指标在开放式问答中无法同时兼顾有效性和区分性,余弦相似度有效性高但区分性差,BERTScore 区分性受长度影响且有效性弱。