HypoSpace: A Diagnostic Benchmark for Set-Valued Hypothesis Generation under Underdetermination and Sublinear Coverage Bounds
HypoSpace: 欠定性与次线性覆盖边界下集合值假设生成的诊断基准
机构 * National University of Singapore(国立新加坡大学) ; College of Computing(计算学院) ; Data Science(数据科学) ; Nanyang Technological University(南洋理工大学) ; Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心 (CFAR)) ; Agency for Science, Technology and Research(科技研究局) ; Meta Superintelligence Labs(Meta超智能实验室)
专题命中 数据集与评测 :action model(abstract)
AI总结 提出HypoSpace基准,通过三个结构化领域评估大语言模型在欠定假设空间中的采样能力,发现模型在高有效性下存在覆盖失败,并展示分层解码可部分缓解该问题。