Percy Liang

The Mighty ToRR: A Benchmark for Table Reasoning and Robustness

强大的ToRR：表格推理与鲁棒性基准

Shir Ashury-Tahan, Yifan Mai, Rajmohan C, Ariel Gera, Yotam Perlitz, Asaf Yehudai, Elron Bandel, Leshem Choshen, Eyal Shnarch, Percy Liang, Michal Shmueli-Scheuer

机构 * IBM Research（IBM研究院） ； Bar-Ilan University（巴伊兰大学） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） 纠错

AI总结 ToRR基准通过评估模型在不同表格格式和提示下的表现，揭示了表格推理任务中模型的鲁棒性问题，强调多格式测试对评估模型能力的重要性。