Benchmarks Are Not That Out of Distribution: Word Overlap Predicts Performance
基准不是那么分布外:词重叠预测性能
机构 * Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
AI总结 本研究发现词重叠程度与基准性能呈反比关系,表明基准性能受预训练数据与测试数据之间的词重叠影响,词频统计在其中起重要作用。
高校专区
基准不是那么分布外:词重叠预测性能
机构 * Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
AI总结 本研究发现词重叠程度与基准性能呈反比关系,表明基准性能受预训练数据与测试数据之间的词重叠影响,词频统计在其中起重要作用。
LocoVLM:为适应多功能腿式运动策略而 grounding 视觉和语言
机构 * School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(电气工程学院,韩国科学技术院)
AI总结 LocoVLM通过整合高层常识推理和视觉语言模型,实现了基于指令的实时腿式运动策略适应,准确率达87%。
Comments Project page: https://locovlm.github.io
从信念固化到LLM代理的稳健推理
机构 * KAIST AI(韩国科学技术院人工智能研究所)
AI总结 DReaMAD通过引入多样化推理和动态辩论机制,有效缓解了LLM代理中的信念固化问题,提升了推理准确性与胜率。
Comments Accepted to TACL
生成性提示内化
机构 * KAIST AI(韩国科学技术院人工智能研究所) ; Microsoft Research(微软研究院)
AI总结 生成性提示内化通过联合训练方法实现复杂提示的内化,减少计算开销并提升模型性能。
Comments NAACL 2025 (Main Conference)
Journal ref NAACL 2025