arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新
arXiv 2404.08403cs.CLcs.DLcs.LG
收藏

学习表示的学习表示

Learning representations of learning representations

Hertie Institute for AI in Brain Health(赫蒂脑健康人工智能研究所);University of Tübingen(蒂宾根大学);Heidelberg University(海德堡大学)

Rita González-Márquez, Dmitry Kobak

AI总结:

本文构建了包含2.4万篇ICLR提交论文摘要及元数据的ICLR数据集,发现词袋表示在$k$NN分类上优于多数transformer模型,借此挑战NLP社区,并揭示了机器学习领域七年来的主题变迁与性别平衡改善。

摘要:

ICLR会议在顶级机器学习会议中独树一帜,因为所有提交的论文都是公开的。在此,我们提出了ICLR数据集,包含2017至2024年间所有2.4万份ICLR提交论文的摘要,以及元数据、决策评分和自定义的基于关键词的标签。我们发现,在该数据集上,词袋表示在$k$NN分类准确率方面优于大多数专用的句子transformer模型,且表现最好的语言模型仅略胜于TF-IDF。我们将此视为对NLP社区的挑战。此外,我们利用ICLR数据集研究了机器学习领域在过去七年中的变化,发现性别平衡有所改善。通过对摘要文本进行2D嵌入,我们描述了2017至2024年间研究主题的转变,并找出了ICLR提交数量最多的作者中的“刺猬”与“狐狸”。

英文摘要:

The ICLR conference is unique among the top machine learning conferences in that all submitted papers are openly available. Here we present the ICLR dataset consisting of abstracts of all 24 thousand ICLR submissions from 2017-2024 with meta-data, decision scores, and custom keyword-based labels. We find that on this dataset, bag-of-words representation outperforms most dedicated sentence transformer models in terms of $k$NN classification accuracy, and the top performing language models barely outperform TF-IDF. We see this as a challenge for the NLP community. Furthermore, we use the ICLR dataset to study how the field of machine learning has changed over the last seven years, finding some improvement in gender balance. Using a 2D embedding of the abstracts' texts, we describe a shift in research topics from 2017 to 2024 and identify hedgehogs and foxes among the authors with the highest number of ICLR submissions.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑