We consider the end-to-end abstract-to-title generation problem, exploring seven recent transformer based models (including ChatGPT) fine-tuned on more than 30k abstract-title pairs from NLP and machine learning (ML) venues. As an extension, we also consider the harder problem of generating humorous paper titles. For the latter, we compile the first large-scale humor annotated dataset for scientific papers in the NLP/ML domains, comprising almost ~2.6k titles. We evaluate all models using human and automatic metrics. Our human evaluation suggests that our best end-to-end system performs similarly to human authors (but arguably slightly worse). Generating funny titles is more difficult, however, and our automatic systems clearly underperform relative to humans and often learn dataset artefacts of humor. Finally, ChatGPT, without any fine-tuning, performs on the level of our best fine-tuned system.
Leveraging LLMs for Title and Abstract Screening for Systematic Review: A Cost-Effective Dynamic Few-Shot Learning Approach
Duke University(杜克大学);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Duke University School of Medicine(杜克大学医学院);Duke Clinical Research Institute(杜克临床研究所)
LDKP: A Dataset for Identifying Keyphrases from Long Scientific Documents
Moody’s Analytics(穆迪分析);IIIT-Delhi(德里英迪拉·甘地信息技术学院);IIT-Dhanbad(印度理工学院丹巴德分校);NYU(纽约大学);Adobe Media Data Science Research(奥多比媒体数据科学研究院);UT Austin(德克萨斯大学奥斯汀分校)
PaperRobot: Incremental Draft Generation of Scientific Ideas
Rensselaer Polytechnic Institute(伦斯勒理工学院);DiDi Labs(滴滴实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Washington(华盛顿大学)
QMUL-SDS at SCIVER: Step-by-Step Binary Classification for Scientific Claim Verification
Queen Mary University of London(伦敦玛丽女王大学)
科学声明验证是一个独特的挑战,正吸引越来越多的兴趣。SCIVER共享任务提供了一个基准场景,用于测试和比较参与团队的声明验证方法,包括三个步骤:相关摘要选择,理由选择和标签预测。在本文中,我们提出了团队QMUL-SDS的参与共享任务。我们提出了一种方法,通过逐步进行二进制分类来执行科学声明验证。我们训练了一个BioBERT大型分类器,根据每个<claim,title of the abstract>的成对相关性评估来选择摘要,并继续训练它,根据<claim,sentence>从每个检索到的摘要中选择理由。然后,我们提出了一个两步的标签预测设置,即首先预测“NOT_ENOUGH_INFO”或“ENOUGH_INFO”,然后将那些标记为“ENOUGH_INFO”的标签标记为“SUPPORT”或“SUPPORT DICT”。与基线系统相比,我们在开发集上实现了实质性的改进。结果,我们队是排行榜上的第四名。
ChatGPT as the Transportation Equity Information Source for Scientific Writing
Texas A&M Transportation Institute(德克萨斯A&M交通研究所);Texas State University(德克萨斯州立大学)
交通公平是一个跨学科的议程,需要交通和社会投入。传统上,交通公平信息来自公共图书馆、会议、电视、社交媒体等。包括ChatGPT等高级语言模型在内的人工智能(AI)工具正在成为最受欢迎的信息源。然而,其可信度尚未得到很好的探讨。本研究探讨了ChatGPT生成的与交通公平性相关的信息的内容和有用性。它利用了通过Web of Science(WoS)存储库检索的152篇论文。提示是为ChatGPT精心制作的,以提供给定论文标题的摘要。然后使用统计工具和无监督文本挖掘将基于ChatGPT的摘要与人类撰写的摘要进行比较。结果表明,ChatGPT和人类书面摘要之间的相似性较弱。平均而言,人类撰写的摘要和ChatGPT生成的摘要约有58%相似,最大和最小分别为97%和1.4%。相似度得分高于平均值的论文摘要中的关键词相似性更高,而低于平均值的论文摘要中的关键词相似性更低。具有高相似性分数的主题包括访问,公共交通和政策等。此外,观察到高和低相似性分数摘要的关键聚类模式存在明显差异。首先,从搭配的关键字的结果是不确定的。研究结果表明,ChatGPT有潜力成为交通公平信息的来源。然而,目前,在用户可以使用ChatGPT的材料之前,需要大量的注意力