首页/论文/2209.08698

arXiv 2209.086982022-09-19cs.CL

LED掉进兔子洞：探索生物医学多文档摘要的全球关注潜力

LED down the rabbit hole: exploring the potential of global attention for biomedical multi-document summarisation

The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；RMIT University（皇家墨尔本理工大学）

Yulia Otmakhova, Hung Thinh Truong, Timothy Baldwin, Trevor Cohn, Karin Verspoor, Jey Han Lau

备注：: SDP Workshop at COLING 2022

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在本文中，我们报告了我们提交的多文档摘要文献综述（MSLR）共享任务。具体来说，我们采用PRIMERA（Xiao et al.，2022年），通过以多种方式将全球注意力放在重要的生物医学实体上，将其转移到生物医学领域。我们分析了23个结果模型的输出，并报告了与额外的全球关注、训练步骤数量和输入配置相关的结果模式。

英文摘要：

In this paper we report on our submission to the Multidocument Summarisation for Literature Review (MSLR) shared task. Specifically, we adapt PRIMERA (Xiao et al., 2022) to the biomedical domain by placing global attention on important biomedical entities in several ways. We analyse the outputs of the 23 resulting models, and report patterns in the results related to the presence of additional global attention, number of training steps, and the input configuration.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于监督机器学习的生物医学数据摘要抽取查询

Supervised Machine Learning for Extractive Query Based Summarisation of Biomedical Data

Macquarie University（麦考瑞大学）

由于在线信息过多，生物医学出版物的文本摘要自动化是一个迫切的需求。本文探讨了几种有监督的机器学习方法对提取给定查询的多文档摘要的影响。特别是，我们比较了基于查询的提取总结的分类和回归方法，使用BioASQ挑战提供的数据。我们解决了为训练分类系统注释句子的问题，并表明一个简单的注释方法优于基于回归的摘要。

2018-12-06cs.CL

利用外部知识图谱增强生物医学科普摘要生成

Enhancing Biomedical Lay Summarisation with External Knowledge Graphs

University of Sheffield（谢菲尔德大学）；Beijing University of Technology（北京工业大学）；The University of Surrey（萨里大学）；The University of Manchester（曼彻斯特大学）

针对科普摘要生成缺乏背景信息的问题，该研究通过为eLife数据集补充特定文章的知识图谱，系统评估了三种将知识图谱整合入encoder-decoder模型的方法，显著提升了生成文本的可读性与技术概念解释。

2023-10-24cs.CL

面向生物医学查询聚焦多文档摘要的大语言模型与提示工程

Large Language Models and Prompt Engineering for Biomedical Query Focused Multi-Document Summarisation

School of Computing（计算学院）；Macquarie University（麦考瑞大学）

该研究将提示工程与GPT-3.5用于生物医学查询聚焦多文档摘要，验证了少样本提示、检索增强生成的效果，在BioASQ 11b中取得ROUGE-F1前两名的成绩。

2023-11-09cs.CL

面向查询的生物医学文本多文档摘要

Query Focused Multi-document Summarisation of Biomedical Texts

Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）

本文介绍了麦考瑞大学和澳大利亚国立大学参与2020年BioASQ挑战赛（BioASQ8b）的任务B阶段。我们的整体框架实现了查询集中的多文档提取摘要，通过应用分类或回归层的候选句子嵌入和问题和句子嵌入之间的比较。我们使用BERT和BioBERT、Siamese架构和强化学习对变体进行了实验。当使用BERT来获得词嵌入，然后使用LSTM层来获得句子嵌入时，我们观察到最佳结果。使用Siamese架构或BioBERT的变体没有改善结果。

2020-08-27cs.CL

基于引文论文知识聚合改进生物医学生成式摘要

Improving Biomedical Abstractive Summarisation with Knowledge Aggregation from Citation Papers

The University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）；The University of Manchester（曼彻斯特大学）

针对语言模型因缺乏背景知识难以生成高质量生物医学摘要的问题，提出基于注意力的引文聚合模型，整合引文知识生成摘要，并构建大规模数据集，实验证明其性能优于现有方法。

2023-10-24cs.AIcs.CL

Bio医学研究文章通俗摘要的BioLaySumm 2023共享任务概述

Overview of the BioLaySumm 2023 Shared Task on Lay Summarization of Biomedical Research Articles

University of Sheffield（谢菲尔德大学）；University of Manchester（曼彻斯特大学）；Manchester Metropolitan University（曼彻斯特城市大学）

本文概述了ACL 2023 BioLaySumm共享任务，旨在开发可控与非可控的生成式摘要模型，为生物医学文章生成面向非技术读者的通俗摘要，并报告了两个子任务的设置与结果。

2023-10-25cs.CL

更多相关论文收起更多论文

针对生物医学和COVID-19复杂问答的以查询为中心的提取摘要

Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering

Macquarie University（麦考瑞大学）

本文介绍了麦考瑞大学参与最近两个BioASQ协同任务（截至2022年6月）和BioASQ 10任务B（BioASQ 10 b），阶段B。在这些任务中，参与系统预计将生成生物医学问题的复杂答案，其中答案可能包含一个以上的句子。我们采用以查询为中心的提取摘要技术。特别地，我们遵循基于句子分类的方法，该方法对与问题相关联的每个候选句子进行评分，并且将$n$得分最高的句子作为答案返回。Synergy Task对应于一个端到端系统，它需要文档选择、片段选择和找到最终答案，但它的训练数据非常有限。对于Synergy任务，我们选择了两个阶段的候选句子：文档检索和片段检索，最终的答案是通过使用一个DistilBERT/ALBERT分类器，已被训练的训练数据的BioASQ 9 b。使用BioASQ组织者提供的搜索API对CORD-19数据进行标准搜索，实现了文件检索，并通过使用问题和候选句子的余弦相似性对检索到的顶级文件的句子进行重新排序，实现了片段检索。我们观察到，通过sBERT表示的向量具有超过tf. idf的边缘。BioASQ 10 b B阶段侧重于寻找生物医学问题的具体答案。对于这项任务，我们遵循以数据为中心的方法。我们假设第一个BioASQ年的训练数据可能有偏差，我们用训练数据的不同子集进行了实验。当系统在BioASQ 10 b训练数据的后半部分上训练时，我们观察到结果的改善。

2022-09-05cs.CL

基于查询的多文档摘要技术中的分类更好的问答问题分类：麦考瑞大学BioASQ7b

Classification Betters Regression in Query-based Multi-document Summarisation Techniques for Question Answering: Macquarie University at BioASQ7b

Macquarie University（麦考瑞大学）

2019年BioASQ挑战赛B阶段的任务B侧重于生物医学问答。麦考瑞大学的参与应用了基于查询的多文档提取摘要技术，以生成给定问题和相关片段集的多句回答。在过去的参与中，我们使用深度学习架构和简单的策略梯度架构探索了回归方法的使用。在2019年的挑战中，我们尝试使用有和没有强化学习的分类方法。此外，我们还进行了各种ROUGE指标与BioASQ人类评估评分之间的相关性分析。

2019-09-02cs.CL

针对生物医学和COVID-19问题的以查询为中心的提取摘要

Query-Focused Extractive Summarisation for Finding Ideal Answers to Biomedical and COVID-19 Questions

Macquarie University（麦考瑞大学）

本文介绍了麦考瑞大学对BioASQ协同任务和BioASQ 9 b B阶段的参与。在这些任务中，我们的参与集中在使用以查询为中心的提取摘要，以获得医学问题的理想答案。协同任务是一项关于COVID-19的端到端问答任务，系统需要返回相关文档、片段和给定问题的答案。由于缺乏训练数据，我们使用了一个以查询为中心的总结系统，该系统使用BioASQ 8b训练数据集进行训练，我们试验了检索文档和片段的方法。考虑到我们的系统检索到的文档和片段的质量很差，我们在返回的答案中观察到了相当好的质量。对于BioASQ 9 b任务的B阶段，相关文档和片段已包含在测试数据中。我们的系统将片段分割成候选句子，并在句子分类设置下使用BERT变体。该系统使用问题和候选句子作为输入，并经过训练以预测候选句子作为理想答案的一部分的可能性。运行获得了所有BioASQ 9 b批次的所有参与者的最佳或次佳ROUGE-F1结果。这表明，在分类设置中使用BERT是识别理想答案的非常强的基线。

2021-08-31cs.CLcs.IR

语言模型在生物医学基准测试中对药物名称的脆弱性令人惊讶

Language Models are Surprisingly Fragile to Drug Names in Biomedical Benchmarks

MIT（麻省理工学院）；Harvard（哈佛大学）；Mass General Brigham（麻省总医院布里格姆医疗系统）；Universitat Pompeu Fabra（庞培法布拉大学）；Aarhus University（奥胡斯大学）；Maastricht University（马斯特里赫特大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；University of Virginia（弗吉尼亚大学）

该研究构建鲁棒性数据集RABBITS，测试药名品牌名与通用名互换对大语言模型在医学基准测试性能的影响，发现1-10%的性能下降，并指出预训练数据测试集污染是潜在原因。

2024-06-19cs.CL