Summarization from Medical Documents: A Survey
目的:对近年来医学文献文摘工作进行综述。背景:在过去的十年中,文档摘要越来越受到人工智能研究界的关注。最近,它也吸引了医学研究界的兴趣,因为通过大量和越来越多的出版期刊、会议记录、万维网上的医学网站和门户网站、电子病历等,医生和医学研究人员可以获得的信息大量增加。本文首先介绍了文献摘要的一般背景,介绍了摘要所依赖的因素,讨论了评价问题,并简要描述了各种类型的摘要技术。然后通过不同类型的医学文档来考察医学领域的特点。最后,介绍并讨论了目前在医学领域中使用的摘要技术,并参考了相应的系统及其特点。讨论与结论:本文深入探讨了医学文献摘要的未来研究方向。它主要集中在扩展到各种语言和不同媒体的大量文档集合的问题,个性化问题,新子域的可移植性,以及实际应用中摘要技术的集成
2005-04-13 cs.CL cs.IR
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);L3S Research Center(L3S研究中心)
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的,几个算法已经开发了专门用于总结法律案例文档。然而,大多数现有的算法没有系统地纳入领域知识,指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距,我们提出了一个无监督的摘要算法DELSumm,旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明,我们提出的无监督方法优于几个强基线的ROUGE分数,包括一般的摘要算法和法律特定的。事实上,尽管我们提出的算法是无监督的,但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University(复旦大学)
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序,AOS系统需要解决两个核心子任务,方面提取和情感分类。现有的大多数方面提取方法,使用语言分析或主题建模,是通用的不同的产品,但不够精确或适合于特定的产品。相反,我们采用了一种不太一般但更精确的方案,直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类,我们提出了两种基于卷积神经网络(CNN)的方法,级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务,第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN,但不同的网络共享相同的词嵌入。实验结果表明,级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University(西北大学)
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同,我们的框架处理讲述不同故事的文档,而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高,以提高可读性的目标。最后,我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体,其中每个文档组包含大量不同的文档集合,以评估我们的模型与其他基线系统相比的性能。我们的实验表明,我们的框架优于当前国家的最先进的方法,在这个更通用的设置。
2022-05-01 cs.CL cs.IR
WikiSent : Weakly Supervised Sentiment Analysis Through Extractive Summarization With Wikipedia
本文描述了一个弱监督的电影评论领域的情感分析系统。我们的目标是将电影评论分为一个极性类,积极或消极的基础上,这些句子轴承对电影的意见。与评论者对电影的意见没有直接关系的不相关的文本被排除在分析之外。维基百科在系统中整合了电影特定特征的世界知识,用于获得评论的摘录摘要,包括评论者对电影特定方面的意见。这会过滤掉与给定电影无关或客观的概念。拟议的系统,WikiSent,不需要任何标记的数据进行训练。唯一薄弱的监督来自于对WordNet、Part-of-Speech Tagger和Sentiment Lexicons等资源的使用。WikiSent在基线上实现了相当大的准确性提高,并且在相同的数据集上,与该领域中现有的半监督和无监督系统相比具有更好或相当的准确性。我们还使用WikiSent进行了一般的电影评论趋势分析,以发现电影制作的趋势和公众对电影类型,发行年份和极性的接受程度。
2012-09-18 cs.CL cs.IR
Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文研究文档摘要技术,提出基于 rank aggregation 与相关性反馈的图像推荐方法,并设计 submodular functions 平衡意见摘要中的压缩与情感检测需求,在图像检索与摘要生成任务上均优于基线。
2024-05-20 cs.AI cs.CL cs.IR
Multi-modal Summarization for Video-containing Documents
College of Computer Science, Nankai University(南开大学计算机学院);Ludong University(鲁东大学)
摘要的多媒体数据变得越来越重要,因为它是许多现实世界的应用,如问答,Web搜索等的基础。然而,大多数现有的多模态摘要作品都使用从图像而不是视频中提取的视觉互补特征,从而丢失了丰富的信息。因此,我们提出了一种新的多模态摘要任务,从文档及其相关的视频进行总结。在这项工作中,我们还建立了一个基线一般模型与有效的战略,即,双跳注意和改进的后期融合机制,以弥合不同模态之间的差距,以及双流摘要策略,同时采用文本和视频摘要。综合实验表明,该模型有利于多模态摘要,优于现有方法。此外,我们收集了一个新的数据集,它提供了一个新的资源,为未来的研究,从文件和视频的结果。
2020-09-17 cs.CL cs.IR
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston(休斯顿大学)
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而,这仍然是一个严峻的挑战。在这里,我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率(和F1分数)的经验限制。接下来,我们定义了文档的可压缩性的概念,并提出了一种新的摘要模型,该模型概括了文献中现有的模型,并集成了摘要的几个维度,即,抽象与提取、单文档与多文档以及句法与语义。最后,我们研究了一些新的和现有的单文档摘要算法在一个单一的框架,并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学)
自从网络出现以来,关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询,并克服信息过载的问题,一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间,而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集,其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中,我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此,它可以发挥重要作用,在文本文档摘要。
2018-11-15 cs.CL cs.IR
Document-Level Abstractive Summarization
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Instituto de Telecomunicações(电信研究所)
自动文本摘要的任务产生一个简洁流畅的文本摘要,同时保留关键信息和整体意义。近年来,通过使用基于Transformer体系结构的模型,文档级摘要的最新方法有了显著的改进。然而,相对于序列长度的二次存储器和时间复杂度使得它们的使用非常昂贵,特别是对于文档级摘要所需的长序列。我们的工作解决了文档级摘要的问题,通过研究如何有效的Transformer技术可以用来提高自动摘要的很长的文本。特别是,我们将使用arXiv数据集(由多篇科学论文和相应的摘要组成)作为这项工作的基线。然后,我们提出了一种新的检索增强方法的基础上的架构,通过处理较小的块,降低了整个文档的摘要生成的成本。结果低于基线,但表明更有效的记忆,消费和诚实。
2022-12-06 cs.CL cs.IR
Sentiment Analysis of Document Based on Annotation
Motilal Nehru National Institute of Technology(莫蒂拉尔·尼赫鲁国家理工学院)
我提出了一个工具,告诉文件的质量或其有用性的基础上的注释。注释可以包括注释、笔记、观察、重点、下划线、解释、问题或帮助等。注释用于评价目的,而其他注释用于总结或扩展。此外,这些注释可能在另一个注释上。这样的注释被称为元注释。并非所有注释都具有相同的权重。我的工具考虑了突出显示,下划线以及注释来推断注释者的集体情绪。注释者的集体情感分为积极情感、消极情感和客观情感。我的工具以两种方式计算注释的集体情感。它统计文档中存在的所有注释,并计算包含注释的所有注释的情感得分,以获得关于文档的集体情感或判断文档的质量。我在研究论文中演示了工具的使用。
2011-11-07 cs.CL cs.IR
Document summarization using positive pointwise mutual information
University of Kerala(喀拉拉邦大学);Amrita Vishwa Vidyapeetham(阿姆里塔维什瓦维迪亚皮塔姆大学)
文档摘要过程的成功程度取决于用于识别文档中重要句子的方法的性能。唯一词的集合表征文档的主要签名,并形成术语句子矩阵(TSM)的基础。正的逐点互信息,这是很好地衡量在术语句子矩阵的语义相似性,在我们的方法中使用分配权重的术语句子矩阵中的每个条目。然后使用从该加权TSM生成的句子秩矩阵从文档中提取摘要。我们的实验表明,这样的方法将优于大多数现有的方法,从大型文档中产生摘要。
2012-05-08 cs.AI cs.IR
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization
York University(约克大学);Information Retrieval and Knowledge Management Research Lab(信息检索与知识管理研究实验室);School of Information Technology(信息技术学院);Department of Electrical Engineering and Computer Science(电子工程与计算机科学系)
在以查询为中心的多文档摘要(QF-MDS)任务中,给出了一组文档和一个查询,目标是根据给定的查询从这些文档生成摘要。然而,这项任务的一个主要挑战是缺乏可用的标记训练数据集。为了克服这个问题,在本文中,我们提出了一种新的弱监督学习方法,通过利用远程监督。特别地,我们使用与目标数据集相似的数据集作为训练数据,其中我们利用预先训练的句子相似性模型来从多文档黄金参考摘要生成文档集中每个单独文档的弱参考摘要。然后,我们在每个单文档上迭代地训练我们的摘要模型,以减轻在多个文档中训练神经摘要模型时发生的计算复杂性问题(即,长序列)。在文档理解会议(DUC)数据集上的实验结果表明,我们提出的方法设置了一个新的国家的最先进的结果在各种评价指标。
2020-11-03 cs.CL cs.IR
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中,我们提出了一种新的监督的方法,可以将丰富的句子特征到贝叶斯主题模型的原则性的方式,从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
文档自动摘要技术的发展日趋成熟,为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档,向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本,为用户提供有用信息的过程,而多文档摘要是从一组文档中生成摘要,提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具,本文考虑了词汇衔接特征在自动文摘中的作用,并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义,然后构造词汇链,去除得分较低的词汇链,从词汇链中粗略地检测出主题,并根据主题对文本进行分割,选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明,与最先进的摘要方法相比,我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
Improved Spoken Document Summarization with Coverage Modeling Techniques
Academia Sinica(中央研究院);National Taiwan Normal University(台湾师范大学)
摘要的目的是从源文档中选择一组指示性句子作为摘要,以表达文档的主题。摘要摘要的普遍共识是,相关性和覆盖率都是需要解决的关键问题。设计用于对覆盖率进行建模的现有方法的特征在于,在总结中减少冗余或增加多样性。最大边距相关性(MMR)是一种被广泛引用的方法,因为它在为给定文档生成摘要时考虑了相关性和冗余性。据我们所知,除了MMR之外,只有很少的研究集中在减少冗余或增加口语文档摘要任务的多样性上。出于这些意见,本文提出了两个主要贡献。首先,在MMR,它认为通过减少冗余的覆盖率相比,我们提出了两种新的覆盖率为基础的方法,直接增加多样性。利用所提出的方法,一组代表性的句子,这不仅是相关的给定的文件,但也涵盖了大多数重要的子主题的文件,可以自动选择。其次,我们向前迈进了一步,插件几个文档/句子表示方法到建议的框架,以进一步提高摘要性能。一系列的实证评估证明了我们所提出的方法的有效性。
2016-01-20 cs.CL cs.IR
A Split-then-Join Approach to Abstractive Summarization for Very Long Documents in a Low Resource Setting
Department of Computer Science(计算机科学系);Universitas Indonesia(印度尼西亚大学)
针对BIGBIRD-PEGASUS仅能处理4,096个token的限制,本文提出先分割后合并的数据增强与微调方法,使超长文档摘要在低资源场景下避免截断并缓解领域偏移与过拟合。
2025-05-11 cs.CL cs.IR
PDSum: Prototype-driven Continuous Summarization of Evolving Multi-document Sets Stream
UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Macau(澳门大学)
摘要文本丰富的文件已经在文献中研究了很长时间,但大多数现有的努力已经取得了总结一个静态的和预定义的多文档集。随着用于生成和分发富文本文档的在线平台的快速发展,出现了对连续地总结动态演变的多文档集的迫切需要,其中文档和集合的组成随时间而变化。这是特别具有挑战性的摘要不仅要有效地结合相关的,新颖的,独特的信息,从每个并发的多文档集,但也有效地服务于在线应用程序。在这项工作中,我们提出了一个新的摘要问题,进化多文档集流摘要(EMDS),并介绍了一种新的无监督算法PDSum的原型驱动的连续摘要的想法。PDSum为每个多文档集构建一个轻量级的原型,并利用它来适应新文档,同时保留以前文档中积累的知识。为了更新新的摘要,每个多文档集的最具代表性的句子被提取,通过测量它们的相似性的原型。对真实多文档集流的全面评估表明,PDSum在相关性、新颖性和独特性方面优于EMDS中最先进的无监督多文档摘要算法,并且对各种评估设置也具有鲁棒性。
2023-02-10 cs.AI cs.IR cs.LG
PeerSum: A Peer Review Dataset for Abstractive Multi-document Summarization
我们提出了PeerSum,一个新的MDS数据集,使用科学出版物的同行评审。我们的数据集与现有MDS数据集的不同之处在于,我们的摘要(即,元评论)是高度抽象的并且它们是源文档的真实摘要(即,评论),它还具有源文件之间的分歧。我们发现,目前最先进的MDS模型很难为PeerSum生成高质量的摘要,这提供了新的研究机会。
2022-09-29 cs.CL cs.IR
An Editorial Network for Enhanced Document Summarization
Technion – Israel Institute of Technology(以色列理工学院);IBM Research(IBM研究院)
我们提出了一个新的想法,编辑网络-一个混合的提取抽象的摘要方法,这是作为一个后处理步骤,在一个给定的序列提取的句子。我们的网络试图模仿人类编辑在摘要过程中的决策过程。在这样一个过程中,每一个提取的句子可以保持不变,重新措辞或完全拒绝。我们进一步提出了一种有效的方法来培训“编辑”的基础上,一种新的软标签的方法。使用CNN/DailyMail数据集,我们证明了我们的方法与最先进的只提取或只抽象的基线方法相比的有效性。
2019-02-27 cs.CL cs.IR
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法,以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明,增加主题层次可以有效地提高文摘质量。在前人研究的启发下,本文提出了一种基于图的两层(句子层和主题层)半监督学习方法。同时,我们提出了一个新的主题模型,充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
Improving User Experience with Personalized Review Ranking and Summarization
Information and Computer Science Dept., King Fahd University of Petroleum and Minerals(信息与计算机科学系,国王法赫德石油与矿物大学);Interdisciplinary Research Center for Intelligent Secure Systems (IRC-ISS), King Fahd University of Petroleum and Minerals(智能安全系统交叉研究中心(IRC-ISS),国王法赫德石油与矿物大学)
提出融合用户偏好建模、混合情感估计、方面级评论匹配和LLM摘要的个性化评论排名与摘要框架,在亚马逊数据集和用户研究中优于现有方法。
2026-06-06 cs.IR cs.LG
Privacy-Preserving Multi-Document Summarization
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);INESC-ID(葡萄牙系统与计算机工程研究所)
最先进的提取多文档摘要系统通常在设计时不考虑隐私问题,这意味着所有文档都对第三方开放。在本文中,我们提出了一个隐私保护的方法来多文档摘要。我们的方法使其他各方能够获得摘要,而无需了解有关原始文档内容的任何其他信息。我们使用一个散列方案称为安全二进制嵌入转换文档表示包含关键短语和袋的话成位串,允许计算的近似距离,而不是确切的。我们的实验表明,我们的系统在标准的多文档评估数据集上产生类似的结果。
2015-08-06 cs.CL cs.CR cs.IR
SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Technische Universität Darmstadt(达姆施塔特工业大学)
我们研究了无监督的多文档摘要评估指标,它既不需要人类编写的参考摘要,也不需要人类注释(例如偏好,评级等)。我们提出了SUPERT,通过测量其与伪参考摘要的语义相似性来评价摘要的质量,即从源文件中选择突出的句子,使用上下文嵌入和软标记对齐技术。与最先进的无监督评估指标相比,SUPERT与人类评分的相关性更高,达到18- 39%。此外,我们使用SUPERT作为奖励来指导基于神经的强化学习摘要器,与最先进的无监督摘要器相比,具有良好的性能。所有源代码都可以在https://github.com/yg211/acl20-ref-free-eval上找到。
2020-05-07 cs.CL cs.IR
Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology(库尔纳工程技术大学)
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中,我们提出了一种新的技术,从一个单一的Web文档,使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重(SW)和主题权重(SuW)的组合函数来确定句子的排序,其中SW是句子中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数,SuW是主题中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要,并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明,68%的摘要,我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
Long document summarization using page specific target text alignment and distilling page importance
本文提出PTS和PTSPI模型,通过页面划分、目标文本对齐和页面重要性权重改进长文档抽象式摘要,在基准数据集上ROUGE-1和ROUGE-2分别超越SOTA 6.32%和8.08%。
2025-09-20 cs.CL cs.IR
Extending a Single-Document Summarizer to Multi-Document: a Hierarchical Approach
INESC-ID Lisboa(里斯本信息与通信技术研究院);IST/ULisboa(里斯本大学高等技术学院);School of Computer Science, CMU(卡内基梅隆大学计算机学院);ISCTE-IUL(里斯本大学学院)
在线内容的不断增加推动了多文档摘要方法的发展。在这项工作中,我们探索直接的方法来扩展单文档摘要方法,多文档摘要。所提出的方法是基于单文档摘要的层次组合,并取得了最先进的结果。
2015-07-10 cs.CL cs.IR
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University(莫纳什大学);Deakin University(迪肯大学);Shandesitong
获取多文档摘要(MDS)的训练数据是耗时和资源密集型的,所以最近的神经模型只能在有限的领域进行训练。在本文中,我们提出了SummPip:一种用于多文档摘要的无监督方法,在该方法中,我们将原始文档转换为句子图,同时考虑语言和深度表示,然后应用谱聚类来获得多个句子聚类,最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明,我们的方法与以前的无监督方法相比具有竞争力,甚至可以与神经监督方法相媲美。此外,人类的评价表明,我们的系统产生一致和完整的摘要相比,人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要,称为MEAD,它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术,句子效用和包容的基础上,我们已经应用到单个和多个文件摘要的评估。最后,我们描述了两个用户研究,测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL
Shaping Political Discourse using multi-source News Summarization
Stanford University(斯坦福大学)
本文提出一种无偏的多文档新闻摘要机器学习模型,通过等量采样主题各维度,生成公正摘要,用于塑造政治话语。
2023-12-18 cs.CL cs.CY cs.IR
CAiRE-COVID: A Question Answering and Query-focused Multi-Document Summarization System for COVID-19 Scholarly Information Management
EMOS Technologies Inc.(EMOS科技公司)
我们介绍CAiRE-COVID,一个实时问答(QA)和多文档摘要系统,它赢得了Kaggle COVID-19开放研究数据集挑战赛的10个任务之一,由医学专家评判。我们的系统旨在通过回答社区的高优先级问题并总结与问题相关的重要信息,来应对最近挖掘大量关于COVID-19的科学文章的挑战。它将信息抽取与最先进的QA和以查询为中心的多文档摘要技术相结合,从现有文献中选择并突出显示证据片段。我们还提出了以查询为中心的抽象和提取的多文档摘要方法,以提供更多的相关信息的问题。我们进一步进行定量实验,显示每个模块的各种指标的一致改进。我们已经推出了我们的网站CAiRE-COVID,供医学界更广泛地使用,并开放了我们系统的代码,以引导其他研究人员进行进一步的研究。
2020-12-08 cs.CL cs.IR cs.LG
An Efficient Approach to Learning Chinese Judgment Document Similarity Based on Knowledge Summarization
North China Electric Power University(华北电力大学);Renmin University of China(中国人民大学)
普通法体系中以前的类似案例可用作本案的参考,以便在每一个案例中对相同的情况作类似的处理。然而,现有的判决文本相似度计算方法未能捕捉到判决文本的核心语义,存在准确度低、计算复杂度高的问题。提出了一种基于知识块摘要的机器学习方法来计算中文判决书的语义相似度。利用裁判文书的领域本体,基于知识块对中文裁判文书的核心语义进行归纳。然后利用WMD算法计算知识块之间的相似度。最后通过实验验证了该方法的有效性,与传统方法相比,该方法具有更高的精度和更快的计算速度。
2018-08-06 cs.AI cs.CL cs.IR
Topic-Centric Unsupervised Multi-Document Summarization of Scientific and News Articles
Wright State University(莱特州立大学)
自然语言处理的最新进展已经实现了广泛任务的自动化,包括机器翻译、命名实体识别和情感分析。然而,文档或文档组的自动摘要仍然难以实现,许多努力仅限于提取关键字、关键短语或关键句子。由于问题的固有困难和训练数据的有限可用性,尚未实现准确的抽象概括。在本文中,我们提出了一个以主题为中心的无监督多文档摘要框架,用于为Microsoft Academic Graph(MAG)中的20个研究领域(FoS)的科学文章和DUC-2004任务2的新闻文章生成提取和抽象摘要。该算法通过开发显著语言单元选择和文本生成技术来生成抽象摘要。我们的方法在自动提取评估指标上进行评估时与最先进的方法相匹配,并且在五个人类评估指标(蕴涵,连贯性,简洁性,可读性和语法)上的抽象摘要中表现得更好。我们在两位共同作者的语言学家之间获得了0.68的Kappa评分,他们评估了我们的结果。我们计划公开分享MAG-20,这是一个人类验证的主题聚类研究文章及其摘要的黄金标准数据集,以促进抽象摘要的研究。
2020-11-03 cs.CL cs.IR cs.LG
Learning Mixtures of Submodular Shells with Application to Document Summarization
University of Washington(华盛顿大学)
我们介绍了一种方法来学习的子模块的混合物“壳”在一个大的利润率设置。子模壳是一个抽象的子模函数,可以用一个基集和一组参数来实例化,以产生一个子模函数。这样的壳的混合也可以被实例化以产生更复杂的子模函数。我们的算法学习的是这种壳上的混合权重。我们提供了一个风险约束保证学习时,在一个大利润的结构化预测设置使用投影次梯度方法时,只有近似的子模块优化是可能的(如子模块函数最大化)。我们将此方法应用于多文档摘要的问题,并产生最好的结果报告到目前为止,广泛使用的NIST DUC-05通过DUC-07文档摘要语料库。
2012-10-16 cs.CL cs.IR cs.LG