Deep Learning Models for Automatic Summarization
onepoint（一点公司）
文本摘要是一项NLP任务，旨在将文本文档转换为更短的文档，同时尽可能保留更多的含义。这篇教学文章回顾了一些最近的深度学习架构，这些架构有助于推进该领域的研究。我们将特别讨论指针网络、分层Transformers和强化学习的应用。我们假设有Seq2Seq架构和NLP中的Transformer网络的基本知识。
2020-05-25 cs.CL cs.LG
Automatic Bug Detection in Games using LSTM Networks
Ontario Tech University（安大略理工大学）
本研究提出一种基于LSTM网络的游戏感知缺陷检测框架，通过异常检测识别游戏缺陷并聚类分类，经两款FPS游戏验证有效。
2023-12-13 cs.AI cs.LG cs.SE
Distributed Fine-Grained Traffic Speed Prediction for Large-Scale Transportation Networks based on Automatic LSTM Customization and Sharing
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory（西穆拉研究院）
短时交通速度预测是近十年来的一个重要研究课题，目前已提出了许多方法。然而，提供细粒度，准确，高效的交通速度预测的大规模交通网络中部署了大量的交通检测器还没有得到很好的研究。在本文中，我们提出了DistPre，这是一个分布式的细粒度交通速度预测方案的大规模交通网络。为了实现细粒度和准确的交通速度预测，DistPre为检测器定制了一个具有适当超参数配置的长短期记忆（LSTM）模型。为了使这种定制过程高效并适用于大规模交通网络，DistPre在计算节点集群上进行LSTM定制，并允许任何经过训练的LSTM模型在不同的检测器之间共享。如果一个检测器观察到与另一个检测器相似的流量模式，DistPre直接在两个检测器之间共享现有的LSTM模型，而不是为每个检测器定制LSTM模型。基于加利福尼亚州I5-N高速公路的交通数据进行了实验，以评估DistPre的性能。结果表明，DistPre为大规模交通网络提供了高效的LSTM定制和精确的细粒度交通速度预测。
2020-06-03 cs.LG stat.ML
Screen2Words: Automatic Mobile UI Summarization with Multimodal Learning
University of Toronto（多伦多大学）；Google Research（谷歌研究院）
移动用户界面摘要生成移动屏幕的简洁语言描述，用于传达屏幕的重要内容和功能，这对于许多基于语言的应用场景都很有用。我们提出了Screen2Words，一种新的屏幕摘要方法，自动封装到一个连贯的语言短语的UI屏幕的基本信息。总结移动屏幕需要全面理解移动UI的多模态数据，包括文本，图像，结构以及UI语义，从而激发我们的多模态学习方法。我们收集并分析了由人类工作人员注释的大规模屏幕摘要数据集。我们的数据集包含超过112k的语言摘要，跨越$\sim$ 22k个独特的UI屏幕。然后，我们用一组具有不同配置的深度模型进行实验。我们对这些模型的自动准确性指标和人工评级的评估表明，我们的方法可以为移动屏幕生成高质量的摘要。我们展示了Screen2Words的潜在用例，并开源了我们的数据集和模型，为进一步桥接语言和用户界面奠定了基础。
2021-08-07 cs.AI cs.HC cs.LG
Global Voices: Crossing Borders in Automatic News Summarization
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们构建了Global Voices，一个用于评估跨语言摘要方法的多语言数据集。我们提取全球之声新闻文章的社交网络描述，以低成本收集15种语言的英文和英文摘要的评估数据。特别是，对于英语摘要任务，我们基于强调准确性，覆盖范围和可理解性的指导方针众包了一个高质量的评估数据集。为了确保这个数据集的质量，我们收集了人类的评分来过滤掉不好的摘要，并对人类进行了一项调查，结果显示，剩余的摘要比社交网络摘要更受欢迎。我们研究了跨语言摘要翻译质量的影响，比较了先翻译后摘要的方法与几个基线。我们的研究结果突出了ROUGE度量的局限性，被忽视的单语摘要。我们的数据集可在https://forms.gle/gpkJDT6RJWHM1Ztz9下载。
2020-06-15 cs.CL cs.IR cs.LG
Towards automatic extractive text summarization of A-133 Single Audit reports with machine learning
Harvard Medical School（哈佛医学院）；Elder Research, Inc.（埃尔德研究公司）；Clarkson University（克拉克森大学）
文本数据的快速增长推动了基于机器学习的自动文本摘要策略的发展，这些策略可以简洁地捕捉更大文本中的基本思想。本研究的目的是设计一个提取汇总方法的A-133单一审计，评估联邦补助金的接受者是否符合使用联邦资金的计划要求。目前，这些大量的审计必须由官员手动分析，以进行监督、风险管理和优先排序。自动总结有可能简化这些流程。分析集中在2016-2018年约20，000项单一审计的“发现”部分。在文本预处理和GloVe嵌入之后，执行了分级k均值聚类以按主题划分句子并确定每个句子的重要性。对于每次审计，通过与聚类中心的接近度提取关键摘要句子。通过非专家人工评价对总结进行判断，并使用ROUGE指标与人工生成的总结进行比较。虽然目标是完全自动化A-133审计摘要，但由于审计写作风格、内容和上下文的差异很大，因此在各个阶段都需要人工输入。人工输入的示例包括聚类的数量、基于其内容相关性保留或丢弃某些聚类的选择以及顶句的定义。总体而言，这一方法在自动提取A-133审计摘要方面取得了进展，未来的工作重点是全面自动化和提高摘要的一致性。这项工作突出了在现实世界中的应用程序的自动摘要的固有困难和主观性。
2019-11-08 cs.CL cs.LG stat.ML
Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
预测性维修的一个重要任务是通过对多变量时间序列的分析来预测剩余使用寿命。使用滑动窗口方法，卷积神经网络（CNN）和传统的递归神经网络（RNN）方法已经在这个问题上产生了令人印象深刻的结果，因为它们能够学习优化的特征。然而，序列信息仅部分地由CNN方法建模。由于传统RNN中的扁平化机制，如长短期记忆（LSTM），窗口内的时间信息没有完全保留。为了利用多层次的时间信息，提出了许多结合CNN和RNN模型的方法。在这项工作中，我们提出了一种新的LSTM变体，称为嵌入式卷积LSTM（ECLSTM）。在ECLSTM中，一组不同的1D卷积被嵌入到LSTM结构中。通过这样，时间信息在窗口之间和窗口内被保留。由于模型的超参数需要仔细调整，我们还提出了一个自动预测框架的基础上贝叶斯优化与hyperband优化器，这使得网络架构的有效优化。最后，我们展示了我们提出的ECLSTM方法在几个广泛使用的基准数据集上的优越性。
2020-08-10 cs.LG stat.ML
Automatic Semantic Augmentation of Language Model Prompts (for Code Summarization)
University of California, Davis（加州大学戴维斯分校）；University College London（伦敦大学学院）；Google Brain（谷歌大脑）
本文研究在代码摘要任务中显式地向LLM提示添加自动提取的语义事实是否有效，实验表明该方法在多种设置和两个LLM上均提升性能，多数提升接近或超过2 BLEU，PHP上超过30 BLEU。
2024-01-11 cs.LG cs.SE
Transformer Based Implementation for Automatic Book Summarization
Vishwakarma Institute of Information Technology（维什瓦卡玛信息技术学院）
文档摘要是生成给定文档的有意义和简洁的摘要的过程，其中包括相关和主题重要的点。有两种方法：一种是从文档本身中提取最相关的语句，并将其添加到摘要中，称为提取，另一种是为摘要生成句子，称为抽象摘要。训练机器学习模型来执行耗时或人类难以评估的任务是一项重大挑战。图书摘要生成就是这样一个复杂的任务。传统的机器学习模型正在通过预先训练的Transformers进行修改。以自监督方式训练的基于Transformer的语言模型正在获得大量关注;当针对文本摘要等自然语言处理（NLP）下游任务进行微调时。这项工作是一种尝试，使用Transformer为基础的技术，抽象生成。
2023-01-17 cs.AI cs.CL cs.LG
Automatic Text Summarization of COVID-19 Medical Research Articles using BERT and GPT-2
Rockefeller University（洛克菲勒大学）
随着COVID-19大流行，医学界越来越迫切需要跟上新冠病毒相关文献的加速增长。因此，COVID-19开放研究数据集挑战赛发布了一个学术文章语料库，并呼吁使用机器学习方法来帮助弥合研究人员与快速增长的出版物之间的差距。在这里，我们利用预训练的NLP模型BERT和OpenAI GPT-2的最新进展，通过对该数据集执行文本摘要来解决这一挑战。我们使用ROUGE评分和目视检查来评估结果。我们的模型提供了抽象和全面的信息的基础上提取的关键字从原始文章。我们的工作可以帮助医学界，通过提供摘要尚未提供的文章的简洁摘要。
2020-06-03 cs.CL cs.LG
Saliency Maps Generation for Automatic Text Summarization
Imperial College London（帝国理工学院）
显着性图生成技术是可解释的人工智能文献的最前沿，用于广泛的机器学习应用。我们的目标是质疑这些方法在更复杂任务上的局限性。在本文中，我们将分层相关传播（LRP）应用于在文本摘要数据集上训练的序列到序列注意力模型。我们得到意想不到的显着性地图，并讨论这些“解释”的正确性。我们认为，我们需要一个定量的方法来测试反事实的情况下，判断显着图的真实性。我们提出了一个协议来检查归因于输入的重要性的有效性，并表明所获得的显着性图有时捕捉到网络对输入特征的真实使用，有时则不然。我们用这个例子来讨论我们在接受它们作为解释时需要多么小心。
2019-07-12 cs.CL cs.LG
A Data-driven Latent Semantic Analysis for Automatic Text Summarization using LDA Topic Modelling
University College London（伦敦大学学院）；Brunel University London（伦敦布鲁内尔大学）；Lancaster University（兰卡斯特大学）
本研究提出一种基于LDA主题建模与抽取式摘要的单文档和多文档自动摘要方法，并通过PyLDAvis可视化及LSA和ROUGE指标验证其可靠性与有效性。
2023-05-30 cs.IR cs.LG
Conditional Modeling Based Automatic Video Summarization
针对现有视频摘要方法忽略趣味性等非视觉因素导致性能欠佳的问题，提出一种基于条件建模的新方法，通过引入随机变量、联合分布、辅助分布及条件注意力模块，在常用数据集上实现了最先进的性能。
2023-11-20 cs.AI cs.CV cs.IR
A comprehensive review of automatic text summarization techniques: method, data, evaluation and coding
Universidade de Brasília（巴西利亚大学）；Nacional Institute of Science and Technology for Complex Systems（国家复杂系统科学技术研究所）；Instituto Federal de Minas Gerais（米纳斯吉拉斯联邦学院）
该研究采用基于引用的方法对自动文本摘要技术展开全面综述，梳理方法分类、数据集与评估方式，并基于CNN Corpus数据集开展实证探究。
2023-10-04 cs.CL cs.LG
Team Hitachi @ AutoMin 2021: Reference-free Automatic Minuting Pipeline with Argument Structure Construction over Topic-based Summarization
Hitachi（日立）
本文介绍了日立团队为第一个自动记录共享任务（AutoMin-2021）提出的自动记录系统。我们使用无参考方法（即，不使用训练分钟）进行自动记录（任务A），其首先基于主题将文字记录分成块，随后使用在聊天对话的摘要语料库上微调的预训练BART模型来总结这些块。此外，我们将一种参数挖掘技术应用于生成的会议记录，以结构良好和连贯的方式重新组织它们。我们利用多个相关性分数来确定一分钟是否来自同一次会议时，无论是文字记录或另一分钟（任务B和C）。在这些分数之上，我们训练一个传统的机器学习模型来绑定它们并做出最终决策。因此，我们对任务A的方法在所有提交的材料中获得了最好的充分性分数，并且在语法正确性和流畅性方面接近最好的系统。对于任务B和C，所提出的模型成功地优于多数票基线。
2021-12-06 cs.AI cs.CL cs.IR
Automatic Business Process Structure Discovery using Ordered Neurons LSTM: A Preliminary Study
IBM Research China（IBM中国研究院）；IBM Research India（IBM印度研究院）
从文本流程文档中自动发现流程对于减少组织中业务流程管理（BPM）实施的时间和成本是非常必要的。然而，现有的自动过程发现方法主要集中在识别活动的文档。推导活动之间的结构关系，这在整个过程发现范围内是重要的，仍然是一个挑战。事实上，业务流程具有潜在的语义层次结构，它定义了不同层次的细节以反映复杂的业务逻辑。神经机器学习领域的最新研究成果表明，通过语言建模和结构学习相结合的方法，可以得到有意义的语言结构。受这些发现的启发，我们建议通过构建一个神经网络来检索文本业务流程文档中存在的潜在层次结构，该网络利用一种新的递归架构，有序神经元LSTM（ON-LSTM），具有流程级语言模型目标。我们测试了我们的实际机器人过程自动化（RPA）项目的过程描述文档（PDD）的数据集所提出的方法。初步实验显示了有希望的结果。
2020-01-05 cs.CL cs.LG
Automatic Text Summarization Methods: A Comprehensive Review
由于互联网的迅速发展而出现的最紧迫的问题之一被称为信息过载。以摘要的形式简化相关信息将有助于许多人，因为互联网上任何主题的材料都很丰富。手动总结大量文本对人类来说是相当具有挑战性的。因此，它增加了对更复杂和更强大的摘要器的需求。自20世纪50年代以来，研究人员一直试图改进创建摘要的方法，以便机器生成的摘要与人类创建的摘要相匹配。这项研究提供了一个详细的最先进的分析文本摘要的概念，如摘要方法，使用的技术，标准数据集，评估指标和未来的研究范围。最普遍接受的方法是提取和抽象的，在这项工作中详细研究。评估总结并增加可重用资源和基础设施的开发有助于比较和复制结果，增加竞争以改善结果。本研究也讨论了不同的摘要评价方法。最后，在本研究的最后，几个挑战和研究机会相关的文本摘要研究提到，可能是有用的潜在的研究人员在这一领域的工作。
2022-03-03 cs.CL cs.IR cs.LG
Neural Code Summarization
Khoury College of Computer Sciences（Khoury计算机科学学院）
代码摘要是生成可读摘要的任务，这些摘要在语义上是有意义的，并且可以准确地描述软件的假定任务。程序理解已经成为知识转移中最繁琐的任务之一。随着代码库随着时间的推移而发展，每次都需要手动更新描述。提出了一种自动的方法来推断这样的字幕基准和自定义数据集的基础上，与原始和生成的结果之间的比较。
2021-03-04 cs.AI cs.LG cs.SE
ChartSumm: A Comprehensive Benchmark for Automatic Chart Summarization of Long and Short Summaries
Islamic University of Technology（伊斯兰科技大学）；York University（约克大学）；Dialpad Canada Inc.（Dialpad加拿大公司）
本文提出大规模图表摘要基准数据集ChartSumm，含84363张覆盖多主题多类型的图表及对应元数据、描述，可生成长短摘要；实验发现强基线模型仍存在幻觉等问题，还探索了数据集的多语言扩展潜力。
2023-06-11 cs.CL cs.LG
Improving Automatic Source Code Summarization via Deep Reinforcement Learning
Zhejiang University（浙江大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Technology Sydney（悉尼科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
代码摘要提供了对代码所执行功能的高级自然语言描述，有利于软件维护、代码分类和检索。据我们所知，大多数最先进的方法遵循编码器-解码器框架，其将代码编码到隐藏空间中，然后将其解码到自然语言空间中，具有两个主要缺点：a）它们的编码器只考虑代码的顺序内容，忽略了对于代码摘要任务也至关重要的树结构，b）它们的解码器通常被训练为通过最大化下一个地面实况词与前一个地面实况词的可能性来预测下一个词。但是，预计将在测试时从头开始生成整个序列。这种差异可能导致\textit{exposure bias}问题，使学习的解码器次优。在本文中，我们将抽象语法树结构以及代码片段的顺序内容纳入深度强化学习框架（即，演员-评论家网络）。演员网络提供了根据当前状态预测下一个词的信心。另一方面，评论家网络评估当前状态的所有可能扩展的奖励值，并可以为探索提供全局指导。我们采用BLEU指标组成的优势奖励训练两个网络。在真实数据集上的综合实验表明，与一些最先进的方法相比，我们提出的模型是有效的。
2018-11-17 cs.CL cs.LG cs.SE
Automatic Seizure Prediction using CNN and LSTM
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩特工程学院）
脑电图（EEG）是了解我们大脑内部活动和进一步了解我们身体活动的最宝贵的技术之一。使用EEG信号自动预测即将发生的癫痫发作有助于医生和临床专家，并减少他们的工作量。本文提出了一种端到端的深度学习算法，可以完全自动化癫痫发作预测的繁重任务，而无需对EEG数据或特征工程进行任何繁重的预处理。所提出的深度学习网络是信号处理和深度学习管道的混合，其使用EEG信号自动化癫痫发作预测框架。该模型在开放的EEG数据集CHB-MIT上进行了评估。该网络的平均灵敏度为97.746 \text{\%}，假阳性率（FPR）为0.2373/小时。
2022-10-28 cs.LG eess.SP
Document Summarization with Conformal Importance Guarantees
Signal 1 AI；Layer 6 AI
本文提出保形重要性摘要框架，利用保形预测提供无分布覆盖保证，实现关键内容可控的抽取式文档摘要，并验证其理论覆盖率。
2025-09-24 cs.CL cs.LG
CaseSumm: A Large-Scale Dataset for Long-Context Summarization from U.S. Supreme Court Opinions
University of Chicago（芝加哥大学）；University of Chicago Law School（芝加哥大学法学院）；TTIC（丰田技术研究所）
本文提出CaseSumm数据集，包含25.6K份美国最高法院意见及官方摘要，用于法律长上下文摘要评估，并通过自动指标与专家人工评估揭示现有自动评估方法的局限及人工评估的重要性。
2024-12-30 cs.AI cs.CL cs.CY
Multi model LSTM architecture for Track Association based on Automatic Identification System Data
West Virginia University（西弗吉尼亚大学）
针对海洋监视中的航迹关联难题，提出基于LSTM的多模型框架，利用历史观测预测船舶位置并结合测地距离相似性度量进行航迹关联，通过精确率、召回率和F1分数验证了方法的有效性。
2023-04-04 cs.LG
Leveraging Pretrained Models for Automatic Summarization of Doctor-Patient Conversations
M Health Information Systems（3M健康信息系统公司）；Carnegie Mellon University（卡内基梅隆大学）
微调预训练模型自动总结医患对话成绩单提出了许多挑战：有限的训练数据，显着的域转移，长和嘈杂的成绩单，和高目标摘要的变化。在本文中，我们探讨了使用预训练的Transformer模型自动总结医患对话直接从成绩单的可行性。我们表明，流畅和充分的总结，可以产生有限的训练数据微调BART一个专门构造的数据集。由此产生的模型大大超过了平均人类注释者的性能和先前发布的任务工作的质量。我们评估了处理长对话的多种方法，将它们与截断对话以适应预训练模型长度限制的明显基线进行比较。我们引入了一个多阶段的方法，通过学习两个微调模型来处理任务：一个用于将会话块总结为部分摘要，然后将部分摘要的集合重写为完整的摘要。使用精心选择的微调数据集，这种方法被证明在处理较长的对话，提高生成的摘要的质量是有效的。我们进行自动评估（通过ROUGE和两个基于概念的指标，专注于医学发现）和人工评估（通过文献中的定性示例，评估幻觉，概括，流畅性和生成摘要的一般质量）。
2021-09-24 cs.CL cs.LG
Abstractive and mixed summarization for long-single documents
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多泉分校）；Autonomous University of Barcelona（巴塞罗那自治大学）
可用于文档自动摘要的数据集缺乏多样性，这意味着绝大多数用于自动摘要的神经模型都是用新闻文章训练的。这些数据集相对较小，平均大小约为600个单词，使用这些数据集训练的模型的性能仅限于短文档。为了克服这一问题，本文使用科学论文作为训练不同模型的数据集。这些模型是根据它们在CNN/Daily Mail数据集上的表现选择的，因此选择每个架构变体的最高排名模型。在这项工作中，比较了六种不同的模型，两种具有RNN架构，一种具有CNN架构，两种具有Transformer架构，一种具有结合强化学习的Transformer架构。实验结果表明，采用分层编码器对文档结构进行建模的模型具有更好的性能。
2020-07-03 cs.CL cs.LG
DepressionNet: A Novel Summarization Boosted Deep Framework for Depression Detection on Social Media
University of Technology Sydney（悉尼科技大学）；Deakin University（迪肯大学）；University of Essex（埃塞克斯大学）
Twitter目前是一个流行的在线社交媒体平台，允许用户分享他们的用户生成的内容。这种公开生成的用户数据对医疗保健技术也至关重要，因为发现的模式将在几个方面使他们受益匪浅。其中一个应用是自动发现心理健康问题，例如，萧条以前的研究，以自动检测一个抑郁的用户在网上社交媒体在很大程度上依赖于用户的行为和他们的语言模式，包括用户的社交互动。缺点是这些模型是在几个不相关的内容上训练的，这些内容对于检测抑郁的用户可能并不重要。此外，这些内容对模型的整体效率和有效性产生了负面影响。为了克服现有的自动抑郁症检测方法的缺点，我们提出了一种新的自动抑郁症检测的计算框架，最初选择相关的内容，通过一个混合提取和抽象的总结策略的序列上的所有用户推文，导致更细粒度和相关的内容。然后，内容转到我们新颖的深度学习框架，该框架由卷积神经网络（CNN）组成的统一学习机制与注意力增强的门控递归单元（GRU）模型相结合，从而获得比现有强基线更好的经验性能。
2021-05-23 cs.CL cs.LG cs.SI
Extractive Text Summarization Using Generalized Additive Models with Interactions for Sentence Selection
São Paulo State University - UNESP（圣保罗州立大学（UNESP））
自动文本摘要（ATS）正变得与文本数据的增长相关;然而，随着公共大规模数据集的普及，最近的一些机器学习方法已经专注于密集的模型和架构，尽管产生了显着的结果，但通常在模型中难以解释。考虑到基于可解释学习的文本摘要背后的挑战及其对ATS领域发展现状的重要性，这项工作研究了两个现代广义加性模型的应用，即可解释的提升机和GAMI-Net，基于语言特征和二进制分类的提取摘要问题。
2022-12-21 cs.CL cs.LG
End-to-end LSTM based estimation of volcano event epicenter localization
University of Chile（智利大学）；Universidad de La Frontera（拉弗龙特拉大学）
本文提出了一种基于端到端的LSTM方案，以解决火山事件定位问题，而无需任何将相位拾取与定位估计相关联的先验模型。值得强调的是，火山信号的自动相位拾取非常不准确，因为事件震中和地震仪站之间的距离很短。选择LSTM是因为它能够捕获时变信号的动态特性，并在存储单元状态中删除或添加信息，并对长期依赖性进行建模。这里还讨论了对LSTM的简要见解。本文给出的结果表明，基于LSTM的架构提供了成功率，即，误差小于1.0Km，等于48.5%，这反过来又显著优于由自动相位拾取提供的误差。此外，提出的基于端到端LSTM的方法的成功率比CNN高18%。
2021-10-27 cs.LG eess.SP physics.geo-ph
Automatic driving lane change safety prediction model based on LSTM
Trine University（特莱恩大学）；Yantai University（烟台大学）；University of Electronic Science and Technology of China（电子科技大学）；Northern Arizona University（北亚利桑那大学）；University of Aberdeen（阿伯丁大学）
针对自动驾驶换道的轨迹预测与安全需求，提出基于LSTM的安全敏感型深度学习模型，结合交互信息意图识别与单元状态仿真，在长时域轨迹预测精度、换道安全性与效率上优于传统模型方法。
2024-02-28 cs.AI cs.LG cs.RO
