Self-Supervised Multimodal Opinion Summarization
NCSOFT Co.（NCSoft公司）
最近，通过将抽样评论视为伪摘要，已经以自监督的方式进行了意见摘要（其是从多个评论生成摘要）。然而，与审查有关的图像和元数据等非文本数据较少得到考虑。为了利用非文本数据中包含的丰富信息，我们提出了一个自监督的多模态意见摘要框架MultimodalSum。我们的框架使用单独的编码器为每种模态获得每种模态的表示，文本解码器生成摘要。为了解决多模态数据固有的异质性，我们提出了一种多模态训练管道。我们首先只根据文本模态数据预训练文本编码器-解码器。随后，我们通过将预训练的文本解码器视为多模态数据的同质表示的枢轴来预训练非文本模态编码器。最后，为了融合多模态表示，我们以端到端的方式训练整个框架。我们通过在Yelp和Amazon数据集上进行实验来证明MultimodalSum的优越性。
2021-05-27 cs.AI cs.CL cs.LG
Incremental Extractive Opinion Summarization Using Cover Trees
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
针对增量场景下传统中心性抽取观点摘要方法效率低的问题，提出基于覆盖树的CoverSumm算法，通过索引评论表示与维护候选句池实现高效增量CentroidRank摘要生成，速度最高提升36倍且摘要质量优异。
2024-04-12 cs.CL cs.LG
Unsupervised Opinion Summarization as Copycat-Review Generation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
意见摘要是自动创建摘要的任务，这些摘要反映了在多个文档中表达的主观信息，例如产品评论。虽然大多数以前的工作都集中在提取设置，即，从输入评论中选择片段来生成摘要，我们让模型生成新颖的句子，从而生成抽象的摘要。摘要的最新进展已经看到了监督模型的发展，依赖于大量的文档摘要对。由于这种训练数据的获取成本很高，因此我们转而考虑无监督设置，换句话说，我们在训练中不使用任何摘要。我们定义了一个生成模型的审查收集利用的直觉，当生成一个新的审查给定的一组其他评论的产品，我们应该能够控制的“新颖性的量”进入新的审查，或者，等价地，不同的程度，它偏离输入。在测试时，当生成摘要时，我们强制将新颖性降至最低，并生成反映共识的文本。我们通过定义分层变分自编码器模型来捕捉这种直觉。单个评论和它们对应的产品都与随机潜在代码相关联，并且评论生成器（“解码器”）通过指针生成器机制直接存取输入评论的文本。在亚马逊和Yelp数据集上的实验表明，在测试时将评论的潜在代码设置为其平均值，可以使模型生成反映共同观点的流畅和连贯的摘要。
2020-04-19 cs.CL cs.IR cs.LG
Distilling Opinions at Scale: Incremental Opinion Summarization using XL-OPSUMM
IIT Bombay（印度理工学院孟买分校）；Flipkart（Flipkart公司）
针对LLM难以处理海量短评论的问题，本文提出增量摘要框架 Xl-OpSumm，并构建 Xl-Flipkart 测试集，验证其在大规模电商观点摘要上的性能提升。
2024-06-16 cs.CL cs.LG
Beyond Opinion Mining: Summarizing Opinions of Customer Reviews
Google Research（谷歌研究院）；Grammarly；Megagon Labs（Megagon实验室）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在信息时代，客户评论对于做出购买决策至关重要。这样的评论可以被自动总结以向用户提供意见的概览。在本教程中，我们将介绍对研究人员和从业人员有用的意见摘要的各个方面。首先，我们将介绍任务和主要挑战。然后，我们将介绍现有的意见摘要解决方案，包括前神经和神经。我们将讨论如何在无监督、Few-Shot和监督机制下训练总结器。每种机制都源于不同的机器学习方法，例如自动编码、可控文本生成和变分推理。最后，我们将讨论资源和评估方法，并总结未来的发展方向。这三个小时的教程将提供一个全面的概述意见总结的主要进展。听众将拥有对研究和实际应用都有用的知识。
2022-06-03 cs.AI cs.CL cs.LG
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University（复旦大学）
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序，AOS系统需要解决两个核心子任务，方面提取和情感分类。现有的大多数方面提取方法，使用语言分析或主题建模，是通用的不同的产品，但不够精确或适合于特定的产品。相反，我们采用了一种不太一般但更精确的方案，直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类，我们提出了两种基于卷积神经网络（CNN）的方法，级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务，第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN，但不同的网络共享相同的词嵌入。实验结果表明，级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
Self-Supervised and Controlled Multi-Document Opinion Summarization
Naver Labs Europe（NAVER Labs欧洲）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
我们解决的问题，无监督的抽象摘要的用户生成的评论与自我监督和控制的集合。我们提出了一个自我监督的设置，认为一个单独的文件作为一组类似的文件的目标摘要。这种设置使训练比以前的方法更简单，只依赖于标准的对数似然损失。我们通过使用控制代码来解决幻觉的问题，以引导生成更连贯和相关的summarization.Finally，我们扩展了Transformer架构，以允许多个评论作为输入。我们在两个数据集上对基于图和最近的神经抽象无监督模型进行的基准测试表明，我们提出的方法生成的摘要具有优异的质量和相关性。这在我们的人类评估中得到了证实，该评估明确关注生成摘要的忠实性。我们还提供了消融研究，其示出了控制设置在控制幻觉中的重要性，并且实现了概要与输入评论的高度情感和主题对准。
2020-05-01 cs.CL cs.LG
Efficient Few-Shot Fine-Tuning for Opinion Summarization
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
抽象摘要模型通常在大量通用文本上进行预训练，然后在数万或数十万个带注释的样本上进行微调。然而，在意见摘要中，与参考摘要配对的评论的大型注释数据集不可用，并且创建成本很高。这就要求微调方法对小数据集的过拟合具有鲁棒性。此外，通常预先训练的模型通常不习惯客户评论的细节，并且在微调之后，产生具有不流畅和语义错误的摘要。为了解决这些问题，我们利用了一个有效的Few-Shot方法的基础上适配器，我们表明，可以很容易地存储在域知识。我们没有对整个模型进行微调，而是添加适配器，并以特定于任务的方式在大量未注释的客户评论语料库上对它们进行预训练，使用保留的评论作为伪摘要。然后，在小的可用人工注释数据集上微调适配器。我们发现，这种自我监督的适配器预训练在Amazon和Yelp数据集上分别将摘要质量提高了2.0和1.3个ROUGE-L点。最后，对于摘要个性化，我们以从通用数据集自动创建的方面关键字查询为条件。同样，我们以基于客户评论的查询方式预训练适配器，然后在带注释的数据集上对其进行微调。这使得摘要内容组织得更好，体现在一致性得到改善，冗余现象减少。
2022-05-08 cs.AI cs.CL cs.LG
CaseSumm: A Large-Scale Dataset for Long-Context Summarization from U.S. Supreme Court Opinions
University of Chicago（芝加哥大学）；University of Chicago Law School（芝加哥大学法学院）；TTIC（丰田技术研究所）
本文提出CaseSumm数据集，包含25.6K份美国最高法院意见及官方摘要，用于法律长上下文摘要评估，并通过自动指标与专家人工评估揭示现有自动评估方法的局限及人工评估的重要性。
2024-12-30 cs.AI cs.CL cs.CY
Summarizing Opinions: Aspect Extraction Meets Sentiment Prediction and They Are Both Weakly Supervised
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们提出了一个神经框架，用于从在线产品评论中进行意见总结，该框架是知识贫乏的，只需要轻度监督（例如，以产品域标签和用户提供的评级的形式）。我们的方法结合了两个弱监督组件来识别突出的意见，并从多个评论中形成提取摘要：在多任务目标下训练的方面提取器，以及基于多实例学习的情感预测器。我们引入了一个意见摘要数据集，其中包括来自六个不同领域的产品评论的训练集，以及具有黄金标准方面注释，显着性标签和意见摘要的人类注释开发和测试集。自动评估显示，与基线相比，我们的意见摘要有了显着的改进，一项大规模的研究表明，根据多个标准，我们的意见摘要是人类法官的首选。
2018-08-27 cs.AI cs.CL cs.LG
Leveraging Domain Knowledge for Efficient Reward Modelling in RLHF: A Case-Study in E-Commerce Opinion Summarization
IIT Bombay（印度理工学院孟买分校）；Flipkart（Flipkart公司）
提出将领域知识注入RLHF奖励模型的新方法，减少21倍偏好标注需求，在电商意见摘要任务中以940样本超越SOTA，并发布两个新数据集。
2024-04-18 cs.CL cs.LG
Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Research（苹果研究院）
提出MRDS机制，通过相互强化LLM的对话合成与摘要能力，以合成数据增强少样本训练，显著提升对话摘要性能。
2025-02-24 cs.AI cs.CL cs.LG
SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders
Google Brain（谷歌大脑）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个端到端的神经模型，用于段落的zero-shot抽象文本摘要，并介绍了一个基准任务，ROCSumm，基于ROCStories，我们收集人类摘要的子集。在这项任务中，五句话的故事（段落）用一句话概括，仅使用人类总结进行评估。我们展示了提取和人类基线的结果，以证明性能上存在很大的抽象差距。我们的模型SummAE由一个去噪自动编码器组成，它将句子和段落嵌入到一个公共空间中，从中可以解码。通过从段落表示解码句子来生成段落的摘要。我们发现，传统的序列到序列自动编码器无法产生良好的摘要，并描述特定的架构选择和预训练技术如何显着提高性能，优于提取基线。数据、训练、评估代码和最佳模型权重都是开源的。
2019-10-02 cs.CL cs.LG cs.NE
Question-focused Summarization by Decomposing Articles into Facts and Opinions and Retrieving Entities
本研究针对股价波动预测与市场变革早期识别需求，提出将新闻分解为事实事件、结合实体生成元组摘要再整合为全文摘要的方法，借助GPT 3.5与多源数据构建企业实体关联，为金融从业者提供辅助决策的趋势早发现系统。
2023-10-07 cs.AI cs.LG
Shotluck Holmes: A Family of Efficient Small-Scale Large Language Vision Models For Video Captioning and Summarization
Georgia Institute of Technology（佐治亚理工学院）
本文提出高效小型 LLVM 系列 Shotluck Holmes，通过改进预训练与数据策略使其理解帧序列，并在 Shot2Story 上以更小、更高效的模型取得领先性能。
2024-10-21 cs.CL cs.CV cs.LG
Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot Question Answering
Yonsei University（延世大学）
针对知识图谱文本化存在的证据密度低、清晰度差的问题，提出EFSum证据聚焦型事实摘要框架，经蒸馏和偏好对齐优化开源大模型为摘要器，可提升大模型零样本问答性能，同时保证摘要有用性与忠实性。
2024-10-09 cs.AI cs.CL cs.LG
Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本文研究文档摘要技术，提出基于 rank aggregation 与相关性反馈的图像推荐方法，并设计 submodular functions 平衡意见摘要中的压缩与情感检测需求，在图像检索与摘要生成任务上均优于基线。
2024-05-20 cs.AI cs.CL cs.IR
Zero-Shot Cross-Lingual Opinion Target Extraction
Semalytix GmbH（Semalytix有限公司）；Bielefeld University（比勒费尔德大学）
基于情感的情感分析涉及对所谓的意见目标表达（OTE）的识别。为了自动提取OTE，通常采用监督学习算法，该算法在手动标注的语料库上进行训练。这些语料库的创建是劳动密集型的，因此足够大的数据集通常只适用于非常有限的语言和领域。在这项工作中，我们提出了一个zero-shot跨语言的意见目标表达的提取方法，以解决缺乏可用的注释数据的特定语言。我们利用跨各种语言共享公共向量空间的多语言词嵌入，并将其纳入卷积神经网络架构中以进行OTE提取。我们对5种语言的实验给出了有希望的结果：我们可以成功地在源语言的注释数据上训练模型，并在目标语言中不使用任何注释样本的情况下对目标语言进行准确的预测。根据源语言和目标语言对的不同，我们在zero-shot模式下的性能达到了目标语言数据训练模型的77%。此外，通过从多个源语言进行跨语言学习，我们可以将这种性能提高到目标语言数据训练的基线模型的87%。
2019-04-19 cs.CL cs.LG
Benchmarking Large Language Models for News Summarization
大语言模型（LLM）已经显示出自动摘要的前景，但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估，我们得出了两个重要的观察结果。首先，我们发现指令微调，而不是模型大小，是LLM的zero-shot总结能力的关键。其次，现有的研究受到低质量参考文献的限制，导致低估了人类的表现，以及较低的Few-Shot和微调性能。为了更好地评估LLM，我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异，如释义量，我们发现，LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要，因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中，我们发现了两个缺陷，广泛使用的贪婪标签的方法：它提供次优和确定性的预言。为了缓解这两个问题，我们提出了一个简单而有效的标签算法，创建软，基于期望的句子标签。我们定义了一个新的学习目标提取摘要，它结合了学习信号从多个甲骨文摘要，并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下，所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Zero-Shot Generalizable End-to-End Task-Oriented Dialog System using Context Summarization and Domain Schema
University of Kentucky（肯塔基大学）；University of Central Florida（中佛罗里达大学）
提出零样本可泛化端到端任务型对话系统ZS-ToD，利用领域模式理解语义并采用两步训练机制优化GPT-2，在SGD和SGD-X数据集上联合目标准确率提升17%。
2023-03-28 cs.CL cs.LG
Exploring Prompting Large Language Models as Explainable Metrics
School of Computer Engineering（计算机工程学院）；Iran University of Science and Technology（伊朗科技大学）
本文提出基于零样本提示的大型语言模型评估策略，用于文本摘要任务的可解释评估，其最佳提示在测试数据上与人类评估达到0.477的Kendall相关性。
2023-11-20 cs.AI cs.CL cs.LG
Guided Exploration of Data Summaries
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
数据汇总是生成输入数据集的可解释和代表性子集的过程。它通常是在一个一次性的过程中进行的，目的是找到最好的摘要。一个有用的摘要包含k个单独的统一集合，这些集合集合在集体上是不同的，以具有代表性。统一性解决了可解释性，多样性解决了代表性。当数据高度多样且庞大时，查找诸如摘要之类的数据是一项艰巨的任务。我们研究了探索性数据分析（EDA）对数据汇总的适用性，并将Eda 4Sum形式化，这是一个引导探索数据汇总的问题，旨在顺序生成连接的汇总，目标是最大化其累积效用。EdA 4Sum概括了一次性摘要。我们建议用两种方法之一来解决它：（i）Top1 Sum，它在每一步选择最有用的摘要;（ii）RLSum，它用深度强化学习训练策略，奖励代理在每一步找到一个多样化的新的统一集合。我们比较这些方法与一次性总结和最高性能的EDA解决方案。我们在三个大型数据集上进行了广泛的实验。我们的研究结果表明，我们的方法总结非常大的数据的优越性，并需要提供指导领域的专家。
2022-05-27 cs.DB cs.LG
REFLEX: Reference-Free Evaluation of Log Summarization via Large Language Model Judgment
Portland State University（波特兰州立大学）
REFLEX通过大语言模型评估日志摘要质量，无需参考摘要或人工标注，提供稳定且细粒度的评估结果，优于传统指标。
2026-04-20 cs.AI cs.CL cs.LG
