Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends
Northeastern University（东北大学）；Abridge AI
该研究基准测试了GPT-4和Alpaca-13B在对话摘要中的忠实度，提出“情境推论”错误分类法，并引入两种基于提示的细粒度错误检测方法，优于现有指标。
2024-06-05 cs.AI cs.CL
AI-Enhanced Cognitive Behavioral Therapy: Deep Learning and Large Language Models for Extracting Cognitive Pathways from Social Media Texts
School of Software Engineering, Beijing University of Technology（北京工业大学软件学院）；School of Nursing, Wuhan University（武汉大学护理学院）；Sorbonne Université, Institut du Cerveau – Paris Brain Institute - ICM, CNRS, Inria, Inserm, AP-HP, Hôpital de la Pitié-Salpêtrière（索邦大学，巴黎脑研究所-ICM，法国国家科学研究中心，法国国家信息与自动化研究所，法国国家健康与医学研究院，巴黎公共医疗集团，皮蒂-萨尔皮特里埃医院）
本研究针对线上心理干预缺乏认知路径分析方法的问题，提出社交媒体文本的认知路径提取任务，构建层级分类与文本摘要任务，评估深度学习和大语言模型表现并公开相关资源。
2024-04-17 cs.CL cs.LG
Efficiency and Effectiveness of LLM-Based Summarization of Evidence in Crowdsourced Fact-Checking
Department of Computer Science, University of Udine（乌迪大学计算机科学系）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本研究通过A/B测试对比了完整网页与LLM生成的摘要作为证据在众包事实核查中的表现，发现摘要证据在保持相当准确率的同时显著提升了效率、降低了成本并提高了内部一致性。
2025-05-01 cs.CL cs.HC cs.IR
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University（复旦大学）
近年来，深度神经网络在文本摘要中的应用取得了显著的成功。但是，人们对\textit{why}没有明确的认识，他们表现得那么好，或者\textit{how}他们可能会得到改进。在本文中，我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构，可转移知识和学习模式中受益。此外，我们发现了一种有效的方法来改善现有的框架，并实现了国家的最先进的结果CNN/DailyMail的基础上，我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
Automatic text summarization: What has been done and what has to be done
Ecole nationale Supérieure d’Informatique (ESI, ex. INI)（阿尔及利亚阿尔及尔高等国立计算机学院（ESI，前身为INI））
在处理大量信息时，摘要很重要。它们最重要的好处是节省时间，而我们现在没有多少时间。因此，摘要必须简短、具有代表性和可读性。自动生成摘要对人类来说是有益的，因为它可以节省时间并帮助选择相关文档。自动摘要，特别是自动文本摘要（ATS）并不是一个新的研究领域，它在50年代就被人们所知。从那时起，研究者们就一直在积极寻找完美的摘要方法。在这篇文章中，我们将讨论自动摘要的不同工作，特别是最近的。我们将提出一些问题和限制，阻止工作向前迈进。这些挑战中的大多数与处理语言的性质有关。这些挑战对于学术界和开发人员来说都很有趣，作为该领域的一条道路。
2019-04-01 cs.CL
Patient-Centered Summarization Framework for AI Clinical Summarization: A Mixed-Methods Design
Mayo Clinic（梅奥诊所）；University Hospitals Plymouth NHS Trust（普利茅斯大学医院NHS信托）；University of Plymouth（普利茅斯大学）；University of Edinburgh（爱丁堡大学）
本文提出以患者为中心的临床摘要（PCS）框架，通过混合方法制定标注指南并评估五个开源LLMs在零样本和少样本提示下的生成效果，发现模型在完整性和流畅性上接近专家，但在正确性和患者中心度上仍有不足。
2025-10-31 cs.CL
An Exploratory Study on Long Dialogue Summarization: What Works and What's Next
Penn State University（宾夕法尼亚州立大学）；Yale University（耶鲁大学）；Microsoft Research（微软研究院）；Facebook AI Research（Facebook人工智能研究院）
对话摘要帮助读者从会议、访谈和电视剧中的长对话中捕捉突出信息。然而，现实世界的对话对当前的摘要模型提出了巨大的挑战，因为对话长度通常超过了最近基于transformer的预训练模型所施加的输入限制，并且对话的交互性质使得相关信息比新闻文章更依赖于上下文并且分布稀疏。在这项工作中，我们进行了全面的研究，通过调查三种策略来处理冗长的输入问题，并找到相关的信息：（1）扩展的Transformer模型，如Longformer，（2）检索，然后总结管道模型与几个对话话语检索方法，和（3）分层对话编码模型，如HMNet。我们在三个长对话数据集（QMSum，MediaSum，SummScreen）上的实验结果表明，检索然后汇总管道模型产生最好的性能。我们还证明，通过更强的检索模型和适当的外部摘要数据集的预训练，可以进一步提高摘要质量。
2021-09-10 cs.CL
Mitigating Semantic Drift: Evaluating LLMs' Efficacy in Psychotherapy through MI Dialogue Summarization
Research Institute CODE University of the Bundeswehr（CODE研究机构 陆军大学）；Department of Psychology Barkatullah University（心理学系 Barkatullah大学）
本文通过MI对话摘要评估LLMs在心理治疗中的有效性，揭示其在复杂心理构念理解中的能力及缓解语义漂移的最佳实践。
2025-11-28 cs.CL cs.LG
What is this Article about? Extreme Summarization with Topic-aware Convolutional Neural Networks
Google Research（谷歌研究院）；University of Edinburgh（爱丁堡大学）
我们引入了“极端摘要”，一个新的单文档摘要任务，旨在创建一个简短的，一句话的新闻摘要回答问题“这篇文章是关于什么的？''.我们认为，极端的总结，本质上，是不适合提取策略，需要一个抽象的建模方法。为了进一步推动这项任务的研究：（a）我们通过从英国广播公司（BBC）收集在线文章来收集真实世界的大规模数据集;（b）提出一种新的抽象模型，该模型以文章的主题为条件，完全基于卷积神经网络。我们通过实验证明，该架构可以捕获文档中的长期依赖关系并识别相关内容，在自动评估和由人类在极端摘要数据集上评估时，其性能优于Oracle提取系统和最先进的抽象方法。
2019-07-19 cs.CL
What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors
Emory University（埃默里大学）
研究通过大规模系统应用角色向量审计开放权重语言模型，编制特征清单并标记其性质，发现模型默认行为特点，引导在默认外特征效果好，且角色向量可探测行为组织。
2026-07-20 cs.AI cs.CL
What's in a Summary? Laying the Groundwork for Advances in Hospital-Course Summarization
Columbia University（哥伦比亚大学）
摘要临床叙述是一个长期的研究问题。在这里，我们介绍了医院课程总结的任务。给定患者住院期间撰写的文档，生成一个段落，讲述患者入院的故事。我们构建了一个包含109，000例住院（2 M源记录）及其相应摘要代理的英文文本到文本数据集：临床医生撰写的“简短医院课程”段落，作为出院记录的一部分。探索性分析表明，BHC段落是高度抽象的一些长提取片段，是简洁而全面的，不同的风格和内容组织的源说明，表现出最小的词汇衔接，并代表银标准的参考。我们的分析确定了建模这个复杂的，多文档摘要任务的多重影响。
2021-04-12 cs.CL
What Have We Achieved on Text Summarization?
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Zhejiang University（浙江大学）；Tencent SPPD（腾讯可持续社会价值事业部）
多年来，通过研究各种方法并提高报告的ROUGE分数，深度学习已经显着改善了文本摘要。然而，自动摘要器和人类专业人员制作的摘要之间仍然存在差距。为了更好地了解摘要系统在细粒度语法和语义层面上的优势和局限性，我们参考了多维质量度量（MQM），并手动量化了10个代表性摘要模型的8个主要错误来源。首先，我们发现：1）在相似的设置下，由于忠实性和事实一致性的优势，提取摘要通常优于抽象摘要; 2）复制，覆盖和混合提取/抽象方法等里程碑技术确实带来了具体的改进，但也表现出局限性; 3）预训练技术，特别是序列到序列的预训练，对于改进文本摘要非常有效，BART给出了最好的结果。
2020-10-09 cs.CL
What comes next? Extractive summarization by next-sentence prediction
McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
现有的自动摘要方法假设摘要的长度限制是给定的，并将内容选择视为优化问题，以在此预算内最大化信息量并最小化冗余。这个框架忽略了这样一个事实，即人类编写的摘要具有丰富的内部结构，可以利用这些结构来训练摘要系统。我们提出了NEXTSUM，一种新的方法来总结的基础上的模型，预测下一个句子，包括在摘要不仅使用源文章，但也产生了迄今为止的摘要。我们表明，这样的模型成功地捕捉到摘要特定的话语动作，并导致更好的内容选择性能，除了自动预测多长时间的目标摘要应该。我们进行实验的纽约时报注释语料库的摘要，其中NEXTSUM优于铅和内容模型摘要基线的显着利润率。我们还表明，我们的系统产生的摘要的长度与人类书面黄金标准的长度相关。
2019-01-12 cs.CL
When Names Disappear: Revealing What LLMs Actually Understand About Code
FPT Software AI Center（FPT软件AI中心）；Nanyang Technological University（南洋理工大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文通过保持语义的代码命名混淆揭示 LLM 对标识符模式的依赖，并发布 ClassEval-Obf 基准以更可靠地评估真实代码理解与泛化能力。
2025-10-03 cs.CL cs.SE
Calibration of Large Language Models on Code Summarization
UC Davis（加州大学戴维斯分校）；IBM Research（IBM研究院）
研究将LLM代码摘要与人类摘要的相似度评估作为校准问题，仅基于代码和LLM摘要计算置信度，在多语言多设置下验证了方法能可靠预测摘要质量。
2025-05-30 cs.CL cs.SE
Fine-Tuning LLMs for Report Summarization: Analysis on Supervised and Unsupervised Data
Software Engineering Institute, Carnegie Mellon University（软件工程研究院，卡内基梅隆大学）
研究LLM微调在报告摘要任务中的有效性，探讨在资源有限和本地计算环境下微调的可行性及摘要质量评估指标。
2026-04-13 cs.AI cs.CL cs.LG
What to Read in a Contract? Party-Specific Summarization of Legal Obligations, Entitlements, and Prohibitions
Adobe Research（Adobe研究院）；University of Maryland, College Park（马里兰大学学院公园分校）
提出法律合同特定方抽取式摘要任务，构建约293K句子对数据集训练成对重要性排序器，并开发基于流水线的摘要系统，通过自动和人工评估证明其有效性。
2023-10-24 cs.CL
Word Matters: What Influences Domain Adaptation in Summarization?
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术学院）
该研究针对大语言模型领域自适应通用影响因素无法反映性能差异的问题，提出用基于词语的压缩率和抽象程度量化生成式摘要学习难度，发现跨领域重叠度与性能提升近似线性相关，可无需训练预测未知领域性能。
2024-06-21 cs.CL
When Decodability Is Not Enough: Logical Validity Representations, Behavioral Dissociation, and Causal Tests in Language Models
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
本研究针对5个开放权重Transformer模型，揭示语言模型中逻辑有效性的表征、行为表达与因果运用存在分离，其有效性信息可从隐藏状态强解码却未必在输出中体现。
2026-09-03 cs.CL cs.LG
HindsightBench: A Black-Box Behavioral Audit Protocol for Parametric Hindsight in Time-Indexed LLM Decision Tasks
University College Dublin（都柏林大学学院）
研究针对大语言模型在金融决策任务中泄露参数知识的问题，提出HindsightBench黑盒行为审计协议，通过特定矩阵、探测及指标分析参数后见之明，应用于多模型获三个主要模式，揭示模型特性及审计结果与服务的关系，还发布相关数据。
2026-08-11 cs.CL cs.LG
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search
Allen Institute for AI（艾伦人工智能研究所）；Masakhane（马萨卡内）；University of Washington（华盛顿大学）；MosaicML；MIT（麻省理工学院）；Northwestern University（西北大学）
本研究提出PINOCCHIO解码方法，通过约束束搜索检测并避免幻觉，将抽象式摘要的一致性平均提升约67%。
2023-11-17 cs.CL
Leadership as Coordination Control: Behavioral Signatures and the Recovery-Advantage Boundary in Multi-Agent LLM Teams
Indiana University Bloomington（印第安纳大学布卢明顿分校）
研究多智能体LLM团队中过程级协调控制何时增加价值，通过行为特征和消融实验发现，控制器的优势仅在初始多数投票不可靠、任务可恢复且无指导交互无法修复时出现，验证了权变理论。
2026-10-27 cs.AI cs.CL cs.MA
How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出SteerEval基准，从语言特征、情感和个性三个领域评估LLM可控性，揭示细粒度控制效果下降问题，提供安全可控的LLM行为框架。
2026-04-12 cs.AI cs.CL cs.HC
When Behavioral Safety Evaluation Fails: A Representation-Level Perspective
Stanford University（斯坦福大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Technical University of Denmark（丹麦技术大学）
本文提出行为安全与干预鲁棒性之间的“审计差距”，通过构建解离模型和引入潜在脆弱性评分（LVS），证明行为安全指标不足以衡量表征层面的鲁棒性。
2026-08-05 cs.AI cs.CL cs.LG
Machine Learning of Generic and User-Focused Summarization
文本摘要的一个关键问题是找到一个显著性函数来决定源文件中的哪些信息应该包含在摘要中。本文介绍了使用机器学习的训练语料库的文件及其摘要，发现显着的功能，描述什么样的组合的功能是最佳的一个给定的摘要任务。该方法同时解决了“通用”和以用户为中心的摘要问题。
1998-11-02 cs.CL cs.LG
What are the Desired Characteristics of Calibration Sets? Identifying Correlates on Long Form Scientific Summarization
Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
本研究通过系统变化校准集子集，在三个科学摘要数据集上识别出有效校准集的特征：忠实度校准需抽取式负集，相关性校准需最大化指标差距并最小化惊讶度。
2023-05-12 cs.CL
Compressive Summarization with Plausibility and Salience Modeling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
压缩摘要系统通常依赖于一组精心制作的语法规则来确定可以删除哪些可能的摘要句子的跨度，然后通过优化内容选择（ROUGE）来学习实际删除的模型。在这项工作中，我们建议放宽严格的句法约束的候选跨度，而不是离开压缩决策的两个数据驱动的标准：可扩展性和显着性。删除一个跨度是合理的，如果删除它保持一个句子的语法性和真实性，和跨度是显着的，如果他们包含重要的信息，从总结。这些中的每一个都是由预先训练的Transformer模型来判断的，并且只有既合理又不显著的删除才能被应用。当集成到一个简单的提取-压缩管道中时，我们的方法在基准摘要数据集上实现了强大的域内结果，人工评估表明，可扩展性模型通常选择语法和事实删除。此外，我们方法的灵活性使其能够推广跨域：我们的系统仅对来自新域的500个样本进行微调，就可以匹配或超过在更多数据上训练的域内提取模型。
2020-10-15 cs.CL
What Makes a Good and Useful Summary? Incorporating Users in Automatic Summarization Research
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
自动文本摘要多年来取得了很大的进展，并在许多应用中使用，影响了许多人的生活。尽管有这样的发展，有意义的研究很少调查如何在自动摘要目前的研究重点与用户的需求一致。为了弥合这一差距，我们提出了一个调查方法，可用于调查用户的自动生成的摘要的需求。重要的是，这些需求取决于目标群体。因此，我们设计的调查可以很容易地进行调整，以调查不同的用户组。在这项工作中，我们专注于大学生，他们在学习期间广泛使用摘要。我们发现，目前的研究方向的自动摘要社区不完全符合学生的需求。受我们的研究结果的启发，我们提出了在未来的自动摘要研究中减轻这种不匹配的方法：我们提出了影响自动生成摘要的设计，开发和评估的研究方向。
2022-04-29 cs.AI cs.CL cs.HC
What Is That Talk About? A Video-to-Text Summarization Dataset for Scientific Presentations
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；University of Cambridge（剑桥大学）；University of Edinburgh（爱丁堡大学）
本文提出VISTA数据集，含18,599个AI会议演示及其摘要，并采用基于计划的框架提升摘要质量，但模型与人类表现仍有差距。
2025-05-24 cs.AI cs.CL cs.CV
What's under the hood: Investigating Automatic Metrics on Meeting Summarization
University of Göttingen（哥廷根大学）
本文针对会议摘要评估中自动指标难以捕捉会议特有错误的问题，基于 QMSum 与人工错误标注分析常用指标，揭示其相关性弱及错误掩盖现象。
2024-10-18 cs.AI cs.CL
Read what you need: Controllable Aspect-based Opinion Summarization of Tourist Reviews
IIT Kharagpur（印度理工学院卡拉格普尔分校）
从大量用户生成的文本中手动提取相关方面和观点是一个耗时的过程。另一方面，摘要可以帮助时间预算有限的读者快速消费数据中的关键思想。然而，用于多文档摘要的最新方法在生成摘要时不考虑用户偏好。在这项工作中，我们认为有必要，并提出了一个解决方案，从大量的在线旅游评论的集合生成个性化的基于方面的意见摘要。我们让读者决定和控制摘要的几个属性，例如长度和感兴趣的特定方面。具体来说，我们采取无监督的方法从TripAdvisor上发布的游客评论中提取连贯的方面。然后，我们提出了一种基于线性规划（ILP）的提取技术，以选择一个信息子集的意见周围的确定方面，同时尊重用户指定的值为各种控制参数。最后，我们使用众包和基于ROUGE的指标来评估和比较我们的摘要，并获得具有竞争力的结果。
2020-06-09 cs.CL cs.IR
News Summarization and Evaluation in the Era of GPT-3
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究GPT-3对新闻摘要的影响，发现人类更偏好GPT-3摘要且其事实性更好，同时指出现有自动指标无法可靠评估GPT-3摘要，并发布了相关语料库和人类偏好判断数据。
2023-05-23 cs.CL
How Private are Language Models in Abstractive Summarization?
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
本研究全面评估了语言模型在医疗和法律摘要中的隐私风险，发现模型常泄露个人信息，与人类专家摘要相比隐私保护差距显著。
2025-05-27 cs.CL
Quality of syntactic implication of RL-based sentence summarization
LORIA（洛林计算机科学及其应用实验室）；CNRS-LORIA（法国国家科学研究中心-洛林计算机科学及其应用实验室）
摘要方面的工作已经探索了使用ROUGE作为奖励的强化学习（RL）优化和语法感知模型，例如那些输入富含词性（POS）标签和依赖信息的模型。然而，目前尚不清楚这些方法在标准ROUGE评估指标之外的各自影响。特别是基于RL的摘要技术越来越受到人们的欢迎。在本文中，我们提供了一个详细的比较，这两种方法和它们的组合沿几个维度，涉及到感知质量的生成摘要：重复的单词的数量，分布的词性标签，句子长度的影响，相关性和语法。使用标准的Gigaword句子摘要任务，我们比较了RL自我批判序列训练（SCST）方法与利用POS标签和Dependency信息的语法感知模型。我们表明，在所有定性评估中，组合模型给出了最好的结果，但仅使用RL和没有任何语法信息的训练已经给出了几乎与语法感知模型一样好的结果，具有更少的参数和更快的训练收敛。
2019-12-11 cs.CL
Using Summarization to Discover Argument Facets in Online Ideological Dialog
UC Santa Cruz（加州大学圣克鲁兹分校）
网络上越来越多的信息是对话式的，其中很大一部分发生在关于当前社会和政治话题的在线论坛对话中。我们的目标是开发工具来总结这些对话的内容。什么是与一个问题的不同立场相关的中心命题？什么是在讨论中的抽象对象，这些对象是演讲者论点的中心？我们怎么能认识到两个中心命题实现了论证的同一个方面呢？我们假设中心命题正是人们认为最突出的论点，并使用人类总结作为发现它们的探针。我们描述了我们的语料库的人类总结的固执己见的对话，然后展示了我们如何可以识别类似的重复的论点，并将它们分组到FACETS在许多讨论的一个主题。我们定义了一个新的任务，ARGUMENT FACET SIMILARITY（AFS），并表明，我们可以预测AFS与.54的相关性得分，与ngram系统基线的.39和语义文本相似性系统基线的.45。
2017-09-03 cs.AI cs.CL
Implicit Sensitive Text Summarization based on Data Conveyed by Connectives
King Saud University（沙特国王大学）
到目前为止，为了达到人类的能力，自动摘要的研究一直基于既有利又有限制的假设。这些限制包括：如何考虑和反映（在生成的摘要中）文本中传达的隐含信息，作者意图，读者意图，语境影响，一般世界知识。因此，如果我们希望机器模仿人类的能力，那么它们将需要获得同样大量的知识。隐性影响着文本的定位和论证，进而影响着文本的概括。大多数文本摘要器都是对原始数据进行压缩处理，必然会造成信息的丢失。TS只关注文本的特征，而不是作者的意图或读者为什么阅读文本。在本文中，我们解决这个问题，我们提出了一个系统，专注于获取知识是隐含的。本文重点分析了诸如：but、even、yet等议论性连接词所传达的隐含信息及其对摘要的影响。
2013-12-11 cs.CL
Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency
Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）
摘要文本摘要是一个非常困难的问题，序列到序列模型已经成功地提高了任务的性能。然而，生成的摘要往往在语义上与源内容不一致。在这种情况下，当生成摘要时，模型选择与源内容语义无关的单词作为最可能的输出。这个问题可以归因于抽象地构造的训练数据，其中摘要可以与源内容无关，因此包含语义上不相关的单词和虚假的单词对应。在本文中，我们提出了一种正则化方法的序列到序列模型，并利用模型已经学会了正则化的学习目标，以减轻问题的影响。此外，针对现有自动评估方法无法正确评估与源内容的语义一致性的问题，我们提出了一种实用的人工评估方法。实验结果表明，该方法的有效性，它优于几乎所有现有的模型。特别是在人工评价方面，该方法将语义一致性提高了4%.
2018-05-10 cs.CL
What Do You See in this Patient? Behavioral Testing of Clinical NLP Models
Berliner Hochschule für Technik (BHT)（柏林工程应用技术大学）
基于临床记录的决策支持系统有可能通过向医生指出监督风险来改善患者护理。预测患者的结果是此类系统的重要组成部分，深度神经网络的使用已经显示出有希望的结果。然而，这些网络学习到的模式大多是不透明的，以前的工作揭示了无意偏见复制的缺陷。因此，我们引入了一个可扩展的测试框架，评估临床结果模型的输入变化的行为。该框架有助于理解学习的模式及其对模型决策的影响。在这项工作中，我们应用它来分析患者特征性别，年龄和种族方面的行为变化。我们对目前三个临床NLP模型的评估表明了这些特征对模型决策的具体影响。他们表明，即使对相同的数据进行微调，模型的行为也会发生巨大的变化，并且据称表现最好的模型并不总是学习到医学上最合理的模式。
2021-11-30 cs.CL cs.LG
Graph Neural Network and NER-Based Text Summarization
本文提出结合图神经网络与命名实体识别的文本摘要方法，利用GNN捕获文本关系结构、NER突出关键实体，以提高摘要效率与相关性，应对海量文本数据。
2024-02-05 cs.CL cs.LG
Amnesic Probing: Behavioral Explanation with Amnesic Counterfactuals
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
越来越多的工作利用探测来研究神经模型的工作，通常被认为是黑箱。最近，围绕探测范式的局限性出现了一场持续的辩论。在这项工作中，我们指出无法从探测结果中推断出行为结论，并提供了一种替代方法，该方法侧重于如何使用信息，而不是编码什么信息。我们的方法，直觉探测，遵循的直觉，一个属性的效用为一个给定的任务，可以通过测量的因果干预，将其从代表性的影响进行评估。有了这个新的分析工具，我们可以提出以前不可能提出的问题，例如，词性信息对单词预测重要吗？我们对BERT进行了一系列的分析来回答这些类型的问题。我们的研究结果表明，传统的探测性能是不相关的任务的重要性，我们呼吁增加审查的索赔，从探测结果得出行为或因果关系的结论。
2021-02-19 cs.CL
Few-Shot Degradation Is Not What It Seems: Behavioral Evidence, Representation Analysis, and a Random-Text Control Across 12 Models, 2 Tasks, and 2 Architectures
LEX AI Platform, legal.org.ua（LEX AI平台，legal.org.ua）
本研究通过行为实验和表示分析发现，少样本提示的性能退化主要源于提示长度而非示例内容，并提出内容增量指标以准确预测模型获益，因果实验证实了该结论。
2026-09-16 cs.CL cs.LG
Performance Prediction of Data-Driven Knowledge summarization of High Entropy Alloys (HEAs) literature implementing Natural Language Processing algorithms
School of Industrial and Information Engineering, Politecnico Di Milano（米兰理工大学工业与信息工程学院）；Symbiosis Institute of Technology, Symbiosis International (Deemed) University（symbiosis国际（私立）大学 symbiosis技术学院）；Turabit LLC（Turabit有限责任公司）；Volvo Groups（沃尔沃集团）；Christian Albrechts University zu Kiel（基尔基督教-阿尔布雷希茨大学）；National Taiwan University of Science and Technology（台湾科技大学）
本研究首次将五种NLP算法应用于高熵合金文献摘要，通过BLEU和ROUGE分数评估性能，发现Luhn算法准确度最高。
2023-11-06 cs.AI cs.CL cs.IR
Do Transformer Attention Heads Provide Transparency in Abstractive Summarization?
University of Amsterdam（阿姆斯特丹大学）；De Persgroep（荷兰Persgroep集团）
学习算法变得更加强大，但往往以增加复杂性为代价。作为回应，对算法透明的需求正在增长。在NLP任务中，通过基于注意力的深度学习模型学习的注意力分布用于获得对模型行为的洞察。这种观点在多大程度上适用于所有NLP任务？我们调查是否分布计算不同的注意头在一个Transformer架构可以用来提高抽象摘要的任务的透明度。为此，我们提出了一个定性和定量的分析，以调查的注意头的行为。我们发现，一些注意头确实专门对句法和语义不同的输入。我们提出了一种方法来评估Transformer模型在多大程度上依赖于专门学习的注意力分布。我们还讨论了这意味着使用注意力分配作为一种手段的透明度。
2019-07-08 cs.AI cs.CL cs.IR
What Do You Get When You Cross Beam Search with Nucleus Sampling?
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
我们结合束搜索和核采样的概率修剪技术，创建了两个确定性核搜索算法用于自然语言生成。第一个算法，p-精确搜索，局部修剪下一个令牌分布，并在剩余的空间上执行精确搜索。第二种算法，动态束搜索，根据候选者概率分布的熵来收缩和扩展束大小。尽管核搜索背后的概率直觉，机器翻译和摘要基准测试的实验表明，这两种算法达到了标准束搜索相同的性能水平。
2022-05-02 cs.AI cs.CL cs.LG
To share or not to share: What risks would laypeople accept to give sensitive data to differentially-private NLP systems?
Technical University of Darmstadt（达姆施塔特工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Paderborn University（帕德博恩大学）
针对差分隐私NLP系统中隐私预算$\varepsilon$选择任意的问题，通过311名参与者的行为实验，探究普通人在真实NLP场景下愿意分享敏感文本数据的$\varepsilon$阈值。
2024-03-25 cs.CL cs.CR
