Annotate Rhetorical Relations with INCEpTION: A Comparison with Automatic Approaches
Ruhr University Bochum（波鸿鲁尔大学）
本研究以板球新闻为对象，用INCEpTION开展修辞关系人工标注，对比BERT、DistilBERT等自动方法的分类性能，发现DistilBERT准确率最高，为语篇解析与Transformer类NLP的交叉研究提供参考。
2025-10-04 cs.CL
INSET: Sentence Infilling with INter-SEntential Transformer
Microsoft Corporation（微软公司）；Center for Theoretical Physics, MIT（麻省理工学院理论物理中心）
缺句生成（或句子填充）在自然语言生成中有着广泛的应用，如文档自动补全和会议笔记扩展。这个任务要求模型生成中间缺失的句子，这些句子可以在句法和语义上连接周围的上下文。解决句子填充任务需要自然语言处理中的技术，从理解到话语级规划再到生成。在本文中，我们提出了一个框架来解耦挑战并分别解决这三个方面，利用现有的大规模预训练模型（如BERT和GPT-2）的功能。我们经验证明了我们的模型在学习一个句子表示生成和进一步生成一个符合上下文的缺失句子的有效性。
2020-06-04 cs.CL
On the Importance of Word and Sentence Representation Learning in Implicit Discourse Relation Classification
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
隐性语篇关系分类是浅层语篇分析中最困难的部分之一，因为在没有显性连接词的情况下进行关系预测需要在语篇跨度和句子两个层面上进行语言理解。以往的研究主要集中在两个参数之间的相互作用。我们认为，一个强大的语境化表征模块，双边多视角匹配模块，和一个全球性的信息融合模块都是重要的隐式话语分析。我们提出了一个新的模型，将这些模块结合在一起。大量的实验表明，我们提出的模型在PDTB数据集上的性能优于BERT和其他最先进的系统约8%，在CoNLL 2016数据集上的性能优于约16%。我们还分析了内隐话语关系分类任务中不同模块的有效性，并展示了不同水平的表示学习如何影响结果。
2020-04-28 cs.CL
Unlocking Structure Measuring: Introducing PDD, an Automatic Metric for Positional Discourse Coherence
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
针对现有指标难以衡量长文本语篇连贯性的问题，本文提出自动指标 PDD 来量化两篇文章的语篇分歧，并在三个领域数据集上验证其更贴合人类与 GPT-4 评价。
2024-04-02 cs.CL
Character-level Representations Improve DRS-based Semantic Parsing Even in the Age of BERT
University of Groningen（格罗宁根大学）
我们结合字符级和上下文语言模型表示，以提高性能的话语表示结构分析。字符表示可以很容易地添加到一个编码器或作为一个完全独立的编码器的序列到序列模型中，并对不同的语言模型、语言和数据集进行了鲁棒性改进。对于英语来说，这些改进比添加语言信息的单个来源或添加非上下文嵌入要大。一种基于语义标签的新分析方法表明，字符级表示提高了所选语义现象子集的性能。
2020-11-09 cs.CL
Leveraging Discourse Rewards for Document-Level Neural Machine Translation
RoZetta Technology（罗泽塔科技）；University of Technology Sydney（悉尼科技大学）；Monash University（蒙纳士大学）
文档级机器翻译侧重于将整个文档从源语言翻译为目标语言。它被广泛认为是一项具有挑战性的任务，因为文档中单个句子的翻译需要在文档层面上保留话语的各个方面。然而，文档级翻译模型通常没有经过训练以明确确保话语质量。因此，在本文中，我们提出了一种训练方法，明确优化两个既定的话语指标，词汇衔接（LC）和连贯性（COH），通过使用强化学习目标。在四种不同语言对和三个翻译领域的实验表明，我们的训练方法能够实现比其他竞争方法更有凝聚力和连贯性的文档翻译，而不会影响参考翻译的忠实性。在Zh-En语言对的情况下，我们的方法在LC中实现了2.46个百分点（pp）的提高，在COH中实现了1.17个百分点的提高，而在同一时间，在BLEU得分中提高了0.63个百分点，在F_BERT中提高了0.47个百分点。
2020-10-19 cs.CL
Representation Learning for Conversational Data using Discourse Mutual Information Maximization
IIT Kharagpur（印度理工学院克勒格布尔分校）；Microsoft（微软）
尽管存在许多针对文本或图像的预训练模型，但是专门针对对话理解来训练表示的尝试相对较少。以前的作品通常依赖于基于通用文本表示模型（如BERT或GPT-2）的微调表示。但是这种语言建模预训练目标没有考虑会话文本的结构信息。虽然生成式对话模型也可以学习结构特征，但我们认为，结构未知的逐词生成不适合有效的对话建模。我们的经验表明，这种表示不执行一致的各种对话理解任务。因此，我们提出了一个结构感知的互信息为基础的损失函数训练（话语互信息）的对话表示模型，另外捕捉响应预测的固有不确定性。九个不同的对话建模任务的广泛评估表明，我们提出的基于DMI的模型优于强大的基线显着利润率。
2022-05-03 cs.CL
Monitoring the evolution of antisemitic discourse on extremist social media using BERT
American University（美利坚大学）
针对社交媒体反犹话语难人工监测的问题，提出基于大语言模型的无监督在线机器学习方法，可聚类提取反犹主题与术语并追踪其演变，效果优于现有基线，可推广至各类仇恨言论监测。
2024-02-06 cs.AI cs.CL cs.CY
An Architectural Advantage of The Instruction-Tuned LLM in Containing The Readability-Accuracy Tension in Text Simplification
本研究通过比较指令调优和推理增强的LLM，发现指令调优在文本简化中能更有效平衡可读性与准确性，提升话语忠实度。
2026-01-17 cs.CL
SLM: Learning a Discourse Language Representation with Sentence Unshuffling
Samsung Research（三星研究院）；Stanford University（斯坦福大学）
我们引入了句子级语言建模，这是一种新的预训练目标，用于以完全自我监督的方式学习话语语言表示。NLP中最近的预训练方法专注于学习底层或顶层语言表示：一个极端是从语言模型目标导出的上下文化单词表示，另一个极端是通过对两个给定文本片段的顺序分类学习的整个序列表示。然而，这些模型并不直接被鼓励来捕获存在于自然语言中的中等大小结构的表示，例如句子及其之间的关系。为此，我们提出了一种新的方法来鼓励学习的上下文的上下文层次表示的输入句子的序列和训练的层次Transformer模型，以重建原始的顺序。通过对GLUE、SQuAD和DiscoEval等下游任务的实验，我们证明了我们模型的这一特性大大提高了原始BERT的性能。
2020-10-30 cs.CL cs.LG
Text Classification of Manifestos and COVID-19 Press Briefings using BERT and Convolutional Neural Networks
ESRC Business and Local Government Data Research Centre（ESRC商业与地方政府数据研究中心）
我们使用来自Manifestion Project的现有人类专家注释的政治宣言语料库构建了一个政治级政治话语分类器（Rehens等人，2020 a）并将其应用于COVID-19新闻简报（Chatsiou，2020）的语料库。我们使用手动标注的政治宣言作为训练数据来训练局部主题卷积神经网络（CNN）分类器;然后将其应用于COVID-19新闻简报语料库，以自动分类测试语料库中的句子。我们报告了一系列实验，其中CNN在预先训练的嵌入基础上进行训练，用于执行文档级分类任务。我们表明，CNN与像BERT这样的Transformers相结合的性能优于CNN与其他嵌入（Word 2 Vec，Glove，ELMo）相结合的性能，并且可以使用预先训练的分类器对不同的政治文本进行自动分类，而无需额外的训练。
2020-11-02 cs.CL cs.LG
DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances
School of Software, Shanghai Jiao Tong University（上海交通大学软件学院）；NAVER AI Lab（NAVER人工智能实验室）
预训练语言模型的最新进展显着改善了神经反应的生成。然而，现有的方法通常将对话上下文视为令牌的线性序列，并通过令牌级的自我注意来学习生成下一个单词。这种标记级编码阻碍了话语间语篇级连贯性的探索。本文介绍了DialogBERT，一种新的会话响应生成模型，增强了以前的基于PLM的对话模型。DialogBERT采用分层Transformer架构。为了有效地捕捉话语之间的语篇级连贯性，我们提出了两个训练目标，包括掩蔽的话语回归和分布式话语顺序排序类似于原始的BERT训练。在三个多话轮会话数据集上的实验表明，我们的方法在定量评估方面明显优于基线，如BART和DialoGPT。人类评估表明，DialogBERT比基线产生了更连贯，更丰富，更人性化的响应。
2021-12-13 cs.AI cs.CL cs.LG
HKJudge: A Legal Discourse-Annotated Corpus for Interpreting What Courts Find, How They Reason, and What They Rule
City University of Hong Kong（香港城市大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出首个句子级专家标注的法律话语数据集HKJudge，包含香港各级法院刑事判决，设计双层话语模式（26种修辞角色和3种判刑要素），并基于BERT和LLM进行基准评估。
2026-06-04 cs.AI cs.CL cs.CY
Mapping Technological Futures: Anticipatory Discourse Through Text Mining
Czech Technical University Prague（捷克技术大学布拉格）；SWPS University（SWPS大学）
本文利用BERTopic及情感、情绪和态度分析挖掘400位KOL的150万条X平台帖子，识别100个技术未来主题，揭示KOL如何通过乐观叙事连接想象未来与现实并影响公共议程。
2025-03-25 cs.CL cs.CY cs.LG
Analyzing Public Discourse on Urbanism: Topic Clustering, Sentiment Analysis and Retrieval-Augmented Generation using YouTube Comments
Luddy School of Informatics, Computing and Engineering, Indiana University（印第安纳大学卢迪信息学、计算与工程学院）
本研究提出结合地理实体解析、主题建模、情感分析和RAG的流水线系统，分析309个北美城市的YouTube评论，并测量标准NLP组件在短非正式文本上的性能表现。
2026-09-22 cs.AI cs.CL
StanceMoE: Mixture-of-Experts Architecture for Stance Detection
Department of Computer Science
本文提出StanceMoE，一种基于微调BERT编码器的专家混合架构，通过六个专家模块捕捉互补的语义信号，提升立场检测的宏F1得分为94.26%。
2026-07-14 cs.AI cs.CL cs.LG
Embarrassingly Easy Document-Level MT Metrics: How to Convert Any Pretrained Metric Into a Document-Level Metric
EPFL（洛桑联邦理工学院）；HEIG-VD（沃州高等工程学院）；AWS AI Labs（亚马逊云服务人工智能实验室）
我们假设，现有的翻译级机器翻译（MT）指标变得不那么有效时，人类的参考包含歧义。为了验证这一假设，我们提出了一种非常简单的方法来扩展预训练的指标，以在文档级别上结合上下文。我们将我们的方法应用到三个流行的指标，BERTScore，棱镜，和彗星，并参考免费的指标彗星QE。我们使用提供的MQM注释评估WMT 2021度量共享任务上的扩展度量。我们的研究结果表明，扩展的指标优于他们在约85%的测试条件下，当排除低质量的人类参考的结果。此外，我们表明，我们的文档级扩展的COMET-QE显着提高了其准确性的话语现象的任务，优于一个专用的基线高达6.1%。我们的实验结果支持我们最初的假设，并表明，一个简单的扩展的度量允许他们利用上下文来解决歧义的参考。
2022-09-27 cs.CL
COSMic: A Coherence-Aware Generation Metric for Image Descriptions
University of Pittsburgh（匹兹堡大学）；Google Research（谷歌研究院）；Rutgers University（罗格斯大学）
文本生成模型的开发人员依赖于自动化评估指标作为缓慢且昂贵的手动评估的替代。然而，图像描述度量一直在努力给出输出文本的语义和语用成功的准确的学习估计。我们通过引入第一个用于评估图像描述的话语感知学习生成度量来解决这个弱点。我们的方法的灵感来自于计算理论的话语捕捉信息的目标，使用连贯性。我们提出了一个数据集的图像$\unicode{x2013}$描述对标注的相干关系。然后，我们训练的概念字幕数据集的子集上的一致性感知的度量和测量其有效性$\unicode{x2014}$的能力，预测人类的输出字幕$\unicode{x2014}$的测试集组成的域外图像的评级。我们证明了一个更高的肯德尔相关系数为我们提出的度量与人类判断的一些国家的最先进的连贯性意识的字幕生成模型的结果相比，其他几个指标，包括最近提出的学习指标，如BLEURT和BERTScore。
2021-09-11 cs.AI cs.CL cs.CV
