BERT Embeddings Can Track Context in Conversational Search
NOVA School of Science and Technology（新里斯本大学科学与技术学院）
使用会话助手搜索信息在公众中越来越受欢迎，推动研究走向更先进和复杂的技术。特别是在过去的几年中，人们对对话式搜索的兴趣正在增加，这不仅是因为对话式助理的普遍化，而且还因为对话式搜索是允许与系统进行更自然交互的一个进步。在这项工作中，重点是探索通过历史话语和各自的嵌入会话的上下文呈现，目的是开发一个会话搜索系统，帮助人们以自然的方式搜索信息。特别是，该系统必须能够理解提出问题的上下文，跟踪对话的当前状态，并检测对先前问题和答案的提及。我们通过使用基于神经查询重写模型的上下文跟踪组件来实现这一点。该系统的另一个关键方面是提供给定问题和会话历史的最相关答案。为了实现这一目标，我们使用了一种基于transformer的重新排序方法，并扩展了该架构以使用会话上下文。开发的系统所获得的结果显示了使用自然语言话语和整个对话中生成的神经嵌入中存在的上下文的优势。
2021-04-13 cs.CL cs.IR cs.LG
A Simple but Effective Method to Incorporate Multi-turn Context with BERT for Conversational Machine Comprehension
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社NTT媒体智能实验室）
会话机器理解（CMC）需要理解多轮对话的上下文。使用预训练语言模型BERT已经成功地用于单轮机器理解，而使用BERT建模多轮问答尚未建立，因为BERT对输入序列的数量和长度有限制。在本文中，我们提出了一个简单而有效的方法与BERT的CMC。我们的方法使用BERT来编码一个段落独立的条件与每个问题和每个答案在一个多回合的上下文中。然后，该方法基于用BERT编码的段落表示来预测答案。具有代表性的CMC数据集，QuAC和CoQA的实验表明，我们的方法优于最近发表的方法（QuAC上的+0.8 F1和CoQA上的+2.1 F1）。此外，我们还详细分析了对话历史的数量和类型对CMC准确性的影响，我们发现，在实际对话中可能不会给出的黄金答案历史对两个数据集上的模型性能贡献最大。
2019-05-30 cs.CL
A Novel BERT-based Classifier to Detect Political Leaning of YouTube Videos based on their Titles
New York University Abu Dhabi（纽约大学阿布扎比分校）
针对YouTube视频政治倾向识别空白，本文提出仅基于标题的BERT六分类器，在千万级标题数据上达到75%准确率和77% F1，并经主流新闻频道验证有效。
2024-02-16 cs.AI cs.CL
BERT-CoQAC: BERT-based Conversational Question Answering in Context
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
问答对话系统作为一种通过与机器人对话来查询任何特定信息的有前途的方式，近年来获得了越来越多的研究兴趣。交互式问答系统的设计一直是自然语言处理领域的一项具有挑战性的任务，并被用作评估机器自然语言理解能力的基准。然而，这样的系统往往挣扎时，问题回答是由用户在多个回合，以寻求更多的信息的基础上，他们已经学会了，因此，引起了另一个复杂的形式称为会话问答（CQA）。CQA系统经常被批评在回答问题时不理解或利用对话的先前上下文。为了弥补这一研究空白，本文探讨了如何将会话历史整合到神经机器理解系统中。一方面，我们引入了一个框架的基础上，一个可编程的预先训练的语言模型称为BERT的历史变成系统。另一方面，我们提出了一个历史选择机制，选择相关的，并有助于回答当前问题的回合。实验结果表明，我们的框架是在性能与国家的最先进的模型在QuAC领导人板。我们还进行了一些实验，以显示使用整个上下文信息的副作用，这带来了不必要的信息和噪声信号，导致模型的性能下降。
2021-04-23 cs.CL
Cross-Linguistic Offensive Language Detection: BERT-Based Analysis of Bengali, Assamese, & Bodo Conversational Hateful Content from Social Media
LUT University（拉彭兰塔理工大学）；University of Oulu（奥卢大学）；University of Helsinki（赫尔辛基大学）
针对社交媒体多语言仇恨言论检测问题，研究基于多种BERT模型开展HASOC-2023任务4的孟加拉语、阿萨姆语、博多语仇恨内容检测，发现XML-Roberta-large多数场景优于单语模型，团队在对应赛道取得第三、第五名的成绩。
2023-12-16 cs.CL cs.LG
Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data
American University of Beirut（贝鲁特美国大学）
在阿拉伯语对话代理中启用移情行为是构建类人会话模型的一个重要方面。虽然阿拉伯语自然语言处理在自然语言理解（NLU）方面取得了重大进展，但使用ArabBERT等语言模型，自然语言生成（NLG）仍然是一个挑战。NLG编码器-解码器模型的缺点主要是由于缺乏适合训练NLG模型（如会话代理）的阿拉伯语数据集。为了克服这个问题，我们提出了一个基于变换的编码器-解码器初始化与AraBERT参数。通过使用AraBERT预训练的权重初始化编码器和解码器的权重，我们的模型能够利用知识转移并提高响应生成的性能。为了在我们的会话模型中实现同理心，我们使用ArabicEmpatheticDialogues数据集对其进行训练，并在同理心响应生成方面实现了高性能。具体来说，我们的模型实现了17.0的低困惑值，与之前的最先进模型相比增加了5个BLEU点。此外，我们提出的模型得到了85名人类评估者的高度评价，验证了其在开放域环境中产生相关和流畅响应的同时表现出同理心的高能力。
2021-03-07 cs.CL
The Solution for The PST-KDD-2024 OAG-Challenge
Nanjing University of Science and Technology（南京理工大学）
针对KDD-2024 OAG挑战赛论文溯源任务，我们提出结合BERT与GCN的互补方案，通过精炼片段信息与构建语义边，最终取得0.47691的优异成绩。
2024-07-02 cs.CL cs.LG
Automated Utterance Generation
University of Pennsylvania（宾夕法尼亚大学）；Passage AI
对话式人工智能助理越来越受欢迎，问答是任何对话式助理的重要组成部分。使用相关的话语作为特征的问答已被证明可以提高准确率和召回率，用于检索正确的答案由会话助理。因此，话语生成已经成为一个重要的问题，其目标是从由标题和描述组成的知识库文章中生成相关的话语（句子或短语）。然而，生成好的话语通常需要大量的手动工作，从而产生了对自动话语生成的需求。在本文中，我们提出了一个话语生成系统，1）使用提取摘要提取重要的句子的描述，2）使用多种释义技术，以产生一个不同的标题和摘要句的释义集，和3）选择好的候选释义的帮助下，一个新的候选选择算法。
2020-04-08 cs.AI cs.CL cs.LG
Development of an Extractive Title Generation System Using Titles of Papers of Top Conferences for Intermediate English Students
Nagoya Institute of Technology（名古屋工业大学）
对于中级英语作者（尤其是学生）来说，用英语撰写好的学术论文标题是一项挑战。这是因为这些作者不知道通常使用的标题类型。我们的目标是实现一个支持系统，制定更有效的英文标题，为中级英语和初学者的作者。本研究开发一个提取标题生成系统，制定从摘要中提取的关键字的标题。此外，我们还实现了一个论文标题评价模型，可以对论文标题的恰当性进行评价。利用BERT对模型进行训练，训练的样本为国际顶级会议论文标题。本文介绍了训练数据，实施和实验结果。结果表明，我们的评估模型可以更有效地识别顶级会议的标题比中级英语和初学者。
2021-10-08 cs.CL
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中，组织者发布了Get it #OffMyChest数据集，其中包含来自休闲和忏悔对话的Reddit评论，标记为披露和保密特征。在本文中，我们介绍了一个预测集成模型，利用微调的上下文词嵌入，罗伯特和阿尔伯特。我们表明，我们的模型在所有考虑的指标优于基础模型，实现了$3\%$的F1分数的改善。我们进一步进行统计分析，并概述对给定数据集的更深入见解，同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Using BERT Embeddings to Model Word Importance in Conversational Transcripts for Deaf and Hard of Hearing Users
Rochester Institute of Technology（罗切斯特理工学院）
聋人和重听人在观看电视直播时经常依赖字幕。监管机构使用各种字幕评估指标来评估实况电视字幕。然而，字幕评估指标往往不被DHH用户的偏好或字幕的意义。需要构建字幕评估度量，其考虑文字在转录中的相对重要性。我们在现有语料库中对两种类型的词嵌入和人工标注的词重要性分数进行了相关性分析。我们发现，使用BERT生成的规范化上下文单词嵌入与手动注释的重要性分数的相关性优于基于word2vec的词嵌入。我们提供了一对词嵌入及其人工注释的重要性分数。我们还通过训练单词重要性模型来提供概念验证实用程序，在6类单词重要性分类任务中获得了0.57的F1分数。
2022-06-24 cs.AI cs.CL cs.HC
Time to Take Emoji Seriously: They Vastly Improve Casual Conversational Models
KU Leuven（鲁汶大学）
图形表情符号在现代在线对话中无处不在。那么，一个竖起大拇指的表情符号是否能够表示同意，而不需要任何文字。我们认为，目前最先进的系统无法正确解释这些表情符号，特别是在对话背景下。然而，在一个随意的环境中，好处可能很高：更好地理解用户的话语和更自然，表情丰富的反应。考虑到这一点，我们修改了BERT以完全支持来自Unicode标准和自定义表情符号的表情符号。然后，在具有大量表情符号的问答（QA）元组语料库上训练这个修改后的BERT，我们能够将100分之一的准确率从当前最先进的12.7%提高到我们支持表情符号的模型的17.8%。
2019-10-30 cs.CL
Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition
National Taiwan Normal University（台湾师范大学）
如何有效地将跨话语信息引入神经语言模型（LM）已成为自动语音识别（ASR）的一个有趣的问题。现有的研究工作，提高语境化的LM通常把以前的话语作为一个序列的额外的输入，并可能无法捕捉这些话语之间的复杂的全球结构的依赖关系。有鉴于此，我们在本文中试图表示的历史语境信息的话语图结构的数据，以提取跨话语，全球词的相互作用关系。为此，我们将图卷积网络（GCN）应用于所得到的图，以获得相应的历史单词的GCN嵌入。GCN最近在社会网络分析、文本摘要等方面发现了它的多用途应用，这主要是由于它能够有效地捕获元素之间丰富的关系信息。然而，GCN在ASR的背景下，特别是在处理会话语音方面，仍然存在很大的不足。此外，我们框架ASR N-最好的重新排序作为一个预测问题，利用双向编码器表示从Transformers（BERT）作为车辆，不仅抓住本地固有的词规律性模式固有的候选假设，但也纳入跨话语，历史词的互动线索蒸馏GCN为促进性能。在AMI基准数据集上进行的大量实验似乎证实了我们的方法的实用性，与当前一些顶级方法有关。
2021-10-01 cs.CL eess.AS
Continuous Prompt Tuning Based Textual Entailment Model for E-commerce Entity Typing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Saleforce Research（赛富时研究院）；Huski Inc（哈士奇公司）
电子商业的爆炸式增长导致了对产品标题的处理和分析的需求，如产品标题中的实体键入。然而，电子商业中的快速活跃导致了新实体的快速涌现，这是一般实体分型难以解决的问题。此外，电子商业中的产品标题与一般领域的文本数据具有很大的语言风格。为了处理产品标题中的新实体，解决电子商务领域产品标题的特殊语言风格问题，提出了基于连续提示微调的假设融合嵌入文本蕴涵模型，用于电子商业实体分类。首先，我们将实体键入任务重新表述为文本蕴涵问题，以处理训练过程中不存在的新实体。其次，我们设计了一个自动生成文本蕴涵假设的模型，该模型采用连续提示微调的方法，可以在不需要人工设计的情况下生成更好的文本蕴涵假设。第三，利用BERT嵌入和二阶BERT嵌入与两层MLP分类器的融合嵌入，解决了电子商业中产品标题语言风格与一般领域不同的问题。为了分析每个贡献的效果，我们比较了实体类型和文本蕴涵模型的性能，并对连续提示微调和融合嵌入进行了消融研究。我们还评估了不同提示模板初始化对连续提示微调的影响。我们表明，我们提出的模型提高了约2%的平均F1分数相比，基线BERT实体分型模型。
2022-11-04 cs.CL
Auto-tagging of Short Conversational Sentences using Transformer Methods
根据语义特征对语音短句进行高精度的分类是自然语言处理的一个研究课题。在这项研究中，使用了一个由46个不同类别的样本创建的数据集。例子包括从公司的客户代表和公司的网站访问者之间的聊天对话中提取的句子。其主要目的是以最准确的方式自动标记访问者的问题和请求，用于聊天应用程序中的46个预定类别，以生成对网站访问者提出的问题的有意义的答案。为此，不同的BERT模型和一个GPT-2模型，在土耳其预先训练，是首选。对相关模型的分类性能进行了详细的分析和报告。
2021-06-04 cs.CL cs.LG
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline（源讯世界线）
语言模型的最新进展（例如BERT、XLNet等），在复杂的NLP任务（如阅读理解）上，然而，用于训练的标记数据集主要以英语提供，这使得很难用其他语言确认进展。幸运的是，模型现在已经在来自数百种语言的未标记数据上进行了预训练，并表现出从一种语言到另一种语言的有趣迁移能力。在本文中，我们表明，多语言的BERT是自然能够zero-shot转移提取问答任务（eQA）从英语到其他语言。更具体地说，它超过了以前已知的最好的转移到日语和法语的基线。此外，使用最近发布的大型eQA法语数据集，我们能够进一步证明：（1）zero-shot迁移提供的结果非常接近于目标语言的直接训练;（2）迁移和目标语言训练的组合是总体上最好的选择。最后，我们提出了一个实际的应用：一个多语言的会话代理称为凯特回答人力资源相关的问题，在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Improving Human Text Comprehension through Semi-Markov CRF-based Neural Section Title Generation
Harvard SEAS（哈佛大学工程与应用科学学院）；Adobe Research（奥多比研究院）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
长文档中的短部分标题通过引导读者将注意力集中在相关段落并提供有助于理解文档进展的锚点来支持读者。当对阅读能力较低的读者进行测量时，章节标题的积极影响甚至更加明显，例如在标签文本资源有限的社区中。因此，我们的目标是开发技术，在低资源环境中生成章节标题。特别是，我们提出了一个提取管道的章节标题生成，首先选择最突出的句子，然后应用基于删除的压缩。我们的压缩方法是基于半马尔可夫条件随机场，利用无监督的字表示，如ELMo或BERT，消除了对复杂的编码器-解码器架构的需要。结果表明，这种方法导致竞争力的性能与序列到序列模型与高资源，而强烈优于它与低资源。在一项针对不同阅读能力的受试者的人类受试者研究中，我们发现，我们的章节标题提高了完成理解任务的速度，同时保持了类似的准确性。
2019-04-15 cs.CL
A BERT-based Hierarchical Classification Model with Applications in Chinese Commodity Classification
School of Statistics and Mathematics, Central University of Finance and Economics（中央财经大学统计与数学学院）；Reigning Capital Co., Ltd.（Reigning Capital有限公司）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
针对电商平台人工商品分类低效且现有层次分类研究未充分利用层次信息的问题，提出基于BERT的层次微调模型HFT-BERT，并公开京东电商平台的大规模三级层次商品数据集，为商品分类研究提供资源并提升分类性能。
2025-08-13 cs.CL cs.LG
Automatic Generation of Titles for Research Papers Using Language Models
Jadavpur University（贾达沃尔大学）；Indian Association for the Cultivation of Science（印度科学培养协会）
提出利用预训练语言模型和大语言模型从摘要生成论文标题的方法，通过微调PEGASUS-large在多个数据集上取得最优性能。
2026-06-03 cs.AI cs.CL
Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis
STIH Laboratory, Sorbonne University（索邦大学STIH实验室）；LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14）；Faculty of Sciences of Tunis（突尼斯科学学院）；LINFI Laboratory（LINFI实验室）
本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。
2026-08-17 cs.CL
Auto-tagging of Short Conversational Sentences using Natural Language Processing Methods
AdresGezgini A.Ş. Ar-Ge Merkezi（AdresGezgini公司研发中心）
在这项研究中，我们的目标是找到一种方法来自动标记特定领域的句子。我们的训练数据包括从公司客户代表和网站访问者之间的聊天对话中提取的简短对话句子。我们将大约1.4万个访客输入手动标记为10个基本类别，这些类别稍后将用于基于transformer的语言模型，并带有注意力机制，最终目标是开发一个可以产生有意义对话的聊天机器人应用程序。我们考虑了三种不同的最先进的模型，并报告了它们的自动标记功能。我们取得了最好的性能与双向编码器表示从Transformers（BERT）模型。这些实验中使用的模型的实现可以从我们的GitHub存储库中克隆，并测试类似的自动标记问题，而无需太多努力。
2021-06-09 cs.CL
Fluent Response Generation for Conversational Question Answering
Ohio State University（俄亥俄州立大学）；Amazon Alexa（亚马逊Alexa）
问答（QA）是开放域会话Agent的一个重要方面，在会话QA（ConvQA）子任务中获得了特定的研究热点。最近的ConvQA努力的一个显着的局限性是响应是从目标语料库中提取答案跨度，从而忽略了高质量会话代理的自然语言生成（NLG）方面。在这项工作中，我们提出了一种方法，用于将QA响应定位在一个SEQ2SEQ NLG方法中，以生成流畅的语法回答响应，同时保持正确性。从技术角度来看，我们使用数据增强来为端到端系统生成训练数据。具体来说，我们开发了句法转换（ST）来产生特定于问题的候选答案响应，并使用基于BERT的分类器对它们进行排名（Devlin等人，2019年）。SQuAD 2.0数据的人体评价（Rajpurkar等人，2018）证明，所提出的模型在生成对话响应方面优于基线CoQA和QuAC模型。我们通过对CoQA数据集进行测试，进一步展示了我们模型的可扩展性。代码和数据可在https://github.com/abaheti95/QADialogSystem上获得。
2020-12-17 cs.CL
Using Synthetic Data for Conversational Response Generation in Low-resource Settings
Center for Language Technologies (CeLT), De La Salle University（德拉萨大学语言技术中心）
响应生成是自然语言处理（NLP）中的一项任务，其中模型被训练以响应人类语句。会话响应生成器更进一步，能够在先前响应的上下文中进行响应。虽然有现有的技术来训练这些模型，但它们都需要大量的会话数据，而这些数据并不总是适用于低资源语言。在这项研究中，我们做了三个贡献。首先，我们发布了从一个流行的菲律宾在线论坛收集的第一个菲律宾会话数据集，我们将其命名为PEx会话数据集。其次，我们引入了一个数据增强（DA）的方法，菲律宾的数据采用TagamerRoBERTA模型，以增加现有语料库的大小。最后，我们发布了第一个菲律宾会话响应生成器，能够生成与前3个响应相关的响应。通过补充合成数据，与零合成数据的训练相比，我们能够将响应生成器的BERTScore性能提高12.2%，困惑度提高10.7%，内容词使用率提高11.7%。
2022-04-06 cs.CL
Few-Shot and Training-Free Review Generation via Conversational Prompting
针对少样本和免训练场景下的个性化评论生成，提出对话式提示方法，通过将用户评论重构为多轮对话，显著提升生成评论与目标用户风格的一致性。
2025-09-25 cs.CL cs.IR
A Combined Encoder and Transformer Approach for Coherent and High-Quality Text Generation
New York University（纽约大学）；Purdue University（普渡大学）；Northeastern University（东北大学）；George Washington University（乔治华盛顿大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出BERT-GPT-4混合模型，结合BERT的语义理解与GPT-4的生成能力，在困惑度和BLEU上超越GPT-3等传统模型，实现更连贯、接近人类的文本生成。
2024-11-19 cs.CL
DRIVE: Disfluency-Rich Synthetic Dialog Data Generation Framework for Intelligent Vehicle Environments
Indian Institute of Technology Bombay（印度理工学院班加罗尔学院）
提出 DRIVE 框架下的 DiscoDrive 合成语料库，在七类车载多轮对话中动态融入不流利现象，验证其可提升模型性能、低资源增强效果与人评自然度。
2025-07-26 cs.CL
