Trouble on the Horizon: Forecasting the Derailment of Online Conversations as they Develop
Cornell University(康奈尔大学)
在线讨论往往会导致参与者之间的有害交流。最近的努力主要集中在事后检测反社会行为,通过孤立地分析单个评论。为了向人类版主提供更及时的通知,系统需要在对话实际上变得有毒之前先发制人地检测到对话正在脱轨。这意味着将出轨建模为对话的新兴属性,而不是孤立的话语级事件。然而,预测新兴的会话属性,提出了一些固有的建模挑战。首先,由于对话是动态的,预测模型需要捕捉讨论的流程,而不是单个评论的属性。其次,真实的对话具有未知的范围:它们可以随时结束或脱轨;因此,随着对话的发展,实用的预测模型需要以在线方式评估风险。在这项工作中,我们引入了一个会话预测模型,学习会话动态的无监督表示,并利用它来预测未来的出轨会话的发展。通过将该模型应用于两个新的不同的带有反社会事件标签的在线对话数据集,我们表明它在预测出轨方面优于最先进的系统。
2019-09-03 cs.AI cs.CL cs.CY
OceanAI: A Conversational Platform for Accurate, Transparent, Near-Real-Time Oceanographic Insights
North Carolina State University(北卡罗来纳州立大学);NOAA(国家海洋和大气管理局)
OceanAI将开源大语言模型与NOAA实时海洋数据流结合,通过实时API调用生成可验证、可复现的海洋学回答与可视化,在盲比中优于现有AI聊天产品,为海洋决策支持提供了透明可扩展的框架。
2025-11-06 cs.AI cs.CE cs.CL
ConvKGYarn: Spinning Configurable and Scalable Conversational Knowledge Graph QA datasets with Large Language Models
Apple(苹果公司);University of Waterloo(滑铁卢大学);University of Calgary(卡尔加里大学);Adobe(奥多比公司)
针对现有对话式KGQA数据集难以适配快速变化的用户需求的问题,提出可扩展方法ConvKGYarn以生成可配置的最新对话式KGQA数据集,经证实质量媲美主流数据集,可用于夯实KGQA基础、评估LLM参数化知识。
2024-08-12 cs.CL cs.IR cs.LG
KGConv, a Conversational Corpus grounded in Wikidata
Orange Innovation(奥兰治创新公司);CNRS(法国国家科学研究中心);LORIA(洛林信息学及其应用研究实验室)
提出KGConv,一个基于Wikidata的71k对话语料库,每个问答对基于事实,平均8.6个问题,提供多问题变体,并给出对话式问题生成基线,支持多种生成与分析任务。
2023-08-29 cs.AI cs.CL
Information for Conversation Generation: Proposals Utilising Knowledge Graphs
City St George's, University of London(伦敦城市圣乔治大学)
本文提出三项利用知识图谱增强大语言模型对话生成的方案,分别解决动态知识整合、情感对齐和角色一致性问题。
2024-10-21 cs.AI cs.CL
Towards Understanding Counseling Conversations: Domain Knowledge and Large Language Models
Purdue University(普渡大学)
本文研究心理咨询对话理解问题,提出结合人工标注领域知识与大语言模型生成特征作为额外上下文,使模型性能提升约15%,证明二者可有效改善对话表征。
2024-02-22 cs.CL
Contrastive Learning Reduces Hallucination in Conversations
Shandong University(山东大学);University of Amsterdam(阿姆斯特丹大学)
预先训练的语言模型(LM)将知识存储在其参数中,并且当用于会话系统中时可以生成信息性响应。然而,LMs遭受“幻觉“的问题:它们可能会产生看似不相关或事实上不正确的陈述。为了解决这个问题,我们提出了一个对比学习计划,命名为MixCL。提出了一种新的混合对比目标,以显式优化LM的隐式知识获取过程,从而减少他们在对话中的幻觉。我们还研究了检索到的硬底片和模型生成的底片的负采样策略。我们在维基百科的向导上进行实验,这是一个公共的,开放领域的知识基础对话基准,并评估MixCL的有效性。MixCL有效地减少了会话中LM的幻觉,并在相关性和真实性方面达到了基于LM的对话代理的最高性能。我们表明,MixCL实现了与最先进的基于KB的方法相当的性能,同时在效率和可扩展性方面具有显着的优势。
2022-12-20 cs.AI cs.CL
Conversational Question Answering with Reformulations over Knowledge Graph
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
本文提出基于强化学习的CornNet模型,利用大语言模型生成的问题改写构建教师-学生架构来改进问题表示,从而提升知识图谱对话式问答的性能。
2024-03-29 cs.AI cs.CL
Wait! There's a Way Out: A Decision Mechanism for Forecasting Conversational Derailment
Cornell University(康奈尔大学)
提出一种基于前瞻性模拟的延迟决策机制,在预测对话偏离时通过评估紧张时刻的恢复可能性来降低误报率,同时保持预测准确性。
2026-05-28 cs.AI cs.CL cs.CY
Conversation Derailment Forecasting with Graph Convolutional Networks
York University(约克大学);Portland State University(波特兰州立大学)
本文提出一种基于图卷积神经网络的模型,通过考虑用户动态和公众舆论影响来预测在线对话脱轨,在CGA和CMV基准上分别超越最先进模型1.5%和1.7%。
2023-06-22 cs.CL
Towards Harnessing Large Language Models for Comprehension of Conversational Grounding
National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院);Technical University of Munich(慕尼黑工业大学)
本研究通过信息寻求对话实验,分析大语言模型在分类对话轮次和预测共识知识元素方面的能力,揭示其挑战,并提出利用流水线架构与知识库提升模型理解能力,以优化对话系统。
2024-06-03 cs.CL
KnowsLM: A framework for evaluation of small language models for knowledge augmentation and humanised conversations
AIGuruKul Foundation(AIGuruKul基金会)
本研究针对中小型语言模型生成类人对话的挑战,通过KnowsLM框架分析LoRA秩、数据集规模等因素对知识保留和风格对齐的影响,发现微调与RAG增强模型各有优劣。
2025-04-13 cs.CL
Leveraging Speech Acts for Low-Data and Cross-Domain Conversation Derailment Forecasting
The University of Melbourne(墨尔本大学)
该研究针对对话偏离预测在低数据与跨领域场景下的不足,提出结合言语行为与文本语义的辅助学习方法,在三个数据集上取得了性能提升。
2026-09-10 cs.CL
Knowledge Graphs and Pre-trained Language Models enhanced Representation Learning for Conversational Recommender Systems
Griffith University(格里菲斯大学);School of Information and Communication Technology(信息与通信技术学院)
本文提出KERL框架,融合知识图谱与预训练语言模型增强对话推荐系统中的实体表示,并构建WikiMKG知识图谱,在推荐和回复生成任务上达到最优性能。
2024-05-01 cs.AI cs.CL cs.IR
Towards Unified Conversational Recommender Systems via Knowledge-Enhanced Prompt Learning
Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文针对对话推荐中推荐与对话模块架构割裂、整合困难的问题,提出基于知识增强提示学习的统一模型 UniCRS,在两个公开数据集上验证了有效性。
2022-06-19 cs.AI cs.CL cs.IR
QAConv: Question Answering on Informative Conversations
Salesforce AI Research(Salesforce人工智能研究院);The Hong Kong University of Science and Technology(香港科技大学)
本文介绍了QAConv,一个新的问答(QA)数据集,使用会话作为知识源。我们专注于信息对话,包括商业电子邮件,小组讨论和工作渠道。与开放领域和面向任务的对话不同,这些对话通常很长、复杂、异步,并且涉及强大的领域知识。总的来说,我们从10,259个选定的对话中收集了34,608个QA对,其中包括人类书写和机器生成的问题。我们使用问题生成器和对话摘要作为辅助工具来收集和推荐问题。该数据集有两个测试场景:块模式和完整模式,这取决于是否提供或检索接地部分会话。实验结果表明,最先进的预训练QA系统具有有限的zero-shot性能,并且倾向于将我们的问题预测为无法回答。我们的数据集提供了一个新的训练和评估测试平台,以促进对话研究的QA。
2022-04-14 cs.AI cs.CL cs.IR
Evaluating Theory of (an uncertain) Mind: Predicting the Uncertain Beliefs of Others in Conversation Forecasting
Khoury College of Computer Sciences(库理计算机学院);Northeastern University(东北大学)
研究提出新任务评估心智理论中的不确定性,挑战语言模型在对话预测中量化他人信念的不确定性,实验显示LMs能解释7%方差但任务仍具挑战性。
2024-09-23 cs.AI cs.CL
Dynamic Forecasting of Conversation Derailment
University of Copenhagen(哥本哈根大学)
在线对话有时会变得更糟,这可能是由于系统性的文化差异,意外的误解,或者仅仅是恶意。在公共在线对话中自动预测出轨提供了一个采取早期行动来缓和它的机会。以前在这个领域的工作是有限的,我们在几个方面扩展它。我们将预先训练的语言编码器应用于任务,其性能优于早期方法。我们进一步尝试将任务的训练范式从静态转变为动态,以增加预测范围。这种方法显示了混合的结果:在高质量的数据设置中,可以以F1的小幅下降为代价实现更长的平均预测范围;然而,在低质量的数据设置中,动态训练传播噪声,对性能非常不利。
2021-10-11 cs.CL
LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot
The University of Tokyo(东京大学)
针对人形机器人对话能力受限问题,提出基于LLM的MyBuddy人形机器人对话式AI知识助手,集成语音识别、知识检索与合成,实现多轮连续对话和情感支持交互。
2026-09-22 cs.AI cs.RO
Conversations Gone Awry, But Then? Evaluating Conversational Forecasting Models
Cornell University(康奈尔大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Harvey Mudd College(哈维·穆德学院)
针对 CGA 对话脱轨预测任务,论文提出首个统一评估框架与新指标,以可靠比较不同架构并衡量模型随对话推进修正预测的能力。
2025-07-25 cs.CL cs.HC
ClarifyMT-Bench: Benchmarking and Improving Multi-Turn Clarification for Conversational Large Language Models
The University of Hong Kong(香港大学);JIUTIAN Research, China Mobile(中移动巨泰研宄院);CityUHK(城市大学)
ClarifyMT-Bench通过多轮对话基准测试和ClarifyAgent代理方法,解决LLM在多轮对话中澄清不足的问题,提升在模糊情境下的鲁棒性。
2025-12-24 cs.CL cs.IR
A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation
Technical University of Munich(慕尼黑工业大学);King’s College London(伦敦国王学院)
本研究针对对话式大语言模型易产生幻觉等问题,对比4款不同规模模型在不同提示技术下基于语义三元组生成文本的表现,发现少样本提示等技术可显著提升其三元组表述能力,小模型提升效果更明显。
2024-02-02 cs.CL
Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory
University of Florida(佛罗里达大学);University of Missouri(密苏里大学)
研究大语言模型中现实监测能力,通过两个实验和六个模型发现来源归因依赖对话记忆结构,反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题,表明评估模型知识时追踪来源很重要。
2026-07-28 cs.AI cs.CL cs.CY
OracleProto: A Reproducible Framework for Benchmarking LLM Forecasting via Knowledge Cutoffs and Temporal Masking
Beijing University of Posts and Telecommunications(北京邮电大学)
OracleProto是用于评估LLM预测的可复现框架,通过知识截止与时间掩码构建受控环境,在24300次试验中评估27组模型配置,残留泄露仅1.37%,支持预测数据集积累与能力系统评估。
2026-10-14 cs.AI
Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems
Delft University of Technology(代尔夫特理工大学)
该研究针对知识管理场景,对比基于LLM与基于意图的对话助手,通过用户研究验证前者在用户体验、任务完成率等多方面更优,为知识管理领域NLP技术选型提供参考。
2024-07-12 cs.AI cs.HC
Hate Cannot Drive out Hate: Forecasting Conversation Incivility following Replies to Hate Speech
University of Arizona(亚利桑那大学);University of North Texas(北得克萨斯大学)
本文提出预测仇恨言论回复后对话不文明程度的新任务,构建更贴合人类判断的指标,分析回复语言差异并评估模型预测挑战。
2023-12-08 cs.CL cs.CY
How Did We Get Here? Summarizing Conversation Dynamics
Cornell University(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出总结对话动态的新任务,构建人类摘要数据集并探索自动化基线,通过预测对话是否脱轨为有毒行为验证其有效性,证明摘要能提升人类和自动系统的预测速度与准确性。
2024-04-29 cs.AI cs.CL cs.CY
ERFC: Happy Customers with Emotion Recognition and Forecasting in Conversation in Call Centers
Center for Advanced AI, Accenture(Accenture高级人工智能中心)
本文提出ERFC架构,融合多模态、情绪属性、上下文及说话者话语间依赖关系,在对话中识别并预测未来话语情绪,以帮助呼叫中心客服在恰当时机提供解决方案,提升客户满意度。
2025-09-17 cs.CL
Observing Dialogue in Therapy: Categorizing and Forecasting Behavioral Codes
University of Utah(犹他大学);University of Washington(华盛顿大学)
本文提出基于神经网络的对话观察器,用于分类和预测动机性访谈中的行为编码,以提供实时治疗指导,实验证明其优于多个基线。
2019-06-30 cs.AI cs.CL cs.HC
Hashing it Out: Predicting Unhealthy Conversations on Twitter
UC Berkeley(加州大学伯克利分校)
本文提出基于注意力的BERT模型,在推特语料上预训练并微调,用于预测对话脱轨,性能优于LSTM,且通过合成过采样在小数据集上有效。
2023-11-17 cs.AI cs.CL
Know Deeper: Knowledge-Conversation Cyclic Utilization Mechanism for Open-domain Dialogue Generation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
端到端智能神经对话系统存在产生不一致和重复响应的问题。现有的对话模型只注重在对话中单方面加入个人知识,而忽略了将与个人相关的对话信息作为双边信息流加入到个人知识中对后续对话质量的提升作用。此外,在会话层面上控制个人知识的使用也是必不可少的。在本文中,我们提出了一个会话自适应的多视角的人物感知响应生成模型,旨在提高会话的一致性和减少重复从两个折叠。首先,我们从多个角度考虑会话一致性。从人物模型的角度出发,设计了一种新颖的交互模块,不仅可以迭代地将个性化知识融入到每一轮会话中,还可以从会话中捕获与人物相关的信息,以增强个性化知识的语义表示。从说话风格的角度出发,引入说话风格向量,并将其输入到解码器中,以保持说话风格的一致性。为了避免会话重复,我们设计了一个覆盖机制来跟踪个人知识利用的激活。自动和人工评价的实验验证了我们的模型优于以前的模型。
2021-07-16 cs.AI cs.CL
Knowledge-Grounded Conversational Data Augmentation with Generative Conversational Networks
Amazon(亚马逊)
虽然丰富的开放域文本数据通常是可用的,并且可能包括有趣的现象(幽默,讽刺,同情等)。大多数是为语言处理任务设计的,并且通常是非会话格式。在这项工作中,我们采取了一个步骤自动生成会话数据使用生成会话网络,旨在受益于可用的语言和知识数据的广度,并训练开放域社会会话代理。我们使用自动指标和人工评估器评估我们在话题聊天数据集上有知识和没有知识的对话上的方法。我们的研究结果表明,对于没有知识基础的对话,GCN可以从种子数据中概括出来,产生相关性较低但更具吸引力的新对话,对于知识基础的对话,它可以产生更多的以知识为中心,流畅和吸引人的对话。具体来说,我们表明,对于具有10%种子数据的开放域对话,我们的方法的性能接近使用100%数据的基线,而对于基于知识的对话,它只使用1%的数据,就人类对流畅性,流畅性和相关性的评价而言,达到了相同的效果。
2022-07-22 cs.CL
Alignment Forecasting: Predicting Misalignment From Training Data
NYU(纽约大学);MATS;OpenAI
提出对齐预测任务,在训练前预测微调数据引发的模型错位,并构建ALIGNMENTFORECASTBENCH基准,通过结合LLM评分和简单学习模型的脚手架,在SFT场景中实现高于随机水平的预测,并能过滤有害数据提升对齐效果。
2026-10-02 cs.AI cs.CL
PoKE: Prior Knowledge Enhanced Emotional Support Conversation with Latent Variable
Beijing Academy of Artificial Intelligence(北京人工智能研究院)
情绪支持会话任务能够利用各种支持策略帮助人们缓解情绪困扰,克服面临的问题,近年来受到了广泛关注。然而,大多数最先进的作品在很大程度上依赖于外部常识知识来推断用户在每一轮对话中的心理状态。虽然有效,但从长远来看,它们可能会受到重大的人为努力,知识更新和领域变化的影响。因此,在本文中,我们专注于探索任务本身,而不使用任何外部知识。我们发现所有现有的作品忽略了ESC的两个重要特征。(a)历史会话中存在着丰富的先验知识,如对相似案例的反应、支持策略的一般顺序等,对当前会话有很大的参考价值。(b)情境与支持策略之间存在一对多的映射关系,即多种策略对单一情境是合理的。它为世代的多样性奠定了更好的基础。考虑到这两个关键因素,我们提出了先验知识增强的情感支持模型的潜在变量,PoKE。该模型充分挖掘了样本和策略序列的先验知识潜力,并利用一个潜在变量对策略的一对多关系进行建模。此外,我们引入了一个记忆模式,将编码的知识到解码器。在基准数据集上的实验结果表明,我们的PoKE在自动评估和人工评估方面都优于现有的基线。与使用外部知识的模型相比,PoKE在某些指标上仍有一定的改进。进一步的实验证明,丰富的先验知识有利于高质量的情感支持,以及一个良好的学习潜变量是至关重要的世代的多样性。
2023-02-15 cs.AI cs.CL
Knowledge-enhanced Memory Model for Emotional Support Conversation
University of Notre Dame(圣母大学);Zhejiang University(浙江大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Alibaba Group(阿里巴巴集团)
针对情感支持对话中情绪多变、回应不实用和策略建模复杂的问题,提出知识增强记忆模型MODERN,通过知识丰富的上下文编码和记忆增强策略建模,在大规模数据集上超越现有基线。
2023-10-11 cs.CL
Forecasting managerial turnover through e-mail based social network analysis
本研究提出一种基于电子邮件社会网络分析的方法来比较主动离职和决定留任的管理者的沟通行为。收集了18个月的电子邮件,我们分析了866名经理的沟通行为,其中111人离开了一家大型全球服务公司。我们通过计算社交网络指标(如介数和接近中心性)和内容分析指标(如情感性和所用语言的复杂性)来比较沟通模式的差异。为了研究管理者脱离的出现,我们根据所检查的电子邮件数据的时间进行了区分。我们观察了经理离职前第5个月和第4个月的沟通情况,发现他们的网络结构和语言使用都有显著变化。研究结果表明,平均而言,辞职的管理者有较低的亲密中心性和较少的参与对话。此外,选择辞职的经理人倾向于从离职前5个月开始改变他们的沟通行为,增加他们的程度和亲密中心性,他们的语言的复杂性,以及他们在中间中心性和他们需要发送给同事的“轻推”的数量的振荡。
2021-05-19 cs.CL cs.SI physics.soc-ph
You Know What I Mean: A Benchmark for Agentic Conversational Reference Grounding
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所)
本研究构建了基于GitHub代码仓库的RepoRef基准,针对对话指代消歧任务,发现现有最优智能体仅达67%成功率,为多工具环境下智能体信息处理研究提供了基准。
2026-09-01 cs.CL cs.IR