Tweet to News Conversion: An Investigation into Unsupervised Controllable Text Generation
Department of Computer Science
随着最近深度学习模型（如编码器-解码器）的出现，文本生成器系统变得非常流行。在没有监督的情况下控制生成的输出的信息和风格是一项重要且具有挑战性的自然语言处理（NLP）任务。在本文中，我们定义的任务是从一组灾难域推文构建一个连贯的段落，没有任何并行数据。我们通过在管道中建立两个系统来解决这个问题。第一个系统专注于无监督的风格转换，并将个人推文转换为新闻句子。第二个系统将第一个系统的输出拼接在一起，形成一个连贯的新闻段落。我们还提出了一种新的训练机制，通过将句子分割成命题并训练第二个系统合并句子。我们创建了一个验证和测试集组成的推文集和他们的等效新闻段落进行实证评估。在完全无监督的环境中，我们的模型能够获得19.32的BLEU分数，同时成功地转换风格并连接推文以形成有意义的新闻段落。
2020-08-21 cs.CL cs.LG
tax2vec: Constructing Interpretable Features from Taxonomies for Short Text Classification
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；University of Nova Gorica（新戈里察大学）
在文本分类任务中，背景知识的使用在很大程度上未被利用。本文探讨了词分类作为手段，用于构建新的语义特征，这可能会提高学习分类器的性能和鲁棒性。我们提出了tax2vec，一个并行算法，用于构建基于分类的功能，并展示了其使用六个短文本分类问题：预测性别，性格类型，年龄，新闻主题，药物副作用和药物有效性。构建的语义特征，结合快速线性分类器，测试对强基线，如层次注意神经网络，实现了可比的分类结果短文本文档。该算法的性能也进行了测试，在少样本学习设置，包括语义特征，可以提高在数据稀缺的情况下的性能。tax2vec提取特定于语料库的语义关键字的能力也被证明。最后，我们调查的语义空间的潜在功能，我们观察到的相似性与著名的齐普夫定律。
2020-04-23 cs.CL
Heterogeneous Subgraph Transformer for Fake News Detection
School of Computing, Macquarie University（麦考瑞大学计算学院）；School of Information Management, Wuhan University（武汉大学信息管理学院）
本文提出异构子图Transformer（HeteroSGT）用于假新闻检测，通过构建异构图并利用预训练语言模型和带重启的随机游走提取子图，在五个真实数据集上优于基线模型。
2024-04-19 cs.AI cs.CL
Constructing Financial Sentimental Factors in Chinese Market Using Natural Language Processing
Likelihood Technology；Sun Yat-sen University（中山大学）
本文设计了一个综合的算法来评估中国市场的情绪。首先，在浏览器自动化的帮助下，我们从几个有影响力的金融网站自动抓取了大量的新闻和评论。其次，利用自然语言处理（NLP）技术，包括分词、Word2vec词嵌入和语义数据库WordNet，计算新闻和评论的情感得分，构建情感因子。在这里，我们建立了一个特定的金融情感词汇，使情感因素可以反映金融市场的情绪，而不是一般的情绪，如快乐，悲伤等。第三，我们还实现了标准的情感因素的调整。我们的实验结果表明，我们的标准情感因子与中国市场之间存在显著的相关性，调整后的因子信息量更大，与中国市场的相关性更强。因此，我们的情感因素可以成为投资决策时的重要参考。特别是在2015年中国股市暴跌期间，调整后的情绪因子与上证指数的Pearson相关系数为0.5844，这表明我们的模型可以提供坚实的指导，特别是在市场受公众情绪影响很大的特殊时期。
2018-09-22 cs.CL q-fin.CP
Modeling Multi-level Context for Informational Bias Detection by Contrastive Learning and Sentential Graph Network
Shanghai Jiao Tong University（上海交通大学）
新闻报道中普遍存在信息偏差。它是指对某一实体的特定方面提供片面的、选择性的或暗示性的信息，以指导特定的解释，从而使读者产生偏见。句子层面的信息偏见检测是一项非常具有挑战性的任务，因为这种偏见只能与上下文一起揭示，例如从各种来源收集信息或结合背景分析整篇文章。在本文中，我们整合了三个层次的上下文来检测英语新闻文章中的事件级信息偏差：相邻的句子，整篇文章，和来自其他新闻媒体的文章描述同一事件。我们的模型MultiCTX（Multi-level ConteXt）使用对比学习和句子图以及图注意网络（GAT），通过策略性地组成对比三元组和在事件内构造句子图来编码不同阶段的这三个程度的上下文。我们的实验证明，对比学习与句子图一起有效地结合了不同程度的上下文，并显着优于目前的SOTA模型的信息偏见检测逐行。
2022-01-25 cs.CL
Unit Dependency Graph and its Application to Arithmetic Word Problem Solving
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
数学应用题为一系列涉及数量推理的自然语言理解问题提供了自然抽象，例如解释选举结果、伤亡新闻和报纸的金融部分。与量相关的单位通常提供支持这种推理的必要信息。本文提出了一种原则性的方法来捕获和推理单位，并展示了它如何有利于算术字问题求解器。本文提出了单位依赖图（UDG）的概念，它提供了一个紧凑的表示在给定的问题中提到的数字之间的依赖关系。引入UDG消除了单元提取系统的脆弱性，并允许一种自然的方式来利用关于单元兼容性的领域知识来解决应用题。我们引入了一个分解模型，用于以最少的附加注释诱导UDG，并使用它通过约束推理框架来增强（Roy和Roth 2015）的算术单词问题求解器中使用的表达式。我们表明，引入UDG的解决方案的错误减少了10%以上，超过了所有现有的系统解决算术字问题。此外，它还使系统更健壮地适应新的词汇表和方程形式。
2016-12-03 cs.CL
Constructing Contrastive samples via Summarization for Text Classification with limited annotations
Zhejiang University（浙江大学）；IBM Research（IBM研究院）；Squirrel AI Learning（松鼠AI）
对比学习已经成为一种功能强大的表示学习方法，并促进了各种下游任务，特别是当监督数据有限时。如何通过数据增强构造有效的对比样本是其成功的关键。与视觉任务不同，用于对比学习的数据增强方法在语言任务中还没有得到充分的研究。在本文中，我们提出了一种新的方法来构建对比样本的语言任务，使用文本摘要。我们使用这些样本进行监督对比学习，以获得更好的文本表示，这极大地有利于有限注释的文本分类任务。为了进一步改进该方法，我们混合了来自不同类别的样本，并在交叉熵损失之外添加了一个额外的正则化，名为Mixsum。在真实文本分类数据集（Amazon-5、Yelp-5、AG News和IMDb）上的实验证明了所提出的基于摘要的数据增强和Mixsum正则化的对比学习框架的有效性。
2021-11-29 cs.CL cs.LG
Supernova Event Dataset: Interpreting Large Language Models' Personality through Critical Event Analysis
Stanford University（斯坦福大学）；Mila, Quebec AI Institute（魁北克AI研究院）
本文提出超新星事件数据集，通过让LLM提取和排序关键事件，并由裁判模型推断其个性，揭示不同模型的决策风格，提升可解释性。
2025-06-22 cs.AI cs.CL
Constructing Narrative Event Evolutionary Graph for Script Event Prediction
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
脚本事件预测需要一个模型来预测给定现有事件上下文的后续事件。以往基于事件对或事件链的模型不能充分利用密集的事件连接，从而限制了它们的事件预测能力。为了解决这个问题，我们建议构建一个事件图，以更好地利用事件网络信息进行脚本事件预测。特别地，我们首先从大量的新闻语料中提取叙事事件链，然后基于提取的链构建叙事事件进化图（NEEG）。NEEG可以被看作是描述事件演化原理和模式的知识库。为了解决NEEG上的推理问题，我们提出了一个缩放的图神经网络（SGNN）来建模事件交互和学习更好的事件表示。SGNN每次只处理相关节点，而不是计算整个图的表示，这使得我们的模型适用于大规模图。通过比较输入上下文事件表示与候选事件表示之间的相似度，可以选择最合理的后续事件。在广泛使用的纽约时报语料库上的实验结果表明，我们的模型显着优于国家的最先进的基线方法，使用标准的多项选择叙事完形填空评估。
2018-05-16 cs.AI cs.CL
PROPHET: An Inferable Future Forecasting Benchmark with Causal Intervened Likelihood Estimation
Peking University（北京大学）；Wuhan University（武汉大学）；Beihang University（北京航空航天大学）
PROPHET引入了基于因果干预似然估计的可推断未来预测基准，通过CIL评估预测问题的可推断性，提升未来事件预测的准确性与可靠性。
2026-01-27 cs.CL
Tense, aspect and mood based event extraction for situation analysis and crisis management
Middle East Technical University（中东科技大学）；Graduate School of Informatics（信息学研究生院）
现在的事件抽取系统主要处理相对少量的关于情景的时间和模态限定的信息，主要处理过去时态的断言句。然而，具有更广泛的时态、体和语气覆盖范围的系统可以提供更好的分析，并且可以用于更广泛的文本分析应用。本论文针对土耳其语开发了一个这样的系统。这是通过扩展开放源代码信息挖掘和分析（OPTIMA）研究小组的事件提取软件，通过实现适当的扩展的语义表示格式，通过添加一个部分语法，提高TAM（时态，方面和语气）标记，副词分析和匹配功能的Express，并通过构建一个适当的词典在CORLEONE的标准。这些扩展基于IV锚定关系理论（Temürcü，2007，2011），这是一个跨语言适用的语义框架，用于分析时态，体和语气相关类别。其结果是一个系统，它可以，除了提取基本的事件结构，分类的句子在新闻报道中，根据其时间，模态和意志/言外之言的价值。虽然重点是土耳其语的自然灾害、疾病爆发和人为灾害的新闻报道，但这种方法可以适用于其他语言、领域和体裁。这一事件提取和分类系统经过进一步发展，可以为自动浏览系统提供基础，以防止环境和人道主义风险。
2020-08-01 cs.CL
Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting
Amazon AWS（亚马逊云科技）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Amazon Benchmarking（亚马逊基准测试部门）
本研究利用大语言模型（GPT-4与Open-LLaMA）对NASDAQ-100股票进行可解释的金融时间序列预测，通过跨序列推理和多模态信息整合，优于ARMA-GARCH等基线模型，展示了LLM在此领域的潜力。
2023-06-19 cs.AI cs.CL cs.LG
Dynamic Global Memory for Document-level Argument Extraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从新闻文章中提取事件的信息论元是信息抽取中一个具有挑战性的问题，它要求对每个文档有全局的上下文理解。虽然最近关于文档级提取的工作已经超越了单句，并增加了端到端模型的跨句推理能力，但它们仍然受到某些输入序列长度约束的限制，并且通常忽略事件之间的全局上下文。为了解决这个问题，我们引入了一个新的基于全局神经生成的框架，用于文档级事件参数提取，方法是构建一个文档内存存储来记录上下文事件信息，并利用它来隐式和显式地帮助解码后续事件的参数。实验结果表明，我们的框架大大优于以前的方法，它是更强大的对抗注释的例子与我们的约束解码设计。(Our代码和资源可在https://github.com/xinyadu/memory_docie上获得，以供研究之用。）
2022-09-18 cs.CL
Post-Training Language Models for Continual Relation Extraction
Freie Universität Berlin（柏林自由大学）；Technische Universität Berlin（柏林技术大学）；Fraunhofer Institute for Open Communication Systems（弗劳恩霍夫开放通信系统研究所）
针对现实动态数据下传统关系抽取模型难以适应数据演变的问题，本研究将预训练语言模型（含大型语言模型）应用于持续关系抽取，利用记忆回放缓解灾难性遗忘，在TACRED和FewRel数据集上验证了模型性能优于早期方法，推动动态实时关系抽取研究。
2025-08-25 cs.CL
AgREE: Agentic Reasoning for Knowledge Graph Completion on Emerging Entities
针对新兴实体知识图谱补全难题，提出基于智能体的AgREE框架，结合迭代检索与多步推理，无需训练即显著提升三元组构建性能，最高提升13.7%，并引入新评估方法与基准。
2025-08-06 cs.AI cs.CL
Building A User-Centric and Content-Driven Socialbot
为了构建Sounding Board，我们开发了一个能够容纳我们为社交机器人对话设计的对话策略的系统架构。该体系结构包括一个多维的语言理解模块，用于分析用户的话语，一个分层对话管理框架的对话上下文跟踪和复杂的对话控制，和一个语言生成过程，实现响应计划，并作出调整语音合成。此外，我们构建了一个新的知识库，通过从各种来源收集社交聊天内容来为社交机器人提供动力。该系统的一个重要贡献是知识库和对话管理之间的协同作用，即，使用图形结构来组织知识库，使得对话框控制在将相关内容引入讨论中时非常有效。我们利用比赛期间从Sounding Board收集的数据，对社交机器人对话和用户评分进行了深入分析，为社交机器人的评估方法提供了有价值的见解。我们还调查了一种新的方法，系统的评估和诊断，允许评分个别对话段的对话。最后，观察到socialbots遭受浅对话与非结构化数据相关的主题的问题，我们研究的问题，使扩展的socialbot对话的基础上的文件。为了将机器阅读和对话控制技术结合起来，提出了一种基于图形的文档表示方法，以及自动构建图形的方法。使用基于图形的表示，对话框控制可以通过检索节点或沿着图形中的边移动来执行。为了说明使用，混合主动对话策略被设计用于新闻文章上的社交机器人对话。
2020-05-06 cs.AI cs.CL cs.HC
