Is Stance Detection Topic-Independent and Cross-topic Generalizable? -- A Reproduction Study
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Eindhoven University of Technology(埃因霍温理工大学);Leiden University(莱顿大学)
跨主题立场检测是自动检测看不见的主题上的立场(赞成,反对或中立)的任务。我们成功地再现了国家的最先进的跨主题的立场检测工作(赖默斯等。例如,2019),并系统分析其重现性。然后,我们的注意力转向这项工作的跨主题方面,以及词汇和社会文化背景方面的主题的特殊性。我们问:在多大程度上是立场检测主题独立和概括跨主题?我们比较了模型在各种看不见的主题上的性能,并发现主题(例如堕胎,克隆),类(例如赞成,反对)以及它们的相互作用影响模型的性能。我们的结论是,调查性能不同的主题,并解决特定主题的词汇和上下文,是未来的途径跨主题的立场检测。
2021-10-14 cs.CL
Performing Stance Detection on Twitter Data using Computational Linguistics Techniques
Indiana University(印第安纳大学)
作为人类,我们经常可以从一个人的话语中检测到他或她是否赞成或反对给定的目标实体(主题,产品,另一个人等)。但从计算机的角度来看,我们需要一种方法来自动推断高音喇叭的立场,只给出推文文本。在本文中,我们提出了我们的结果,使用监督的方法对Twitter数据进行姿态检测。我们首先提取词袋来使用TIMBL进行分类,然后尝试优化特征以提高立场检测准确性,然后使用两组词典扩展数据集-争论和MPQA主观性;接下来我们探索MALT解析器并使用其依赖三元组构建特征,最后我们使用Scikit-learn随机森林实现进行分析。
2017-03-06 cs.CL
Distant finetuning with discourse relations for stance classification
Tencent AI Lab(腾讯人工智能实验室)
立场分类任务是理解辩论中的论证和检测假新闻的重要任务,其方法一直依赖于处理单个辩论主题的模型。为了训练一个与主题无关的系统,本文提出了一种新的方法,从原始文本中提取带有银标签的数据,以微调立场分类模型。该提取依赖于特定的话语关系信息,这是一个可靠的和准确的来源,提供立场信息。我们还提出了一个3阶段的训练框架,其中用于微调的数据中的噪声水平在从最嘈杂到最嘈杂的不同阶段降低。详细的实验表明,自动标注的数据集以及3阶段的训练有助于提高模型的立场分类性能。我们的方法在NLPCC 2021共享任务AI Debater的论证性文本理解的立场分类轨道中的26个竞争团队中排名第一,这证实了我们方法的有效性。
2022-04-27 cs.CL
Conclusion-based Counter-Argument Generation
Leibniz University Hannover(汉诺威莱布尼茨大学)
在现实世界的辩论中,反驳论点最常见的方法是反驳其主要观点,即其结论。现有的工作自动生成的自然语言反论点没有解决的关系,结论,可能是因为许多论点离开他们的结论隐含。在本文中,我们假设有效的反论点生成的关键是明确建模的论点的结论,并确保生成的计数器的立场是相反的结论。特别是,我们提出了一个多任务的方法,共同学习生成的结论和计数器的输入参数。该方法采用了一个基于立场的排名组件,该组件从一组不同的生成的候选人中选择计数器,这些候选人的立场最好地反对生成的结论。在自动和手动评估中,我们提供的证据表明,我们的方法比强大的基线生成更多的相关性和坚持立场的计数器。
2023-01-24 cs.CL
Multilingual Stance Detection: The Catalonia Independence Corpus
University of the Basque Country UPV/EHU(巴斯克大学(UPV/EHU));Intercom Strategys(Intercom战略公司)
立场检测旨在确定给定文本相对于特定主题或主张的态度。虽然在过去的几年里,姿态检测已经得到了相当好的研究,但大多数工作都集中在英语上。这主要是由于相对缺乏其他语文的注释数据。在IberEval 2018上发布的TW-10全民投票数据集是以前的努力,以提供加泰罗尼亚语和西班牙语的多语言stance注释数据。不幸的是,TW-10加泰罗尼亚子集是非常不平衡的。本文解决了这些问题,提出了一个新的多语言数据集的立场检测在Twitter的加泰罗尼亚语和西班牙语,目的是促进研究立场检测在多语言和跨语言设置。该数据集注释了对一个主题的立场,即加泰罗尼亚的独立。我们还提供了一个半自动的方法来注释数据集的基础上分类的Twitter用户。我们在新的语料库上进行了一些有监督的方法的实验,包括线性分类器和深度学习方法。我们的新语料库与TW-10数据集的比较显示了一个平衡良好的语料库对多语言和跨语言研究的优势和潜力。最后,我们在TW-10数据集上为加泰罗尼亚语和西班牙语建立了新的最先进的结果。
2020-03-31 cs.CL
Zero-Shot Stance Detection in the Wild: Dynamic Target Generation and Multi-Target Adaptation
School of Information Engineering, Minzu University of China(中国民族大学信息工程学院);National Language Resource Monitoring and Research Center of Minority Languages, Beijing(少数民族语言资源监测与研究中心);Institute of National Security, Minzu University of China(中国民族大学国家安全学院);School of Minority Languages and Literatures, Minzu University of China(中国民族大学少数民族语言文学学院)
本文提出野外零样本立场检测任务,通过动态目标生成和多目标适应方法,利用微调后的大型语言模型在社交媒体文本中实现高精度的目标-立场识别。
2026-01-31 cs.CL
OpenStance: Real-world Zero-shot Stance Detection
Temple University(天普大学)
先前的研究zero-shot立场检测确定的态度,对未见过的主题发生在同一个文档语料库的文本。这种任务制定有三个限制:(i)单一域/数据集。一个系统是从一个单一的域的特定数据集上进行优化,因此,所得到的系统不能很好地工作在其他数据集上;(ii)该模型进行评估的数量有限的看不见的主题;(iii)它被认为是部分的主题有丰富的注释,这可能是不可能的在现实世界中的应用。这些缺点将导致一个不切实际的立场检测系统,无法推广到开放领域和开放形式的主题。这项工作定义了OpenStance:开放域zero-shot姿态检测,旨在处理开放世界中的姿态检测,既没有域约束,也没有特定于主题的注释。OpenStance的关键挑战在于开放领域泛化:学习一个具有完全非特定监督但能够泛化到任何数据集的系统。为了解决OpenStance问题,我们建议结合间接监督(来自文本蕴涵数据集)和弱监督(来自预训练的语言模型自动生成的数据)。我们的单一系统,没有任何特定主题的监督,在三个流行的数据集上优于监督方法。据我们所知,这是第一个工作,研究立场检测下的开放域zero-shot设置。所有数据和代码都是公开发布的。
2022-10-25 cs.CL
MoPrO-SD: Modular Prompt Optimization for Stance Detection
Kansas State University(堪萨斯州立大学);University of Illinois Chicago(芝加哥伊利诺伊大学)
本研究提出面向立场检测的模块化提示优化框架MoPrO-SD,引入新基准VaccineStance,通过三类优化策略在多数据集与多LLM上验证其性能优于人工提示,相关资源已开源。
2026-10-12 cs.CL
FarExStance: Explainable Stance Detection for Farsi
Dublin City University(都柏林城市大学);Iran University of Science and Technology(伊朗科技大学);Dadmatech(Dadmatech公司);University of Birmingham(伯明翰大学);Cardiff University(卡迪夫大学)
本文提出了波斯语可解释立场检测新数据集FarExStance,通过比较微调RoBERTa与多种大语言模型在多种设置下的表现,发现不同模型在立场检测准确性和解释质量上各有优势。
2024-12-18 cs.CL
MT2-CSD: A New Dataset and Multi-Semantic Knowledge Fusion Method for Conversational Stance Detection
College of Big Data and Internet, Shenzhen Technology University(大数据与互联网学院,深圳技术大学);University of Washington(华盛顿大学);University of Science and Technology of China(中国科学技术大学)
本文提出最大规模多目标多轮对话立场检测数据集MT2-CSD,并设计大语言模型增强的对话关系注意力网络LLM-CRAN,实验证明其显著优于强基线模型。
2025-07-04 cs.CL
Explicit, Not Longer: What Makes Epistemic Stance Survive Memory Compression
本研究探究使认知立场在记忆压缩中留存的因素,发现将立场表述为带标签的字段可提升留存率,明确立场而非仅延长表述是关键,明确的最佳方式取决于模型。
2026-08-10 cs.AI cs.CL cs.LG
Contrastive Language Adaptation for Cross-Lingual Stance Detection
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们研究跨语言的立场检测,其目的是利用一种语言的标记数据,以确定相对的角度(或立场)的一个给定的文件相对于一个不同的目标语言的索赔。特别是,我们介绍了一种新的对比语言适应方法应用于记忆网络,它确保了准确对齐的立场在源和目标语言,并能有效地处理有限的标记数据在目标语言的挑战。公共基准数据集上的评估结果以及与当前最先进方法的比较表明了该方法的有效性。
2019-10-04 cs.CL cs.LG
Bridging the Domain Gap for Stance Detection for the Zulu language
Innopolis University(Innopolis大学);Sorbonne Center for Artificial Intelligence, Sorbonne University(索邦大学索邦人工智能中心);IT University of Copenhagen(哥本哈根信息技术大学)
由于错误信息在我们的信息源中的传播,错误信息已成为近年来的一个主要问题。在过去的几年里,许多NLP任务已经被引入到这一领域,一些系统在英语数据集上取得了良好的效果。现有的基于人工智能的方法来对抗文献中的错误信息,建议自动检测姿态作为成功的第一步。我们的论文旨在利用英语的这一进步,将这些知识转移到其他语言中,这是一个不平凡的任务,由于英语和目标语言之间的领域差距。我们提出了一种黑盒非侵入性的方法,利用技术从领域自适应,以减少域的差距,而不需要任何人类的专业知识,在目标语言,利用低质量的数据在监督和无监督的方式。这使我们能够迅速实现类似的结果,祖鲁语的立场检测,在这项工作中的目标语言,发现英语。我们还提供了祖鲁语的立场检测数据集。我们的实验结果表明,通过利用英语数据集和机器翻译,我们可以提高英语数据以及其他语言的性能。
2022-05-06 cs.CL
Fine-Tune Longformer for Jointly Predicting Rumor Stance and Veracity
[24]7.ai
社交媒体的使用增加导致了甚至未经证实的新闻和事件的流行,导致谣言在网络上传播。由于社交媒体平台的广泛使用和使用量的增加导致了数据的大量可用。处理如此大的数据的手动方法成本高且耗时,因此自动处理和验证这些内容以发现谣言的存在已经引起了越来越多的关注。大量的研究表明,对此类事件和新闻的讨论帖中帖子的立场进行识别,是判断谣言真实性的重要前置步骤。在本文中,我们提出了一个多任务学习框架,用于联合预测SemEval 2019 RumorEval发布的数据集的谣言立场和真实性:确定谣言的真实性和对谣言的支持(SemEval 2019任务7),其中包括来自Reddit和Twit-ter的各种突发新闻故事的社交媒体谣言。我们的框架由两部分组成:a)我们框架的底部部分通过对多轮对话进行建模,对讨论谣言的对话线程中的每个帖子的立场进行分类,并使每个帖子都知道它的相邻帖子。b)上半部分预测具有从下半部分获得的立场演变的会话线程的谣言真实性。在SemEval 2019 Task 7数据集上的实验结果表明,该方法在谣言立场分类和准确性预测方面都优于以前的方法
2020-10-22 cs.CL
Hate Towards the Political Opponent: A Twitter Corpus Study of the 2020 US Elections on the Basis of Offensive Speech and Stance Detection
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机器语言处理研究所)
2020年美国大选比以往任何时候都更加以社交媒体活动和相互指责为特征。我们在本文中调查,如果这也体现在候选人拜登和特朗普的支持者的在线通信,通过发出仇恨和攻击性的通信。我们制定了一个注释任务,在其中我们加入了仇恨/攻击性言论检测和立场检测的任务,并注释3000推文从竞选期间,如果他们表达了特定的立场对候选人。在已建立的赞成和反对类别旁边,我们添加了混合和中立的立场,并且如果候选人在没有意见表达的情况下被提及,也会进行注释。此外,如果推文是以攻击性的风格写的,我们会进行注释。这使我们能够分析乔·拜登和民主党的支持者与唐纳德·特朗普和共和党的支持者的沟通方式是否不同。BERT基线分类器显示,如果某人是候选人的支持者,则可以高质量地执行检测(特朗普的.89 F1和拜登的.91 F1),而某人表示反对候选人的检测更具挑战性(分别为.79 F1和.64 F1)。仇恨/攻击性言论的自动检测仍然具有挑战性(使用.53 F1)。我们的语料库是公开的,构成了一个新的资源计算建模的进攻性语言的立场下考虑。
2021-03-02 cs.CL
Modeling Conversation Structure and Temporal Dynamics for Jointly Predicting Rumor Stance and Veracity
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
自动验证谣言信息已经成为自然语言处理和社交媒体分析中一项重要且具有挑战性的任务。以往的研究表明,人们对谣言信息的态度可以为判断谣言的真实性提供指示性线索,因此确定公众反应的态度是谣言真实性预测的关键前一步。在本文中,我们提出了一个分层的多任务学习框架,用于联合预测Twitter上的谣言立场和真实性,它由两个组件组成。我们的框架的底部组件分类的立场,在讨论谣言的对话通过建模的结构属性的基础上一种新的图卷积网络的推文。顶部组件预测谣言的真实性,利用立场演变的时间动态。在两个基准数据集上的实验结果表明,该方法在谣言立场分类和准确性预测方面都优于以往的方法。
2019-09-18 cs.CL cs.SI
Stance Reasoner: Zero-Shot Stance Detection on Social Media with Explicit Reasoning
Dalhousie University(达尔豪斯大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能向量研究所)
提出 Stance Reasoner 方法,利用预训练语言模型和思维链上下文学习进行显式推理,在零样本社交媒体立场检测任务中优于现有模型,实现更好的跨目标泛化并提供可解释的预测。
2024-03-22 cs.AI cs.CL
From Stance to Concern: Adaptation of Propositional Analysis to New Tasks and Domains
Institute for Human & Machine Cognition(人类与机器认知研究所);Stony Brook University(石溪大学);Smart Information Flow Technologies(智能信息流技术公司)
我们提出了一个广义的范式适应命题分析(谓词参数对)新的任务和领域。我们利用立场(信仰驱动的情绪)和关注(道德维度/认可的话题)之间的类比来产生解释性表示。一个关键的贡献是结合了半自动资源建设领域相关的关注类型的提取(每个领域2 - 4小时的人力劳动)和一个完全自动的过程提取领域独立的道德维度和认可值。谨慎(自动)的词汇扩展(通过语义相似性)的命题结构的条款选择产生新的道德维度词汇在三个层次的粒度超出了一个强大的基线词汇。我们开发了一个基于专家注释器的地面实况(GT),并将我们的关注检测输出与GT进行比较,在召回率方面比基线提高了231%,而精度仅损失了10%。F1比基线提高了66%,人类表现提高了97.8%。我们的基于词汇的方法产生了大量的节省方法,采用昂贵的人力和模型构建。我们为社区提供了一个新扩展的道德维度/价值词典,注释指南和GT。
2022-03-20 cs.AI cs.CL
Stance Detection in Web and Social Media: A Comparative Study
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);L3S Research Center(L3S研究中心)
在线论坛和社交媒体平台越来越多地被用来讨论不同极性的话题,不同的人采取不同的立场。文献中已经提出了几种用于从文本中自动检测站姿的方法。据我们所知,尚未对其重现性和比较性能进行任何系统研究。在这项工作中,我们探讨了几个现有的立场检测模型,包括神经模型和经典的基于分类器的模型的再现性。通过两个数据集上的实验-(i)~流行的SemEval微博数据集,(ii)~一组健康相关的在线新闻文章-我们还对各种方法进行了详细的比较分析,并探讨了它们的缺点。本文中讨论的所有算法的实现都可以在https://github.com/prajwal1210/Stance-Detection-in-Web-and-Social-Media上获得。
2020-07-12 cs.CL cs.LG
Induce, Align, Predict: Zero-Shot Stance Detection via Cognitive Inductive Reasoning
Shenzhen Technology University(深圳技术大学);University of Science and Technology of China(中国科学技术大学)
本文提出CIRF框架,通过认知归纳推理实现零样本立场检测,实现高效且可解释的推理,在低资源环境下取得新突破。
2026-01-26 cs.CL
Improving Stance Detection by Leveraging Measurement Knowledge from Social Sciences: A Case Study of Dutch Political Tweets and Traditional Gender Role Division
Department of Methodology and Statistics(方法学与统计学系)
本文通过利用社会科学中的测量工具改进传统性别角色划分的立场检测,基于荷兰政治推文数据进行验证。
2026-02-19 cs.CL cs.CY cs.IR
Deep Ensemble Learning for News Stance Detection
The Jheronimus Academy of Data Science(杰罗尼莫斯数据科学学院);University of Sheffield(谢菲尔德大学)
假新闻中的立场检测是新闻真实性评估的重要组成部分,因为该过程通过理解来自不同信息源的对中心主张的立场来帮助事实核查。2017年举行的假新闻挑战赛第一阶段(FNC-1)就是为此目的而设立的,其中包括估计新闻文章主体相对于给定标题的立场。本文从FNC-1中三个性能最好的系统的误差分析入手。基于分析,选择了一个简单但难以击败的多层感知器系统作为基线。之后,我们探讨了三种改进基线的方法:第一种方法探讨了在训练模型时通过添加额外的关键字特征来提高预测精度的可能性,其中关键字被转换为指示向量,然后连接到基线特征。基于错误分析手动选择关键字列表,这可能最能反映假新闻标题和主体的一些特征。为了实现这一选择过程的自动化,本文基于互信息理论,提出了三种算法:基于互信息立场类的关键词生成器、互信息定制类和逐点互信息算法。第二种方法是基于词嵌入的文本相似度计算方法,引入词向量模型,实现了词向量余弦相似度和WMD距离两种文本相似度计算算法。第三种方法是集成学习。不同的模型配置在一起,两个连续的输出组合算法。10倍交叉验证表明,从简单的词袋特征训练的三个神经网络模型的集成提供了最佳性能。因此,它被选中参加FNC-1比赛。经过超参数微调后,选定的深度系综模型在FNC-1的评估指标下以34.25分的优势击败了FNC-1获胜者。
2019-09-13 cs.CL
Are Stereotypes Leading LLMs' Zero-Shot Stance Detection ?
Laboratoire Hubert Curien, UMR CNRS 5516(Hubert Curien实验室,CNRS UMR 5516);Department of Computer Science, Université de Sherbrooke(计算机科学系,Sherbrooke大学)
本文研究大语言模型在零样本立场检测中的刻板印象偏差,通过标注方言和文本复杂度属性,发现模型存在显著偏见,如将支持大麻与低复杂度、非裔方言与反对特朗普错误关联。
2025-10-23 cs.AI cs.CL
Stance Detection with Collaborative Role-Infused LLM-Based Agents
Department of Electronic Engineering, BNRist, Tsinghua University(清华大学电子工程系,北京信息科学与技术国家研究中心)
针对 LLM 直接进行立场检测时知识与推理不足的问题,提出多角色协作、辩论增强的三阶段 COLA 框架,在多个数据集上达到最先进性能。
2024-04-16 cs.AI cs.CL
Topical Stance Detection for Twitter: A Two-Phase LSTM Model Using Attention
IBM Research(IBM研究院);NSIT(Netaji Subhas Institute of Technology);IIT(印度理工学院)
主题立场检测问题解决了检测文本内容相对于给定主题的立场:给定文本内容的情感是否对给定主题有利(积极),反对(消极)或无(中性)。使用注意力的概念,我们开发了一个两阶段的解决方案。在第一阶段,我们对主观性进行分类--一条给定的推文对于给定的主题是中立的还是主观的。在第二阶段,我们对主观推文的情感进行分类(忽略中性推文)-给定的主观推文是否对主题持赞成或反对的立场。我们为每个阶段提出了一个基于长短期记忆(LSTM)的深度神经网络,并在每个阶段嵌入注意力。在SemEval 2016立场检测Twitter任务数据集上,我们获得了68.84%的最佳情况宏F分数和60.2%的最佳情况准确率,优于现有的基于深度学习的解决方案。我们的框架T-PAN是主题立场检测文献中的第一个,它在两阶段架构中使用了深度学习。
2018-01-09 cs.CL cs.IR cs.SI
Stance Detection with Bidirectional Conditional Encoding
University College London(伦敦大学学院);University of Sheffield(谢菲尔德大学)
立场检测是将文本中表达的对目标(如希拉里·克林顿)的态度分类为“积极”、“消极”或“中立”的任务。以前的工作假设目标在文本中被提及,或者每个目标的训练数据被给出。本文认为这一任务更具挑战性的版本,目标并不总是提到,没有训练数据可用于测试目标。我们实验了条件LSTM编码,它构建了一个依赖于目标的tweet表示,并证明了它优于单独编码tweet和目标。当用双向编码增强条件模型时,性能进一步提高。我们在SemEval 2016 Task 6 Twitter Stance Detection语料库上评估了我们的方法,其性能仅次于在测试目标的半自动标记推文上训练的系统。当这种弱监督被添加时,我们的方法实现了最先进的结果。
2016-09-26 cs.CL cs.LG cs.NE
A Survey of Stance Detection on Social Media: New Directions and Perspectives
College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院);College of Computer Science and Software, Shenzhen University(深圳大学计算机与软件学院);Hong Kong University of Science and Technology(香港科技大学);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区网络空间安全学院);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
本文系统综述了社交媒体立场检测的任务定义、数据集、传统模型与基于大语言模型的最新方法,分析了现有研究的优势与不足,并展望了多模态和低资源语言等未来方向。
2024-11-25 cs.CL cs.IR cs.SI
Adversarial Learning-based Stance Classifier for COVID-19-related Health Policies
National University of Defense Technology(国防科技大学)
持续的COVID-19大流行给全球人民造成了不可估量的损失。为了控制病毒的传播和进一步缓解危机,各种卫生政策(例如,这引发了激烈的讨论,因为用户转向在社交媒体上分享他们的态度。在本文中,我们考虑了一个更现实的情况下的立场检测(即,交叉目标和zero-shot设置),并提出一个基于对抗性学习的立场分类器,以自动识别公众对COVID-19相关卫生政策的态度。具体来说,我们采用对抗学习,允许模型在大量标记数据上进行训练,并从源主题中捕获可转移的知识,以便能够推广到具有稀疏标记数据的新兴健康政策。为了进一步增强模型的更深层次的理解,我们将政策描述作为外部知识纳入模型。同时,设计了一个GeoEncoder,它鼓励模型捕获每个区域指定的未观察到的背景因素,然后将它们表示为非文本信息。我们评估了各种基线在COVID-19相关卫生政策的立场检测任务上的性能,实验结果表明,我们提出的方法在交叉目标和zero-shot设置下都达到了最先进的性能。
2023-01-25 cs.CL cs.CY
FAKTA: An Automatic End-to-End Fact Checking System
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们提出FAKTA,这是一个统一的框架,它集成了事实检查过程中的各个组成部分:从媒体源中检索文档,具有各种类型的可靠性,文档的立场检测相对于给定的索赔,证据提取和语言分析。FAKTA预测给定声明的真实性,并在文档和句子层面提供证据来解释其预测
2019-06-07 cs.CL cs.LG stat.ML
AQE: Argument Quadruplet Extraction via a Quad-Tagging Augmented Generative Approach
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学)
本文首次提出论元四元组抽取任务AQE,并构建大规模数据集,同时设计四标签增强生成式方法,实验证明其优于多个强基线。
2023-05-31 cs.CL
Generalizable Self-Evolving Memory for Automatic Prompt Optimization
Zhejiang University(浙江大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Alibaba Group(阿里巴巴集团)
本文提出MemAPO框架,通过双记忆机制积累可推广的提示经验,提升提示优化的泛化能力和持续改进能力。
2026-03-23 cs.CL
Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition
ByteDance(字节跳动)
最近的研究表明,使用外部语言模型(LM)有利于端到端的自动语音识别(ASR)。然而,预测在训练集中出现频率较低的标记仍然具有相当大的挑战性。长尾预测问题在许多应用中得到了广泛的研究,但只有少数研究涉及ASR和LM。在本文中,我们提出了一个新的内存增强的查找字典为LM的Transformer架构。新引入的查找字典在训练集中包含了丰富的上下文信息,这对于正确预测长尾令牌至关重要。在中文和英文数据集上的实验表明,该方法在字/字符出错率和尾标记出错率上均优于基线Transformer LM。这在不影响解码效率的情况下实现。总的来说,我们证明了我们提出的方法在提高ASR解码性能方面的有效性,特别是对于长尾令牌。
2022-12-30 cs.CL eess.AS
Automatic Open Knowledge Acquisition via Long Short-Term Memory Networks with Feedback Negative Sampling
POSTECH (Pohang University of Science and Technology)(浦项科技大学)
以往的开放式信息抽取(Open IE)研究主要是基于抽取模式的。它们手动定义模式或从大型语料库中自动学习模式。然而,这些方法在把握句子的上下文时都有局限性,而且它们无法捕捉隐含的关系。在本文中,我们用以下方法解决这个问题。首先,我们利用长短期记忆(LSTM)网络沿着最短依赖路径提取更高级别的特征,连接关系和参数的词头。LSTM网络的路径级特征提供了有关上下文信息和参数有效性的有用线索。其次,我们构造样本来训练LSTM网络,而不需要手动标记。特别地,反馈负采样通过用正样本训练的模型在非正样本中挑选高度负样本。实验结果表明,我们的方法产生更精确和丰富的提取比国家的最先进的开放IE系统。据我们所知,这是第一个将深度学习应用于Open IE的工作。
2016-05-25 cs.AI cs.CL cs.NE
Automatic Rule Extraction from Long Short Term Memory Networks
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
虽然深度学习模型已被证明在解决自然语言处理中的问题方面是有效的,但它们得出结论的机制往往不清楚。因此,这些模型通常被视为黑箱,无法洞察潜在的学习模式。在本文中,我们考虑了长短期记忆网络(LSTM),并展示了一种新的方法,用于跟踪给定输出的LSTM输入的重要性。通过识别一致的重要模式的话,我们能够提炼出最先进的LSTM的情感分析和问答到一组代表性的短语。然后,通过使用提取的短语来构建一个简单的、基于规则的分类器来定量验证这种表示,该分类器近似于LSTM的输出。
2017-02-24 cs.AI cs.CL cs.NE
MA-DLE: Speech-based Automatic Depression Level Estimation via Memory Augmentation
Tianjin Normal University(天津师范大学);Tsinghua University(清华大学);Technical University of Munich(慕尼黑技术大学);Imperial College London(伦敦帝国理工学院)
提出记忆增强特征方法,通过选择性整合历史时序特征和动态记忆特征,结合层次注意力融合模块,在DAIC-WOZ和E-DAIC数据集上实现最优性能。
2026-06-11 cs.AI cs.CL cs.SD
Chinese Poetry Generation with a Working Memory Model
Tsinghua University(清华大学);ESTATES PTE LTD(6ESTATES私人有限公司)
诗歌是人类文化的瑰宝,是一种精妙绝伦、言简意赅的文学形式。自动诗歌生成是计算机创造力的重要一步。近年来,已经为这个任务设计了几个神经模型。然而,在一首诗的行之间,意义和主题的连贯仍然是一个很大的挑战。受认知心理学理论概念的启发,本文提出了一种新颖的诗歌生成的工作记忆模型。与以前的方法不同,我们的模型明确地保持主题和信息有限的历史在神经记忆。在生成过程中,我们的模型从内存插槽中读取最相关的部分来生成当前行。在生成每一行之后,它将前一行的最突出部分写入内存插槽。通过对记忆的动态操纵,我们的模型保持了连贯的信息流,并学会灵活自然地表达每个主题。我们尝试了三种不同类型的中国诗歌:四行诗,抑扬格和中国风抒情诗。自动和人工评估结果表明,我们的模型优于当前最先进的方法。
2018-09-12 cs.AI cs.CL
Automatic Speech Recognition for Humanitarian Applications in Somali
Stellenbosch University(斯泰伦博斯大学);UN Global Pulse(联合国全球脉动)
我们提出了我们的第一个努力,建立一个自动语音识别系统索马里,资源不足的语言,使用1.57小时的注释语音声学模型训练。该系统是联合国(UN)正在努力实施的关键字识别系统的一部分,该系统支持非洲语言资源严重不足的部分地区的人道主义救济方案。我们评估了几种类型的声学模型,包括最近的神经架构。语言模型数据增强使用的组合,递归神经网络(RNN)和长短期记忆神经网络(LSTM),以及扰动的声学数据也被认为是。我们发现,这两种类型的数据增强是有益的性能,我们最好的系统使用的组合卷积神经网络(CNN),时间延迟神经网络(TDNN)和双向长短期记忆(BLSTM),以实现一个字的出错率为53.75%。
2018-07-23 cs.CL stat.ML
Towards Coherent and Consistent Use of Entities in Narrative Generation
University of Edinburgh(爱丁堡大学);DeepMind(深度思维)
大型预训练的语言模型(LM)在生成长而流畅的文本方面表现出了令人印象深刻的能力;然而,很少或根本没有分析它们保持实体连贯性和一致性的能力。在这项工作中,我们专注于叙事生成的最终任务,并系统地分析生成的故事中的长期实体连贯性和一致性。首先,我们提出了一套自动度量实体使用方面的模型性能。考虑到这些指标,我们量化了当前LM的局限性。接下来,我们建议通过使用辅助实体相关丢失来引导对存储器的读取和写入,以端到端的方式用动态实体存储器来增强预先训练的LM。我们表明,动态实体内存增加实体的一致性,根据自动和人类的判断,并有助于保存实体相关的信息,特别是在有限的上下文窗口的设置。最后,我们还验证了我们的自动指标与人类评级相关,并作为生成的故事质量的良好指标。
2022-02-03 cs.CL cs.LG
WhisperPipe: A Resource-Efficient Streaming Architecture for Real-Time Automatic Speech Recognition
Mechatronics Research Laboratory, Dept. of Computer and Electrical Engineering, Qazvin Islamic Azad University(机械电子实验室,计算机与电气工程系,卡兹文伊斯兰 Azad 大学);Department of Electrical Engineering, Qa. C., Islamic Azad University(电气工程系,卡兹文伊斯兰 Azad 大学)
WhisperPipe通过三种创新解决实时ASR中准确率与计算效率的平衡问题,实现低内存消耗和高质量转录,测试显示其在内存和延迟方面优于基线模型。
2026-04-28 cs.CL cs.SD