Temporal ordering of clinical events
The University of Manchester(曼彻斯特大学)
这份报告描述了一套简约的方法,工程锚定临床事件的时间空间。具体地,我们描述了提取临床事件的方法(例如,问题、治疗和测试)、时间表达(即,时间、日期、持续时间和频率),以及时间链接(例如,之前、之后、重叠)。这些方法是使用高质量的数据集开发和验证的。
2015-04-14 cs.AI cs.CL
Learning Semantic Script Knowledge with Event Embeddings
Saarland University(萨尔大学);University of Amsterdam(阿姆斯特丹大学)
关于事件原型序列的常识知识归纳近年来受到广泛关注。而不是诱导这种知识的形式的图形,在以前的工作中,在我们的方法中,分布式表示的事件实现计算的基础上分布式表示的谓词和他们的参数,然后这些表示被用来预测原型事件排序。用于计算事件表示和模型的排名组件的组合过程的参数是从文本中联合估计的。我们表明,这种方法的结果在一个显着的提升,相对于以前的方法在订购性能。
2014-04-25 cs.AI cs.CL cs.LG
MICE: Mining Idioms with Contextual Embeddings
University of Ljubljana(卢布尔雅那大学);Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
习惯表达对于自然语言处理应用来说可能是有问题的,因为它们的含义不能从它们的构成词中推断出来。缺乏成功的方法学方法和足够大的数据集阻碍了机器学习方法用于检测习语的发展,特别是对于训练集中没有出现的表达。我们提出了一种方法,称为MICE,使用上下文嵌入的目的。我们提出了一个新的数据集的多词表达的字面意义和习惯意义,并用它来训练分类器的基础上两个国家的最先进的上下文词嵌入:ELMo和BERT。我们发现,使用这两种嵌入的深度神经网络比现有方法表现得更好,并且能够检测惯用词的使用,即使是训练集中不存在的表达。我们展示了开发的模型的跨语言迁移,并分析了所需数据集的大小。
2021-11-10 cs.CL cs.LG
Improving Opinion-Target Extraction with Character-Level Word Embeddings
Bielefeld University(比勒费尔德大学)
细粒度的情感分析近年来受到越来越多的关注。在评论中提取意见目标表达(OTE)通常是细粒度的、基于方面的情感分析中的重要步骤。然而,从用户生成的文本中检索这些信息可能很困难。例如,客户评论很容易包含拼写错误的单词,并且由于其特定于领域的语言而难以处理。在这项工作中,我们调查是否字符级模型可以提高性能的意见目标表达的识别。我们整合到一个序列标签系统使用字符级词嵌入的字结构的信息,并显示其对系统的性能的积极影响。具体而言,我们获得了3.3点F1分数相对于我们的基线模型增加。在进一步的实验中,我们揭示了学习嵌入的编码字符模式,并给出了两种模型的性能差异的细微差别。
2017-09-19 cs.CL
Evaluating NLP Embedding Models for Handling Science-Specific Symbolic Expressions in Student Texts
Physics Education Group, Leibniz University Hannover(莱布尼茨汉诺威大学物理教育组);Leibniz Institute for Science and Mathematics Education(莱布尼茨科学与数学教育研究所)
本研究针对当前NLP嵌入模型难以处理科学文本中符号表达式的问题,用真实学生物理回答中的符号表达式,通过相似度分析和机器学习流水线集成两种方法评估多款嵌入模型,发现GPT-text-embedding-3-large性能最优但优势中等,为教育数据挖掘的模型选择提供参考。
2025-10-22 cs.AI cs.CL physics.ed-ph
Leveraging Acoustic Cues and Paralinguistic Embeddings to Detect Expression from Voice
Apple(苹果公司)
每天都有数百万人接触Siri等数字助理,询问信息,拨打电话,寻求帮助等等。期望是这样的助手应该理解用户查询的意图。从一个简短的、孤立的话语中检测查询的意图是一项困难的任务。意图不能总是从语音识别的transmitting中获得。转录驱动的方法可以解释已经说了什么,但不能承认它是如何说的,因此,可能会忽略语音中存在的表达。我们的工作调查系统是否可以可靠地检测使用声学和非语言嵌入查询的声音表达。结果表明,所提出的方法提供了一个相对相等的出错率(EER)降低60%相比,一袋字为基础的系统,证实表达是显着表示的声乐属性,而不是纯粹的词汇。相对于声学嵌入,添加情感嵌入有助于将EER降低30%,这表明情感在表达性语音中的相关性。
2019-06-28 cs.CL cs.LG cs.SD
A Corpus-based Study of Temporal Signals
University of Sheffield(谢菲尔德大学)
语篇中事件的自动时间排序是近年来的研究热点。事件顺序在文本中通过各种语言机制来传达,包括使用诸如“之前”、“之后”或“期间”等表达,这些表达明确地断言时间关系-时间信号。本文研究了时间信号在时间关系抽取中的作用,并在TimeBank标注语料库中对这些表达进行了定量分析。
2012-03-22 cs.CL
E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出E-Gen,一种基于e-graph的大规模数学表达式数据集生成方案,并利用等价生成与对比学习训练嵌入模型,在多个数学语言处理任务上超越先前方法和大语言模型。
2025-03-09 cs.CL cs.LG cs.SC
Including Facial Expressions in Contextual Embeddings for Sign Language Generation
Stella AI(斯特拉人工智能公司);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);Gallaudet University(加劳德特大学)
本文提出双编码器Transformer,首次结合面部动作单元建模文本、注释与面部表情关系,以同时生成手部动作和面部表情,从而提升手语生成的表现力和自然度。
2022-02-11 cs.CL cs.CV cs.LG
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder(阿格德大学人工智能研究中心(CAIR))
在向量空间中嵌入单词是最先进的自然语言处理(NLP)中基本的第一步。典型的NLP解决方案采用预定义的向量表示,通过在向量空间中共同定位相似的单词来提高泛化能力。例如,Word2Vec是一个自我监督的预测模型,它使用神经网络捕获单词的上下文。类似地,GLoVe是一种流行的无监督模型,结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务,包括情感分析、文档分类和机器翻译。然而,嵌入是密集的浮点向量,这使得它们的计算成本很高,并且难以解释。在本文中,我们建议用几个定义词来表示词的语义,这些词使用命题逻辑。为了产生这样的逻辑嵌入,我们引入了一个基于Tsetlin Machine的自动编码器,它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成,以定义“咖啡”等其他单词,因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准,优于GLoVe的六个分类任务。此外,我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群,演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
Technical University Darmstadt(达姆斯塔特技术大学)
本文提出利用扩散张量成像技术可视化词嵌入中的信息流,揭示LLM中自然语言表达的信息流动机制,提升NLP模型的可解释性。
2026-08-04 cs.AI cs.CL cs.LG
Learning Household Task Knowledge from WikiHow Descriptions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Cardiff University(卡迪夫大学)
常识程序知识对于在人类环境中运行的人工智能智能体和机器人来说非常重要。虽然以前构建过程知识的尝试大多是基于规则和模板的,但深度学习的最新进展提供了直接从自然语言源获取此类知识的可能性。作为这个方向的第一步,我们提出了一个模型来学习任务的嵌入,以及需要采取的各个步骤来解决它们,基于WikiHow文章。我们学习这些嵌入,使它们能够预测步骤相关性和步骤顺序。我们还尝试使用整数规划来推断一致的全局步骤排序从嘈杂的成对预测。
2019-09-13 cs.AI cs.CL cs.LG
Chinese Character Decomposition for Neural MT with Multi-Word Expressions
ADAPT Research Centre(ADAPT研究中心);Insight Centre for Data Analytics(Insight数据分析中心);Dublin City University(都柏林城市大学)
汉字分解作为一种特征被用来增强机器翻译(MT)模型,将偏旁部首组合成字和词级模型。最近的工作已经研究了象形字或笔划级嵌入。然而,问题仍然是不同的分解水平的汉字表示,偏旁和笔画,最适合机器翻译。为了详细研究中文分解嵌入的影响,即,部首、笔画和中间层次,以及这些分解如何代表原始字符序列的含义,我们用机器翻译的自动和人工评估进行分析。此外,我们研究了分解的多词表达式(MWE)的组合是否可以增强模型学习。MWE集成到MT已经经历了十多年的探索。然而,分解的MWE以前没有被探索过。
2021-04-09 cs.CL cs.LG
A New Sentence Ordering Method Using BERT Pretrained Model
University of Tehran(德黑兰大学);University of Rochester(罗切斯特大学)
构建具有自然语言理解(NLU)能力的系统一直是人工智能最古老的领域之一。NLU的一个重要组成部分是检测文本中包含的事件的逻辑顺序。提出了句子排序的任务来学习事件的连续性,并将其应用于人工智能任务中。以往的工作采用统计方法的性能是穷人,而神经网络为基础的方法是在严重需要大型语料库的模型学习。在本文中,我们提出了一种句子排序的方法,它不需要一个训练阶段,因此,一个大的语料库学习。为此,我们使用BERT预训练模型生成句子嵌入,并使用余弦相似度得分来测量句子相似度。我们建议这个分数作为连续事件的连贯性水平的指标。最后,我们通过蛮力搜索对句子进行排序,以最大限度地提高排序后的句子的整体相似性。我们提出的方法在ROCStories上的表现优于其他基线,ROCStories是一个5句人造故事的语料库。特别是当没有庞大的语料库时,该方法比基于神经网络的方法更有效。这种方法的优点之一是它的可解释性和不需要语言知识。
2021-08-26 cs.AI cs.CL