MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios
Huazhong University of Science and Technology(华中科技大学);Kingsoft Office(金山办公)
本文提出MDPBench,首个多语言数字和照片文档解析基准,包含17种语言的3400张文档图像,揭示闭源模型在非拉丁文和真实场景下的性能优势,开放源代码以促进更包容的解析系统发展。
2026-03-30 cs.AI cs.CV
Pharos-ESG: A Framework for Multimodal Parsing, Contextual Narration, and Hierarchical Labeling of ESG Report
Southwestern University of Finance and Economics(西南财经大学)
本文提出Pharos-ESG框架,通过多模态解析、上下文叙述和分层标注解决ESG报告中布局混乱和隐含层级的问题,实现结构化表示,并发布Aurora-ESG数据集以支持金融治理决策。
2026-10-30 cs.AI
GPT-Image-2 in the Wild: A Twitter Dataset of Self-Reported AI-Generated Images from the First Week of Deployment
研究通过Twitter数据集分析GPT-Image-2生成图像的特性,揭示了AI生成内容与真实图像区分的困难,并指出Twitter在上传时剥离C2PA凭证的问题。
2026-10-27 cs.AI cs.CV
Shallow Parsing Pipeline for Hindi-English Code-Mixed Social Media Text
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
在这项研究中,印度语-英语代码混合的社会媒体文本(CSMT)的浅层解析的问题已经解决。我们已经注释了数据,开发了一个语言标识符,一个规范化,一个词性标注器和一个浅层解析器。据我们所知,我们是第一个尝试在CSMT上进行浅层解析的。开发的管道已提供给研究界,使更好的印地语英语CSMT的文本分析的目标。该管道可在http://bit.ly/csmt-parser-api上访问。
2016-04-11 cs.CL
MORE: A Multilingual Document Parsing Benchmark and Evaluation
研究针对多语言文档解析,现有基准侧重高资源语言。为此引入MORE基准,其具规模大、结构复杂、数据真实的特点,用它评估模型,为长尾语言建性能基线并验证基准有效性。
2026-07-07 cs.CL cs.CV
FineCIR: Explicit Parsing of Fine-Grained Modification Semantics for Composed Image Retrieval
School of Software, Shandong University(山东大学软件学院);School of Data Science, City University of Hong Kong(香港城市大学数据科学学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
针对现有CIR数据集粗粒度文本导致检索不精确的问题,提出FineCIR框架,通过显式解析修改文本并构建细粒度数据集,显著提升检索精度。
2025-03-27 cs.AI cs.CV
HumAID: Human-Annotated Disaster Incidents Data from Twitter with Deep Learning Benchmarks
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
社交网络被广泛用于信息消费和传播,特别是在诸如自然灾害等时间紧迫的事件期间。尽管社交媒体内容的容量非常大,但它通常太嘈杂,无法直接用于任何应用程序。因此,对可用内容进行过滤、分类和简明扼要的总结,以促进有效的消费和决策制定,这一点非常重要。为了解决这些问题,已经使用监督建模方法开发了自动分类系统,这要归功于早期在创建标记数据集方面的努力。然而,现有的数据集在不同方面受到限制(例如,大小,包含重复),并且不太适合支持更高级和数据需求量更大的深度学习模型。在本文中,我们提出了一个新的大规模数据集,其中包含约7.7万条人类标记的推文,这些推文是从2016年至2019年发生的19起灾难事件中的约2400万条推文中采样的。此外,我们提出了一个数据汇集和采样管道,这是很重要的社会媒体数据采样人类注释。我们使用基于经典和深度学习(fastText和Transformer)的模型报告多类分类结果,为未来的研究奠定基础。数据集和相关资源是公开的。https://crisisnlp.qcri.org/humaid_dataset.html
2021-04-08 cs.AI cs.CL cs.CY
What Twitter Data Tell Us about the Future?
SWPS University of Social Sciences and Humanities(SWPS社会科学与人文大学);Cardinal Stefan Wyszyński University in Warsaw(华沙红衣主教斯特凡·维辛斯基大学);University of Warsaw(华沙大学)
本研究通过分析Twitter未来学家超百万推文,利用SOTA模型构建NLP流水线,采用LDA和BERTopic识别主题,揭示了语言线索对用户预期思维的影响。
2023-07-20 cs.CL cs.CY cs.LG
The ADAPT Enhanced Dependency Parser at the IWPT 2020 Shared Task
ADAPT Centre(ADAPT中心);School of Computing, Dublin City University(都柏林城市大学计算学院)
我们描述了用于2020 IWPT共享任务的ADAPT系统,该任务以17种语言解析增强的通用语法。我们使用UDPipe和UDPipe-future实现了一个管道方法来提供初始级别的注释。增强的依赖图或者由基于图的语义依赖解析器产生,或者使用一小组语法从基本树构建。我们的研究结果表明,对于大多数语言,语义依赖分析器可以成功地应用于分析增强的依赖关系的任务。不幸的是,我们没有确保连接图作为我们管道方法的一部分,我们的竞争提交依赖于最后一刻的修复来通过验证脚本,这严重损害了我们的官方评估分数。我们的提交在官方评估中排名第八,宏观平均粗糙ELAS F1为67.23,树库平均值为67.49。我们后来实现了自己的图形连接修复,结果得分为79.53(语言平均)或79.76(树库平均),这将在竞争评估中排名第四。
2020-09-03 cs.CL
Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Alberta(阿尔伯塔大学);Hunan University(湖南大学)
该研究针对现有文档理解系统模块分离的问题,构建了统一文档解析数据集RPD,提出空间感知增强器,实验表明其增强模型在联合恢复阅读顺序与视觉语义上表现出色。
2026-11-13 cs.AI cs.CV
RST-style Discourse Parsing Guided by Document-level Content Structures
Texas A&M University(得克萨斯农工大学)
针对现有RST解析流水线因缺乏文档级内容结构知识导致预测大型文本跨度篇章关系性能较低的问题,提出一种结合源自News Discourse Profiling任务的结构感知句子表示的新流水线,仅加入少量额外层即在多项RST解析指标上取得优异性能。
2023-09-08 cs.CL
SongPrep: A Preprocessing Framework and End-to-end Model for Full-song Structure Parsing and Lyrics Transcription
Tencent AI Lab(腾讯AI实验室)
本文提出SongPrep自动化预处理流水线及SongPrepE2E端到端模型,无需音源分离即可解析全曲结构与歌词并输出精确时间戳,在SSLD-200数据集上取得低DER和WER,有效提升歌曲生成质量。
2025-09-22 cs.AI cs.SD eess.AS
Growing Trees on Sounds: Assessing Strategies for End-to-End Dependency Parsing of Speech
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
针对语音直接依存句法分析任务,评估基于图和基于序列标注两种分析范式在大规模法语口语树库上的表现,证实基于图的方法性能更优,且直接语音分析在参数量少30%的情况下仍优于ASR加句法分析的流水线方法。
2024-06-18 cs.CL
A Study on the Integration of Pipeline and E2E SLU systems for Spoken Semantic Parsing toward STOP Quality Challenge
Carnegie Mellon University(卡内基梅隆大学);Sony Group Corporation(索尼集团公司)
本文提出一种口语语义解析系统,集成流水线与端到端方法,利用Whisper和BART等模型,通过输出级组合在STOP质量挑战中达到80.8精确匹配准确率,获得第一名。
2023-05-06 cs.CL cs.SD eess.AS
On Parsing as Tagging
在文献中,已经有许多建议将选区解析减少到标记。为了更好地理解这些方法的共同点,我们将几个现有的建议转换为一个统一的管道,包括三个步骤:线性化,学习和解码。特别是,我们展示了如何减少tetratagging,一个国家的最先进的选区标记,转移-减少语法分析上执行一个右角变换,并作出具体的独立性假设。此外,我们经验性地评估我们的分类标记管道与不同的选择线性化,学习器和解码器。基于英语和一组8种类型不同的语言的结果,我们得出结论,线性化的派生树和它的对齐与输入序列是最关键的因素,在实现准确的标签。
2022-11-20 cs.CL
Automatically Identifying Comparator Groups on Twitter for Digital Epidemiology of Pregnancy Outcomes
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
尽管不良妊娠结局(如流产、死胎、出生缺陷和早产)普遍存在,但其原因在很大程度上尚不清楚。我们寻求通过开发一个自然语言处理管道来自动识别用户,从而在Twitter上选择比较组,从而促进社交媒体在妊娠结局观察性研究中的使用。我们对在Twitter上宣布怀孕的用户的2361条推文进行了注释,这些推文用于训练和评估监督机器学习算法,作为自动检测报告怀孕已足月且婴儿出生体重正常的女性的基础。在进一步处理基于多数投票的集成分类器的推文级预测后,管道实现了0.933的用户级F1分数,精度为0.947,召回率为0.920。我们的管道将被部署,以确定在Twitter上研究妊娠结果的大型比较组。
2019-08-16 cs.CL cs.SI
Køpsala: Transition-Based Graph Parsing via Efficient Training and Effective Encoding
University of Copenhagen(哥本哈根大学);Uppsala University(乌普萨拉大学)
我们在IWPT 2020上展示了Copenhagen-Uppsala系统,用于增强的通用共享任务。我们的系统是一个管道,由现成的模型组成,除了增强的图解析,对于后者,一个基于转换的图解析器改编自Che et al.(2019)。我们训练每种语言的单个增强解析器模型,使用黄金句子分割和标记化进行训练,并且仅依赖于标记化的表面形式和多语言BERT进行编码。虽然在提交之前引入的一个错误导致精度严重下降,但根据平均ELAS,其提交后修复将使我们在官方排名中排名第四。我们的解析器表明,一个统一的管道是有效的意义表示解析和增强的通用解析。
2020-06-02 cs.CL
Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction
Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Beihang University(北京航空航天大学)
本文综述了文档解析研究,系统分类了现有方法,探讨了布局分析、多类型内容识别及VLM驱动的解析模型发展,总结了评估指标与挑战,提出了更准确可扩展的文档智能系统方向。
2026-04-04 cs.AI cs.CL cs.CV
Integrative Semantic Dependency Parsing via Efficient Large-scale Feature Selection
Shanghai Jiao Tong University(上海交通大学);City University of Hong Kong(香港城市大学)
语义解析,即,诸如句子的实例化谓词-论元结构的意义表示的自动推导在自然语言的深度处理中起着关键作用。与所有其他顶级的语义依存句法分析系统不同,它们必须依赖于管道框架来链接一系列子模型,每个子模型专门用于特定的子任务,本文中介绍的系统将所有内容集成到一个模型中,希望在保持有竞争力的性能的同时,为实际应用程序实现理想的完整性和实用性。这种综合的方法处理语义解析作为一个词对分类问题,使用最大熵分类器。我们利用参数候选的自适应修剪和大规模特征选择工程来允许该领域迄今为止使用的最大特征空间,它在CoNLL-2008共享任务的评估数据集上实现了最先进的性能,除了一个顶级管道系统之外,证实了其可行性和有效性。
2014-01-23 cs.CL
Universal Decompositional Semantic Parsing
Johns Hopkins University(约翰斯·霍普金斯大学);University of Rochester(罗切斯特大学)
我们引入了一个转换模型解析到通用分解语义(UDS)表示,共同学习映射自然语言的话语到UDS图结构和注释的图与分解语义属性得分。我们还介绍了一个强大的管道模型解析到UDS图结构,并表明,我们的转换解析器执行的同时,还执行属性预测。通过分析属性预测误差,我们发现该模型捕捉属性组之间的自然关系。
2020-05-02 cs.CL
Towards Transparent Interactive Semantic Parsing via Step-by-Step Correction
The Ohio State University(俄亥俄州立大学)
现有的语义解析研究主要集中在将自然语言的话语映射到相应的逻辑形式上。然而,由于自然语言可能包含大量的歧义和可变性,这是一个困难的挑战。在这项工作中,我们研究了一个交互式的语义解析框架,解释预测的逻辑形式一步一步的自然语言,使用户能够通过自然语言反馈个别步骤进行更正。我们专注于问答知识库(KBQA)作为我们的框架的实例,旨在增加解析过程的透明度,并帮助用户适当地信任最终的答案。为此,我们构建了INSPIRED,这是一个来自ComplexWebQuestions数据集的众包对话数据集。我们的实验表明,与人类反馈的交互式框架有可能大大提高整体解析精度。此外,我们开发了一个对话模拟管道,以评估我们的框架w.r.t.各种最先进的KBQA模型,而无需进一步的众包工作。结果表明,我们的交互式语义解析框架承诺是有效的跨这些模型。
2022-03-28 cs.AI cs.CL
Discourse Representation Structure Parsing for Chinese
University of Groningen(格罗宁根大学)
该研究探索无标注数据下中文话语表征结构语义解析的可行性,构建数据收集流水线与专用测试集,发现副词是主要难点,且机器翻译加英语解析器的效果略低于直接用中文数据训练。
2023-06-16 cs.CL
ThamizhiUDp: A Dependency Parser for Tamil
University of Moratuwa(莫拉图瓦大学)
本文介绍了我们如何开发一个基于神经的依赖分析器,即ThamizhiUDP,它提供了一个完整的管道依存句法分析的泰米尔语文本使用通用依赖形式主义。我们已经考虑了依存句法分析管道的各个阶段,并确定了每个阶段中的工具和资源,以提高准确性并解决数据稀缺问题。ThamizhiUDP使用Stanza进行标记化和词形化,使用ThamizhiPOSt和ThamizhiMorph生成词性(POS)和形态学注释,使用uuparser进行多语言训练以进行依存句法分析。ThamizhiPOSt是我们的POS标记器,它基于Stanza,使用Amrita POS标记语料库进行训练。它是目前最先进的泰米尔语POS标记,F1得分为93.27。我们的形态分析器,ThamizhiMorph是一个基于规则的系统,具有很好的泰米尔语覆盖率。我们的依赖解析器ThamizhiUDp是使用多语言数据训练的。它显示了62.39的标记语法得分(LAS),比泰米尔语依存句法分析目前达到的最好成绩高出4分。因此,我们表明,打破了依存句法分析管道,以适应现有的工具和资源是一个可行的方法,低资源的语言。
2020-12-24 cs.CL
Inducing and Using Alignments for Transition-based AMR Parsing
Harvard University(哈佛大学);IBM Research(IBM研究院)
抽象意义表示(AMR)的基于转换的解析器依赖于节点到单词的对齐。这些对齐是从解析器训练中单独学习的,需要一个复杂的基于规则的组件、预处理和后处理的管道来满足特定于域的约束。解析器还对对齐管道的点估计进行训练,忽略由于对齐的固有模糊性而导致的不确定性。在这项工作中,我们探索两种途径来克服这些限制。首先,我们提出了一种用于AMR的神经对齐器,它可以在不依赖复杂管道的情况下学习节点到单词的对齐。随后,我们探讨了一个更紧密的整合对齐器和解析器的训练,考虑分配在Oracle动作序列所产生的对齐器的不确定性。实验结果表明,这种方法可以更准确地对齐和泛化更好地从AMR2.0到AMR3.0语料库。我们实现了仅限黄金训练模型的最新技术水平,匹配银训练性能,而无需AMR 3.0上的束搜索。
2022-05-03 cs.CL
Semantic robust parsing for noun extraction from natural language queries
本文介绍了如何强大的解析技术可以卓有成效地应用于建立一个查询生成模块,这是一个流水线的NLP架构的一部分,旨在处理自然语言查询在一个受限的域。我们想表明,语义鲁棒性代表了这些NLP系统中的一个关键问题,在这些系统中,由于各种因素(例如,嘈杂的环境,低质量的语音识别模块等),更有可能具有部分和病态的话语。以及在需要成功地(即使是部分地)提取一些有意义的信息的情况下。
1999-09-02 cs.CL
Deep Learning Models in Detection of Dietary Supplement Adverse Event Signals from Twitter
University of Minnesota(明尼苏达大学);University of Florida(佛罗里达大学)
目的:这项研究的目的是开发一个深度学习管道,以检测Twitter上饮食不良事件(DS AE)的信号。材料和方法:我们从2012年到2018年获得了247,807条提到DS和AE的推文。我们在2,000条随机选择的推文上标注了生物医学实体和关系。对于概念提取任务,我们比较了传统的词嵌入与SVM,CRF和LSTM-CRF分类器的性能BERT模型。对于关系抽取任务,我们将GloVe向量与CNN分类器与BERT模型进行了比较。我们在每个任务中选择表现最好的模型来组装端到端的深度学习管道来检测DS AE信号,并将结果与来自DS知识库的已知DS AE进行比较(即,iDISK)。结果:在两个任务中,基于BERT的模型都优于传统的词嵌入。表现最好的概念提取模型是BioBERT模型,它可以识别补充剂、症状和身体器官实体,F1分数分别为0.8646、0.8497和0.7104。性能最好的关系抽取模型是BERT模型,它可以分别以0.8335和0.7538的F1分数识别目的和AE关系。端到端管道能够提取DS适应症和DS AE,F1评分分别为0.7459和0.7414。与iDISK相比,我们可以找到已知和新型的DS-AE。结论:我们已经证明了使用基于BioBERT的深度学习管道从Twitter检测DS AE信号的可行性。
2021-06-21 cs.CL cs.IR
A Graph-Based Neural Model for End-to-End Frame Semantic Parsing
Tianjin University(天津大学)
框架语义解析是近年来备受关注的基于框架网的语义分析任务。该任务通常依次包括三个子任务:(1)目标识别,(2)框架分类和(3)语义角色标注。这三个子任务紧密相关,以往的研究将它们单独建模,忽略了它们之间的内在联系,同时也导致了错误传播问题。在这项工作中,我们提出了一个端到端的神经模型来联合处理任务。具体地说,我们采用了一种基于图的方法,把框架语义解析看作是一个图的构造问题。所有的谓词和角色被视为图节点,它们之间的关系被视为图边。在两个框架语义解析基准数据集上的实验结果表明,该方法具有很强的竞争力,性能优于流水线模型。
2021-09-25 cs.CL
Backpropagating through Structured Argmax using a SPIGOT
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了中间梯度优化技术(SPIGOT)的结构化投影,这是一种通过神经网络进行反向传播的新方法,其中包括硬决策结构化预测(例如,解析)。SPIGOT不需要边际推理,不像结构化注意力网络(Kim et al.,2017)和一些受强化学习启发的解决方案(Yogatama等人,2017年)。与所谓的直通估计器(Hinton,2012)一样,SPIGOT定义了与中间不可微运算相关的类梯度量,允许在它们之前和之后进行反向传播; SPIGOT的代理旨在确保在参数更新后,中间结构将保持良好的形式。我们在两个结构化的NLP管道上进行了实验:语法-语义依存句法分析和语义解析,然后进行情感分类。我们表明,SPIGOT训练导致更大的改善下游任务比模块化训练的管道,直通式估计器,结构化注意,达到一个新的最先进的语义依存句法分析。
2018-05-12 cs.CL
Large-Scale QA-SRL Parsing
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
我们提出了一个新的大规模语料库的问答驱动的语义角色标注(QA-SRL)的注释,和第一个高质量的QA-SRL解析器。我们的语料库QA-SRL Bank 2.0由3个领域超过64,000个句子的超过250,000个问答对组成,并通过一个新的众包计划收集,我们表明该计划具有高准确度和良好的召回率,成本低廉。我们还提出了两个QA-SRL子任务的神经模型:检测谓词的参数跨度和生成问题来标记语义关系。最好的模型在全流水线QA-SRL预测任务中实现了82.6%的问题准确率和77.6%的跨度水平准确率(在人工评估下)。正如我们所展示的,它们还可以用于以低成本收集额外的注释。
2018-05-14 cs.AI cs.CL
Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data
Google Research(谷歌研究院)
虽然在单一语言上微调的多语言预训练语言模型(LM)已经显示出大量的跨语言任务传输能力,但当目标语言监督可用时,在语义解析任务中仍然存在很大的性能差距。在本文中,我们提出了一种新的翻译和填充(TaF)方法产生银训练数据的多语言语义分析器。该方法简化了流行的翻译对齐项目(TAP)管道,并由一个序列到序列的填充模型,构建一个完整的解析条件的话语和相同的解析视图。我们的填充器仅在英语数据上进行训练,但可以准确地完成其他语言的实例(即,英语训练话语的翻译)。在三个多语种语义解析数据集上的实验结果表明,与传统对齐技术相比,TaF的数据增强具有竞争力的准确率。
2021-09-09 cs.AI cs.CL cs.LG
Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing
INFLY Tech(INFLY科技);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Liverpool(利物浦大学)
针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题,提出 layoutRL 强化学习框架与 Infinity-Parser,并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。
2025-10-21 cs.AI cs.CL cs.CV
A Deep Multi-View Learning Framework for City Event Extraction from Twitter Data Streams
University of Oxford(牛津大学);University of Surrey(萨里大学)
几个世纪以来,由于其复杂的基础设施,城市一直是公民的繁荣之地。网络-物理-社会系统(CPSS)和上下文感知技术的出现,推动了人们对分析、提取和最终理解城市事件的兴趣,这些事件随后可用于利用公民对城市的观察。在本文中,我们探讨了使用Twitter的文本流提取城市事件的可行性。我们提出了一种层次化的多视图深度学习方法,以将公民对各种城市系统和服务的观察置于情境中。我们的目标是构建一个灵活的架构,可以学习对任务有用的表示,从而避免过多的特定于任务的功能工程。我们将我们的方法应用于真实世界的数据集,包括来自旧金山湾区数据集的四个多月的事件报告和推文以及从伦敦收集的其他数据集。我们的评估结果表明,我们提出的解决方案优于现有的模型,可以用于提取城市相关的事件,平均准确率为81%,在所有类。为了进一步评估我们的Twitter事件提取模型的影响,我们使用了两个授权报告来源,通过从伦敦交通API收集道路交通中断数据,并解析Time Out London网站的社会文化事件。分析显示,49.5%的Twitter流量评论是在官方记录之前大约5小时报告的。此外,我们发现,在预定的社会文化事件主题中,报道交通,文化和社会事件的推文比体育,天气和犯罪主题更有可能影响Twitter评论的分布。
2017-05-28 cs.CL cs.SI
ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们对CoNLL 2019共享任务跨框架意义表示解析(MRP 2019)的贡献进行了系统描述。建议的架构是我们第一次尝试对语义解析扩展的UDPipe 2.0,一个词形化,词性标注和依存句法分析管道。对于MRP 2019,它具有五种形式和语言上不同的意义表示方法(DM,PSD,EDS,UCCA和AMR),我们提出了一种统一的,语言和框架不可知的图到图神经网络架构。在没有任何关于图结构的知识的情况下,特别是在没有任何语言或框架动机的特征的情况下,我们的系统隐式地对意义表示图进行建模。在修复了人为错误(我们使用了早期提供的测试集分析的错误版本)之后,我们的提交将在竞争评估中获得第三名。我们的系统的源代码可以在https://github.com/ufal/mrpipe-conll2019上获得。
2019-10-24 cs.CL
OneLove beyond the field -- A few-shot pipeline for topic and sentiment analysis during the FIFA World Cup in Qatar
Technische Universität Berlin(柏林工业大学);University of Wuppertal(伍珀塔尔大学);KU Leuven(鲁汶大学)
本文利用大语言模型上下文学习对卡塔尔世界杯期间的德语推文进行主题与情感分析,揭示了 OneLove 臂章争议前后舆论从 LGBT 权利与政治转向体育政治并趋于中立,为体育激进主义研究提供了少样本分析框架。
2024-08-05 cs.CL
SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
提出混合问答流水线SPAGHETTI,利用LLM增强方法整合异构知识源,在Compmix数据集上达到56.5% EM率,人工分析显示其准确率超90%,证明EM已不适合评估现代问答系统。
2024-06-01 cs.CL
Conversational Semantic Parsing
Facebook(脸书)
面向任务的辅助系统中的语义解析的结构化表示是面向单轮查询的简单理解。由于表示的局限性,基于会话的属性,如共指消解和上下文结转在流水线系统中的下游处理。在本文中,我们提出了一个语义表示这种面向任务的会话系统,可以表示概念,如共同引用和上下文结转,使全面理解的查询会话。我们发布了一个新的基于会话的,面向任务的分析数据集,包含20k会话,由60k话语组成。与对话状态跟踪挑战不同,数据集中的查询具有组合形式。我们提出了一个新的系列Seq2Seq模型的会话为基础的解析上面,实现更好的或相当的性能,目前国家的最先进的ATIS,SNIPS,TOP和DSTC 2。值得注意的是,我们将DSTC 2上最知名的结果提高了5个点。
2020-09-28 cs.CL cs.LG
Principles for Developing a Knowledge Graph of Interlinked Events from News Headlines on Twitter
University of Dayton(代顿大学);Knoesis Research Center(Knoesis研究中心)
在链接开放数据上发布的不断增长的数据集主要包含百科信息。然而,缺乏从非结构化实时源中提取的高质量的结构化和语义注释的数据集。在本文中,我们提出的原则,开发一个知识图谱的相互关联的事件使用的情况下,在Twitter上发布的新闻标题,这是一个实时和多事件的新鲜信息源研究。我们表示包含从选择背景数据模型、事件注释(即,事件识别和分类)、实体注释以及最终互连事件。国家的最先进的是限于特定领域的情况下识别和分类的事件,而本文发挥的作用,开发一个知识图谱的相互关联的事件的领域不可知的路线图。
2018-08-06 cs.AI cs.CL cs.IR
Parsing the Switch: LLM-Based UD Annotation for Complex Code-Switched and Low-Resource Languages
Arizona State University(亚利桑那州立大学);Universidade da Coruña, CITIC(科鲁纳大学,CITIC)
本文提出基于LLM的BiLingua Parser标注流水线,结合少样本提示与专家审核,为西—英、西—瓜拉尼语码转换文本生成UD标注并发布语料,LAS最高达95.29%。
2025-06-08 cs.AI cs.CL
AMUSE: Multilingual Semantic Parsing for Question Answering over Linked Data
Bielefeld University(比勒费尔德大学)
在RDF数据上回答自然语言问题的任务近年来受到了广泛的关注,特别是在一系列QALD基准的背景下。该任务包括将自然语言问题映射到可执行形式,例如SPARQL,以便可以从给定的KB中提取答案。到目前为止,提出的大多数系统都是i)单语的,ii)依赖于一组硬编码的规则来解释问题并将其映射到SPARQL查询中。我们提出了第一个多语言QALD管道,该管道从训练数据中导出一个模型,用于将自然语言问题映射为逻辑形式作为概率推理。特别是,我们的方法学会了映射通用的句法依赖表示的语言独立的逻辑形式的基础上DUDES(依赖性为基础的未充分指定的话语表示结构),然后映射到SPARQL查询作为确定性的第二步。我们的模型建立在依赖于从依赖图和相应的语义表示中提取的特征的因子图上。我们依靠近似推理技术,特别是马尔可夫链蒙特卡罗方法,以及样本排名使用排名目标更新参数。我们的重点在于开发的方法,克服词汇差距,并提出了一种新的组合机器翻译和词嵌入的方法,为此目的。作为我们方法的概念证明,我们在英语,德语和西班牙语的QALD-6数据集上评估了我们的方法。
2018-02-26 cs.AI cs.CL
From Surface to Semantics: Semantic Structure Parsing for Table-Centric Document Analysis
University of New South Wales, Sydney, Australia(新南威尔士大学,悉尼,澳大利亚)
针对现有文档分析缺乏表格深度语义解析的问题,提出以表格为中心的语义解析框架 DOTABLER,通过定制数据集与模型微调实现文档结构解析与表格检索,在真实数据上表现优于 GPT-4o。
2025-08-14 cs.CL
Computational properties of environment-based disambiguation
语义处理的标准流水线方法(其中句子在被解释之前在形态和句法上被解析为单个树)不太适合自然语言接口等应用。这是因为环境信息,在应用程序的运行时环境中的对象和事件的形式,不能被用来通知解析决策,除非输入句子进行语义分析,但这不会发生,直到在单树语义架构解析。本文介绍了一种替代架构的计算性能,在解析过程中,在多项式时间对所有可能的解释进行语义分析。
2001-06-07 cs.CL cs.HC
A Semantic Parsing Framework for End-to-End Time Normalization
Intel Labs(英特尔实验室);Thoughtworks;University of Arizona(亚利桑那大学)
本文提出将时间归一化视为基于SCATE框架的代码生成任务,利用LLM合成数据训练小型模型,实现高性能、可解释的时间归一化。
2025-07-08 cs.CL
Multi-Modal Semantic Parsing for the Interpretation of Tombstone Inscriptions
University of Groningen(格罗宁根大学)
本文提出一种基于视觉语言模型和检索增强生成的新型多模态墓碑数字化框架,将墓碑图像转换为结构化意义表示,显著提升了解读准确率并验证了鲁棒性。
2025-08-11 cs.CL cs.CV cs.MM
Political Framing: US COVID19 Blame Game
HBKU(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所)
通过使用Twitter,框架已成为政治活跃用户的一个突出的总统竞选工具。框架是用来通过唤起对一个事件的特定观点来影响思想。在本文中,我们表明,COVID 19大流行不是被视为一个公共卫生问题,围绕它的政治言论主要是通过指责框架(指责特朗普,中国或阴谋)和支持框架(支持候选人)来支持共和党和民主党用户在2020年总统竞选之前的议程。我们通过框架的使用阐明了Twitter上两党支持者之间的分歧。此外,我们展示了框架是如何被用来积极或消极地加强用户的想法。我们看看Twitter如何有效地用于通过可复制的管道识别主题的框架。
2020-07-19 cs.CL cs.SI
ABCD: A Graph Framework to Convert Complex Sentences to a Covering Set of Simple Sentences
Pennsylvania State University(宾夕法尼亚州立大学)
原子分句是理解复杂句子的基本文本单位。识别复杂句子中的原子句对于诸如摘要、论点挖掘、话语分析、话语解析和问答之类的应用是重要的。以前的工作主要依赖于基于规则的方法依赖于解析。我们提出了一个新的任务,每个复杂的句子分解成简单的句子来源于紧张的条款,在源,和一个新的问题制定为图形编辑任务。我们的神经模型学习接受,打破,复制或删除图形中的元素,这些元素结合了单词相邻性和语法依赖性。完整的处理管道包括用于图形构造、图形编辑和从输出图形生成句子的模块。我们介绍DeSSE,一个新的数据集,旨在训练和评估复杂的句子分解,和MinWiki,MinWikiSplit的子集。ABCD在MinWiki上实现了与两个解析基线相当的性能。在DeSSE上,它具有更均衡的复杂句子类型,我们的模型在原子句子的数量上比编码器-解码器基线实现了更高的准确性。结果包括详细的错误分析。
2021-06-22 cs.AI cs.CL cs.LG
Unicode Normalization and Grapheme Parsing of Indic Languages
Apsis Solutions Limited(Apsis解决方案有限公司);Brac University(布拉克大学);Vanderbilt University(范德堡大学);Rice University(莱斯大学);Jahangirnagar University(贾汉吉尔纳加尔大学)
针对印度语言Unicode编码导致的字素歧义问题,提出规范化器和字素解析器两个库,能高效解析Abugida文本,优于IndicNLP规范化器,并支持多语言扩展。
2024-05-27 cs.CL