Preparing Korean Data for the Shared Task on Parsing Morphologically Rich Languages
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文件简要介绍了为SPMRL 2013共享任务准备的韩国数据。共有27,363个句子和350,090个标记用于共享任务。所有组成树都是从KAIST树库中收集的,并转化为Penn树库风格。所有的依赖树转换从转换的成分树使用专门为KAIST树库设计的分类和标记规则。除了KAIST Treebank提供的黄金标准形态分析外,还为共享任务提供了两套自动形态分析,一套由HanNanum形态分析仪生成,另一套由Sejong形态分析仪生成。
2013-09-10 cs.CL
The First Shared Task on Discourse Representation Structure Parsing
University of Groningen(格罗宁根大学)
本文介绍了IWCS 2019关于语义解析的共享任务,其目标是为英语句子生成话语表示结构(DRS)。DRS起源于话语表征理论,代表了范围意义表征,捕获了否定,情态,量化和预设触发器的语义。此外,在DRS的概念和事件参与者描述与WordNet的同义词和主题角色从VerbNet。为了测量两个DRS之间的相似性,它们以子句形式表示,即作为元组的集合。参与者系统被期望以这种子句形式产生DRS。考虑到丰富的词汇信息,明确的范围标记,大量的共享变量之间的条款,并高度约束格式的有效DRS,所有这些使得DRS解析一个具有挑战性的NLP任务。共享任务的结果显示了对现有最先进解析器的改进。
2020-05-27 cs.AI cs.CL cs.LG
Clean Text and Full-Body Transformer: Microsoft's Submission to the WMT22 Shared Task on Sign Language Translation
Microsoft(微软)
本文介绍了微软在WMT 2022上提交的关于手语翻译的第一个共享任务,这是一个解决瑞士德语手语的手语到口语翻译的公开竞赛。由于数据稀缺和目标端前所未有的超过20k单词的词汇量,该任务非常具有挑战性。此外,数据来自真实的广播新闻,包括原生签名,覆盖长视频场景。受动作识别最新进展的启发,我们通过从预训练的I3D模型中提取特征并应用标准的Transformer网络来整合全身信息。通过对目标文本进行仔细的数据清理,进一步提高了系统的准确性。我们在测试集和开发集上分别获得了0.6和0.78的BLEU分数,这是共享任务参与者中的最佳分数。在人类评价中,提交也达到了第一位。通过应用从唇读模型中提取的特征,BLEU分数在开发集上进一步提高到1.08。
2022-10-24 cs.CL cs.CV
CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
Fudan University(复旦大学);Zhejiang Lab(之江实验室)
在本文中,我们利用以前的预训练模型(PTM),提出了一种新的中国预训练不平衡Transformer(CPT)。与以往的中文翻译机不同,CPT的设计是利用自然语言理解(NLU)和自然语言生成(NLG)之间的共享知识来提高性能。CPT由三部分组成:共享编码器、理解解码器和生成解码器。具有共享编码器的两个特定解码器分别使用掩码语言建模(MLM)和去噪自动编码(DAE)任务进行预训练。通过部分共享的架构和多任务预训练,CPT可以(1)使用两个解码器学习NLU或NLG任务的特定知识,(2)灵活地进行微调,充分利用模型的潜力。而且不平衡的Transformer节省了计算和存储成本,使CPT具有竞争力,大大加快了文本生成的推理。在汉语自然语言理解和自然语言学习任务上的实验结果表明了CPT的有效性。
2022-07-18 cs.CL
Heidelberg-Boston @ SIGTYP 2024 Shared Task: Enhancing Low-Resource Language Analysis With Character-Aware Hierarchical Transformers
Heidelberg University(海德堡大学);Sattler College(萨特勒学院)
本工作向SIGTYP 2024共享任务受限子任务提交系统,针对13种历史语言,采用分层分词结合DeBERTa-V3架构进行词性与形态标注,并利用字符级T5模型进行词形还原,从头预训练后获得第一名。
2024-05-30 cs.CL
NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task
Google(谷歌)
本文介绍了NEMO提交给SIGTYP 2020的共享任务,该任务使用来自世界语言结构地图集(WALS)的数据来预测多种语言的语言类型学特征。我们采用频率论推理来表示类型特征之间的相关性,并使用这种表示来训练简单的多类估计器,预测单个特征。我们描述了两个提交的岭回归为基础的配置,排名第二和第三的整体约束任务。我们的最佳配置在149种测试语言上实现了0.66的微平均准确度得分。
2020-10-12 cs.AI cs.CL
Can Visual Dialogue Models Do Scorekeeping? Exploring How Dialogue Representations Incrementally Encode Shared Knowledge
University of Potsdam(波茨坦大学)
本文提出基于理论的评估方法,探究视觉对话模型在VisDial上预训练后能否增量构建共享知识计分表征,发现区分共享与私有陈述的能力中等但增量一致性不足。
2025-02-25 cs.CL
SIGMORPHON 2023 Shared Task of Interlinear Glossing: Baseline Model
University of Colorado(科罗拉多大学)
语言文档是语言保存的一个重要方面,通常包括创建线间注释文本(IGT)。创建IGT既耗时又繁琐,自动化这个过程可以节省注释者宝贵的精力。本文描述了SIGMORPHON 2023线间注释共享任务的基线系统。在我们的系统中,我们利用了一个Transformer架构,并把光泽生成作为一个序列标签的任务。
2023-03-24 cs.CL
On the limited utility of parallel data for learning shared multilingual representations
University of Helsinki(赫尔辛基大学)
本文研究平行数据在预训练中对多语言表示对齐的影响,发现其效果有限,仅在预训练早期加速表示共享并减少语言特异性神经元。
2026-03-30 cs.CL
Detecting Generated Scientific Papers using an Ensemble of Transformer Models
University of Tyumen(秋明大学);Voctiv RnD d.o.o. Beograd(Voctiv研发有限责任公司(贝尔格莱德))
本文介绍了神经模型开发的DAGPap22共享任务主办的第三次学术文件处理研讨会。这个共享任务的目标是自动检测生成的科学论文。我们的工作重点是比较不同的基于transformer的模型,以及使用额外的数据集和技术来处理不平衡的类。作为最后的提交,我们使用了SciBERT,RoBERTa和DeBERTa的合奏,使用随机过采样技术进行了微调。我们的模型在F1得分方面达到了99.24%。官方的评估结果把我们的系统排在第三位。
2022-09-17 cs.AI cs.CL cs.LG
Yseop at FinSim-3 Shared Task 2021: Specializing Financial Domain Learning with Phrase Representations
Yseop
在本文中,我们提出了我们的方法FinSim-3共享任务2021:学习金融领域的语义相似性。这个共享任务的目的是将来自金融领域的给定术语列表正确分类为外部本体中最相关的上位词(或顶级)概念。对于我们的系统提交,我们评估了两种方法:在自定义语料库上预训练的句子-RoBERTa(SRoBERTa)嵌入模型,以及基于第一种方法的双单词-句子嵌入模型,该模型通过使用FastText模型改进所提出的基线词嵌入构造来提高分类性能。我们的系统在这两个指标上都排名第二,平均准确率为0.917,平均排名为1.141。
2021-08-21 cs.CL
On the Acquisition of Shared Grammatical Representations in Bilingual Language Models
UCSD(加州大学圣地亚哥分校);EleutherAI;MIT(麻省理工学院)
通过控制数据量和语言接触顺序训练小型双语模型,并利用结构启动方法,揭示跨语言语法共享表征的不对称性及其在类型学差异较大语言上的局限性。
2025-06-03 cs.CL
The RepEval 2017 Shared Task: Multi-Genre Natural Language Inference with Sentence Representations
New York University(纽约大学);DeepMind
本文介绍了RepEval 2017共享任务的结果,该任务在Williams等人(2017)最近引入的多类型自然语言推理语料库(MultiNLI)上评估了神经网络句子表示学习模型。所有五个参与团队都击败了Williams等人报告的双向LSTM(BiLSTM)和连续词袋基线。最好的单一模型使用具有剩余连接的堆叠BiLSTM来提取句子特征,并在体裁匹配测试集上达到74.5%的准确率。令人惊讶的是,在体裁匹配和体裁不匹配的测试集上,以及在代表各种语言现象的测试数据的子集上,竞争的结果相当一致,这表明所有提交的系统都学会了合理的独立于领域的句子意义表示。
2017-07-25 cs.CL
ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们对CoNLL 2019共享任务跨框架意义表示解析(MRP 2019)的贡献进行了系统描述。建议的架构是我们第一次尝试对语义解析扩展的UDPipe 2.0,一个词形化,词性标注和依存句法分析管道。对于MRP 2019,它具有五种形式和语言上不同的意义表示方法(DM,PSD,EDS,UCCA和AMR),我们提出了一种统一的,语言和框架不可知的图到图神经网络架构。在没有任何关于图结构的知识的情况下,特别是在没有任何语言或框架动机的特征的情况下,我们的系统隐式地对意义表示图进行建模。在修复了人为错误(我们使用了早期提供的测试集分析的错误版本)之后,我们的提交将在竞争评估中获得第三名。我们的系统的源代码可以在https://github.com/ufal/mrpipe-conll2019上获得。
2019-10-24 cs.CL
Recurrent multiple shared layers in Depth for Neural Machine Translation
KingSoft AI Lab(金山AI实验室);University of Groningen(格罗宁根大学)
学习更深层次的模型通常是提高模型性能的一种简单有效的方法,但是更深层次的模型具有更大的模型参数,并且更难以训练。为了获得更深层次的模型,简单地堆叠更多的模型层似乎可以很好地工作,但以前的工作声称它不能使模型受益。我们提出用递归机制来训练更深的模型,该机制在深度方向上循环Transformer的编码器和解码器块。为了解决模型参数的增加,我们选择在不同的递归时刻共享参数。我们在WMT 16英语到德语和WMT 14英语到法语翻译任务上进行了实验,我们的模型比浅的Transformer-Base/Big基线高出0.35,1.45 BLEU点,是Transformer-Big模型参数的27.23%。与深度Transformer(20层编码器,6层解码器)相比,我们的模型具有相似的模型性能和推理速度,但我们的模型参数是前者的54.72%。
2021-08-26 cs.CL cs.LG
Transformer based ensemble for emotion detection
Pune Institute of Computer Technology(浦那计算机技术学院);Manipal Institute of Technology(马尼帕尔理工学院)
检测语言中的情感对于实现人与机器之间的完整交互非常重要。本文描述了我们对WASSA 2022共享任务的贡献,该任务处理情感检测这一关键任务。我们必须根据给定的文章文本识别以下情绪:悲伤,惊讶,中性,愤怒,恐惧,厌恶,喜悦。我们正在使用ELECTRA和BERT模型的集成来解决这个问题,实现了$62.76\%$的F1分数。我们的代码库(https://bit.ly/WASSA_shared_task)和WandB项目(https://wandb.ai/acl_wassa_pictxmanipal/acl_wassa)是公开的。
2022-04-10 cs.CL
One Model to Pronounce Them All: Multilingual Grapheme-to-Phoneme Conversion With a Transformer Ensemble
The University of British Columbia(不列颠哥伦比亚大学)
字素-音素(G2 P)转换对于语音识别和语音合成都是非常重要的。与其他语音和语言处理任务类似,在只有小规模训练数据可用的情况下,学习G2 P模型是具有挑战性的。我们描述了一个简单的方法,利用模型集成,基于多语言Transformers和自我训练,开发一个高效的G2 P解决方案的15种语言。我们的模型是作为我们参与SIGMORPHON 2020共享任务1的一部分开发的,该任务专注于G2 P。我们最好的模型达到14.99字出错率(WER)和3.30音素出错率(PER),一个相当大的改善共享任务的竞争基线。
2020-06-23 cs.CL
Understanding Shared Speech-Text Representations
Google LLC(谷歌有限责任公司)
该研究通过无语音域自适应极限分析与单模态/共享编码器激活对比,探究Maestro框架下的共享语音-文本表示,明确语料特定时长模型的关键作用并解释其性能优势的部分原因。
2023-04-27 cs.CL cs.LG cs.SD
Jetsons at FinNLP 2024: Towards Understanding the ESG Impact of a News Article using Transformer-based Models
Fidelity Investments, AI Center of Excellence(富达投资人工智能卓越中心)
本文介绍Jetsons团队在ML-ESG-3共享任务中,通过微调XLM-RoBERTa和DeBERTa-v3等Transformer模型,在多语言新闻ESG影响持续时间和类型分类上取得领先成绩。
2024-03-30 cs.CL
MIA 2022 Shared Task Submission: Leveraging Entity Representations, Dense-Sparse Hybrids, and Fusion-in-Decoder for Cross-Lingual Question Answering
Apple(苹果公司)
我们描述了我们的两阶段系统的多语言信息访问(MIA)2022跨语言开放检索问答共享任务。第一阶段包括多语种段落检索与混合密集和稀疏检索策略。第二阶段由一个阅读器组成,它输出第一阶段返回的顶部段落的答案。我们展示了在预训练中使用多语言语言模型与实体表示,稀疏检索信号以帮助稠密检索和解码器融合的有效性。在开发集上,我们在XOR-TyDi QA上获得43.46 F1,在MKQA上获得21.99 F1,平均F1得分为32.73。在测试集上,我们在XOR-TyDi QA上获得40.93 F1,在MKQA上获得22.29 F1,平均F1得分为31.61。我们在开发和测试集上都比官方基准提高了4个F1点。
2022-07-18 cs.CL
Findings of the Shared Task on Multilingual Coreference Resolution
Charles University(查理大学);University of West Bohemia(西波西米亚大学);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文概述了与CRAC 2022研讨会相关的多语言共指消解的共同任务。共享任务的参与者应该开发可训练的系统,能够识别提到和聚类,根据身份共指。CorefUD 1.0公开版包含10种语言的13个数据集,用作培训和评估数据的来源。CoNLL分数在以前的共指导向的共享任务被用作主要的评价指标。共有5个参赛团队提交了8个共指预测系统;此外,还有一个由主办方在共享任务开始时提供的基于Transformer的竞争性基线系统。获胜者系统的表现比基线高出12个百分点(就各个语言的所有数据集的CoNLL分数而言)。
2022-09-16 cs.CL
Legend at ArAIEval Shared Task: Persuasion Technique Detection using a Language-Agnostic Text Representation Model
Instituto Politécnico Nacional(国立理工学院);Montclair State University(蒙特克莱尔州立大学);Caritas University(明爱大学);Lead City University(利德城市大学);Federal University Oye-Ekiti(奥耶埃基蒂联邦大学)
本研究在ArAIEval任务1中,采用XLM-RoBERTa语言无关模型微调,检测阿拉伯语文本说服技巧,子任务A取得微F1分数0.64。
2023-10-14 cs.CL
Breaking Token Into Concepts: Exploring Extreme Compression in Token Representation Via Compositional Shared Semantics
Indian Institute of Technology Kharagpur(印度理工学院Khargapur)
本文提出聚合语义分组(ASG)方法,利用乘积量化将词元表示为共享语义概念的组合,在仅保留0.4%-0.5%嵌入参数的情况下维持超过95%的任务性能,验证了词元可被有效建模为共享语义构建块组合的原则。
2025-09-23 cs.CL
IIT_kgp at FinCausal 2020, Shared Task 1: Causality Detection using Sentence Embeddings in Financial Reports
IIT Kharagpur(印度理工学院克勒格布尔分校)
本文描述了该团队提交给FinCausal 2020共享任务的工作。这项工作是与第一个子任务,确定句子中的因果关系。实验中使用的各种模型试图获得每个句子的潜在空间表示。对这些表示进行线性回归,以分类句子是否是因果关系。实验结果表明,BERT(大)表现最好,给出了0.958的F1分数,在检测金融文本和报告中的句子的因果关系的任务。类不平衡处理修改后的损失函数,以提供一个更好的度量评分的评价。
2020-11-16 cs.CL
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab(语言技术实验室);University of Amsterdam(阿姆斯特丹大学)
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题,提出基于词汇等价类和图网络融合跨语言词嵌入的方法,在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
Hate Speech and Offensive Language Detection using an Emotion-aware Shared Encoder
Samovar(萨莫瓦实验室);Telecom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
社交媒体平台的兴起从根本上改变了人们的沟通方式,这些发展的结果之一是在线使用滥用内容的增加。因此,自动检测这些内容对于禁止不适当的信息,减少社交媒体平台上的毒性和暴力至关重要。现有的仇恨言论和攻击性语言检测工作基于预训练的Transformer模型产生了有希望的结果,然而,他们只考虑了通过注释数据集生成的滥用内容特征的分析。本文提出了一种多任务联合学习方法,该方法结合了从另一个语料库中提取的外部情感特征,以处理标记数据集的不平衡和稀缺性。我们的分析使用了两个著名的基于transformer的模型,BERT和mBERT,后者用于解决多语言场景中的滥用内容检测。我们的模型通过Transformers的共享编码器共享表示,联合学习滥用内容检测和情感特征。这种方法提高了数据效率,通过共享表示减少过拟合,并通过利用辅助信息确保快速学习。我们的研究结果表明,情感知识有助于更可靠地识别数据集中的仇恨言论和攻击性语言。我们的仇恨语音检测多任务模型表现出3%的性能提高基线模型,但多任务模型的性能不显着的攻击性语言检测任务。更有趣的是,在这两个任务中,多任务模型比单任务模型表现出更少的假阳性错误。
2023-02-17 cs.CL cs.IT cs.LG
Denoising Word Embeddings by Averaging in a Shared Space
Bar-Ilan University(巴伊兰大学)
我们介绍了一种新的方法来平滑和提高词嵌入的质量。我们考虑一种融合词嵌入的方法,这些词嵌入是在同一语料库上训练的,但具有不同的初始化。我们将所有的模型投影到一个共享的向量空间,使用一个有效的实现的广义Procrustes分析(GPA)的过程,以前使用的多语种单词翻译。我们的单词表示在一系列任务上表现出了对原始模型及其简单化平均值的一致改进。由于新的表示更加稳定和可靠,在稀有词评估方面有明显的改善。
2021-06-05 cs.CL cs.LG
Learning Visual Representation from Modality-Shared Contrastive Language-Image Pre-training
Columbia University(哥伦比亚大学);Microsoft Cloud and AI(微软云与人工智能部门);Microsoft Research(微软研究院)
大规模多模态对比预训练已经证明了通过将多个模态映射到共享嵌入空间中来学习一系列下游任务的可转移特征的巨大效用。通常,这已经针对每种模态采用了单独的编码器。然而,最近的工作表明,Transformers可以支持跨多种模式的学习,并允许知识共享。受此启发,我们研究了各种模态共享对比图像预训练(MS-CLIP)框架。更具体地说,我们质疑在对比预训练期间,Transformer模型的多少参数可以在模态之间共享,并严格检查沿着频谱定位共享参数比例的架构设计选择。在研究的条件下,我们观察到,一个基本统一的编码器的视觉和语言信号优于所有其他的变化,分离更多的参数。此外,我们发现,轻量级的特定模态的并行模块进一步提高性能。实验结果表明,MS-CLIP方法在zero-shot ImageNet分类(在YFCC-100 M上进行预训练)中的相对性能比vanilla CLIP高出13%,同时支持参数的减少。此外,我们的方法在24个下游视觉任务的线性探测中优于vanilla CLIP 1.6个点。此外,我们发现共享参数导致来自不同模态的语义概念在嵌入空间中被更紧密地编码,从而促进公共语义结构的转移(例如,注意力模式(从语言到视觉)。代码可在\href{https://github.com/Hxyou/MSCLIP}{URL}上获得。
2022-07-26 cs.CL cs.CV
Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation
Qualcomm Technologies(高通科技)
针对自动音频字幕生成中模型过度参数化导致的幻觉和内存问题,提出数据增强检测幻觉及参数高效的推理时忠实解码算法,利用音频-文本共享潜在表示实现语义对齐,使小模型性能媲美大模型。
2023-09-06 cs.CL cs.MM cs.SD
Table2Charts: Recommending Charts by Learning Shared Table Representations
Microsoft Research(微软研究院);Peking University(北京大学);Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学);New York University(纽约大学);Microsoft(微软)
人们通常会创建不同类型的图表来探索多维数据集(表)。然而,要推荐现实世界中常见的组合图表,应该考虑效率,不平衡数据和表上下文的挑战。在本文中,我们提出了Table2Charts框架,它可以从一个大型的(表,图表)对语料库中学习常见的模式。基于具有复制机制和启发式搜索的深度Q学习,Table2Charts可以进行表到序列生成,其中每个序列都遵循图表模板。在一个大型的电子表格语料库与165K表和266K图表,我们表明,表2Charts可以学习表字段的共享表示,使不同图表类型的推荐任务可以相互增强。表2 Charts在多类型任务(召回数R@3=0.61和R@1=0.43)和人类评估中均优于其他图表推荐系统。
2021-06-28 cs.CL cs.DB cs.HC