Meta-Embedding as Auxiliary Task Regularization
University of Liverpool（利物浦大学）
词嵌入已被证明受益于对多个词嵌入源进行采样，通常使用词向量集上的直接数学运算来执行。最近，自监督学习已被用于寻找低维表示，其大小类似于集合中的单个词嵌入。然而，这些方法不使用通常仅用于评估目的的可用手动标记的数据集。我们建议重建一个整体的词嵌入作为一个辅助任务，regularises一个主要的任务，而这两个任务共享学习元嵌入层。我们进行内在评估（6个单词相似度数据集和3个类比数据集）和外在评估（4个下游任务）。对于内在任务评估，监督来自各种标记的单词相似性数据集。我们的实验结果表明，与自监督学习方法相比，所有单词相似度数据集的性能都有所提高，Spearman相关性平均增加了$11.33$。具体而言，该方法显示出最好的性能在4的6个字相似性数据集时，使用余弦重建损失和Brier的字相似性损失。此外，在序列标注和句子元嵌入中进行词元嵌入重构时也进行了改进，用于句子分类。
2020-01-24 cs.CL cs.LG
Neural Morphological Tagging from Characters for Morphologically Rich Languages
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）
本文研究了基于神经特征的词法标注方法，该方法适用于词法复杂且标注集较大的语言。我们系统地探索了各种神经架构（DNN，CNN，CNNHighway，LSTM，BLSTM），以获得基于字符的词向量，并结合双向LSTM，在端到端环境中对跨词上下文进行建模。我们探索基于大量未标记数据训练的基于单词的向量的补充使用。我们的形态标记实验表明，对于“简单”模型配置，网络架构的选择（CNN与CNNHighway与LSTM与BLSTM）或使用预训练的词嵌入的增强可能很重要，并明显影响准确性。例如，通过增加深度来增加模型容量，并仔细优化神经网络可以带来实质性的改进，并且准确性（但不是训练时间）的差异变得更小，甚至可以忽略不计。总的来说，我们最好的形态标记为德国和捷克优于最好的结果，在文献中报道了很大的利润。
2016-06-21 cs.CL
Automated Generation and Tagging of Knowledge Components from Multiple-Choice Questions
Carnegie Mellon University（卡内基梅隆大学）
本研究利用GPT-4为高等教育多选题自动生成知识组件，并通过专家评估和聚类算法验证了LLM生成的KCs在准确率和偏好上优于人工，推进了评估项目KCs生成与分类的自动化。
2024-05-30 cs.AI cs.CL
AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
多任务学习（MTL）已经在广泛的问题上取得了成功，其目标是使用一组相关的辅助任务来提高主要任务的性能。然而，当辅助任务的有用性被证明时，主要任务不是先验已知的，MTL模型的成功取决于这些辅助任务的正确选择以及在交替训练期间这些任务的平衡混合比。这两个问题可以通过人工直觉或超参数调整所有组合任务选择来解决，但这会引入归纳偏差，或者当候选辅助任务的数量非常大时不可扩展。为了解决这些问题，我们提出了AutoSeM，一个两阶段的MTL流水线，其中第一阶段通过具有Thompson采样的Beta-Bernoulli多臂强盗自动选择最有用的辅助任务，第二阶段通过基于高斯过程的贝叶斯优化框架学习这些选择的辅助任务的训练混合比。我们在GLUE语言理解任务上进行了几个MTL实验，并表明我们的AutoSeM框架可以成功地找到相关的辅助任务，并自动学习它们的混合比例，在几个主要任务上实现了显着的性能提升。最后，我们为AutoSeM的每个阶段提出了消融，并分析了学习的辅助任务选择。
2019-04-08 cs.CL cs.LG stat.ML
Automatic Generation of Multiple-Choice Questions
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
创建多项选择题来评估给定文章的阅读理解，涉及生成问答对（QAP）和足够的干扰项。我们提出了两种方法来解决QAP生成的挑战：（1）基于T5 Transformer的基于深度学习的端到端问题生成系统，带有预处理和后处理管道（TP3）。我们将微调的T5模型用于问题生成的下游任务，并在预处理和后处理中使用各种NLP工具和算法的组合来选择适当的答案并过滤不需要的问题，从而提高准确性。(2)一个基于序列学习的方案，通过句子的元序列表示来生成适当的QAP。元序列是包括语义和句法标签的向量序列。我们设计了一种称为MetaQA的方案，用于从训练数据中学习元序列，以形成陈述句和相应疑问句的元序列对。TP3在看不见的数据上运行良好，这是MetaQA的补充。这两种方法都可以生成格式良好且语法正确的问题。此外，我们提出了一种新的方法来自动生成足够的干扰为一个给定的QAP。该方法是词性标注、命名实体标注、语义角色标注、正则表达式、领域知识库、词嵌入、词编辑距离、WordNet等算法的组合。
2023-03-25 cs.CL
Subword Pooling Makes a Difference
Borealis AI；Institute for Computer Science and Control（计算机科学与控制研究所）
上下文单词表示成为现代自然语言处理系统的标准。这些模型使用子词标记化来处理大词汇表和未知词。这种系统的词级使用需要一种方法来汇集对应于单个词的多个子词。在本文中，我们调查如何选择的子词池影响下游的性能上的三个任务：形态探测，词性标注和NER，在9个类型不同的语言。我们在两个大规模多语言模型mBERT和XLM-RoBERTA中比较这些。对于形态学任务，广泛使用的“选择第一个子词”是最差的策略，最好的结果是通过使用注意力的子词。对于POS标记，这两种策略的表现都很差，最好的选择是在子词上使用一个小的LSTM。相同的策略最适合NER，我们表明mBERT在所有9种语言中都优于XLM-RoBERTA。我们在\url{https://github.com/juditacs/subword-choice}公开发布所有代码、数据和完整结果表。
2021-03-29 cs.CL
Untangling the Influence of Typology, Data and Model Architecture on Ranking Transfer Languages for Cross-Lingual POS Tagging
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古滕贝格大学）
本研究通过跨语言词性标注任务，系统评估类型学、数据与模型架构对迁移语言选择的影响，发现类型学与数据集特征组合效果最佳，且词重叠、类型-词符比率和谱系距离是关键特征。
2025-03-25 cs.CL
GIRNet: Interleaved Multi-Task Recurrent State Sequence Models
IIIT Delhi（德里英迪拉·甘地信息技术学院）；IIT Bombay（印度理工学院孟买分校）
在一些自然语言任务中，标记序列在不同的领域（例如语言）中可用，但目标是标记具有混合领域的序列（例如代码转换文本）。或者，我们可能有可用的模型来标记整个段落（比如，用情感），我们希望利用这些模型来进行更好的位置特定的标签推理（比如，目标相关的情感注释）。在这些任务中共享的一个关键特征是，主要实例中的不同位置可以受益于从辅助数据中训练的不同“专家”，但标记的主要实例很少，并且为每个位置标记最佳专家会带来不可接受的认知负担。我们提出了GITNet，一个统一的位置敏感的多任务递归神经网络（RNN）架构，用于此类应用。辅助任务和主要任务不需要共享培训实例。辅助RNN在辅助实例上训练。主实例也被提交给每个辅助RNN，但它们的状态序列被选通并合并到一个为主推理任务量身定制的新复合状态序列中。我们的方法与最近的多任务网络（如十字绣和水闸网络）形成鲜明对比，这些网络不能以如此细的粒度控制状态转移。我们证明了GIRNet的优势，使用三个应用程序：情感分类的代码切换通道，部分的语音标记的代码切换文本，和目标位置敏感的注释的情绪在单语通道。在所有情况下，我们都建立了超越近期竞争基准的新的最先进性能。
2018-12-25 cs.CL cs.LG stat.ML
Translation via Annotation: A Computational Study of Translating Classical Chinese into Japanese
Department of Linguistics University of Colorado, Boulder（语言学系科罗拉多大学博尔德分校）；School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
本文提出通过注释系统将古典汉语翻译成日语，利用LLM和新数据集提升低资源环境下序列标注任务的性能。
2026-01-21 cs.CL
Exploring transfer learning for Deep NLP systems on rarely annotated languages
University of Rostock（罗斯托克大学）
本文研究在印地语与尼泊尔语之间应用迁移学习进行词性标注，发现联合训练词嵌入结合BLSTM-CNN-CRF模型能有效提升低资源语言的标注性能。
2024-10-15 cs.CL
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland（东芬兰大学）；AI-Bio Convergence Research Institute（人工智能-生物融合研究所）；Soongsil University（崇实大学）
本文通过比较三种子词方法在六个乌拉尔语中的表现，发现OBPE在形态对齐和标注准确性上优于传统方法，尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
Language Modeling Teaches You More Syntax than Translation Does: Lessons Learned Through Auxiliary Task Analysis
New York University（纽约大学）；Harvard University（哈佛大学）
最近使用辅助预测任务分类器来研究LSTM表示的属性的工作已经开始阐明为什么预训练的表示，如ELMo（Peters et al.，2018）和CoVe（McCann等人，2017），对神经语言理解模型是如此有益。然而，我们仍然没有清楚地了解预训练目标的选择如何影响模型学习的语言信息类型。考虑到这一点，我们比较了四个目标-语言建模，翻译，跳跃思想，和自动编码-对他们的能力，以诱导句法和词性信息。我们通过保持训练数据的数量和类型以及LSTM架构不变来对任务进行公平的比较。我们发现，来自语言模型的表示在我们的句法辅助预测任务中始终表现最好，即使在相对少量的数据上进行训练。这些结果表明，语言建模可能是需要语法信息的迁移学习应用程序的最佳数据丰富的预训练任务。我们还发现，表示从随机初始化，冻结LSTM执行我们的语法辅助任务，但这种效果消失时，辅助任务的训练数据的量减少。
2019-01-07 cs.CL
Evaluation of Morphological Embeddings for the Russian Language
Innopolis University（因诺波利斯大学）
近年来，出现了许多基于形态学的词嵌入模型。然而，他们的评估主要限于英语，这是一种已知的形态简单的语言。在本文中，我们探讨是否以及在何种程度上将形态到词嵌入提高下游NLP任务的性能，在形态丰富的俄语。我们选择的NLP任务是POS标记，组块和NER -对于俄语，所有这些都可以只用形态学来解决，而不需要理解单词的语义。我们的实验表明，Skipgram目标训练的基于形态学的嵌入并没有优于现有的嵌入模型- FastText。此外，一个更复杂的，但形态不知道的模型，BERT，允许实现显着更大的性能的任务，大概需要理解一个词的形态。
2021-03-11 cs.CL cs.LG
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
系统组合性是人类语言中的一种基本机制，它允许已知部分的重组来创造新的表达。然而，现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战（Lake和Baroni，2018）中失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务，用于跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明，我们的方法鼓励Transformer理解命令的组合结构，将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个（5%）训练实例的情况下，我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此，我们认为，组合性可以诱导在Transformers给予最小的，但适当的指导。我们还表明，更好的结果是实现使用较少的上下文向量作为注意力的查询，实现系统的组合性的架构选择提供见解。最后，我们展示了对PulledSCAN任务的积极推广结果（Ruis等人，2020年）。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
RunyaNER: Auxiliary Language Selection for Runyankore NER
University of Cape Town（开普敦大学）
针对低资源语言Runyankore，我们构建了首个公开NER基准RunyaNER，并系统研究辅助语言选择策略，发现基于嵌入的度量比传统语言特征更能预测迁移性能，为多语言迁移提供实用指导。
2026-09-30 cs.CL
Optimal Hyperparameters for Deep LSTM-Networks for Sequence Labeling Tasks
Technische Universität Darmstadt（达姆施塔特工业大学）；German Institute for Educational Research（德国教育研究所）
为神经网络体系结构选择最佳参数通常可以在平庸和最先进的性能之间产生差异。然而，几乎没有公布应该评估或选择哪些参数和设计选择，使得正确的超参数优化通常是“需要专家经验的黑魔法”（Snoek等人，2012年）。在本文中，我们评估了不同的网络设计选择和超参数的重要性，五个常见的语言序列标记任务（POS，组块，NER，实体识别和事件检测）。我们评估了超过50，000种不同的设置，发现一些参数，如预训练的词嵌入或网络的最后一层，对性能有很大的影响，而其他参数，例如LSTM层的数量或循环单元的数量，则不太重要。我们给出了一个在不同任务中表现良好的配置建议。
2017-08-16 cs.CL
Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
多语言语言模型是一个关键的突破，因为它们大大减少了资源不足语言的数据需求。尽管如此，语言特定模型的优越性已经被证明可以访问大量数据的语言。在这项工作中，我们专注于加泰罗尼亚语的目的是探讨在何种程度上一个中等规模的单语语言模型是最先进的大型多语言模型的竞争力。为此，我们：（1）建立一个干净，高质量的文本加泰罗尼亚语语料库（CaText），迄今为止最大的（但只有以前在单语语言模型中工作的通常大小的一小部分），（2）训练加泰罗尼亚语（BERTA）的基于transformer的语言模型，以及（3）在多种设置中设计彻底的评估，包括一系列完整的下游任务，即，词性标记，命名实体识别和分类、文本分类、问答和语义文本相似性，大多数相应的数据集都是从头创建的。结果是一个新的基准，加泰罗尼亚语语言理解基准（CLUB），我们将其作为开放资源与干净的文本语料库，语言模型和清理管道一起发布。使用最先进的多语言模型和仅在维基百科上训练的单语模型作为基线，我们始终观察到我们的模型在任务和设置中的优越性。
2021-07-16 cs.CL
Auxiliary task demands mask the capabilities of smaller language models
Kempner Institute for the Study of Natural and Artificial Intelligence（坎普ner自然与人工智能研究所）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本文借鉴发展心理学“任务需求”概念，证明辅助任务需求会掩盖较小语言模型在推理等任务上的真实能力，强调模型表现受评估设计影响而非智力直接体现。
2024-07-29 cs.AI cs.CL
ALIGN-MLM: Word Embedding Alignment is Crucial for Multilingual Pre-training
Princeton University（普林斯顿大学）
多语言预训练模型表现出zero-shot跨语言迁移，其中在源语言上微调的模型在目标语言上实现了令人惊讶的良好性能。虽然研究试图理解迁移，但它们只关注MLM，而自然语言之间的大量差异使得很难理清不同属性的重要性。在这项工作中，我们特别强调了词嵌入对齐的重要性，提出了一个预训练目标（ALIGN-MLM），其辅助损失引导不同语言中的相似词具有相似的词嵌入。当我们评估自然语言和通过系统地修改脚本等特定属性创建的对应语言之间的传输时，ALIGN-MLM优于或匹配三个广泛采用的目标（MLM，XLM，DICT-MLM）。特别是，ALIGN-MLM在POS标记上比XLM和MLM高出35和30个F1点，用于在脚本和词序（从左到右与从左到右）都不同的语言之间进行传输。从右到左）。我们还显示了所有目标的对齐和转移之间的强相关性（例如，rho=0.727（对于XNLI）），这与ALIGN-MLM的强大性能一起要求显式对齐多语言模型的词嵌入。
2022-11-15 cs.AI cs.CL cs.LG
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
