Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology（哈尔滨工业大学）
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
A Probabilistic Generative Model of Linguistic Typology
University of Copenhagen（哥本哈根大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
在原则和参数框架中，语言的结构特征取决于可以打开或关闭的参数，单个参数通常指示多个特征的状态。特征之间隐含的协方差激发了我们对这一语言研究路线的概率化-我们开发了一种基于指数族矩阵分解的语言生成模型。通过对同一架构中的所有语言和功能进行建模，我们展示了如何利用语言之间的结构相似性来预测类型特征，其准确性近乎完美，在预测保留特征的任务上优于几个基线。此外，我们表明，在单语文本上预训练的语言嵌入允许推广到未观察到的语言。这一发现具有明确的实践和理论意义：结果证实了语言学家的假设，即~类型学特征和语言之间存在着显著的相关性。
2019-05-15 cs.CL
Conditioned in Training, Dispensable at Inference: Typological Conditioning for Multilingual Speech Translation
School of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电子工程学院）；Recho Inc.（Recho公司）；National Institute of Informatics（国家信息研究所）；Interdisciplinary Research Centre on Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科研究中心）；Donghua University（东华大学）；Department of Computer Science, The University of Tokyo（东京大学计算机科学系）；Department of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电子与计算机工程系）
本文提出S2ST-Omni 2框架，通过结构化类型学先验改进多语言语音到语音翻译，实验显示其在多个评估指标上表现优异，且在数据受限条件下仍能提升翻译效率。
2026-10-14 cs.AI cs.CL
Large Language Models are Easily Confused: A Quantitative Metric, Security Implications and Typological Analysis
Aalborg University（奥尔堡大学）
本文提出语言混淆熵这一新度量来量化LLMs生成错误语言的现象，并结合语言类型学揭示混淆模式及其在多语言嵌入反转攻击中的安全影响，为LLM对齐与安全提供理论依据。
2025-02-09 cs.AI cs.CL cs.CR
When Does Mixing Help? Analyzing Query Embedding Interpolation in Multilingual Dense Retrieval
National University of Singapore（新加坡国立大学）
通过嵌入级插值构造混合查询，系统研究多语言稠密检索对混合语言查询的敏感性，发现最优混合比在多数情况下优于单语言查询，且英语主导性导致不对称性。
2026-06-12 cs.CL
Analyzing autoencoder-based acoustic word embeddings
University of Edinburgh（爱丁堡大学）；Stellenbosch University（斯泰伦博斯大学）
最近的研究介绍了学习声学词嵌入（AWE）的方法--固定大小的矢量表示的单词编码其声学特征。尽管AWE在语音处理研究中被广泛使用，但它们仅在区分整个单词标记的能力方面进行了定量评估。为了更好地理解AWE在各种下游任务和认知建模中的应用，我们需要分析AWE的表示空间。在这里，我们分析了AWE空间的基本属性学习序列到序列编码器-解码器模型在六个类型不同的语言。我们首先表明，这些AWE保留了一些关于单词的绝对持续时间和扬声器的信息。同时，这些AWE的表示空间被组织成使得词的嵌入之间的距离随着那些词的语音相异性而增加。最后，AWE表现出一个词的起始偏差，类似于人类语音处理和词汇访问的各种研究中报道的模式。我们认为，这是一个有前途的结果，并鼓励进一步评估AWE作为一个潜在的有用的工具，在认知科学，它可以提供语音处理和词汇记忆之间的联系。
2020-04-03 cs.CL
Neighbors and relatives: How do speech embeddings reflect linguistic connections across the world?
本文利用微调 XLS-R 模型的语音嵌入和 LDA 分析 106 种语言，证明嵌入距离可对应谱系、词汇与地理关系，为大规模语言类型学研究提供新方法。
2025-06-10 cs.CL cs.SD eess.AS
The Secret is in the Spectra: Predicting Cross-lingual Task Performance with Spectral Similarity Measures
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；Faculty of Industrial Engineering and Management, Technion, IIT（以色列理工学院工业工程与管理学院）
跨语言NLP任务的性能受到手头语言的（不）相似性的影响：例如，先前的工作表明，双语词典归纳（BLI）的预期成功与单语嵌入空间之间的（近似）同构假设之间存在联系。在这项工作中，我们提出了一个大规模的研究集中在单语嵌入空间相似性和任务性能之间的相关性，涵盖数千个语言对和四个不同的任务：BLI，解析，词性标注和MT。我们假设每个单语嵌入空间的频谱的统计数据表明它们可以对齐。然后，我们介绍了两个嵌入空间之间的同构措施，基于各自的频谱的相关统计。我们的经验表明，1）从这种频谱同构措施中获得的语言相似性分数与不同跨语言任务中观察到的表现密切相关，2）我们的基于频谱的措施始终优于以前的标准同构措施，同时在计算上更易于处理，更容易解释。最后，我们的措施捕捉互补信息，以类型驱动的语言距离的措施，并从两个家庭的措施相结合，产生更高的任务绩效的相关性。
2020-10-12 cs.CL
Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures
Google Research（谷歌研究院）
语言类型资源在自然语言处理中的应用越来越受欢迎。已经观察到，类型信息的使用，通常与分布式语言表示相结合，导致更强大的模型。虽然来自各种资源的语言类型学表示主要用于调节模型，但相对较少关注从输入数据预测来自这些资源的特征。在本文中，我们调查是否可以可靠地推断出从多语种文本的语言结构（WALS）的世界地图集的各种语言特征。这样的预测器可以用于推断从未在训练数据中观察到的语言的结构特征。我们将此任务视为一个多标签分类，涉及预测非互斥和极其稀疏的多值标签（WALS特征）的集合。我们构建了一个基于字节嵌入和卷积层的递归神经网络预测器，并在556种语言上测试了其性能，为各种语言类型、宏观区域、语言家族和个体特征提供了分析。我们表明，从各种语言类型的一些功能可以可靠地预测。
2020-05-04 cs.CL cs.LG
A multilabel approach to morphosyntactic probing
University of Washington（华盛顿大学）
我们引入了一个多标签探测任务来评估多语言语言模型中词嵌入的形态句法表征。我们用多语言BERT演示了这一任务（Devlin等人，2018年），训练探针为七种不同形态复杂性的类型多样的语言：南非荷兰语，克罗地亚语，芬兰语，希伯来语，韩语，西班牙语和土耳其语。通过这个简单但强大的范例，我们表明，多语言BERT呈现许多形态句法特征容易和同时提取（例如，性别、语法格、代名词类型）。我们进一步评估探针上的六个“坚持”的语言在一个zero-shot传输设置：阿拉伯语，中文，马拉地语，斯洛文尼亚语，塔吉文，约鲁巴语。这种类型的探测还有一个额外的好处，那就是揭示了语言模型认为跨语言共享的语言属性。例如，探测器在识别被保留语言中的名词时表现良好，这表明多语言的BERT具有超越单个语言的名词概念;然而，形容词并非如此。
2021-04-17 cs.CL
Character-Aware Decoder for Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）系统主要对单词（或子单词）进行操作，忽略较低级别的形态模式。我们提出了一个字符感知解码器，旨在捕捉这种模式时，翻译成形态丰富的语言。我们通过用卷积神经网络增强基于注意力的编码器-解码器模型的softmax和嵌入层来实现字符感知，该卷积神经网络对单词的拼写进行操作。为了研究各种形态现象的表现，我们使用TED多目标数据集将英语翻译成14种类型多样的目标语言。在这种低资源设置中，字符感知解码器提供了一致的改进，BLEU分数增益高达$+3.05$。此外，我们分析了所获得的收益和目标语言的属性之间的关系，并找到证据表明，我们的模型确实利用形态模式。
2019-06-18 cs.CL
On the Importance of Subword Information for Morphological Tasks in Truly Low-Resource Languages
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；RIKEN AIP（理化学研究所人工智能实验室）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所以及）；Technion, IIT（以色列理工学院）；Tohoku University（东北大学）
最近的工作已经证实了子词信息对于词表示学习的重要性。由于子字增加了神经模型中的参数共享能力，因此它们的价值在低数据状态下应该更加明显。因此，在这项工作中，我们提供了一个全面的分析，重点是在真正的低资源的情况下，字表征学习和三个代表性的形态任务：细粒度的实体打字，形态标记，和命名实体识别的子词的有用性。我们进行了一个系统的研究，跨越了几个方面的比较：1）数据稀缺的类型，这可能源于缺乏特定任务的训练数据，甚至缺乏训练词嵌入所需的未注释数据，或两者兼而有之; 2）语言类型，通过与16种类型不同的语言样本，包括一些真正的低资源的工作（如Rusyn，布里亚特，祖鲁语）; 3）子词知情的词表示方法的选择。我们的主要结果表明，子词知情模型在所有语言类型中普遍有用，比子词不可知的嵌入有很大的收益。他们还认为，子词的有效使用在很大程度上取决于语言（类型）和手头的任务，以及用于训练嵌入和基于任务的模型的可用数据量，其中具有足够的任务内数据是一个更关键的要求。
2019-09-26 cs.CL
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations
University of Edinburgh（爱丁堡大学）
来自语言类型学数据库的稀疏语言向量和来自多语言机器翻译等任务的学习嵌入已经被孤立地研究，而没有分析它们如何从彼此的语言特征中受益。我们建议使用奇异向量典型相关分析来融合这两种观点，并研究从每个来源诱导出什么样的信息。通过推断类型学特征和语言同源性，我们观察到我们的表征嵌入类型学，并加强与语言关系的相关性。然后，我们利用我们的多视图语言向量空间进行多语言机器翻译，在需要语言相似性信息的任务中，我们实现了具有竞争力的整体翻译准确性，例如语言聚类和多语言转换的候选人排名。使用我们的方法，这也是作为一种工具发布的，我们可以很容易地项目和评估新的语言，而无需昂贵的大量多语言或排名模型的重新训练，这是相关方法的主要缺点。
2020-10-25 cs.CL
Text segmentation with character-level text embeddings
Tilburg University（蒂尔堡大学）
学习单词表征最近在计算语言学中取得了很大的成功。然而，假设单词标记序列作为语言分析的输入往往是不合理的。对于许多语言来说，分词是一项重要的任务，自然出现的文本有时是自然语言字符串和其他字符数据的混合。我们建议通过训练一个简单的递归网络来预测文本中的下一个字符，直接从原始字符序列中学习文本表示。该网络使用其隐藏层来进化它所看到的字符序列的抽象表示。为了证明学习的文本嵌入的有用性，我们使用它们作为监督字符级文本分割和标记任务中的功能：识别包含程序设计语言代码的文本的跨度。通过使用嵌入作为特征，我们能够在仅使用表面字符n-gram的基线上进行实质性改进。
2013-09-18 cs.CL
A Systematic Study of Leveraging Subword Information for Learning Word Representations
University of Cambridge（剑桥大学）
使用子字级信息（例如，字符、字符n元语法、词素）在现代单词表示学习中变得无处不在。它的重要性是证明，特别是形态丰富的语言，产生了大量的罕见的话。尽管对这种子词信息词表征的兴趣稳步增加，但它们在类型学上不同的语言和不同任务之间的系统比较分析仍然缺失。在这项工作中，我们提供了这样一个研究重点的变化所需的两个关键组成部分的子词级集成到单词表示模型：1）分割成子词单元的单词，和2）子词组合功能，以获得最终的单词表示。我们提出了一个通用的框架，用于学习子词知情的单词表示，允许轻松实验不同的分割和组成组件，还包括更先进的技术，基于位置嵌入和自我注意。使用统一的框架，我们运行了大量的子词知情的词表示配置（共60个）的3个任务（一般和罕见的词相似性，依存句法分析，细粒度的实体类型）为5种语言，代表3种语言类型的实验。我们的主要研究结果清楚地表明，没有“一刀切”的配置，因为性能是语言和任务依赖。我们还表明，基于无监督分割的配置（例如，BPE，Morfessor）有时与基于监督分词的方法相当，甚至优于后者。
2019-05-04 cs.CL
How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation
Technische Universität Darmstadt（达姆施塔特工业大学）
句子编码器将句子映射到实值向量以供下游应用使用。为了窥视这些表示-例如，为了增加其结果的可解释性，已经设计了探测任务，该探测任务向它们询问语言知识。然而，为资源较少的语言设计探测任务是棘手的，因为这些语言通常缺乏大规模的注释数据或（高质量）依赖解析器作为英语探测任务设计的先决条件。为了研究如何在这种情况下探测句子嵌入，我们调查了探测任务结果对结构设计选择的敏感性，进行了第一次这样的大规模研究。我们表明，设计选择，如标注探测数据集的大小和用于评估的分类器类型（有时会大大）影响探测结果。然后，我们探测嵌入在一个多语言的设置与设计选择，位于一个“稳定的区域”，因为我们确定为英语，并发现英语的结果不转移到其他语言。因此，今后应该对多种语文进行更公平、更全面的探究性评价。
2020-10-28 cs.CL
Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation
Ruzivo Research Lab（鲁齐沃研究实验室）；African Leadership University（非洲领导力大学）
本研究针对NLLB-200等多语言NMT模型未见低资源语言的代理token选择问题，提出多语言词嵌入初始化策略，在林布语-英语翻译上取得与最佳单语言代理相当的性能，消除了启发式选择需求，但存在声调变音符号保留的挑战。
2026-08-11 cs.CL cs.LG
Contextualizing Citations for Scientific Summarization using Word Embeddings and Domain Knowledge
Georgetown University（乔治城大学）
引文文本有时信息量不大，在某些情况下本身就不准确;它们需要引用论文的适当上下文来反映其确切的贡献。为了解决这个问题，我们提出了一个无监督的模型，使用分布式表示的话，以及领域知识，从参考文献中提取适当的上下文。评估结果表明，我们的模型的有效性显着优于国家的最先进的。我们还展示了如何有效的语境化方法的结果，提高基于引用的科学文章的摘要。
2017-05-23 cs.CL cs.IR
The Impact of Cross-Lingual Adjustment of Contextual Word Representations on Zero-Shot Transfer
ITMO University（ITMO大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Ural Federal University（乌拉尔联邦大学）；HSE University（高等经济大学）
本文研究跨语言调整上下文词表示对零样本迁移的影响，在西班牙语、俄语、越南语和印地语上扩展了 mBERT 跨语言调整方法至 XSR、NER 和 QA 任务，发现微调会遗忘部分跨语言对齐信息，并通过持续学习进一步提升了 NLI 性能。
2023-10-31 cs.CL
Beyond N-Grams: Rethinking Evaluation Metrics and Strategies for Multilingual Abstractive Summarization
Bar-Ilan University（巴伊兰大学）
本文系统评估了多语言生成式摘要任务中基于 n-gram 和神经网络的评估指标，发现 n-gram 指标在屈折语中与人工判断相关性较低，而适当的分词和专为评估训练的神经指标（如 COMET）能显著提升低资源语言下的评估效果。
2025-07-11 cs.CL
SART - Similarity, Analogies, and Relatedness for Tatar Language: New Benchmark Datasets for Word Embeddings Evaluation
Innopolis University（伊诺波利斯大学）；University of Campinas (UNICAMP)（坎皮纳斯大学（UNICAMP））
目前使用的语言和相应的学习资源之间存在巨大的不平衡。大多数注意力自然会集中在“大”语言上：那些在媒体和发言者人数方面存在最多的语言。其他代表性较低的语言有时甚至没有高质量的语料库来研究它们。在本文中，我们提出了一套新的评估资源鞑靼语，主要是在俄罗斯鞑靼斯坦共和国讲的突厥语系的语言，解决这种不平衡。我们提供三个数据集：相似性和相关性数据集，由人类评分的单词对组成，可用于评估语义模型;类比数据集，包括类比问题，允许探索语言建模的语义，句法和形态方面。这三个数据集都建立在现有的英语数据集的基础上，并遵循相同的结构。然而，它们不仅仅是翻译。它们考虑到了鞑靼语的具体情况，并扩展到原始数据集之外。我们使用我们提出的鞑靼语数据集和英语原始数据集评估了两种语言的最先进的词嵌入模型，并报告了我们的性能比较结果。
2019-03-31 cs.CL
Embedding Compression with Isotropic Iterative Quantization
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）；Syracuse University（雪城大学）；Rutgers University（罗格斯大学）
单词的连续表示是基于深度学习的NLP模型中的标准组件。然而，表示大的词汇表需要大量的内存，这可能会导致问题，特别是在资源受限的平台上。因此，在本文中，我们提出了一个各向同性迭代量化（IIQ）的方法压缩嵌入向量到二进制的，利用迭代量化技术建立图像检索，同时满足所需的各向同性属性的PMI为基础的模型。使用预先训练的嵌入的实验（即，GloVe和HDC）展示了超过三十倍的压缩比，与原始实值嵌入向量相比具有相当的性能，有时甚至是改进的性能。
2020-01-23 cs.CL cs.LG stat.ML
LINSPECTOR: Multilingual Probing Tasks for Word Representations
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Edinburgh（爱丁堡大学）；New York University（纽约大学）
尽管为大量语言引入了越来越多的单词表示模型，但缺乏标准化的技术来提供对这些模型所捕获内容的见解。这样的见解将有助于社区获得下游任务性能的估计，以及设计更明智的神经架构，同时避免需要大量计算资源的大量实验，而不是所有研究人员都可以访问。NLP最近的发展是使用简单的分类任务，也称为探测任务，测试单个语言特征，如词性。现有的研究主要集中在探讨英语语篇的连续表征所编码的语言信息。然而，从类型学的角度来看，形态学上的穷人英语是一个离群值：英语中的词序和功能词编码的信息往往存储在其他语言的形态水平。为了解决这个问题，我们引入了15个类型级别的探测任务，例如24种语言的格标记、属事、字长、形态标签计数和伪词识别。我们提出了一个可重复使用的方法，在多语言环境中创建和评估这样的测试。然后，我们提出了几个不同的多语言词嵌入模型的实验，在其中，我们涉及到探测任务的性能为一组不同的语言的范围内的五个经典的NLP任务：POS标记，依存句法分析，语义角色标注，命名实体识别和自然语言推理。我们发现，一些探测测试有显着的高度正相关的下游任务，特别是形态丰富的语言。我们表明，我们的测试可用于探索词嵌入或黑盒神经模型的语言线索，在多语言设置。
2019-12-11 cs.CL
Modality Matching Matters: Calibrating Language Distances for Cross-Lingual Transfer in URIEL+
University of Toronto, Canada（多伦多大学）；University of Michigan, USA（密歇根大学）；Harvard University, USA（哈佛大学）；Carnegie Mellon University, USA（卡内基梅隆大学）；LT3, IDLab, Universiteit Gent, Belgium（IDLab，根特大学）；Ontario Tech University, Canada（安大略技术大学）
本文提出一种类型匹配的语言距离框架，通过结构感知的表示方法提升跨语言迁移性能，特别是在任务相关距离类型下表现更优。
2026-03-23 cs.CL
Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking
University of Cambridge（剑桥大学）
注入外部特定领域的知识（例如，UMLS）转化为预训练的语言模型（LM），提高了它们处理诸如生物医学实体链接（BEL）之类的专业领域内任务的能力。然而，这种丰富的专业知识仅可用于少数语言（例如，英文）。在这项工作中，通过提出一种新的跨语言的生物医学实体连接任务（XL-BEL），并建立一个新的XL-BEL基准跨越10个类型学上不同的语言，我们首先调查的能力，标准的知识不可知以及知识增强的单语和多语言LM超出标准的单语英语BEL任务。这些分数表明英语成绩差距很大。然后，我们解决的挑战，资源丰富的语言转移到资源贫乏的特定领域的知识。为此，我们提出并评估了一系列的跨语言迁移方法的XL-BEL任务，并证明，一般域的双文本有助于传播可用的英语知识的语言很少或没有域内的数据。值得注意的是，我们表明，我们提出的特定于域的传输方法在所有目标语言中产生一致的增益，有时高达20 Precision@1点，没有任何领域内的知识，在目标语言，没有任何领域内的并行数据。
2021-05-30 cs.AI cs.CL cs.LG
NEFTune: Noisy Embeddings Improve Instruction Finetuning
University of Maryland（马里兰大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；New York University（纽约大学）
本文提出NEFTune，通过在训练时向嵌入向量添加噪声来改进指令微调，显著提升LLaMA-2-7B在AlpacaEval上的性能（从29.79%升至64.69%），并在多个现代指令数据集上超越强基线。
2023-10-10 cs.CL cs.LG
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University（天津大学）
在跨所有语言完全共享参数的多语言神经机器翻译模型中，通常使用人工语言令牌来引导翻译成期望的目标语言。然而，最近的研究表明，前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向，特别是在zero-shot翻译中。为了缓解这个问题，我们提出了两种方法，语言嵌入体现和语言感知的多头注意力，学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点，目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部，以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明，语言感知的多头注意力对监督翻译和zero-shot翻译都有好处，并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明，通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
LMK > CLS: Landmark Pooling for Dense Embeddings
IBM Research（IBM研究院）
本文提出LMK池化方法，通过分块和地标标记提升长上下文任务性能，同时保持局部特征。
2026-01-29 cs.CL cs.IR
Conceptual Networks for Cross-Linguistic Idiomatic Expressions: A Feature-Based Graph Approach
University of Eastern Finland（东芬兰大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
该研究提出基于网络的框架表示八种语言的习语和比喻意义，用概念特征注释构建加权图，通过社区检测发现习语按概念模式聚类，网络能捕获独特语义信息，跨语言转移实验有提升，消融研究表明多特征维度有贡献，提供了可解释的习语意义表示。
2026-07-14 cs.AI cs.CL cs.ET
Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
University of Alberta（阿尔伯塔大学）
本研究通过探测NLLB-200的表示几何结构，发现其学习了语言通用的概念表示，并展示了跨语言一致性的证据。
2026-11-04 cs.AI cs.CL cs.LG
CUSATNLP@HASOC-Dravidian-CodeMix-FIRE2020:Identifying Offensive Language from ManglishTweets
Cochin University of Science and Technology（科钦科技大学）
随着社交媒体的普及，通过博客、Facebook、Twitter和其他平台进行的交流有所增加。最初，英语是唯一的沟通媒介。幸运的是，现在我们可以用任何语言交流。它导致人们以混合的形式使用英语和他们自己的母语或母语。有时，其他语言的评论具有英语音译格式或其他情况;人们使用预期的语言脚本。从这些代码混合的推文中识别情绪和攻击性内容是这些时候的必要任务。我们为2020年信息检索评估论坛中的HASOC攻击性语言识别- DravidianCodeMix的子轨道任务2提交了一个工作模型。这是一个消息级别的分类任务。在我们的方法中，基于嵌入模型的分类器识别攻击性和非攻击性评论。我们将此方法应用于与子轨道一起提供的Manglish数据集。
2020-10-17 cs.CL
Against All Odds: Overcoming Typology, Script, and Language Confusion in Multilingual Embedding Inversion Attacks
Aalborg University（奥尔堡大学）
本研究针对多语言LLM的嵌入反演攻击，跨20种语言、8个语系和12种文字进行实验，发现阿拉伯文字、西里尔文字及印度-雅利安语系语言尤为脆弱，并揭示语言混淆瓶颈的可预测模式。
2024-12-16 cs.CL cs.CR
Modeling the language cortex with form-independent and enriched representations of sentence meaning reveals remarkable semantic abstractness
University of California San Diego（加州大学圣地亚哥分校）；ShanghaiTech University（上海科技大学）；Kempner Institute, Harvard University（哈佛大学凯普勒研究所）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
该研究通过视觉与语言模型表征建模语言皮层神经响应，证实语言皮层存在高度抽象、形式无关且比语言模型更丰富宽泛的语义表征。
2025-09-27 cs.CL cs.LG
Forecasting Credit Ratings: A Case Study where Traditional Methods Outperform Generative LLMs
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文评估 LLM 预测企业信用评级的能力，发现其虽擅长文本编码，但在融合数值、多模态信息时不及结合基本面、宏观经济数据与文本嵌入特征的 XGBoost。
2025-01-07 cs.CL q-fin.GN q-fin.RM
