LEXpander: applying colexification networks to automated lexicon expansion
Medical University of Vienna（维也纳医科大学）；Graz University of Technology（格拉茨工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
最近的社交媒体和其他语料库文本分析方法依赖于单词列表来检测主题，测量含义或选择相关文档。这些列表通常是通过将计算词典扩展方法应用于小的、手动策划的词根集合来生成的。尽管这种方法被广泛使用，我们仍然缺乏一个详尽的比较分析的词汇扩展方法的性能，以及如何可以改善额外的语言数据。在这项工作中，我们提出了LEXpander，词汇扩展的方法，利用新的数据colexification，即语义网络连接的基础上共享的概念和翻译到其他语言的单词。我们评估LEXpander在一个基准测试，包括广泛使用的方法的基础上，各种词嵌入模型和同义词网络的词典扩展。我们发现，LEXpander优于现有的方法在精度和精度和召回生成的单词列表在各种测试之间的权衡。我们的基准测试包括英语和德语的几个语言类别和情感变量。我们还表明，扩展的单词列表构成了一个高性能的文本分析方法，在各种语料库的应用案例。通过这种方式，LEXpander提出了一种系统的自动化解决方案，将简短的单词列表扩展为详尽而准确的单词列表，这些单词列表可以非常接近心理学和语言学专家生成的单词列表。
2022-05-31 cs.CL
Can generative AI figure out figurative language? The influence of idioms on essay scoring by ChatGPT, Gemini, and Deepseek
Middle East Technical University（中东技术大学）
本研究评估ChatGPT、Gemini和Deepseek对含习语作文的评分表现，发现Gemini在评分者间信度上最优，且最接近人工评分模式，有望独立承担作文评分任务。
2025-10-16 cs.AI cs.CL
A Large Multi-Target Dataset of Common Bengali Handwritten Graphemes
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Apurba Technologies Inc.（阿普尔巴技术公司）；Independent University, Bangladesh（孟加拉国独立大学）
拉丁语在手写光学字符识别（OCR）研究中一直处于领先地位。将现有的系统从拉丁语调整到字母音节语言是特别具有挑战性的，因为它们的拼写之间存在鲜明的对比。由于草书书写系统和字母音节语言家族中频繁使用的变音符号，与字符对应的图形成分的分割变得非常困难。我们提出了一个标签计划的基础上的字素（语言段的单词形成），使分割内方α-音节词线性，并提出了第一个数据集的孟加拉语手写体字素是常用的在日常生活中。该数据集包含1295个独特的常用孟加拉字素的411 k精选样本。此外，测试集包含900个不常见的孟加拉语字素，用于字典外性能评估。该数据集是开源的，作为Kaggle上公共手写体字形分类挑战赛的一部分，以基准测试多目标字形分类的视觉算法。该数据集中存在的独特字素是基于Google孟加拉语ASR语料库中的共性选择的。从比赛程序中，我们看到深度学习方法可以推广到训练过程中不存在的大范围字典外的字素。数据集和入门代码请访问www.kaggle.com/c/bengaliai-cv19。
2021-01-13 cs.CL cs.CV cs.LG
Conversational implicatures in English dialogue: Annotated dataset
International Institute of Information Technology（国际信息技术学院）；LTRC（语言技术研究中心）
人类的对话经常包含与所使用的句子含义完全不同的话语，并且被对话者清楚地理解。但是在人机交互中，机器无法理解隐含的含义，除非它用包含话语的隐含含义以及话语和它发出的上下文的数据集进行训练。在语言学中，会话含义是说话人话语中不属于明示内容的意义。在本文中，我们介绍了一个数据集的对话片段的三个组成部分，这是上下文，话语，和隐含的意义。这些隐含的意义就是会话含义。这些话语是通过从托福（英语作为外语的考试）等英语考试的听力理解部分转录，以及从IMSDb（互联网电影剧本数据库）上的电影剧本中抓取对话来收集的。话语被手动地用含义注释。
2019-11-25 cs.CL
Everybody Likes to Sleep: A Computer-Assisted Comparison of Object Naming Data from 30 Languages
University of Passau（帕绍大学）
本文通过计算机辅助的多语言方法统一链接17个物体命名数据集，覆盖30种语言，使物体命名数据透明可比较，并探索跨数据集概念分布及与经典基础词汇表的差异，为跨语言物体命名研究提供基础。
2025-08-21 cs.CL
ShapeGlot: Learning Language for Shape Differentiation
Stanford University（斯坦福大学）
在这项工作中，我们将探讨如何细粒度的常见对象的形状之间的差异表达在语言中，基于图像和对象的3D模型。我们首先建立了一个大规模的，仔细控制的人类话语数据集，每个都是指一个3D CAD模型的2D渲染，以便将其与一组形状相似的替代品区分开来。使用这个数据集，我们开发了神经语言理解（听力）和生产（口语）模型，这些模型在其基础（通过点云的纯3D形式与渲染的2D图像），捕获的语用推理程度（例如，说话者是否对听者进行推理）以及神经架构（例如，有或没有注意）方面有所不同。我们发现模型在合成和人类合作伙伴以及话语和物体方面表现良好。我们还发现，这些模型可以进行zero-shot迁移学习到新的对象类（例如，从椅子上的训练迁移到灯上的测试），以及从家具目录中绘制的真实世界图像。病变的研究表明，神经的听众在很大程度上依赖于部分相关的话，并正确地将这些话与视觉部分的对象（没有任何明确的网络训练对象的部分），转移到新的类是最成功的，当已知的部分字。这项工作说明了一个实用的方法来语言接地，并提供了一个案例研究对象的形状和语言结构之间的关系，当涉及到对象的分化。
2019-05-08 cs.CL cs.CV
Mind the Gap: Assessing Wiktionary's Crowd-Sourced Linguistic Knowledge on Morphological Gaps in Two Related Languages
Stanford University OHS（斯坦福大学OHS）
本研究通过定制神经形态分析器评估维基词典在拉丁语和意大利语中的形态缺口可靠性，发现7%的拉丁语词根存在争议。
2026-02-01 cs.CL cs.CY
Contrastive Analysis of Linguistic Representations in Large Language Model Outputs through Structured Synthetic Data Generation and Abstracted N-gram Associations
Universidad Nacional de Córdoba（国家科罗纳大学）；CONICET
本文提出一种通过对比合成文本生成和统计分析发现不同社会群体关联语言和论述模式的方法，重点在于识别细微的偏见表达而非预定义词汇列表诊断偏见，利用上下文数据进行分析。
2026-04-19 cs.CL
Automatic Extraction of the Romanian Academic Word List: Data and Methods
Interdisciplinary School of Doctoral Studies, University of Bucharest（布加勒斯特大学跨学科博士学院）；West University of Timișoara（蒂米什瓦拉西部大学）
本文介绍了自动提取罗马尼亚学术词汇表（Ro-AWL）的方法与数据，通过结合语料库、计算语言学及L2学术写作方法，填补了该语言学术词汇资源的空白。
2023-07-29 cs.CL
Automated Lexical Coverage for Language Learning: From General to Specialized Word Lists
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；School of Data Science（数据科学学院）
本文提出一种基于目标文本自动生成专业词表的方法，相比通用词表能以更少词汇达到95%的文本覆盖率，并实现自动化、可扩展的词汇学习资源构建。
2026-06-03 cs.CL
DNN-Based Semantic Model for Rescoring N-best Speech Recognition List
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Loria（洛林信息学研究实验室）
自动语音识别（ASR）系统的字出错率（WER）在由于噪声等而在训练条件和测试条件之间发生失配时增加。在这种情况下，声学信息可能不太可靠。这项工作的目的是改善ASR建模长期的语义关系，以补偿失真的声学特征。我们建议通过对ASR N-最佳假设列表进行重新评分来执行此操作。为了实现这一点，我们训练一个深度神经网络（DNN）。我们的DNN重新评分模型旨在选择具有更好语义一致性的假设，从而降低WER。我们研究了两种类型的表示作为DNN模型的输入特征的一部分：静态词嵌入（来自word 2 vec）和动态上下文嵌入（来自BERT）。声学和语言特征也包括在内。我们在公开的数据集TED-LIUM上进行实验，混合了真实的噪声。所提出的rescoring方法给出了显着改善的WER的ASR系统没有rescoring模型在两个嘈杂的条件下，与n-gram和RNNLM。
2020-11-02 cs.CL
Effects of Stop Words Elimination for Arabic Information Retrieval: A Comparative Study
El-Minia University（米尼亚大学）
本研究探讨了三种用于阿拉伯语信息检索的停用词表-通用停用词表、基于语料库的停用词表和组合停用词表的有效性。三个流行的加权方案进行了检查：逆文档频率权重，概率加权，统计语言建模。其思想是将统计方法和语言方法结合起来，以达到最佳的性能，并比较它们在检索上的效果。最不发达国家（语言数据联盟）阿拉伯语新闻网数据集与狐猴工具包一起使用。Okapi检索系统中使用的最佳匹配加权方案在研究中使用的三种加权算法中具有最佳的整体性能，stoplists提高了检索效率，特别是当与BM 25权重一起使用时。一般非索引字列表的整体表现优于其他两个列表。
2017-02-07 cs.CL cs.IR
Evaluating Models of Robust Word Recognition with Serial Reproduction
Massachusetts Institute of Technology（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
口语交际发生在一个“嘈杂的通道”，其特征是高水平的环境噪音，说话者内部和之间的变化，以及词汇和句法的歧义。考虑到接收到的语言输入的这些属性，鲁棒的口语单词识别-以及更一般的语言处理-在很大程度上依赖于听众的先验知识来评估该输入的候选解释是否更有可能或更不可能。在这里，我们比较了几个广泛覆盖的概率生成语言模型在他们的能力，以捕捉人类的语言期望。串行复制，一个实验范式，其中口语是由连续的参与者复制类似的儿童游戏的“电话”，是用来引出一个样本，反映了英语为母语的成年人的语言期望。当我们针对产生的话语链评估一套概率生成语言模型时，我们发现那些利用先前语言上下文的抽象表示（即，短语结构）最能预测人们在连续再生产过程中的变化。一个逻辑回归模型预测话语中的哪些词最有可能在口语传播过程中丢失或改变，证实了这一结果。我们解释这些研究结果的研究强调在语言处理中基于记忆的限制和表征的相互作用。
2021-01-24 cs.CL
On the Linguistic and Computational Requirements for Creating Face-to-Face Multimodal Human-Machine Interaction
Universidade Federal do ABC（ABC联邦大学）
在这项研究中，人类和化身之间的对话进行了语言，组织和结构分析，重点是为机器创建面对面的多模态界面所必需的。我们录制了34个人类与化身的互动视频，对视频片段进行了完整的语言微观分析，并标记了所有出现的多模态动作和事件。统计推断应用于数据，使我们不仅能够理解多模态动作发生的频率，而且还可以理解多模态事件如何在说话者（发射者）和听者（接收者）之间分布。我们还观察了每种模态的多模态发生的分布。数据表明，在面对面的交谈中建立了双环反馈。这促使我们提出，来自会话分析（CA），认知科学和心理理论（ToM）等的知识应该被纳入用于描述人机多模态交互的知识中。面对面接口需要在多模态融合层之外增加一个控制层。这一层必须组织对话流，将社会背景整合到互动中，以及制定关于“什么”和“如何”进行互动的计划。如果我们将CA和ToM的见解纳入界面系统，那么这个更高的层次将得到最好的理解。
2022-11-24 cs.CL cs.HC
What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance
J.P. Morgan AI Research（摩根大通人工智能研究）
研究通过分析查询特征对LLM幻觉的影响，揭示了特定语言特征与幻觉风险的关系，为优化查询设计提供依据。
2026-02-23 cs.AI cs.CL
LRG at SemEval-2021 Task 4: Improving Reading Comprehension with Abstract Words using Augmentation, Linguistic Features and Voting
BITS Pilani, Goa Campus（博拉理工学院果阿校区）；Pune University（浦那大学）；APP Centre for AI Research（APP人工智能研究中心）
在这篇文章中，我们提出了我们的方法SemEval-2021任务-4：阅读理解的抽象意义。给定一个填空式问题和相应的上下文，任务是从5个选项中预测最合适的单词。这个任务中有三个子任务：不可感知性（子任务-I），非特异性（子任务-II）和交叉（子任务-III）。我们使用基于transformers的模型的编码器，这些模型在掩码语言建模（MLM）任务上进行了预训练，以构建我们的填空（FitB）模型。此外，模型的不可感知性，我们定义了某些语言特征，和模型的非特异性，我们利用词汇数据库提供的上位词和下位词的信息。具体来说，对于非特异性，我们尝试增强技术和其他统计技术。我们还提出了变体，即块投票和最大上下文，以照顾输入长度限制BERT等，此外，我们进行了彻底的消融研究，并使用集成的解释我们的预测在几个样本。我们最好的提交达到75.31%和77.84%的准确率，在测试集的subtask-I和subtask-II，分别。对于子任务III，我们实现了65.64%和62.27%的准确率。
2021-06-26 cs.CL cs.LG
Fast and unsupervised methods for multilingual cognate clustering
University of Tübingen（图宾根大学）
在本文中，我们将探讨使用无监督的方法来检测同源词在多语言的单词列表。我们使用在线EM训练声音片段相似度权重来计算两个词之间的相似度。我们测试了我们的在线系统在地理上分布的16个不同的语言群体的世界，并表明在线PMI系统（逐点互信息）优于基于HMM的系统和两个语言动机的系统：LexStat和ALINE。我们的研究结果表明，PMI系统在网上训练的方式可以被历史语言学家用于快速，准确地识别同源词在不那么好的研究语言的家庭。
2017-02-16 cs.CL
Evolving linguistic divergence on polarizing social media
Tallinn University（塔林大学）；Estonian Business School（爱沙尼亚商学院）；Newcastle University（纽卡斯尔大学）
本研究利用社交媒体数据，通过关注新闻媒体账户界定用户政治偏好，量化美国左右派在话题、情感及词汇语义上的语言分歧，提出通用方法，可推广至其他语言和平台。
2023-09-04 cs.CL cs.SI
HS-BAN: A Benchmark Dataset of Social Media Comments for Hate Speech Detection in Bangla
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）；Fordham University（福特汉姆大学）
在本文中，我们介绍了HS-BAN，这是一个孟加拉语的二元类仇恨言论（HS）数据集，包含超过50，000条标记评论，其中包括40.17%的仇恨言论，其余是非仇恨言论。在准备数据集时，遵循严格而详细的注释指南以减少人类注释偏倚。HS数据集还进行了语言预处理，以提取目前人们使用符号，首字母缩略词或替代拼写书写的不同类型的俚语。这些俚语词被进一步归类为传统和非传统俚语列表，并包括在本文的结果。我们探索了传统的语言特征和基于神经网络的方法，以开发一个用于孟加拉语仇恨言论检测的基准系统。我们的实验结果表明，现有的词嵌入模型训练的非正式文本比那些训练的正式文本。我们的基准测试表明，基于FastText非正式词嵌入的Bi-LSTM模型获得了86.78%的F1分数。我们将把数据集提供给公众使用。
2021-12-03 cs.CL
Convergent Representations of Linguistic Constructions in Human and Artificial Neural Systems
Department of English and American Studies, University Erlangen-Nuremberg（英语与美国研究系，埃尔朗根-纽伦堡大学）；Pattern Recognition Lab, University Erlangen-Nuremberg（模式识别实验室，埃尔朗根-纽伦堡大学）；Neuromodulation and Neuroprosthetics, University Hospital Mannheim, University Heidelberg（神经调控与神经假体，曼海姆大学医院，海德堡大学）；BGU Ludwigshafen, Germany（吕贝克大学吕贝克分校，德国）；Neuroscience Lab, University Hospital Erlangen（神经科学实验室，埃尔朗根大学医院）
研究通过EEG验证人类神经活动对语言构造的表征，发现句末alpha波段出现构造特异性神经签名，与人工语言模型的构造表征模式相似，支持语言构造作为形式-意义映射的神经编码。
2026-05-15 cs.AI cs.CL q-bio.NC
Developing Embodied Multisensory Dialogue Agents
人工智能领域几十年的工作集中在开发新一代系统上，这些系统可以通过与世界的互动来获取知识。然而，直到最近，大多数这样的尝试都是以研究为基础的，这些研究主要将语言现象与大脑和身体分开。这可能会导致人们相信，为了模仿语言行为，开发在抽象表示上运行的“软件”就足够了，这些软件将在任何计算机器上工作。这幅图是不准确的，有几个原因，这是阐明了本文和超越感官和语义共鸣。从研究回顾开始，我列出了几个异构的参数对无实体的语言，试图得出结论，发展体现多感官代理，口头和非口头与他们的环境进行沟通。如果不考虑人类大脑的结构和具体化，准确地复制在语言习得、理解、产生或非语言行为期间发生的过程是不现实的。虽然机器人与人类远非同构，但它们可以从强化的联想联系中受益，优化它们的过程，它们对环境刺激的反应性和敏感性，以及人机互动。多感觉整合的概念应该扩展到包括语言输入和由时间上一致的感觉印象组合而成的补充信息。
2012-07-20 cs.AI cs.CL
Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
University of California, San Diego（加利福尼亚大学圣迭戈分校）
该研究针对大型语言模型的表征对齐问题，提出NW-RSA与CF-RSA方法，发现模型粗粒度几何对齐强但局部邻域分歧大，逻辑范围变化对对齐影响最显著，修正了表征普遍性的相关结论。
2026-10-14 cs.AI cs.CL
Discovering Lexical Similarity Through Articulatory Feature-based Phonetic Edit Distance
Mohammad Ali Jinnah University（穆罕默德·阿里·真纳大学）；FAST NUCES（巴基斯坦国家计算机与新兴科学大学）
两种语言之间的词汇相似性揭示了许多有趣的语言学见解，如遗传关系，相互理解，以及一个人的词汇对另一个人的使用。有多种方法可用于评估一次总付。在同样的方面，本文提出了一种方法的语音编辑距离（PED），使用软比较的字母，使用与它们相关的发音功能。该系统将单词转换为相应的国际音标（IPA），然后将IPA转换为其发音特征集。之后，使用所提出的方法比较发音特征集的列表。例如，PED给出德语单词vater和波斯语单词pidar的编辑距离为0.82;类似地，希伯来语单词shalom和阿拉伯语单词salaam的编辑距离为0.93，而对于并置比较，它们基于IPA的编辑距离分别为4和2。实验用六种语言（阿拉伯语、印地语、马拉地语、波斯语、梵语和乌尔都语）进行。在这方面，我们提取了部分的语音明智的单词列表从通用Departments语料库和评估LS的每一对语言。因此，与所提出的方法，我们发现的遗传亲和力，相似性，和借用/外来词，尽管这些语言之间的脚本差异和声音的变化现象。
2020-08-16 cs.CL
Phrase break prediction with bidirectional encoder representations in Japanese text-to-speech synthesis
LINE Corp.（LINE公司）
我们提出了一种新的短语中断预测方法，该方法结合了从预训练的大型语言模型（即BERT）中提取的隐式特征和从BiLSTM中提取的显式特征以及语言特征。在传统的基于BiLSTM的方法中，单词表示和/或句子表示被用作独立的组件。所提出的方法考虑到这两种表示提取潜在的语义，这是不能被以前的方法捕获。客观评价结果表明，与基于BiLSTM的使用语言特征的传统方法相比，该方法的F1分数绝对提高了3.2分。此外，感知听力测试结果验证，TTS系统，应用我们提出的方法实现了平均意见分数为4.39的韵律自然，这是非常有竞争力的分数为4.37的合成语音与地面真理短语休息。
2021-04-26 cs.CL cs.LG eess.AS
The time scale of redundancy between prosody and linguistic context
MIT（麻省理工学院）；Wellesley College（韦尔斯利学院）；ETH Zürich（苏黎世联邦理工学院）；UCSD（加州大学圣地亚戈分校）；Georgetown（乔治城大学）
本文系统研究了韵律与语言语境冗余关系的时间尺度，发现韵律预测依赖3-8个词的过去语境且仅与1-2个词的未来语境冗余，揭示了韵律在整合过去信息和预测未来词语中的双重作用。
2025-06-02 cs.CL cs.IT math.IT
Virtual Embodiment: A Scalable Long-Term Strategy for Artificial Intelligence Research
Facebook AI Research（Facebook AI 研究院）；University of Cambridge（剑桥大学）
从语言学到哲学、心理学和神经科学，意义一直被称为各种科学学科的“圣杯”。人工智能（AI）领域在很大程度上是这一清单的一部分：复杂的自然语言语义的发展是实现与人类相当的智能水平的必要条件。认知科学中的具身性理论认为，人类的语义表征依赖于感觉-运动经验;大量证据表明，人类的意义表征是基于对物理现实的感知，这导致了意义必须依赖于多种（感知）模态的融合的结论。尽管如此，人工智能研究，特别是计算语言学和计算机视觉等子学科，主要集中在涉及单一模态的任务上。在这里，我们提出虚拟体现作为人工智能研究的一种替代的长期策略，这种策略本质上是多模态的，并且允许以一种道德上负责的方式连贯和渐进地开发该领域所需的可扩展性。
2016-10-24 cs.AI cs.CL cs.CV
L2RS: A Learning-to-Rescore Mechanism for Automatic Speech Recognition
The Hong Kong University of Science and Technology（香港科技大学）；WeBank Co., Ltd（微众银行）；Tsinghua University（清华大学）
现代自动语音识别（ASR）系统主要依赖于来自声学模型（AM）和语言模型（LM）的分数来对N个最佳列表进行重新评分。随着最近自然语言处理进展的丰富，当前ASR用于评估N-best假设的语言和语义合法性的信息相当有限。在本文中，我们提出了一种新的学习重新评分（L2 RS）机制，该机制专门用于利用来自最先进的NLP模型的广泛的文本信息，并自动决定其权重，以重新评分ASR系统的N-最佳列表。具体来说，我们将包括BERT句子嵌入，主题向量，和困惑分数产生的n-gram LM，主题建模LM，BERT LM和RNNLM训练一个重新评分模型。我们基于一个公开数据集进行了大量的实验，实验结果表明，L2 RS不仅优于传统的重评分方法，而且在NDCG@10方面大幅提高了20.67%，也优于其深度神经网络。L2 RS为开发更有效的ASR再评分模型铺平了道路。
2019-10-25 cs.CL cs.SD eess.AS
