Neural Metaphor Detection in Context
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了端到端的神经模型，用于检测上下文中的隐喻词的使用。我们表明，相对标准的BiLSTM模型，操作完整的句子，在这种情况下工作良好，相比以前的工作，使用更严格的形式的语言背景。这些模型建立了一个新的国家的最先进的现有的动词隐喻检测基准，并显示出强大的性能，联合预测的所有单词的隐喻在一个运行的文本。
2018-08-29 cs.CL
Verifying Claims About Metaphors with Large-Scale Automatic Metaphor Identification
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
本文利用Common Crawl语料和自动隐喻检测，大规模验证动词隐喻的语言学论断，发现隐喻动词的直接宾语在具体性、可意象性和熟悉度上更低，且更常出现在情感与主观句中。
2024-04-01 cs.CL
Learning Outside the Box: Discourse-level Features Improve Metaphor Identification
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）；The ALTA Institute（ALTA研究所）；University of Amsterdam（阿姆斯特丹大学）
目前大多数隐喻识别方法都使用有限的语言语境，例如只考虑动词的论元或包含短语的句子。受隐喻的语用学解释的启发，我们认为更广泛的语篇特征对于更好地识别隐喻至关重要。我们训练简单的梯度提升分类器，用于表达用各种文档嵌入方法学习的话语及其周围的话语，在2018年VU阿姆斯特丹隐喻识别任务中获得了接近最先进的结果，而没有其他系统使用的复杂的隐喻特定特征或深度神经架构。定性分析进一步证实了隐喻加工需要更广泛的语境。
2019-04-09 cs.CL
I Spy a Metaphor: Large Language Models and Diffusion Models Co-Create Visual Metaphors
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出从语言隐喻生成视觉隐喻的任务，利用思维链提示的 LLM 生成视觉化细化描述，再由扩散模型成像，并通过人机协作构建数据集与双重评估验证效果。
2023-07-14 cs.AI cs.CL cs.CV
LLMs Know More Than Words: A Genre Study with Syntax, Metaphor & Phonetics
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文通过引入多语言体裁分类数据集，研究LLMs在语法、隐喻和语音特征上的学习能力及其对分类任务的影响。
2025-12-04 cs.AI cs.CL
Metaphors' journeys across time and genre: tracking the evolution of literary metaphors with temporal embeddings
University School for Advanced Studies IUSS（高等研究大学学院）
本研究通过时间嵌入分析文学隐喻在不同时代和体裁中的演变，发现隐喻处理需求受体裁影响显著，现代文学中隐喻更难处理，而网络语言中更易处理。
2026-02-14 cs.CL
MelBERT: Metaphor Detection via Contextualized Late Interaction using Metaphorical Identification Theories
Sungkyunkwan University（成均馆大学）；Bering Lab；The Pennsylvania State University（宾夕法尼亚州立大学）
自动隐喻检测是一个具有挑战性的任务，以确定隐喻表达的话在一个句子。为了解决这个问题，我们采用预先训练的上下文化模型，例如，BERT和ROBERTA。为此，我们提出了一个新的隐喻检测模型，即隐喻感知的后期交互BERT（MelBERT）。我们的模型不仅利用语境化的单词表示，而且还受益于语言隐喻识别理论，以区分单词的上下文和字面意义。我们的实证结果表明，MelBERT在四个基准数据集上优于几个强基线，即，VUA-18、VUA-20、MOH-X和TroFi。
2021-04-28 cs.CL cs.LG
Floating or Suggesting Ideas? A Large-Scale Contrastive Analysis of Metaphorical and Literal Verb-Object Constructions
研究通过分析297个英语动词-宾语对，探讨隐喻和字面表达在语境中的差异，发现隐喻表达在情感负荷和图像性上更强，但缺乏统一分布模式。
2026-04-09 cs.CL
AraMIP: Extending MIPVU Towards Metaphor Identification in Arabic
Technical University of Berlin（柏林工业大学）；SOAS University of London（伦敦大学亚非学院）；Bielefeld University（比勒费尔德大学）；University of Groningen（格罗宁根大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对阿拉伯语隐喻识别资源匮乏问题，提出AraMIP指南，基于MIPVU框架适配阿拉伯语特性，区分三类比喻语言，标注300句试点数据，揭示形态复杂性等挑战，为标准化资源奠定基础。
2026-09-16 cs.CL
Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets
CRC 1646 – Linguistic Creativity in Communication Faculty of Linguistics and Literary Studies（语言创造力在交流中的创造性 CRC 1646 教育学院）
本研究通过语料库和合成数据集探讨惊奇与隐喻新颖性注释的相关性，发现中等相关性和差异性缩放效应，揭示了惊奇在衡量语言创造力方面的局限性。
2026-01-26 cs.AI cs.CL cs.IT
Contextual Modulation for Relation-Level Metaphor Identification
Insight SFI Research Centre for Data Analytics（Insight科学基金会数据分析研究中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
识别文本中的隐喻是非常具有挑战性的，需要理解潜在的比较。最近，这种认知过程的自动化得到了广泛的关注。然而，大多数现有的方法集中在单词级识别处理的任务，无论是单字分类或顺序标签没有明确建模的隐喻组件之间的相互作用。另一方面，虽然现有的关系级方法隐式地模拟这种交互，但它们忽略了隐喻发生的上下文。在这项工作中，我们通过引入一种新的架构来识别基于上下文调制的某些语法关系的关系级隐喻表达，以解决这些限制。在视觉推理的作品的启发方法，我们的方法是基于条件的神经网络计算上的候选表达式使用功能明智的线性调制的深上下文的功能。我们证明了所提出的体系结构在基准数据集上实现了最先进的结果。所提出的方法是通用的，可以应用到其他文本分类问题，受益于上下文的相互作用。
2020-10-12 cs.CL
Words, Spaces and Generative AI: Layers of language in contemporary architecture
本章探讨建筑领域中语言作为设计材料的价值，结合语言学理论，明确生成式AI辅助建筑设计时交织的三类语言形式，并提出将生成式隐喻与生成式AI结合的研究议程。
2026-08-26 cs.CL
Metaphor and Large Language Models: When Surface Features Matter More than Deep Understanding
HiTZ Center - Ixa University of the Basque Country UPV/EHU（希茨中心-ixa巴斯克大学UPV/EHU）
本文通过多数据集、多任务实验评估大语言模型的隐喻解释能力，发现其表现主要受词汇重叠和句子长度等表面特征影响，而非真正的隐喻理解，从而质疑其涌现的比喻语言理解能力，并呼吁建立更现实的评估框架。
2025-07-21 cs.AI cs.CL
LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation
University of Birmingham（伯明翰大学）
LinguistAgent通过反思多模型架构实现自动化语言标注，采用双代理工作流程模拟同行评审，支持多种标注范式并提供实时评估。
2026-07-22 cs.AI cs.CL cs.MA
On the Impact of Temporal Representations on Metaphor Detection
University of Milano-Bicocca（米兰比可卡大学）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
现有的隐喻检测方法使用基于神经网络的隐喻分类器来比较它们的字面意义或核心意义以及它们的上下文意义。然而，由于文化和社会的影响，隐喻表达方式随着时间的推移而演变。人们知道隐喻表达与语言和字面词义共同进化，甚至在某种程度上推动了这种进化。这就提出了一个问题，即不同的，可能是特定时间的，字面意义的表征是否会影响隐喻检测任务。据我们所知，这是第一个研究，探讨隐喻检测任务，详细的探索性分析，不同的时间和静态词嵌入被用来解释不同的表征字面意义。我们的实验分析是基于三个流行的基准用于隐喻检测和词嵌入提取不同的语料库和时间对齐使用不同的国家的最先进的方法。结果表明，不同的静态词嵌入方法的使用确实影响隐喻检测任务，一些时间词嵌入略优于静态方法。然而，研究结果也表明，时间词嵌入可能提供表征的核心意义的隐喻，甚至太接近他们的上下文意义，从而混淆分类。总的来说，时间语言进化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集似乎很小。这表明，未来对这一重要语言现象的计算分析工作应该首先从创建一个新的数据集开始，在这个数据集上更好地表示这种相互作用。
2022-04-29 cs.AI cs.CL
Linguistic Taboos and Euphemisms in Nepali
Nowa Lab（诺瓦实验室）；The University of Memphis（孟菲斯大学）
世界各地的语言都有一些词语、短语和行为--禁忌--在公共交流中被避免，认为它们淫秽或扰乱社会的社会、宗教和道德价值观。然而，人们故意使用这些语言禁忌和其他语言结构来做出伤害，贬损和淫秽的评论。要建立一套通用的冒犯性或禁忌性术语几乎是不可能的，因为冒犯性完全由不同的因素决定，如社会物理环境、说话者和听众的关系以及词汇选择。在本文中，我们提出了一个详细的语料库为基础的研究在尼泊尔语的攻击性语言。我们确定并描述了超过18种不同类别的语言冒犯，包括政治，宗教，种族和性别。我们讨论了12种常见的委婉语，如同义词、隐喻和迂回。此外，我们介绍了一个手动构建的数据集，超过1000个进攻和禁忌的条款流行的当代扬声器。对攻击性语言和资源的深入研究将为攻击性语言检测和语言学习等下游任务提供基础。
2020-07-27 cs.CL
A Comparative Approach to Assessing Linguistic Creativity of Large Language Models and Humans
University of Bucharest（布加勒斯大学）；Interdisciplinary School of Doctoral Studies（跨学科博士研究学校）；University of Craiova（克里奥瓦大学）
本文通过包含构词和隐喻任务的通用测试，比较24名人类与24个LLMs的语言创造力，发现LLMs在原创性、精细度和灵活性上整体占优，但人类更倾向扩展型创造力，LLMs更倾向固定型创造力。
2025-07-17 cs.CL
LSTMs Exploit Linguistic Attributes of Data
University of Washington（华盛顿大学）；University of Colorado（科罗拉多大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然递归神经网络在各种自然语言处理应用中取得了成功，但它们是序列数据的通用模型。我们研究了自然语言数据的属性如何影响LSTM学习非语言任务的能力：从输入中回忆元素。我们发现，在自然语言数据上训练的模型比在非语言序列数据上训练的模型能够从更长的序列中召回令牌。此外，我们证明了LSTM通过显式使用其神经元的子集来计算输入中的时间步来学习解决记忆任务。我们假设自然语言数据中的模式和结构使LSTM能够通过提供减少损失的近似方法来学习，但是理解不同训练数据对LSTM可学习性的影响仍然是一个悬而未决的问题。
2019-04-05 cs.CL
Author-Specific Linguistic Patterns Unveiled: A Deep Learning Study on Word Class Distributions
University Hospital Erlangen（埃尔兰根大学医院）；FAU Erlangen-Nürnberg（埃尔兰根-纽伦堡大学）
该研究利用词性标注、二元组分析与深度神经网络进行文学作者分类，发现词类序列模式更能体现作者风格，验证了计算方法捕捉风格差异的有效性，为作者画像和文学研究提供支持。
2025-01-17 cs.CL
Sequential Convolutional Neural Networks for Slot Filling in Spoken Language Understanding
University of Stuttgart（斯图加特大学）
我们研究了卷积神经网络（CNN）在口语语言理解中的槽填充任务的使用。我们提出了一种新的CNN结构的序列标记，考虑到以前的上下文单词与保留的顺序信息，并特别注意当前单词与其周围的上下文。此外，它结合了过去和未来的信息进行分类。我们提出的CNN架构甚至优于以前最好的集成递归神经网络模型，并在ATIS基准数据集上实现了最先进的结果，F1得分为95.61%，而无需使用任何额外的语言知识和资源。
2016-06-24 cs.CL
Where is my forearm? Clustering of body parts from simultaneous tactile and linguistic input using sequential mapping
Czech Technical University in Prague（布拉格捷克理工大学）；CTU in Prague（布拉格捷克理工大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Plymouth University（普利茅斯大学）
人类和动物不断地暴露于来自不同模态的连续感官信息流。与此同时，它们形成更压缩的表示，如概念或符号。在使用语言的物种中，这一过程通过这种相互作用进一步结构化，其中需要建立感觉运动概念和语言元素之间的映射。有证据表明，儿童学习语言的方式可能是简单地消除基于不同语境中多次接触话语的潜在含义（跨情境学习）。在现有的模型中，模态之间的映射通常是通过直接使用所指和意义共现的频率在单步的中找到的。在本文中，我们提出了一个扩展的一步映射，并介绍了一个新提出的顺序映射算法，连同一个公开可用的Matlab实现。为了演示，我们选择了一个不太典型的场景：我们专注于身体表征，而不是学习将对象与它们的名称相关联。人形机器人在其身体上接收触觉刺激，同时收听身体部位名称的发音（例如，手、前臂和躯干）。在到达正确的“身体类别”的目标，我们演示了如何顺序映射算法优于一步映射。此外，还研究了语言输入中数据集大小和噪声对识别效果的影响。
2017-06-08 cs.AI cs.CL cs.LG
Linguistic Structure from a Bottleneck on Sequential Information Processing
University of California, Irvine（加州大学欧文分校）；Saarland University（萨尔兰大学）
本文通过模拟实验与跨语言语料分析，证明受预测信息约束的编码会涌现类自然语言的系统性结构，且人类语言各层面结构均符合该约束特征，建立了语言统计与代数结构的关联。
2025-11-17 cs.CL cs.IT math.IT
You shall know a piece by the company it keeps. Chess plays as a data for word2vec models
School of Linguistics HSE University（高等经济大学语言学院）；Institute of Russian Literature (Pushkin House)（俄罗斯文学研究所（普希金之家））；Russian Academy of Sciences（俄罗斯科学院）
本文将语言学分析方法应用于国际象棋对局数据，展示word2vec词嵌入模型如何处理国际象棋对局文本，指出该方法虽未必能帮助选择最佳棋步，但在纯学术意义上捕捉到了游戏本质的某些重要特征。
2024-07-28 cs.AI cs.CL
Group Communication Analysis: A Computational Linguistics Approach for Detecting Sociocognitive Roles in Multi-Party Interactions
University of Michigan（密歇根大学）；University of Memphis（孟菲斯大学）
角色是理解人类社会认知行为的重要概念之一。在小组互动中，成员在讨论中扮演不同的角色。角色具有不同的行为参与模式（即，主动或被动，领先或跟随），贡献特性（即，提供新的信息或呼应给定的材料），和社会取向（即，个人或团体）。这些角色的不同组合可以产生不同的群体结果，对集体目标的生产力或低或高。在在线协作学习环境中，这可能会导致个人参与者的学习结果更好或更差。在这项研究中，我们提出并验证了一种新的方法来检测新兴的角色，从参与者的贡献和互动模式。具体来说，我们开发了一个组通信分析（GCA）相结合的自动计算语言技术与分析的顺序互动的在线组通信。GCA应用于三个大型协作交互数据集（参与者N = 2，429;组N = 3，598）。聚类分析和线性混合效应模型被用来评估GCA方法的有效性和学习者角色对学生和小组成绩的影响。结果表明，参与者的语言协调和衔接模式是个人在合作讨论中所扮演的角色的代表。更广泛地说，GCA为研究人员提供了一个框架，以探索与参与者的角色和成功合作相关的社会认知过程相关的微观内部和人际模式。
2018-01-07 cs.CL
Improving Cross-Lingual Transfer for Sequential Sentence Classification in Research Papers via Structural Similarity
Doshisha University（同志社大学）
本研究通过构建多语言数据集和实验，发现结构相似性比语言邻近性更能预测序列句子分类的跨语言迁移性能，并提出利用生成模型显式利用结构信息的方法，在域内和跨语言迁移中达到或超越最强基线。
2026-09-18 cs.CL cs.DL
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University（卡塔尔大学）
本研究针对CheckThat! 2025新闻主观性检测任务，提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型，通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能，并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside（加州大学河滨分校）
一些研究者认为，语言的习得主要依赖于对语言输入的体验，而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络（SRN）来测试这个假设，该网络被训练用于预测CHILDES中的单词序列，CHILDES是一个针对儿童的500万单词的语音语料库。首先，我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来，我们比较了在CHILDES上训练的两组SRN的性能，这两组SRN要么是按年龄排序的，要么不是。具体来说，我们评估了语法和语义结构的学习，并表明，年龄顺序输入的培训有利于语义的学习，但不是顺序结构。我们发现，当模型在去除了话语边界信息的输入上训练时，这种优势就被消除了。
2018-02-02 cs.CL
Is neural language acquisition similar to natural? A chronological probing study
AIRI；HSE University（高等经济大学）；DeepPavlov；SberDevices
探测方法允许人们使用外部分类器和统计分析来获得存储在神经网络的内层中的语言现象的部分表示。预训练的基于transformer的语言模型被广泛用于自然语言理解（NLU）和自然语言生成（NLG）任务，使得它们最常用于下游应用。然而，几乎没有进行分析，无论是模型预先训练足够或包含与语言理论相关的知识。我们正在介绍Transformer英文模型的时间顺序探索研究，如MultiBERT和T5。在语料库的训练过程中，我们依次比较了模型学习到的语言信息。结果表明：1）语言信息是在训练的早期阶段获得的; 2）两种语言模型都表现出从语言的各个层面捕捉各种特征的能力，包括词法、句法甚至话语，但它们也可能在被认为很容易的任务上失败。我们还介绍了开放源代码框架的时间顺序探测研究，与其他基于transformer的模型兼容。https://github.com/EkaterinaVoloshina/chronological_probing
2022-07-01 cs.CL
Implicit N-grams Induced by Recurrence
Singapore University of Technology and Design（新加坡科技设计大学）
虽然基于自我注意力的模型，如Transformers，在自然语言处理（NLP）任务上取得了显着的成功，但最近的研究表明，它们在建模顺序转换方面存在局限性（Hahn，2020），这可能会促使重新审视递归神经网络（RNN），这些网络在处理顺序数据方面表现出令人印象深刻的结果。尽管之前有许多解释RNN的尝试，但它们的内部机制尚未完全理解，关于它们如何准确捕获序列特征的问题在很大程度上仍然不清楚。在这项工作中，我们提出了一项研究，表明实际上存在一些可解释的组件，驻留在隐藏的状态，这让人想起经典的n-gram功能。我们在下游的情感分析任务中评估了从训练的RNN中提取的可解释特征，发现它们可以用来模拟有趣的语言现象，如否定和强化。此外，我们研究了单独使用这些n-gram组件作为情感分析和语言建模等任务的编码器的有效性，揭示了它们可能在促进RNN的整体性能方面发挥重要作用。我们希望我们的发现可以为RNN架构增加可解释性，并为提出新的序列数据架构提供灵感。
2022-05-05 cs.CL
Unsupervised Learning of Disentangled and Interpretable Representations from Sequential Data
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个因式分解的分层变分自编码器，它学习解开和可解释的表示从序列数据没有监督。具体来说，我们利用多尺度性质的信息在序列数据中制定明确的因子分解层次图形模型，将序列相关的先验和序列无关的先验不同的潜在变量集。两个语音语料库的模型进行评估，定性地证明，它的能力，通过操纵不同的潜变量集转换扬声器或语言内容;和定量地，它的能力优于一个i-向量基线扬声器验证和减少字出错率高达35%，在不匹配的训练/测试方案的自动语音识别任务。
2017-09-22 cs.CL cs.LG cs.SD
Tree-Structured Neural Machine for Linguistics-Aware Sentence Generation
University of Chinese Academy of Sciences（中国科学院大学）；Department of Computer Science, University of California Santa Barbara（加州大学圣塔芭芭拉分校计算机科学系）；WeChat Search Application Department, Tencent（腾讯微信搜索应用部）
与其他序列数据不同，自然语言中的句子是由语言语法构成的。以前的生成会话模型与链结构解码器忽略了人类语言中的这种结构，可能会产生令人满意的相关性和流畅性较差的似是而非的反应。在这项研究中，我们的目标是将语言分析的结果融入到句子生成的过程中，以生成高质量的会话。具体来说，我们使用依赖分析器将每个响应句子转换为依赖树，并构建一个训练语料库的依赖树对。一个树结构的解码器被开发来学习从一个句子到它的树的映射，其中不同类型的隐藏状态被用来描述从一个内部树节点到它的孩子的局部依赖。为了加快训练速度，我们提出了一种树规范化方法，将树转换为等价的三叉树。然后，提出了一种树结构的搜索方法，该模型能够生成最可能的响应的依赖树的形式，这是最后平整成序列作为系统输出。实验结果表明，提出的X2Tree框架优于基线方法超过11.15%的接受率增加。
2018-01-03 cs.AI cs.CL cs.LG
Dependency-based Convolutional Neural Networks for Sentence Embedding
City University of New York（纽约城市大学）；IBM（国际商业机器公司）
在句子建模和分类中，卷积神经网络方法最近取得了最先进的结果，但所有这些努力都是顺序处理单词向量，忽略了长距离依赖关系。为了利用深度学习和语言结构，我们提出了一个基于树的卷积神经网络模型，它利用了单词之间的各种长距离关系。我们的模型改进了所有三个情感和问题分类任务的顺序基线，并在TREC上实现了最高的发布准确率。
2015-08-03 cs.AI cs.CL cs.LG
Eye-tracking based classification of Mandarin Chinese readers with and without dyslexia using neural sequence models
The Education University of Hong Kong（香港教育大学）；University of Macau（澳门大学）；University of Zurich（苏黎世大学）；University of Potsdam（波茨坦大学）
眼动被认为反映了阅读中的认知过程，心理阅读研究表明，有阅读障碍的读者和没有阅读障碍的读者之间的眼睛注视模式是不同的。近年来，研究者尝试使用支持向量机（SVM）根据阅读障碍者的眼球运动对阅读障碍进行分类。然而，这些方法（i）是基于高度聚合的特征平均在所有的单词阅读的参与者，从而忽视了眼睛运动的顺序性质，和（ii）不考虑语言刺激和它的相互作用与读者的眼睛运动。在目前的工作中，我们提出了两个简单的序列模型，在整个刺激过程中的眼球运动，而不需要聚合功能的句子。此外，我们以两种方式将语言刺激纳入模型-上下文词嵌入和手动提取语言特征。该模型进行了评估，普通话中文数据集包含眼动儿童和无阅读障碍。我们的研究结果表明，（i）即使是像中文这样的语标文字，序列模型也能够对眼睛注视序列上的阅读障碍进行分类，达到最先进的性能，（ii）将语言刺激纳入分类并不能帮助提高分类性能。
2022-12-02 cs.CL cs.LG
Temporal Order Preserved Optimal Transport-based Cross-modal Knowledge Transfer Learning for ASR
National Institute of Information and Communications Technology（信息通信研究机构）；Research Center for Information Technology Innovation（资讯科技创新研究中心）；Academia Sinica（中央研究院）
针对ASR中声学与语言序列跨模态对齐难题，本文提出TOT-CAKT，通过保持时间顺序的最优传输实现知识迁移，并在普通话ASR中显著优于现有方法。
2024-09-05 cs.AI cs.CL cs.SD
On Incorporating Structural Information to improve Dialogue Response Generation
University of Edinburgh（爱丁堡大学）；McGill University（麦吉尔大学）；Mila（米拉）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and Artificial Intelligence (RBC-DSAI), Indian Institute of Technology Madras（印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心（RBC-DSAI））
我们认为，从背景知识包括特定领域的资源生成对话响应的任务。具体而言，给定围绕电影的对话，任务是基于关于电影的背景知识（例如情节、评论、Reddit评论等）生成下一个响应。这需要从对话上下文和背景资源中捕获结构、顺序和语义信息。这是一项新的任务，还没有得到社会的广泛关注。我们提出了一个新的架构，使用BERT的能力，以捕捉深度的上下文表示结合显式的结构和序列信息。更具体地说，我们使用（i）图卷积网络（GCN）来捕获结构信息，（ii）LSTM来捕获序列信息，（iii）BERT用于捕获语义信息的深度上下文表示。我们广泛地分析了所提出的架构。为此，我们提出了一个即插即用的语义序列结构（SSS）框架，使我们能够有效地结合这样的语言信息。通过一系列的实验，我们得出了一些有趣的结论。首先，我们观察到GCN模型对NLP任务的流行适应，其中结构信息（GCN）被添加到序列信息（LSTM）之上，在我们的任务中表现不佳。这使我们探索有趣的方式结合语义和结构信息，以提高性能。其次，我们观察到，虽然BERT已经优于其他深度上下文表示，如ELMo，它仍然受益于使用GCN显式添加的额外结构信息。考虑到最近声称BERT已经捕获了结构信息，这有点令人惊讶。最后，拟议的SSS框架比基线提高了7.95%。
2020-05-28 cs.CL
The Road to Know-Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation
The Australian National University（澳大利亚国立大学）；University of California, Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Yonsei University（延世大学）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Monash University（莫纳什大学）
视觉和语言导航（VLN）需要一个智能体在自然语言指令和一组照片般逼真的地图的基础上找到一条通往远程位置的路径。大多数现有的方法将指令中的单词和每个全景图的离散视图作为编码的最小单元。然而，这需要模型来匹配不同的名词（例如，电视、桌子）对相同的输入视图功能。在这项工作中，我们提出了一个对象知情的顺序BERT编码视觉感知和语言指令在同一个细粒度的水平，即对象和单词。我们的顺序BERT也使视觉文本的线索被解释的时间背景下，这是至关重要的多轮VLN任务。此外，我们使模型能够识别相对方向（例如，左/右/前/后）和房间类型（例如，卧室、厨房），因为这样的信息在暗示期望的下一个和最终位置的指令中被广泛提及。因此，我们使模型能够知道物体在图像中的位置，并知道它们在场景中的位置。大量的实验表明，对三个室内VLN任务：REVERIE，NDH，和R2 R的几个国家的最先进的方法相比的有效性。项目存储库：https://github.com/YuankaiQi/ORIST
2021-08-25 cs.CL cs.CV
Predicting Mental Health Help-Seeking Behaviour on Reddit: A Survival Analysis of Linguistic and Behavioural Signals
University of Strathclyde（思克莱德大学）；Sir Syed CASE Institute of Technology（赛义德·卡塞理工学院）；NUST（国立科学与技术大学）
该研究将Reddit用户的心理健康求助视为时间-事件问题，通过构建两组队列，结合行为与文本特征，采用多种生存分析模型，发现行为特征对求助可能性预测更优、文本特征对求助时间预测更稳定，分离两类问题可提升分析效果。
2026-10-14 cs.CL cs.LG cs.SI
VyAnG-Net: A Novel Multi-Modal Sarcasm Recognition Model by Uncovering Visual, Acoustic and Glossary Features
Delhi Technological University（德里理工大学）
提出VyAnG-Net多模态讽刺识别模型，融合视觉、声学和词汇特征，在MUSTaRD数据集上分别取得79.86%和76.94%的准确率，优于现有方法。
2024-08-05 cs.AI cs.CL cs.CV
HyperPersona: A Multi-Level Hypergraph Framework for Text-Based Automatic Personality Prediction
Department of Computer Science and Information Technology（计算机科学与信息技术系）；Institude for Advanced Studies in Basic Sciences (IASBS)（基础科学高级研究 institute (IASBS)）
本文提出HyperPersona框架，通过超图结构显式建模文本的层次结构，利用基于Transformer的图编码器学习不同语言层之间的交互，从而在不依赖传统心理测量法的情况下，实现更准确的人格预测。
2026-10-19 cs.AI cs.CL
A Data Efficient End-To-End Spoken Language Understanding Architecture
端到端体系结构最近已经被提出用于口语语言理解（SLU）和语义解析。基于大量的数据，这些模型联合学习声学和语言序列特征。这样的架构在域、意图和槽检测的上下文中给出了非常好的结果，它们在更复杂的语义组块和标记任务中的应用不太容易。为此，在许多情况下，模型与外部语言模型组合以增强其性能。在本文中，我们介绍了一个数据高效的系统，它是端到端训练的，没有额外的，预先训练的外部模块。我们的方法的一个关键特征是一个增量训练过程，其中声学，语言和语义模型依次训练。所提出的模型具有合理的大小，并在使用小的训练数据集的同时实现了与最先进的竞争结果。特别是，我们达到24.02%的概念出错率（CER）的媒体/测试，而媒体/训练没有任何额外的数据。
2020-02-14 cs.CL cs.LG cs.SD
