Recurrent Neural Networks with Mixed Hierarchical Structures for Natural Language Processing
Purdue University(普渡大学)
在语言学和自然语言处理(NLP)任务中都存在层次结构。如何设计RNN来学习自然语言的层次表示仍然是一个长期存在的挑战。在本文中,我们定义了两种不同类型的边界称为静态和动态边界,分别,然后使用它们来构建一个多层的层次结构的文档分类任务。特别是,我们专注于一个三层的层次结构与静态的单词和句子层和动态的短语层。使用LSTM单元和两个边界检测器来实现所提出的结构,并且由此产生的网络被称为具有混合分层结构的{ \em递归神经网络}(MHS-RNN)。我们进一步增加了三层的注意力机制的MHS-RNN模型。简化注意力机制使我们的模型能够使用更重要的内容来构建文档表示,并增强其在文档分类任务上的性能。在五个不同数据集上的实验表明,该架构在所有五个任务上都优于以前的方法。
2021-06-04 cs.CL
Efficient Hierarchical Domain Adaptation for Pretrained Language Models
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
大语言模型的显著成功是由在大量未标记的非结构化语料库上训练的密集模型驱动的。这些语料库通常包含来自不同、异构来源的文本,但在训练过程中很少使用有关文本来源的信息。将他们的知识转移到目标领域通常是通过继续进行领域内的培训来完成的。在本文中,我们介绍了一种方法,允许领域自适应许多不同的领域使用计算效率的适配器的方法。我们的方法是基于文本域部分重叠的观察,我们表示域作为一个分层的树结构,其中树中的每个节点与一组适配器权重。当与冻结的预训练语言模型相结合时,这种方法可以在相关域之间共享参数,同时避免不相关域之间的负面干扰。GPT-2和C4中100个最具代表性的网站中的一大部分的实验结果显示了域中的全面改进。我们还提供了一个推理时间算法,并表明,平均通过树的多条路径可以进一步提高泛化能力,同时只增加一个边际成本的推理。
2022-05-03 cs.CL
A Comprehensive Understanding of Code-mixed Language Semantics using Hierarchical Transformer
IIIT-Delhi(德里印度理工学院)
语码混用作为一种流行于多语言社区的文本交际模式,已成为网络社会媒体中的一个重要研究课题。由于数据的稀缺性和缺乏鲁棒的语言不变的表示学习技术,混合语言的语义和形态学习仍然是一个关键的挑战。任何形态丰富的语言都可以从字符、子词和词级嵌入中受益,帮助学习有意义的相关性。在本文中,我们探讨了一个层次化的基于转换器的架构(HIT),学习代码混合语言的语义。HIT由多头自我注意和外积注意组成,可以同时理解语码混合文本的语义和句法结构。我们评估了6种印度语言(孟加拉语,古吉拉特语,印地语,泰米尔语,泰卢固语和马拉雅拉姆语)和西班牙语在17个数据集上的9个NLP任务所提出的方法。HIT模型在所有任务中的表现都优于最先进的代码混合表示学习和多语言语言模型。我们使用基于掩码语言建模的预训练、零样本学习和迁移学习方法进一步证明了HIT架构的可推广性。我们的实证结果表明,预训练目标显着提高下游任务的性能。
2022-04-27 cs.CL
Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
针对少样本层次文本分类中预训练语言模型非结构化知识难适配下游层次结构的问题,提出层次迭代条件随机场方法,将域层次适配转化为层次迭代语言建模问题,实现知识迁移并提升分类性能与层次一致性。
2024-07-12 cs.CL
Multilingual Multi-Domain Adaptation Approaches for Neural Machine Translation
Osaka University(大阪大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
本文针对纯注意神经机器翻译(NMT)模型,提出了两种新的领域自适应方法,Transformer。我们的方法专注于通过学习领域专门的隐藏状态表示或每个领域的预测偏差来训练多个领域的单个翻译模型。我们将我们的方法与以前提出的称为混合微调,这是已知的是非常有效的领域自适应的黑箱方法相结合。此外,我们将多语言纳入领域自适应框架。实验表明,多语言多领域自适应可以显著改善资源贫乏的域内翻译和资源丰富的域外翻译,并且我们的方法与混合微调的组合实现了最佳性能。
2019-06-20 cs.CL
Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog
University of California, Davis(加利福尼亚大学戴维斯分校);Carnegie Mellon University(卡内基梅隆大学)
创建一个能够理解视觉和语言的智能对话系统是人工智能(AI)的最终目标之一~ \cite{winograd1972understanding}。广泛的研究集中在视觉到语言生成,然而,有限的研究已经触及到这两种模式结合在一个目标驱动的对话上下文。我们提出了一个多模态层次强化学习框架,动态集成视觉和语言的面向任务的视觉对话。该框架联合学习多模态对话状态表示和分层对话策略,以提高对话任务的成功率和效率。我们还提出了一种新的技术,状态自适应,在对话状态表示集成上下文感知。我们在一个图像猜测游戏中评估了所提出的框架和状态自适应技术,并取得了可喜的成果。
2018-05-08 cs.CL
Toward Reliable Clinical Coding with Language Models: Verification and Lightweight Adaptation
University of Cambridge(剑桥大学);Amazon(亚马逊)
本研究提出通过验证和轻量级适配(提示工程与微调)提升LLM临床编码可靠性,并发布专家标注的门诊基准以解决层级错位错误。
2025-10-08 cs.CL
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google(谷歌公司)
提出分层循环适配器(HRA),通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销,并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
A Mixed Hierarchical Attention based Encoder-Decoder Approach for Standard Table Summarization
IBM Research(IBM研究院);IIT Madras(印度理工学院马德拉斯分校)
结构化数据摘要涉及从结构化输入数据生成自然语言摘要。在这项工作中,我们考虑总结以表格形式出现的结构化数据,因为它们在各种各样的领域中普遍存在。我们制定了标准的表汇总问题,它处理表符合一个单一的预定义的模式。为此,我们提出了一个混合的分层注意的编码器-解码器模型,它能够利用的结构,除了表的内容。我们在公开的WEATHERGOV数据集上的实验显示,与当前最先进的技术相比,BLEU提高了约18(约30%)。
2018-04-20 cs.AI cs.CL
Adaptation of Hierarchical Structured Models for Speech Act Recognition in Asynchronous Conversation
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
我们解决了异步对话(论坛,电子邮件)中的言语行为识别(SAR)问题。与同步对话(例如,会议、电话),异步域缺乏大的标记数据集来训练有效的SAR模型。在本文中,我们提出的方法,有效地利用丰富的未标记的会话数据和可用的标记数据从同步域。我们的研究分三个主要步骤进行。首先,我们介绍了一个神经架构的基础上分层LSTM和条件随机场(CRF)的SAR,并表明,我们的方法优于现有的方法时,只在域内数据训练。其次,我们通过半监督学习改进了我们的初始SAR模型,这种半监督学习的形式是从大型未标记的会话语料库中学习的预训练词嵌入。最后,我们采用对抗性训练,通过利用来自同步域的标记数据和显式建模两个域中的分布变化来进一步改进结果。
2019-04-01 cs.CL cs.LG stat.ML
Recurrent Neural Networks with Mixed Hierarchical Structures and EM Algorithm for Natural Language Processing
Purdue University(普渡大学)
如何获得具有不断增加的抽象级别的层次表示成为使用深度神经网络学习的关键问题之一。最近提出了各种RNN模型,以在文献中的建模语言中合并显式和隐式层次信息。在本文中,我们提出了一种称为潜在指示层的新方法来识别和学习隐含的层次信息(例如,短语),并进一步开发EM算法来处理训练中的潜在指示符层。潜在指示层进一步简化了文本的层次结构,这使我们能够将不同级别的注意力机制无缝集成到结构中。我们将由此产生的架构称为EM-HRNN模型。此外,我们开发了两个引导策略,有效地和高效地训练长文本文档的EM-HRNN模型。仿真研究和实际数据应用表明,在文档分类任务的EM-HRNN模型与引导训练优于其他基于RNN的模型。EM-HRNN模型的性能与称为Bert-base的基于transformer的方法相当,尽管前者是更小的模型并且不需要预训练。
2022-01-21 cs.CL stat.ML
OpenPA: Forced-alignment-free Multi-granular Pronunciation Assessment with Mixed-transcript Adaptation
National Taiwan Normal University(台湾师范大学)
该研究提出无需强制对齐的APA框架OpenPA,利用Whisper交叉注意力机制联合预测多粒度发音分数,经speechocean762训练后在多场景评估中表现优异,还展现出跨任务应用潜力。
2026-10-12 cs.CL cs.SD eess.AS
Itgan at NADI 2026 shared task: Parameter-Efficient Whisper Adaptation for Robust, Mixed-Dialect and Code-Switched Arabic ASR
Itgan系统利用LoRA适配Whisper,在NADI 2026三个阿拉伯语ASR子任务中分别通过方言专用模型、基础模型选择和权重平均等策略,取得57.1%、46.7%和14.49%的WER,并报告了无效方向。
2026-10-08 cs.AI cs.CL cs.SD
From partners to populations: A hierarchical Bayesian account of coordination and convention
Princeton University(普林斯顿大学);University of Osnabrück(奥斯纳布吕克大学);Stanford University(斯坦福大学);University of Edinburgh(爱丁堡大学)
语言是协调问题的有力解决方案:它们为我们所说的话如何与我们头脑中的信念和意图相对应提供了稳定的、共同的期望。然而,在一个多变和不稳定的社会环境中使用语言需要语言表征是灵活的:旧词获得新的临时或合作伙伴特定的意义上飞。在本文中,我们介绍了CHAI(通过推理的持续层次适应),协调和惯例形成的层次贝叶斯理论,旨在调和这两个基本观察之间的长期紧张关系。我们认为,通信的中心计算问题是不简单的传输,在经典的配方,但持续学习和适应在多个时间尺度。特定于合作伙伴的共同点很快从二元互动中的社会推理中出现,而社区范围内的社会惯例是从与多个合作伙伴的互动中抽象出来的稳定的先验。我们提出了新的经验数据,同时模拟显示我们的模型如何为几种现象提供了计算基础,这些现象对以前的解释提出了挑战:(1)在与同一伙伴的重复互动中收敛到更有效的指称表达,(2)逐渐将伙伴特定的共同点转移给陌生人,以及(3)交际语境对惯例最终形成的影响。
2021-12-02 cs.AI cs.CL
MiGrATe: Mixed-Policy GRPO for Adaptation at Test-Time
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
MiGrATe是一种在线测试时训练方法,使用GRPO作为搜索算法,通过结合在线策略采样与贪心采样、邻域采样的混合策略组构建过程,在无需外部训练数据的情况下自适应LLMs,并在多个复杂搜索任务中优于现有基线。
2025-08-12 cs.AI cs.CL cs.LG