IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities
AI Research（360人工智能研究院）
针对多模态大语言模型微调导致NLP能力下降的问题，提出内部适配器架构（IAA），在冻结语言模型不同深度集成多模态适配器，小规模数据即可提升性能，在视觉-语言基准测试中优于现有方法且不牺牲NLP能力。
2025-04-15 cs.AI cs.CL cs.LG
MorphNAS: Differentiable Architecture Search for Morphologically-Aware Multilingual NER
Department of Computer Science & Engineering, PES University, Bengaluru, India（计算机科学与工程系，PES大学，班加罗尔，印度）
MorphNAS提出一种融合文种类型和形态复杂度等语言元特征的可微分架构搜索方法，自动为多语言命名实体识别寻找最优微架构，以提升对形态复杂语言的处理能力。
2025-08-19 cs.AI cs.CL cs.LG
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models
Academia Sinica（中央研究院）；University of Waterloo（滑铁卢大学）
本文提出了一个基于序列到序列结构和预训练语言模型的会话问题重构的实证研究。我们利用PLM来解决CQR任务的共同目标最大似然估计中的强令牌到令牌独立性假设。在面向任务的对话系统的CQR基准测试中，我们将最近引入的CANARD数据集作为域内任务评估微调的PLM，并使用TREC 2019 CAST Track的数据作为域外任务验证模型。检查不同的参数数量的各种架构，我们证明，最近的文本到文本传输Transformer（T5）实现了最好的结果都在CANARD和CAST与较少的参数，相比类似的Transformer架构。
2020-04-04 cs.AI cs.CL cs.LG
Learning Architectures from an Extended Search Space for Language Modeling
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Institute of Psychology, CAS（中国科学院心理研究所）；Kingsoft AI Lab（金山人工智能研究院）
近年来，神经架构搜索（NAS）取得了显著的进步，但大多数NAS系统将搜索限制在递归或卷积细胞的学习架构上。在本文中，我们扩展了NAS的搜索空间。特别是，我们提出了一种通用的方法来学习细胞内和细胞间的架构（称之为ESS）。为了获得更好的搜索结果，我们设计了一种联合学习方法来同时执行小区内和小区间NAS。我们实现了我们的模型在一个微分架构搜索系统。对于递归神经语言建模，它在PTB和WikiText数据上的表现明显优于强基线，在PTB上具有新的最新技术水平。此外，学习的架构显示出良好的可移植性到其他系统。例如，在一个示例中，它们改进了关于CoNLL和WNUT命名实体识别（NER）任务和CoNLL组块任务的现有技术系统，表明了关于大规模预学习体系结构的有希望的研究路线。
2020-06-05 cs.CL cs.LG stat.ML
Neural Architecture Search for Parameter-Efficient Fine-tuning of Large Pre-trained Language Models
Information Sciences Institute（信息科学研究所）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出一种结合结构化与非结构化剪枝的高效神经架构搜索方法，用于自动学习参数高效微调架构，并在GLUE基准上验证其有效性。
2023-05-26 cs.AI cs.CL cs.LG
Language models and Automated Essay Scoring
在本文中，我们提出了一个新的比较研究自动作文评分（AES）。在这项工作中使用了当前最先进的自然语言处理（NLP）神经网络架构，以在公开可用的Kaggle AES数据集上实现高于人类水平的准确性。我们比较了两个强大的语言模型，BERT和XLNet，并描述了这些模型中的所有层和网络架构。我们使用清晰的符号和图表阐明了BERT和XLNet的网络架构，并解释了Transformer架构相对于传统递归神经网络架构的优势。线性代数符号用于阐明Transformers和注意力机制的功能。我们将结果与更传统的方法进行了比较，例如词袋（BOW）和长短期记忆（LSTM）网络。
2019-09-18 cs.CL cs.LG stat.ML
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
神经结构搜索（NAS）是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力，这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题，并确保更多的可重复实验。然而，这些基准测试仅适用于计算机视觉领域，因此是从图像数据集和卷积衍生架构构建的。在这项工作中，我们走出计算机视觉领域，利用语言建模任务，这是自然语言处理（NLP）的核心。我们的主要贡献如下：我们在文本数据集上提供了递归神经网络的搜索空间，并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后，我们测试了几种NAS算法，以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
Elastic Architecture Search for Efficient Language Models
Indepentdent Researcher（独立研究者）
本文提出弹性语言模型（ELM），通过引入包含高效transformer块和动态模块的灵活搜索空间及新型知识蒸馏损失，优化紧凑语言模型的神经架构搜索，在语言建模任务上显著优于现有方法。
2025-10-30 cs.AI cs.CL cs.LG
Language Models with Transformers
Amazon Web Services（亚马逊云科技）
Transformer架构在计算效率方面优于基于RNN的模型。最近，GPT和BERT在大规模语料库上使用预训练的语言模型证明了Transformer模型在各种NLP任务上的有效性。令人惊讶的是，这些Transformer架构对于语言模型本身来说是次优的。Transformer中的自我注意和位置编码都不能有效地结合对语言建模至关重要的单词级顺序上下文。在本文中，我们探索了用于语言模型的有效Transformer架构，包括添加额外的LSTM层以更好地捕获顺序上下文，同时仍然保持计算效率。我们提出了协调架构搜索（CAS）找到一个有效的架构，通过迭代细化的模型。在PTB、WikiText-2和WikiText-103上的实验结果表明，CAS在所有问题上都实现了20.42到34.11之间的困惑度，即与最先进的LSTM相比，平均提高了12.0个困惑度单位。源代码是公开的。
2019-10-17 cs.AI cs.CL cs.LG
Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences（应用科学大学）；University of Helsinki（赫尔辛基大学）
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能，发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
Gated-Attention Architectures for Task-Oriented Language Grounding
Carnegie Mellon University（卡内基梅隆大学）
为了执行由自然语言指令指定的任务，自主智能体需要提取语义上有意义的语言表示，并将其映射到环境中的视觉元素和动作。这个问题被称为任务导向的语言基础。我们提出了一种端到端的可训练神经架构，用于在3D环境中进行面向任务的语言基础，该架构不假设先前的语言或感知知识，只需要来自环境的原始像素和自然语言指令作为输入。该模型使用门控注意力机制结合图像和文本表示，并使用标准强化和模仿学习方法学习执行自然语言指令的策略。我们展示了所提出的模型的有效性看不见的指令以及看不见的地图，定量和定性。我们还介绍了一个新的环境的基础上的3D游戏引擎，以模拟面向任务的语言接地在一组丰富的指令和环境状态的挑战。
2018-01-09 cs.AI cs.CL cs.LG
RoSearch: Search for Robust Student Architectures When Distilling Pre-trained Language Models
Beihang University（北京航空航天大学）
预训练的语言模型在NLP任务中表现出色。已经提出了各种知识蒸馏方法来减少预先训练的语言模型的繁重计算和存储需求。然而，从我们的观察，通过知识蒸馏获得的学生模型遭受对抗攻击，这限制了它们在安全敏感场景中的使用。为了克服这些安全问题，提出了一种综合框架RoSearch，用于在进行知识蒸馏时搜索具有更好对抗鲁棒性的学生模型。建立了一个基于有向无环图的搜索空间，并采用进化搜索策略指导搜索过程。每个搜索到的体系结构都是通过预训练的语言模型上的知识蒸馏来训练的，然后在鲁棒性、准确性和效率感知度量（如环境适应性）下进行评估。实验结果表明，RoSearch在不同的数据集上，学生模型的鲁棒性从7%~18%提高到45.8%~47.8%，其权重压缩比与现有的蒸馏方法相当（相对于教师模型BERT_BASE提高了4.6 $\times$ ~6.5 $\times$），准确率下降较小。此外，我们总结了学生架构和鲁棒性之间的关系，通过搜索模型的统计。
2021-06-07 cs.AI cs.CL cs.LG
Physical models realizing the transformer architecture of large language models
Wuhan Institute of Physics（武汉物理研究所）；Mathematics（数学）；IAPM；Chinese Academy of Sciences（中国科学院）；West District 30, Xiao-Hong-Shan, Wuhan 430071, China（武汉市洪山西区30号，430071，中国）
本文从开放量子系统视角出发，在token希尔伯特空间的Fock空间中构建了实现大语言模型Transformer架构的物理模型，填补了Transformer物理机制的理论空白。
2025-07-22 cs.AI cs.CL cs.LG
How Does Sequence Modeling Architecture Influence Base Capabilities of Pre-trained Language Models? Exploring Key Architecture Design Principles to Avoid Base Capabilities Degradation
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Co., Ltd（iFLYTEK公司）
本研究探讨序列建模架构对预训练语言模型基础能力的影响，提出有限领域预训练设置揭示差异，总结出架构需具备全序列任意选择能力以避免基础能力退化，并用Top-1选择架构验证该原则。
2025-10-24 cs.CL
How does Architecture Influence the Base Capabilities of Pre-trained Language Models? A Case Study Based on FFN-Wider and MoE Transformers
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（哈尔滨工业大学社会计算与信息检索研究中心）；Du Xiaoman (Beijing) Science Technology Co., Ltd.（度小满（北京）科技有限公司）
本研究探究架构对预训练语言模型基础能力的影响，发现多头注意力贡献占比是关键因素，提出CEA解决FFN-Wider Transformer能力下降问题，并拓展至14B参数MoE模型实现显著提升，为架构设计提供指导。
2024-10-31 cs.CL
PhaseNAS: Language-Model Driven Architecture Search with Dynamic Phase Adaptation
Qiyuan Lab（启元实验室）
提出PhaseNAS框架，通过实时分数阈值驱动的动态阶段转换和结构化架构模板语言，解决基于LLM的NAS中静态策略与表示模糊问题，并在多个视觉任务上显著提升搜索效率与性能。
2025-07-28 cs.LG
CAP: A Context-Aware Neural Predictor for NAS
College of Computer Science, Sichuan University（四川大学计算机学院）
提出上下文感知神经预测器CAP，利用上下文自监督任务学习架构表示，仅需少量标注架构即可精确排名并高效探索NAS搜索空间。
2024-06-04 cs.LG cs.NE
Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models
Renmin University of China（中国人民大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
近年来，专家混合（Mixture-of-Experts，简称MoE）体系结构在提高大规模语言模型的模型容量方面取得了显著的成功。然而，MoE需要包含比正在扩展的基础模型多得多的参数。在本文中，我们建议建立一个参数有效的MoE架构，通过共享专家之间的信息。我们采用矩阵乘积算子（MPO，量子多体物理学中的张量分解）重构专家层的参数矩阵，并通过在不同专家之间共享中心张量（包含核心信息）的参数，同时通过不同专家的辅助张量（补充中心张量）实现特异性，从而提高预训练语言模型的模型容量。为了解决不平衡的优化问题，我们进一步设计了梯度掩模策略的MPO为基础的MoE架构。基于T5和GPT-2的大量实验表明，预训练语言模型的性能和效率得到了提高（与Switch Transformers相比，总参数减少了27.2倍，模型性能优越）。我们的代码可在https://github.com/RUCAIBox/MPOE上公开获取。
2022-10-10 cs.AI cs.CL cs.LG
Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation
University of Southern California（南加州大学）
大规模预训练神经网络的规模和计算量成为机器学习在许多应用中的两个主要障碍。持续学习（CL）可以通过在顺序到达的任务之间实现知识转移来作为一种补救措施，从而放松了从头开始微调所有网络权重的需要。然而，现有的CL算法主要考虑学习单峰视觉或语言任务。我们开发了一个基于转换器的CL架构学习双峰视觉和语言任务的基础上增加的可学习参数的数量动态和使用知识蒸馏。新的附加参数用于为每个任务专门化网络。我们的方法能够在任务之间共享信息，同时解决灾难性遗忘的挑战。我们的方法是可扩展的学习大量的任务，因为它需要很少的内存和时间开销。我们的模型在具有挑战性的视觉和语言任务上达到了最先进的性能。
2023-03-25 cs.LG
Evaluating Contextually Mediated Factual Recall in Multilingual Large Language Models
研究多语言大语言模型在自然上下文中回忆事实的能力，发现上下文中介显著降低事实回忆准确性，大模型更鲁棒，真实名称影响不系统。
2026-01-18 cs.CL
Attention Based Neural Architecture for Rumor Detection with Author Context Awareness
University of Central Florida（中佛罗里达大学）
社交媒体的普及使全球信息共享成为可能。不幸的是，不利的一面是错误信息的广泛传播。在大多数以前的谣言分类器中应用的方法对微博中的单词给予同等的权重或关注，并且不考虑微博内容之外的上下文;因此，准确性变得稳定。在这项研究中，我们提出了一个集成神经架构来检测Twitter上的谣言。该体系结构结合了作者的单词注意力和上下文，以提高分类性能。特别地，单词级注意力机制使得架构在构造文本表示时能够更加强调重要单词。为了得到进一步的上下文，利用由个人作者撰写的微博帖子，因为它们可以反映传播信息的风格和特征，这是帮助分类共享内容是谣言还是合法新闻的重要线索。在从两个著名的谣言跟踪网站收集的真实世界Twitter数据集上进行的实验表明了有希望的结果。
2019-09-19 cs.LG cs.SI stat.ML
Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Queen’s University Belfast（贝尔法斯特女王大学）
提出使用强化学习（RL）方法，以chrF为奖励，使大语言模型从丰富的语言上下文中提取并应用语言学知识，实现对完全未见语言的有效翻译。
2026-06-04 cs.CL
MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning
AI21 Labs（AI21实验室）
巨大的语言模型（LM）开创了人工智能的新时代，成为基于自然语言的知识任务的门户。虽然LM是现代AI的基本要素，但它在许多方面也有固有的局限性。我们将讨论这些限制，以及如何通过采用系统方法来避免这些限制。将挑战概念化为除了语言处理之外还涉及知识和推理的挑战，我们定义了一个具有多个神经模型的灵活架构，并辅以离散知识和推理模块。我们描述了这种神经符号架构，称为模块化推理，知识和语言（MRKL，发音为“奇迹”）系统，实现它的一些技术挑战，以及Jurassic-X，AI 21 Labs的MRKL系统实现。
2022-05-01 cs.AI cs.CL
Text2Arch: A Dataset for Generating Scientific Architecture Diagrams from Natural Language Descriptions
IIT Roorkee, India（印度拉尔·克里希纳理工学院）；Google, India（印度谷歌）；Microsoft, India（印度微软）
本文提出Text2Arch数据库，通过语言模型生成高保真的架构图，解决了文本生成架构图的效率和歧义问题，并展示了其在多个应用中的优势。
2026-04-16 cs.CL
Full-attention based Neural Architecture Search using Context Auto-regression
Tianjin University（天津大学）；University of Western Ontario（西安大略大学）
自我注意架构已经成为最近的进步，以提高视觉任务的性能。人工确定自注意网络的架构依赖于专家的经验，不能自动适应各种场景。同时，神经结构搜索（NAS）也极大地促进了神经结构的自动设计。因此，考虑使用NAS方法来自动发现更好的自注意体系结构是合适的。然而，由于基于单元的搜索空间的统一性和缺乏长期的内容依赖性，直接使用现有的NAS方法来搜索注意力网络是具有挑战性的。为了解决这个问题，我们提出了一种基于全注意力的NAS方法。更具体地说，逐阶段的搜索空间的构造，允许各种注意力操作，以采用不同的网络层。为了提取全局特征，提出了一种自监督搜索算法，该算法使用上下文自回归来发现全注意力结构。为了验证所提出的方法的有效性，我们进行了广泛的实验，各种学习任务，包括图像分类，细粒度图像识别，和zero-shot图像检索。实证结果表明，我们的方法是能够发现高性能，全注意力架构，同时保证所需的搜索效率强有力的证据。
2021-11-13 cs.CV cs.LG
Conversation Tree Architecture: A Structured Framework for Context-Aware Multi-Branch LLM Conversations
Pandemonium Research（Pandemonium研究院）
本文提出对话树架构（CTA），通过层次化结构管理LLM对话，解决传统扁平结构导致的上下文污染问题，提供结构化对话上下文管理方法。
2026-03-22 cs.AI cs.CL cs.HC
Understanding In-Context Learning Beyond Transformers: An Investigation of State Space and Hybrid Architectures
The University of British Columbia（不列颠哥伦比亚大学）
本文通过行为探测和干预方法，探讨了不同架构在ICL任务中的表现差异，发现FVs主要位于自注意力和Mamba层，并揭示了Mamba2的ICL机制与FVs的不同。
2026-02-26 cs.AI cs.CL
ContextGuard: Structured Self-Auditing for Context Learning in Language Models
Peking University（北京大学）；SCUT（上海交通大学）；Tsinghua University（清华大学）
提出ContextGuard框架，通过结构化自我审计机制使大语言模型在复杂上下文任务中忠实遵循所有上下文约束，包括外围、持久和格式敏感要求。
2026-05-26 cs.AI cs.CL
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University（复旦大学）；Amazon Shanghai AI Lab（亚马逊上海人工智能实验室）
随着将事实知识整合到预先训练的语言模型（如BERT）中的新兴分支的出现，大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入，这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中，我们提出了语境化语言和知识嵌入（CoLAKE），它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入，而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性，我们将它们集成到一个统一的数据结构中，即词-知识图谱（WK图）。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明，CoLAKE在大多数任务上都优于以前的同类算法.此外，CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能，这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
An Appraisal-Based Chain-Of-Emotion Architecture for Affective Language Model Game Agents
University of York（约克大学）
本研究提出了一种基于心理学评价的情感链架构，用于视频游戏中的LLM情感模拟，实验证明其在多项用户体验和内容分析指标上优于标准LLM架构。
2023-09-10 cs.AI cs.CL cs.HC
Using Regular Languages to Explore the Representational Capacity of Recurrent Neural Architectures
Dublin Institute of Technology（都柏林理工学院）
序列数据中长距离重复性（LDD）的存在对计算模型提出了重大挑战。已经设计了各种递归神经架构来缓解这个问题。为了测试这些最先进的架构，越来越需要丰富的基准测试数据集。然而，现有数据集的缺点之一是缺乏关于LDD的存在和/或程度的实验控制。这种缺乏控制限制了对与LDD所带来的具体挑战有关的模型性能的分析。解决这个问题的一种方法是使用具有次正则语言属性的合成数据。生成的数据中LDD的程度可以通过k参数、生成的字符串的长度以及通过选择适当的禁止字符串来控制。在本文中，我们通过在一系列SPk合成数据集上评估这些模型来探索不同RNN扩展对LDD建模的能力，其中每个后续数据集都表现出较长程度的LDD。尽管SPk是简单的语言，但LDD的存在确实对递归神经架构的性能产生了重大影响，因此使它们成为基准测试任务的主要候选者。
2018-08-15 cs.LG stat.ML
Transport and Merge: Cross-Architecture Merging for Large Language Models
本文提出基于最优传输的跨架构合并框架，实现从高资源模型到低资源模型的有效知识转移。
2026-02-22 cs.AI cs.CL
Mix-of-Language-Experts Architecture for Multilingual Programming
University of Waterloo（滑铁卢大学）
本文提出MoLE架构，通过共享与语言特定LoRA模块结合，在多语言编程中平衡效率与专业化，实现参数高效且准确率优于单一共享模型。
2025-06-18 cs.CL cs.PL cs.SE
PERSOMA: PERsonalized SOft ProMpt Adapter Architecture for Personalized Language Prompting
Google Research（谷歌研究院）
PERSOMA提出一种个性化软提示适配器架构，通过将用户交互历史重采样、压缩并转化为软提示嵌入，高效建模用户偏好，实验证明其在处理大规模复杂用户历史上优于现有嵌入和文本提示方法。
2024-08-02 cs.AI cs.CL cs.IR
On decoder-only architecture for speech-to-text and large language model integration
Microsoft（微软）
针对语音与大语言模型集成不足的问题，提出Speech-LLaMA方法，通过连接主义时序分类和音频编码器将声学特征映射至LLM语义空间，验证了纯解码器架构在多语言语音转文本任务上的性能优势。
2023-10-02 cs.CL cs.SD eess.AS
Towards modular and programmable architecture search
Petuum；Carnegie Mellon University（卡内基梅隆大学）；TU Wien（维也纳技术大学）；Microsoft Research Montreal（微软研究院蒙特利尔分院）
神经架构搜索方法能够以专家的最小努力找到高性能深度学习架构。然而，当前的系统专注于特定的用例（例如，卷积图像分类器和递归语言模型），使得它们不适合专家可能希望编写的一般用例。超参数优化系统是通用的，但缺乏易于应用于架构搜索所需的构造。在这项工作中，我们提出了一个形式语言编码搜索空间一般计算图。语言结构允许我们编写模块化的、可组合的和可重用的搜索空间编码，并对搜索空间设计进行推理。我们使用我们的语言编码的搜索空间的架构搜索文献。该语言允许我们解耦搜索空间和搜索算法的实现，允许我们通过一致的接口向搜索算法公开搜索空间。我们的实验表明，我们可以很容易地尝试不同的组合搜索空间和搜索算法，而不必从头开始实现每个组合。我们在本文中发布了我们语言的实现。
2019-09-30 cs.AI cs.LG stat.ML
Enhanced Transformer architecture for in-context learning of dynamical systems
SUPSI（瑞士南部应用科学大学）；IDSIA（智能系统与应用研究所）
本文通过概率化学习任务、处理非连续上下文与查询窗口以及引入循环分块三项创新，增强了用于动力系统上下文学习的Transformer元模型，并在Wiener-Hammerstein系统类上验证了其性能与可扩展性提升。
2024-10-04 cs.AI cs.LG cs.SY
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars
University of Freiburg（弗赖堡大学）；University of Oxford（牛津大学）
本文提出基于上下文无关文法的统一分层NAS搜索空间构建框架，并设计适配贝叶斯优化的分层核，以支持在超大空间中搜索完整架构并取得优于现有方法的效果。
2023-12-08 cs.AI cs.CV cs.LG
X-DETR: A Versatile Architecture for Instance-wise Vision-Language Tasks
AWS AI Labs（AWS人工智能实验室）
在本文中，我们研究了具有挑战性的实例视觉语言任务，其中自由形式的语言需要与对象而不是整个图像对齐。为了解决这些任务，我们提出了X-DETR，其架构有三个主要组成部分：对象检测器，语言编码器和视觉语言对齐。愿景和语言流直到最后都是独立的，并且通过高效的点积操作进行对齐。整个网络都是端到端训练的，因此检测器针对视觉语言任务进行了优化，而不是现成的组件。为了克服成对对象语言注释的有限大小，我们利用其他弱类型的监督来扩大知识覆盖范围。X-DETR的这种简单而有效的架构在多个实例视觉语言任务中表现出良好的准确性和快速的速度，例如，16.4在训练期间，AP在LVIS上以每秒约20帧的速度检测1.2K类别，而无需使用任何LVIS注释。
2022-04-12 cs.CL cs.CV cs.LG
A Neural Network Architecture for Learning Word-Referent Associations in Multiple Contexts
Universidade Federal de Pernambuco（伯南布哥联邦大学）
本文提出了一个生物启发的神经计算架构，学习在不同的上下文中的单词和所指对象之间的关联，考虑从心理语言学和神经语言学的文献收集的证据。多层架构将对象的原始图像作为输入该方法利用自组织映射（Self-Organizing Map）建立新的关联节点，将词的指称对象（references）和音素流（labels）建立适当的表示，识别当前上下文，并将labels与指称对象（references）逐步关联根据需要，调整现有原型以更好地表示输入刺激，并删除过时/未使用的原型。该模型考虑了当前上下文，以检索具有多个含义的单词的正确含义。仿真结果表明，该模型在歧义情况下的词指联想准确率可达78%，与三位作者在五个跨情境词学习实验中的学习率相当，在不同的学习条件下也表现出相似的学习模式。
2019-05-20 cs.CL cs.LG stat.ML
A General Architecture for Language Engineering (GATE) - a new approach to Language Engineering R&D
本报告主张为NLP系统提供通用的软件基础设施。语言工程研究的当前趋势进行了审查的动机，这一基础设施，并讨论了相关的最近的工作。一个免费提供的系统称为门描述建立在这项工作。
1996-01-30 cmp-lg cs.CL
Application Architecture for Spoken Language Resources in Organisational Settings
需要使用特殊技术来利用和克服与组织中获取、转换、存储、处理和分发口语资源相关的挑战。本文介绍了一个应用程序架构，包括工具和支持实用程序的索引和转录，并描述了这些工具，连同下游处理和分发系统，可以集成到一个工作流程。这种架构的两个示例应用程序的概述-在组织中的决策过程的分析和部署的系统开发方法的设计师在外地。
2003-10-29 cs.CL
A Sub-Character Architecture for Korean Language Processing
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们介绍了一种新颖的子字符架构，利用了独特的组成结构的韩语。我们的方法分解成一个小的一组原始的语音单位称为jamo字母的字符和单词级表示诱导每个字符。jamo字母泄露了传统字符级单元难以访问的语法和语义信息。它们极大地缓解了数据稀疏性问题，将观测空间减少到原始空间的1.6%，同时提高了我们实验的准确性。我们将我们的架构应用于依存句法分析，并在强大的词汇基线上取得了显着的改善。
2017-07-21 cs.CL
Dissecting Contextual Word Embeddings: Architecture and Representation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
从预训练的双向语言模型（biLM）中导出的上下文单词表示最近已被证明为广泛的NLP任务提供了对现有技术的显着改进。然而，许多问题仍然是如何以及为什么这些模型是如此有效。在本文中，我们提出了一个详细的实证研究，研究神经架构的选择（例如LSTM，CNN或自我注意力）如何影响最终任务的准确性和学习到的表征的定性属性。我们表明，速度和准确性之间存在权衡，但所有架构都能学习高质量的上下文表示，在四个具有挑战性的NLP任务中表现优于词嵌入。此外，所有架构都学习随网络深度而变化的表示，从基于词嵌入层的专有形态，到基于较低上下文层的局部语法，再到更长范围的语义，如上层的共指。总之，这些结果表明，独立于架构的无监督biLM正在学习比以前更多的语言结构。
2018-09-27 cs.CL
ArchBERT: Bi-Modal Understanding of Neural Architectures and Natural Languages
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
本文提出双模态模型ArchBERT，首次联合学习神经架构与自然语言，并引入掩码架构建模预训练策略及两个新数据集，支持架构与文本的互相检索和生成。
2023-10-26 cs.CL
A Neural Architecture for Generating Natural Language Descriptions from Source Code Changes
The University of Tokyo（东京大学）
我们提出了一个模型来自动描述的变化，在源代码中引入的程序使用自然语言。我们的方法接收一组代码提交作为输入，其中包含用户引入的修改和消息。这两种模态用于训练编码器-解码器架构。我们评估了我们的方法在十二个现实世界的开源项目从四个不同的程序设计语言。定量和定性的结果表明，所提出的方法不仅可以在标准的项目内设置，而且在跨项目设置生成可行的和语义上的声音描述。
2017-04-17 cs.CL
Advancing Humor-Focused Sentiment Analysis through Improved Contextualized Embeddings and Model Architecture
Georgia Institute of Technology（佐治亚理工学院）
幽默是人类互动的自然和基本组成部分。如果运用得当，幽默可以让我们方便而有效地表达思想和感情，增加人际关系，可爱性和信任。然而，理解幽默的使用是一个具有挑战性的计算任务，从幽默意识的语言处理模型的角度来看。随着语言模型通过虚拟助手和物联网设备变得无处不在，开发幽默感知模型的需求呈指数级增长。为了进一步提高执行这种特定情感分析任务的最先进能力，我们必须探索在其设计中纳入语境化和非语言元素的模型。理想情况下，我们寻求接受非语言元素作为模型的额外嵌入输入的架构，以及原始的嵌入式输入。因此，这项调查分析了目前的研究现状，在技术改进的语境嵌入结合非语言信息，以及新提出的深层架构，以提高流行的词嵌入方法的上下文保留。
2020-11-23 cs.CL
Convolutional Neural Network Architectures for Matching Natural Language Sentences
Huawei Technologies Co. Ltd.（华为技术有限公司）
语义匹配对于许多自然语言任务\cite{bordes2014semantic,RetrievalQA}来说是至关重要的。一个成功的匹配算法需要对语言对象的内部结构以及它们之间的交互进行充分的建模。作为实现这一目标的一步，我们提出了匹配两个句子的卷积神经网络模型，通过适应视觉和语音中的卷积策略。所提出的模型不仅很好地代表了层次结构的句子与他们的逐层组合和池，但也捕捉丰富的匹配模式在不同的水平。我们的模型是相当通用的，不需要语言的先验知识，因此可以应用于匹配不同性质和不同语言的任务。对多种匹配任务的实证研究表明，该模型对多种匹配任务的有效性和竞争对手的模型的优越性。
2015-03-11 cs.CL cs.LG cs.NE
A Neural Architecture Mimicking Humans End-to-End for Natural Language Inference
IIT Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science, Bangalore（印度科学院）；Accenture Technology Labs（埃森哲技术实验室）
在这项工作中，我们使用的最新进展表示学习提出了一个神经架构的问题，自然语言推理。我们的方法是一致的，以模仿人类如何做自然语言推理过程中给出两个语句。该模型使用长短期记忆（LSTM）、注意力机制和可组合神经网络的变体来执行任务。我们模型的每个部分都可以映射到一个清晰的功能，人类可以执行自然语言推理的整体任务。该模型是端到端可微的，能够通过随机梯度下降进行训练。在斯坦福大学自然语言推理（SNLI）数据集上，该模型比文献中已发表的模型具有更好的精度。
2017-01-27 cs.CL
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了上下文语言模型，将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列，而没有考虑对话的交互作用。我们设计了基于递归神经网络（RNN）的上下文语言模型，专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明，该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Combination of multiple Deep Learning architectures for Offensive Language Detection in Tweets
Imperial College London（帝国理工学院）
本报告包含有关我们提交2019年犯罪评估（SemEval 2019 -任务6）的详细信息。该竞赛基于攻击性语言识别数据集。我们首先讨论实现的分类器的细节以及所使用的输入数据的类型和所执行的预处理。然后，我们开始批判性地评估我们的表现。任务a、任务b和任务c的宏观平均F1得分分别为0.76、0.68和0.54，我们认为这反映了所实现模型的复杂程度。最后，我们将讨论遇到的困难和未来可能的改进。
2019-03-25 cs.CL cs.LG stat.ML
From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation
United Arab Emirates University（阿联酋大学）；Emirates Center for Mobility Research（阿联酋移动性研究中心）
本文综述手语机器翻译从规则模型到 Transformers 架构的发展与分类，指出实时端到端手语-gloss-文本互译系统的需求和未来方向。
2024-08-27 cs.AI cs.CL cs.CV
OmniLingo: Listening- and speaking-based language learning
Indiana University（印第安纳大学）
OmniLingo提出基于IPFS的架构，用于分发听说语言学习数据，并构建演示客户端，强调用户数据主权。
2023-10-10 cs.CL
Efficient Architectures for High Resolution Vision-Language Models
INESC-ID and Instituto Superior Técnico, University of Lisbon（INESC-ID 和 里斯本大学技术学院）
Pheye是一种高效处理高分辨率图像的视觉-语言模型架构，通过减少参数数量实现高效率和强性能，尤其在细粒度图像理解和场景文本处理任务中表现突出。
2025-11-19 cs.AI cs.CL cs.CV
