NeuroX: A Toolkit for Analyzing Individual Neurons in Neural Networks
Qatar Computing Research Institute, HBKU Research Complex(卡塔尔计算研究所,哈马德·本·哈利法大学研究中心);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们提出了一个工具包,以促进解释和理解的神经网络模型。该工具包提供了几种方法来识别与模型本身或外部任务相关的显着神经元。用户可以可视化选定的神经元,消融它们以测量它们对模型准确性的影响,并操纵它们以控制测试时模型的行为。这样的分析有可能成为各种研究方向的跳板,例如理解模型,更好的架构选择,模型蒸馏和控制数据偏差。
2018-12-21 cs.CL
Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop
Tilburg University(蒂尔堡大学);Johns Hopkins University(约翰斯·霍普金斯大学)
EMNLP 2018研讨会BlackboxNLP致力于专门开发的资源和技术,用于分析和理解语言神经模型获得的内部工作和表示。办法包括:系统地操纵神经网络的输入并调查对其性能的影响,测试可解释的知识是否可以从神经网络获得的中间表示中解码,提出对神经网络架构的修改以使其知识状态或生成的输出更可解释,并检查简化或形式语言上的网络性能。在这里,我们回顾了每个类别中的一些代表性研究。
2019-04-05 cs.CL stat.ML
ContraSim -- Analyzing Neural Representations Based on Contrastive Learning
Technion – Israel Institute of Technology(以色列理工学院)
针对现有相似性度量在标准基准上表现平庸的问题,提出基于对比学习的参数化度量ContraSim,在语言和视觉模型的标准及新基准上准确率显著提升,并揭示了神经网络分析的新见解。
2024-09-20 cs.CL
How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning
Jadavpur University(贾达普大学);Indian Association for the Cultivation of Science(印度科学促进会);Techno India University(印度技术大学)
本文针对文本摘要微调任务,比较T5-base、BART-base与LLaMA-3-8B的碳足迹和多项指标性能,发现LLaMA-3-8B环境成本最高,凸显节能AI的必要性。
2025-03-14 cs.CL
Analyzing Traditional and Neural Approaches to Multilingual Readability Assessment
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Kensho Technologies
本研究通过SHAP和TCAV方法,分析多语言Transformer模型是否内化了传统可读性评估中的语言特征,发现其恢复表面、句法和词汇多样性信号,但特征对齐因模型和语言而异。
2026-09-11 cs.CL
When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)
Oregon State University(俄勒冈州立大学)
在诸如神经机器翻译、摘要和图像描述之类的神经文本生成中,束搜索被广泛用于提高输出文本质量。然而,在神经生成设置中,假设可以在不同的步骤中完成,这使得难以决定何时结束束搜索以确保最优性。我们提出了一种可证明的最优束搜索算法,该算法将始终返回最优分数完整假设(模束大小),并在建立最优性后立即完成(不晚于基线完成)。为了对抗神经生成对较短假设的倾向,我们还引入了一个有界长度奖励机制,该机制允许我们的束搜索算法的修改版本保持最优。神经机器翻译的实验表明,我们的原则性束搜索算法导致BLEU分数比以前提出的替代品的改善。
2018-08-31 cs.CL
Searching for Search Errors in Neural Morphological Inflection
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
神经序列到序列模型是当前语言生成任务的主要选择。然而,在单词级别的任务中,这些模型的精确推理表明,空字符串通常是全局最优的。先前的工作推测这种现象是由于语言生成的神经模型的不足。然而,在形态拐点的情况下,我们发现,空字符串几乎从来都不是模型下的最可能的解决方案。此外,贪婪搜索通常会找到全局最优值。这些观察结果表明,许多神经模型的校准不良可能源于特定任务子集的特征,而不是这些模型对语言生成的普遍不适。
2021-02-16 cs.CL
Just Say No: Analyzing the Stance of Neural Dialogue Generation in Offensive Contexts
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学)
在人类对话中训练的对话模型无意中学会了产生有毒反应。除了产生明确的冒犯性言论外,这些模型还可以通过将自己与冒犯性言论联系起来来含蓄地侮辱一个群体或个人。为了更好地理解上下文攻击性语言的动态,我们研究了攻击性Reddit对话中对话模型响应的立场。具体来说,我们创建了ToxiChat,这是一个由2,000个Reddit线程和带有攻击性语言和立场标签的模型响应组成的人群注释数据集。我们的分析显示,42%的人同意有毒评论,而只有13%的人同意安全评论。这种不受欢迎的行为是通过神经对话模型学习的,比如DialoGPT,我们发现它同意攻击性评论的可能性是其他模型的两倍。为了实现攻击性语言的自动检测,我们在ToxiChat上微调了基于transformer的分类器,使攻击性标签的F1达到0.71,立场标签的F1达到0.53。最后,我们量化了可控文本生成(CTG)方法的有效性,以减轻神经对话模型同意攻击性评论的倾向。与基线相比,我们最好的CTG模型在攻击性评论的一致性方面减少了19%,并且产生的攻击性回复减少了29%。我们的工作强调了需要进一步努力来描述和分析对话模型中的不当行为,以帮助使它们更安全。我们的代码和语料库可以在https://github.com/abaheti95/ToxiChat上找到。
2021-09-13 cs.CL
Analyzing and Interpreting Convolutional Neural Networks in NLP
University of California, Santa Barbara(加州大学圣巴巴拉分校)
卷积神经网络已成功地应用于各种NLP任务。然而,这是不明显的,他们是否模拟不同的语言模式,如否定,强化,和小句组合,以帮助决策过程。在本文中,我们应用可视化技术来观察模型如何捕捉不同的语言特征,以及这些特征如何影响模型的性能。随后,我们尝试识别模型误差及其来源。我们认为,解释CNN是理解潜在语义特征的第一步,这可以提高人们的意识,以进一步提高CNN模型的性能和可解释性。
2018-10-18 cs.CL cs.LG stat.ML
Analyzing deep CNN-based utterance embeddings for acoustic model adaptation
University of Edinburgh(爱丁堡大学)
我们探讨了为什么具有小的二维核的深度卷积神经网络(CNN),主要用于建模图像中的空间关系,在语音识别中也是有效的。我们分析了深度CNN学习的表示,并在声学模型自适应的背景下将其与深度神经网络(DNN)表示和i向量进行了比较。为了探索是否可以从学习的表示中解码可解释的信息,我们使用Aurora-4数据集来评估它们区分说话者、声学条件、噪声类型和性别的能力。我们提取了整个模型嵌入(以捕获整个网络中学习到的信息)和特定于层的嵌入,从而能够理解整个网络中的信息流。我们还使用学习表示作为额外的输入的时间延迟神经网络(TDNN)的极光-4和MGB-3英语数据集。我们发现深度CNN嵌入在声学模型自适应方面优于DNN嵌入,并且基于深度CNN嵌入的辅助特征导致与i向量相似的单词出错率。
2018-11-12 cs.CL
Search Arena: Analyzing Search-Augmented LLMs
University of California, Berkeley(加州大学伯克利分校)
Search Arena 是一个大规模众包数据集,用于分析增强搜索的LLMs,揭示用户偏好受引用数量影响,并发现不同来源的可靠性差异。
2026-03-02 cs.CL cs.IR cs.LG
Exploring Deep Neural Networks and Transfer Learning for Analyzing Emotions in Tweets
University of Moratuwa(莫拉图瓦大学)
在本文中,我们提出了一个使用深度学习和迁移学习技术进行推文情感分析的实验,并提出了一种解释我们的深度学习模型的方法。所提出的情感分析方法将长短期记忆(LSTM)网络与卷积神经网络(CNN)相结合。然后,我们扩展这种方法的情绪强度预测使用迁移学习技术。此外,我们还提出了一种技术来可视化推文中每个单词的重要性,以更好地理解模型。实验上,我们在分析中表明,所提出的模型在情感分类方面优于最先进的模型,同时在预测情感强度方面保持了有竞争力的结果。
2020-12-10 cs.CL cs.IR cs.LG
Analyzing Neural Discourse Coherence Models
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所);King’s College London(伦敦国王学院)
在这项工作中,我们系统地研究如何以及目前的连贯性模型可以捕捉到的方面,涉及在话语组织的文本。我们设计了两个数据集的各种语言的变化,破坏连贯性和测试模型的敏感性,在语法和语义的变化。此外,我们探讨话语嵌入空间和检查的知识,是编码在表示的连贯性。我们希望这项研究将提供进一步的洞察如何框架的任务,并进一步改善模型的一致性评估。最后,我们公开了我们的数据集,作为研究人员用来测试话语连贯模型的资源。
2020-11-12 cs.AI cs.CL cs.LG
Analyzing And Improving Neural Speaker Embeddings for ASR
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
神经说话人嵌入通过DNN模型对说话人的语音特征进行编码,并普遍用于说话人验证任务。然而,很少有研究调查使用的神经扬声器嵌入的ASR系统。在这项工作中,我们提出了我们的努力w.r.t集成神经扬声器嵌入到一个基于conformer的混合HMM ASR系统。对于ASR,我们改进的嵌入提取管道与加权简单相加集成方法相结合,使x向量和c向量达到与i向量相当的性能。我们进一步比较和分析不同的说话人嵌入。我们提出了我们的声学模型的改进,通过从newbob学习率调度切换到一个周期的学习时间表,从而在Switchboard上减少了约3%的相对WER,另外减少了17%的整体训练时间。通过进一步添加神经说话人嵌入,我们在Hub 5 '00上获得了额外的~3%的相对WER改进。我们最好的基于Conformer的混合ASR系统,具有扬声器嵌入,在Hub 5 '00和Hub 5'01上实现了9.0%的WER,并在SWB 300 h上进行了训练。
2023-09-20 cs.CL eess.AS stat.ML
ABNIRML: Analyzing the Behavior of Neural IR Models
University of Glasgow(格拉斯哥大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
针对预训练语言模型在即席搜索中效果优异但行为机制不明的问题,本文提出ABNIRML分析框架,通过新型诊断探测测试多项特征,经实证研究厘清模型性能提升因素并识别出潜在偏差。
2023-07-20 cs.CL cs.IR
Analyzing and Mitigating Interference in Neural Architecture Search
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
权重共享是一种流行的方法,通过重用来自先前训练的子模型的共享运算符的权重来降低神经架构搜索(NAS)的成本。然而,由于权重共享引起的不同子模型之间的干扰,这些子模型的估计精度和地面真实精度之间的秩相关性较低。本文通过对不同子模型进行采样并计算共享算子的梯度相似度来研究干扰问题,发现:1)两个子模型之间共享算子的干扰与不同算子的数量呈正相关; 2)共享算子的输入输出越相似,干扰越小。受这两个观察结果的启发,我们提出了两种方法来减轻干扰:1)MAGIC-T:而不是随机抽样子模型进行优化,我们提出了一个渐进的修改方案,通过修改相邻优化步骤之间的一个算子来最小化共享算子的干扰; 2)MAGIC-A:迫使算子在所有子模型上的输入和输出相似以减少干扰。在一个BERT搜索空间上的实验证明,通过我们提出的每一种方法来减轻干扰,提高了超级宠物的秩相关性,并且将这两种方法结合起来可以获得更好的结果。我们发现的架构优于RoBERTa $_{\rm base}$的1.1和0.6点和ELECTRA $_{\rm base}$的1.6和1.1点的开发和测试集的GLUE基准。在BERT压缩、阅读理解和ImageNet任务上的大量结果证明了我们提出的方法的有效性和通用性。
2022-07-22 cs.CL cs.LG
A framework for analyzing concept representations in neural models
The Centre for Speech Technology Research(语音技术研究中心);School of Informatics, University of Edinburgh(信息学院,爱丁堡大学)
本文提出统一框架研究神经模型的概念子空间,探讨包含性和解耦性,发现估计器选择影响子空间特性,LEACE方法在测试轴上表现良好但难以泛化,HuBERT语音表示中电话信息与说话人信息相互包含和解耦。
2026-05-02 cs.CL cs.LG
Neural Extractive Search
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
领域专家经常需要从大型语料库中提取结构化信息。我们提倡一种名为“提取搜索”的搜索范式,在这种范式中,搜索查询被丰富了捕获槽,以允许这种快速提取。这样的提取搜索系统可以围绕句法结构构建,从而产生高精度、低召回率的结果。我们展示了如何使用神经检索和对齐来提高召回率。本文的目标是简要介绍提取搜索范式,并展示了一个原型的神经检索系统提取搜索和它的好处和潜力。我们的原型可在\url{https://spike.neural-sim.apps.allenai.org/}上获得,视频演示可在\url{https://vimeo.com/559586687}上获得。
2021-06-08 cs.CL cs.IR
Analyzing analytical methods: The case of phonology in neural models of spoken language
Tilburg University(蒂尔堡大学)
本文以口语神经模型中的音系表征为案例,使用诊断分类器和表征相似性分析,比较训练与随机初始化模型及局部、全局激活范围,强调随机基线并推荐全局方法补充局部诊断。
2020-05-02 cs.CL cs.LG cs.SD
Analyzing and Characterizing User Intent in Information-seeking Conversations
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);RMIT University(皇家墨尔本理工大学);Rutgers University(罗格斯大学);Alibaba Group(阿里巴巴集团)
理解和描述人们在信息搜索对话中的交互方式对于开发对话式搜索系统至关重要。在本文中,我们介绍了一个新的数据集,为此目的而设计,并使用它来分析信息寻求对话的用户意图分布,共现,和流模式。MSDialog数据集是一个带标签的对话数据集,其中包含Microsoft产品在线论坛中信息搜索者和提供者之间的问答(QA)交互。该数据集包含超过2,000个多轮QA对话,其中10,000个话语在话语级别上注释了用户意图。注释是通过众包完成的。使用MSDialog,我们发现在信息搜索过程中用户意图中存在一些高度重复的模式。它们可以用于设计会话搜索系统。我们将免费提供我们的数据集,以鼓励探索寻求信息的对话模型。
2018-04-23 cs.CL cs.IR
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
用于自动语音识别(ASR)的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统(包含用于声学建模、发音词典和语言建模的单独训练的组件)相比,端到端范例在概念上更简单,并且具有在最终任务上训练整个系统的潜在好处。然而,这样的神经网络模型更加不透明:不清楚如何解释网络不同部分的作用,以及它在训练过程中学习到什么信息。在本文中,我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务,比较音素和字素,以及不同的发音功能。我们研究了两种语言(英语和阿拉伯语)和三个数据集,发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
Analyzing Robustness of End-to-End Neural Models for Automatic Speech Recognition
University of Chicago(芝加哥大学)
我们研究了用于自动语音识别的预训练神经模型的鲁棒性。机器学习中的真实数据通常非常嘈杂,并且几乎从不干净,这可以归因于取决于域的各种因素,例如离群值,随机噪声和对抗性噪声。因此,我们为各种任务开发的模型应该对此类噪声数据具有鲁棒性,这导致了鲁棒机器学习领域的蓬勃发展。我们认为这个重要的问题,在设置自动语音识别。随着预训练模型的日益普及,分析和理解这类模型对噪声的鲁棒性是一个重要的问题。在这项工作中,我们在LibriSpeech和TIMIT数据集上对预训练的神经模型wav2vec2、HuBERT和DistilHuBERT进行了鲁棒性分析。我们使用不同种类的噪声机制和衡量模型的性能量化的推理时间和标准的字出错率度量。当在层之间注入噪声时,我们还对wav2vec2模型进行了深入的逐层分析,使我们能够在高层次上预测每层学习到的内容。最后,对于这个模型,我们可视化了错误在各层中的传播,并比较了它在干净数据和有噪声数据上的行为。我们的实验符合Pasad等人的预测。[2021],也为未来的工作提出了有趣的方向。
2022-08-17 cs.CL cs.LG cs.SD
Analyzing Hidden Representations in End-to-End Automatic Speech Recognition Systems
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
神经模型在自动语音识别系统中已经变得普遍存在。虽然神经网络通常被用作更复杂系统中的声学模型,但最近的研究已经探索了基于神经网络的端到端语音识别系统,该系统可以被训练为直接从输入声学特征预测文本。尽管这样的系统在概念上比传统系统更优雅、更简单,但如何解释训练好的模型却不那么明显。在这项工作中,我们分析了通过基于卷积层和递归层的深度端到端模型学习的语音表示,并使用连接主义时间分类(CTC)损失进行了训练。我们使用一个预先训练的模型来生成帧级特征,这些特征被提供给一个分类器,该分类器是在帧分类到电话上训练的。我们评估来自深度模型不同层的表示,并比较它们在预测电话标签方面的质量。我们的实验揭示了端到端模型的重要方面,例如层深度,模型复杂性和其他设计选择。
2017-09-13 cs.CL cs.NE cs.SD