What Did I Just Hear? Detecting Pornographic Sounds in Adult Videos Using Neural Networks
Bandung Institute of Technology（万隆理工学院）；The Hong Kong University of Science and Technology (HKUST)（香港科技大学（HKUST））
基于音频的色情内容检测通过利用不同的光谱特征，实现了高效的成人内容过滤，而不会牺牲性能。为了改进它，我们探索色情声音建模的基础上不同的神经架构和声学特征。我们发现，在对数梅尔频谱图上训练的CNN在Pornography-800数据集上实现了最佳性能。我们的实验结果还表明，对数梅尔声谱图可以更好地表示模型识别色情声音。最后，分类整个音频波形，而不是段，我们采用投票段音频技术，产生最好的音频电平检测结果。
2022-09-08 cs.AI cs.SD eess.AS
Visualizing Neural Network Imagination
Google（谷歌）；University of Toronto（多伦多大学）；Satalia（萨塔利亚公司）；University of Oxford（牛津大学）
本文通过在RNN末端接入解码器来可视化隐藏激活所表示的环境状态，并提出定量可解释性指标，结合自编码器与对抗技术验证隐藏状态的高可解释性。
2024-05-10 cs.AI cs.LG
What Do Compressed Deep Neural Networks Forget?
Google Brain（谷歌大脑）；MILA（米拉研究所）；Google（谷歌）
深度神经网络修剪和量化技术已经证明，有可能实现高水平的压缩，而对测试集精度的降低令人惊讶地小。然而，这种性能度量掩盖了模型压缩技术对不同类和图像影响的显著差异。我们发现，具有完全不同数量的权重的模型具有可比的顶线性能指标，但在数据集的一个狭窄子集上的行为差异很大。这个数据点的小子集，我们称之为修剪识别样本（PIE），系统地受到稀疏性的影响。压缩不成比例地影响数据分布的代表性不足的长尾上的模型性能。PIE对非典型或嘈杂的图像进行过度索引，这些图像对人类和算法进行分类都更具挑战性。我们的工作提供了对深度神经网络中容量的作用以及压缩所引起的权衡的直觉。考虑到压缩模型在野外的广泛部署，理解这种不同的影响至关重要。
2021-09-06 cs.AI cs.CV cs.HC
What Does it Mean for a Neural Network to Learn a "World Model"?
Harvard University（哈佛大学）
该研究提出一套精确判定标准，基于线性探测思路形式化神经网络学习使用“世界模型”的定义，并补充验证条件排除平凡结果，为相关实验研究提供通用语言。
2025-07-29 cs.AI cs.CL
What can linear interpolation of neural network loss landscapes tell us?
Department of Mathematics, University of Edinburgh（爱丁堡大学数学系）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
研究神经网络损失景观提供了深入了解基本优化问题的性质。不幸的是，损失景观是出了名的难以想象的人类理解的方式。解决这个问题的一种常见方法是绘制景观的线性切片，例如从网络的初始状态到优化后的最终状态。在此分析的基础上，先前的工作已经得出了更广泛的结论，优化问题的难度。在本文中，我们对这种推断进行了测试，系统地评估了线性插值和最终性能在更改数据、初始化选择以及其他优化器和架构设计选择时的变化。此外，我们使用线性插值来研究网络的各个层和子结构所扮演的角色。我们发现某些层对初始化的选择更敏感，但线性路径的形状并不表示模型测试精度的变化。我们的研究结果质疑更广泛的直觉，即存在或不存在的障碍时，插值必然涉及到优化的成功。
2022-02-03 cs.AI cs.LG stat.ML
Null Space Properties of Neural Networks with Applications to Image Steganography
University of New Hampshire（新罕布什尔大学）
本文将零空间概念扩展至非线性神经网络，利用输入中不影响预测的零空间分量实现图像隐写，并在 MNIST 上证明网络可被诱导识别隐藏类别。
2024-01-01 cs.AI cs.CR cs.CV
Semantic interpretation for convolutional neural networks: What makes a cat a cat?
College of Engineering, Peking University（北京大学工学院）；Eastern Institute for Advanced Study（东方理工高等研究院）；Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出语义可解释人工智能框架S-XAI，通过遗传算法、主成分分析和语义敏感神经元提取CNN的可理解语义空间，并首次引入语义概率，用于可信度评估与语义样本搜索。
2022-04-16 cs.AI cs.CV cs.LG
Based on What We Can Control Artificial Neural Networks
Czech Technical University（捷克技术大学）；University of Leicester（莱斯特大学）
该研究提出借助控制领域知识，通过模拟系统响应分析人工神经网络的各类影响因素，为优化器与学习系统的设计及神经网络的稳定高效运行提供新思路。
2023-10-09 cs.AI
Player-AI Interaction: What Neural Network Games Reveal About AI as Play
Drexel University（德雷塞尔大学）；Northeastern University（东北大学）；IT University Copenhagen（哥本哈根信息技术大学）
人工智能（AI）和机器学习（ML）的出现将人机交互带到了HCI研究的最前沿。本文认为，游戏是研究和实验人类如何与AI互动的理想领域。通过对神经网络游戏（n = 38）的系统调查，我们确定了这些游戏中占主导地位的交互隐喻和AI交互模式。此外，我们还应用了现有的人机交互指南，以进一步阐明在AI注入系统的背景下玩家与AI的交互。我们的核心发现是，作为游戏的人工智能可以扩展目前人类与人工智能互动的概念，这种互动主要是基于生产力的。特别是，我们的工作表明，游戏和用户体验设计师应该考虑流来构建人与人工智能交互的学习曲线，结合基于发现的学习来玩人工智能并观察结果，并邀请用户玩，以探索新形式的人与人工智能交互。
2021-01-18 cs.AI cs.HC
Differentiable Logics for Neural Network Training and Verification
Heriot-Watt University（赫瑞-瓦特大学）
近年来，神经网络（NN）的日益普及及其在现实世界应用中的日益普及引起了人们对其验证的重要性的关注。虽然验证是已知的计算困难的理论，许多技术已经提出了解决它在实践中。在文献中已经观察到，默认情况下，神经网络很少满足我们想要验证的逻辑约束。一个很好的行动过程是在验证它们之前训练给定的NN以满足所述约束。这个想法有时被称为持续验证，指的是训练和验证之间的循环。通常，通过指定将给定形式逻辑语言翻译成损失函数来实现具有约束的训练。这些损失函数然后被用于训练神经网络。因为出于训练目的，这些函数需要是可微的，所以这些转换被称为可微逻辑（DL）。这就提出了几个研究问题。什么样的可微逻辑是可能的？在持续验证的背景下，DL的特定选择有什么不同？从所得到的损失函数的角度来看，DL的理想标准是什么？在这篇扩展摘要中，我们将讨论并回答这些问题。
2022-07-14 cs.AI cs.LG cs.LO
Do we listen to what we are told? An empirical study on human behaviour during the COVID-19 pandemic: neural networks vs. regression analysis
University of Vienna（维也纳大学）；Heriot-Watt University（赫瑞瓦特大学）；Tampere University（坦佩雷大学）
本研究通过卷积神经网络与回归分析结合，分析COVID-19期间维也纳公众佩戴口罩行为的视觉数据，发现政策与公告内容对行为有异质性影响，神经网络预测更准确，而回归建模可揭示因果路径，两者互补。
2023-11-21 cs.AI cs.LG econ.GN
What Can ResNet Learn Efficiently, Going Beyond Kernels?
Microsoft Research AI（微软研究院人工智能部门）；Stanford University（斯坦福大学）
ResNet等神经网络如何有效地学习CIFAR-10，测试准确率超过96%，而其他方法，特别是内核方法相对落后？我们能否为这一差距提供更多的理论依据？最近，有一个有影响力的工作线将神经网络与过参数化机制中的内核联系起来，证明它们可以学习某些概念类，这些概念类也可以由具有类似测试错误的内核学习。然而，神经网络能证明比内核更好地学习某些概念类吗？我们在免费分发的环境中对此做出了积极的回答。我们证明了神经网络可以有效地学习一类著名的函数，包括那些由三层残差网络定义的光滑激活，没有任何分布假设。同时，我们证明了这类函数中存在简单函数，使得在相同数量的训练样本下，神经网络获得的测试误差可以比任何核方法小得多，包括神经切线核（NTK）。主要的直觉是，多层神经网络可以使用不同的层隐式地执行分层学习，这与“一次性”学习算法（例如核方法）相比降低了样本复杂度。在后续工作[2]中，这种分层学习理论得到了进一步加强，以便在训练深度网络时纳入“向后特征校正”过程。最后，我们还证明了ResNet相对于其他学习方法（包括线性回归）在任意特征映射上的计算复杂度优势。
2020-06-01 cs.DS cs.LG cs.NE
What Robot do I Need? Fast Co-Adaptation of Morphology and Control using Graph Neural Networks
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
随着快速3D制造方法和高效的深度强化学习算法的出现，机器人形态和行为的协同适应变得越来越重要。将协同适应方法应用于现实世界的一个主要挑战是由于模型和仿真的不准确性而导致的仿真与现实的差距。然而，以前的工作主要集中在形态的进化适应研究，利用分析模型和（可微）模拟器与大人口规模，忽略了存在的模拟现实的差距和成本的制造周期在现实世界中。本文提出了一种新的方法，将经典的高频深度神经网络与计算昂贵的图神经网络相结合，用于具有不同自由度的代理的数据高效协同适应。仿真结果表明，该方法可以有效地将设计优化与离线强化学习相结合，在有限的生产周期内实现智能体的协同适应，并可直接应用于实际协同适应任务中
2021-11-03 cs.LG cs.NE cs.RO
Emergent Communication for Understanding Human Language Evolution: What's Missing?
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Tel Aviv University（特拉维夫大学）；University of Glasgow（格拉斯哥大学）
人类和人工神经网络代理之间的紧急通信协议还没有共享相同的属性，并且在结果中显示出一些关键的不匹配。我们描述了关于组合性的出现和益处的三个重要现象：易于学习、泛化和群体规模效应（即，更大的群体创造更系统的语言）。后两个没有完全复制与神经代理，这阻碍了使用神经涌现通信语言进化研究。我们认为，这些不匹配的一个可能的原因是，人类的关键认知和沟通的限制尚未整合。具体来说，在人类中，记忆约束和说话者和听话者角色之间的交替是语言结构出现的基础，但这些约束在神经模拟中通常不存在。我们认为，引入这样的沟通和认知的限制，将促进更多的语言合理的行为与神经代理。
2022-04-22 cs.CL cs.LG cs.NE
What is the Role of Recurrent Neural Networks (RNNs) in an Image Caption Generator?
University of Malta（马耳他大学）
在神经图像描述系统中，递归神经网络（RNN）通常被视为主要的“生成”组件。这种观点认为，图像特征应该被“注入”到RNN中。事实上，这是文献中的主流观点。或者，RNN可以被视为仅对先前生成的单词进行编码。这种观点认为，RNN应该只用于编码语言特征，只有最终的表示应该在稍后阶段与图像特征“合并”。本文比较了这两种架构。我们发现，一般来说，后期合并优于注入，这表明RNN更好地被视为编码器，而不是生成器。
2017-08-25 cs.CL cs.CV cs.NE
What Happened to My Dog in That Network: Unraveling Top-down Generators in Convolutional Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）
自上而下的信息在人类感知中起着核心作用，但在许多当前最先进的深度网络中起着相对较小的作用，例如卷积神经网络（CNN）。这项工作旨在探索一条自上而下的信息可以在当前深度网络中产生直接影响的路径。我们通过学习和使用对应于三种类型的变换（每种都是一般仿射变换的限制）的网络内部效应的“生成器”来探索这条路径：旋转，缩放和平移。我们演示了如何使用这些学习的生成器将自上而下的信息转移到新的设置中，由网络内部的转换（和相关的生成器）对应的“特征流”介导。具体而言，我们从三个方面进行探索：1）使用生成器作为用于合成变换图像的方法的一部分--给定先前未见过的图像，产生对应于一个或多个指定变换的该图像的版本，2）“零样本学习“--当提供有对应于未知量的变换的效果的特征流时，利用学习的生成器作为方法的一部分，通过该方法对转换量执行准确的分类，即使对于在训练期间从未观察到的量，和3）（内部CNN）“数据增强“-通过使用学习的生成器直接在“CNN内部”提供额外的训练，提高现有网络的分类性能。
2015-11-23 cs.CV cs.LG cs.NE
"What" x "When" working memory representations using Laplace Neural Manifolds
本研究提出拉普拉斯神经流形，通过具有时间指数基函数和逆拉普拉斯有界基函数的模型，构建“什么” x “何时”的工作记忆表征，揭示了不同的低维神经动力学，并提供了从认知模型到连续吸引子神经网络电路级实现的路径。
2025-08-08 cs.NE q-bio.NC
SideEye: A Generative Neural Network Based Simulator of Human Peripheral Vision
MIT（麻省理工学院）；University of Bremen（不来梅大学）
中央凹视力占视野的不到1%。另外99%是周边视觉。人类在外围看到的东西既明显又神秘，因为我们用自己的眼睛看到它，但除了在受控的实验室实验中，我们无法想象我们看到的东西。周边信息的退化远比径向模糊所能模拟的要复杂得多。相反，行为验证的模型假设，周边视觉测量大量的局部纹理统计在池区域重叠和偏心增长。在这项工作中，我们开发了一种新的方法，周边视觉模拟训练生成神经网络的行为验证的全场合成模型。通过实现运行时间减少21，000倍，我们的方法是第一个将周边视觉模拟的真实性和速度结合起来的方法，提供了一种全新的视觉设计方法：通过周边可视化。
2017-10-23 cs.CV cs.NE q-bio.NC
