A New Hierarchical Redundancy Eliminated Tree Augmented Naive Bayes Classifier for Coping with Gene Ontology-based Features
University College London(伦敦大学学院)
树增强朴素贝叶斯分类器是一种概率图模型,可以表示一些特征依赖关系。在这项工作中,我们提出了一个分层冗余消除树增强朴素贝叶斯(HRE-TAN)算法,它考虑在分类器的学习过程中,消除分层冗余处理数据时,包含层次结构的功能。实验结果表明,HRE-TAN在以Gene Ontology术语为特征的衰老相关基因数据集上获得了比传统的树增强朴素贝叶斯分类器更好的预测性能,并增强了对不平衡类分布的鲁棒性。
2016-07-06 cs.AI cs.LG
Hierarchical Reinforcement Learning with Augmented Step-Level Transitions for LLM Agents
Beijing University of Posts and Telecommunications(北京邮电大学);China Mobile Group Design Institute Co., Ltd(中国移动集团设计院有限公司);Singapore Management University(新加坡管理大学)
本文提出STEP-HRL框架,通过仅基于单步转换而非完整交互历史实现步骤级学习,提升LLM代理在复杂任务中的性能和泛化能力,同时减少token使用。
2026-04-15 cs.AI cs.LG
Multi-way Spectral Clustering of Augmented Multi-view Data through Deep Collective Matrix Tri-factorization
National University of Singapore(新加坡国立大学)
我们提出了第一个基于深度学习的架构,用于任意矩阵集合的集体矩阵三分解(DCMTF),也称为增强多视图数据。DCMTF可以用于关系数据矩阵的异构集合的多路谱聚类,以发现每个输入矩阵中的潜在聚类,跨两个维度,以及跨聚类的关联强度。DCMTF的源代码可以在我们的公共存储库中找到:https://bitbucket.org/cdal/dcmtf_generic
2022-01-24 cs.LG stat.ML
Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
ITMO University(ITMO大学)
HEF通过层次嵌入融合技术,实现了低延迟的仓库感知代码补全,有效减少检索延迟并提升准确度。
2026-02-04 cs.CL cs.LG
GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学)
GraphSkill通过分层检索增强编码框架和自我调试代理,提升复杂图推理任务的准确性和效率。
2026-02-20 cs.AI cs.CL cs.LG
Quantum-Augmented AI/ML for O-RAN: Hierarchical Threat Detection with Synergistic Intelligence and Interpretability (Technical Report)
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);Old Dominion University(老道明大学)
本文提出了一种基于量子计算和机器学习的分层威胁检测框架,用于O-RAN网络,通过协同智能和可解释性提升网络安全防护能力。
2025-12-12 cs.AI cs.CR cs.LG
Provable Learning of Random Hierarchy Models and Hierarchical Shallow-to-Deep Chaining
Princeton University(普林斯顿大学);École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校);University of California, Berkeley(加州大学伯克利分校)
针对深度网络能否高效利用层次结构的问题,证明在温和条件下深度卷积网络可高效学习随机层次模型,并提出逐层训练策略。
2026-06-23 cs.LG stat.ML
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Ψ-RAG框架,通过迭代'合并与坍缩'过程构建分层抽象树索引,并引入多粒度检索代理,解决传统树状RAG在跨文档多跳问题中的分布适应性、结构隔离和抽象粗粒度等挑战,实验表明其在跨文档多跳问答任务中表现更优。
2026-05-01 cs.AI cs.IR cs.LG
A New Concept of Deep Reinforcement Learning based Augmented General Sequence Tagging System
Samsung Research America(三星美国研究院)
本文提出了一种新的基于深度强化学习的增强通用序列标注系统。新系统包含两个部分:基于深度神经网络(DNN)的序列标记模型和基于深度强化学习(DRL)的增强标记器。增强标记器通过对具有少数标记的数据进行建模来帮助提高系统性能。使用ATIS和CoNLL-2003基准数据集对新系统进行SLU和NLU序列标记任务的评估,以展示新系统在一般标记任务上的出色性能。通过F1评分,新系统在ATIS数据集和CoNLL-2003数据集上的性能分别比当前最先进的模型高1.9%和1.4%。
2018-12-26 cs.CL cs.LG stat.ML
Imagination-Augmented Hierarchical Reinforcement Learning for Safe and Interactive Autonomous Driving in Urban Environments
Seoul National University(首尔大学)
本文提出想象力增强型分层强化学习(IAHRL),通过低层策略想象安全行为、高层策略推断交互并引入排列不变注意力机制,在五个复杂城市驾驶任务中实现了更高的成功率和更低的平均回合步数。
2024-01-23 cs.LG cs.RO
Knowledge-augmented Column Networks: Guiding Deep Learning with Advice
University of Texas, Dallas(德克萨斯大学达拉斯分校)
最近,深度模型在几个任务中取得了相当大的成功,特别是在低级表示方面。然而,在大多数深度模型中,从稀疏噪声样本中进行有效学习是一个主要挑战,特别是在具有结构化表示的领域。受人类引导的机器学习的成功经验的启发,我们提出了知识增强的列网络,这是一个关系型深度学习框架,它利用人类的建议/知识在稀疏性和系统噪声的情况下学习更好的模型。
2019-05-31 cs.AI cs.LG stat.ML
Comparison of Deep Neural Networks and Deep Hierarchical Models for Spatio-Temporal Data
University of Missouri(密苏里大学)
时空数据在农业、生态和环境科学中无处不在,它们的研究对于理解和预测各种各样的过程非常重要。建模随时间变化的空间过程的困难之一是必须描述这种过程如何变化的依赖结构的复杂性,以及高维复杂数据集和大型预测域的存在。它是特别具有挑战性的非线性动态时空模型(DSTM),同时是有用的科学和高效的计算指定参数化。统计学家已经开发出了深层的层次模型,可以适应过程的复杂性以及预测和推理中的不确定性。然而,这些模型可能是昂贵的,并且通常是特定于应用的。另一方面,机器学习社区已经开发了用于非线性时空建模的替代“深度学习”方法。这些模型是灵活的,但通常不会在概率框架中实现。这两种范式有许多共同之处,并提出了混合方法,可以从每个框架的元素中受益。本文简要介绍了深度分层DSTM(DH-DSTM)框架和机器学习中的深度模型,最终介绍了深度神经DSTM(DN-DSTM)。最近的方法,结合从DH-DSTM和回声状态网络DN-DSTM的元素作为说明。
2019-02-22 cs.LG stat.ML
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理(I2As),这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法(规定如何使用模型来达成策略)相比,I2A学习解释来自学习环境模型的预测,通过将预测用作深度策略网络中的附加上下文,以任意方式构建隐式计划。与几个基线相比,I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
LLM Augmented Hierarchical Agents
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Johns Hopkins University(约翰斯·霍普金斯大学)
针对强化学习解决长时程任务样本效率低的问题,提出LLM增强的分层智能体,用LLM引导高层策略结合RL环境学习,在多仿真环境和真实机械臂任务中优于基线,且部署无需LLM。
2023-11-09 cs.AI cs.LG cs.RO
VLAD: A VLM-Augmented Autonomous Driving Framework with Hierarchical Planning and Interpretable Decision Process
Gifu University(福井大学);DENSO CORPORATION(Denso公司)
本文提出VLAD框架,将微调视觉语言模型与端到端系统VAD集成,通过生成高层导航指令和可解释决策解释,在nuScenes上使平均碰撞率降低31.82%。
2025-07-02 cs.AI cs.CV cs.ET
Learning-Augmented Hierarchical Clustering
Johns Hopkins University(约翰斯·霍普金斯大学);Rice University(莱斯大学);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(德克萨斯A&M大学)
本文研究利用分裂预言机辅助信息进行层次聚类,提出多项式时间和近线性时间算法,分别对Dasgupta目标和Moseley-Wang目标实现常数近似和(1-o(1))近似,突破标准方法的近似困难性,并扩展到流式与PRAM亚线性设置。
2025-06-05 cs.DS cs.LG
Zero-Shot Document Understanding using Pseudo Table of Contents-Guided Retrieval-Augmented Generation
针对复杂多模态文档理解的结构与数据难题,研究提出无需训练的DocsRay系统,结合伪目录生成与分层RAG,通过三项关键技术实现效率与准确率的双提升。
2025-07-31 cs.AI cs.LG
CFT-RAG: An Entity Tree Based Retrieval Augmented Generation Algorithm With Cuckoo Filter
Peking University(北京大学);Beihang University(北航)
CFT-RAG通过改进的 cuckoo 过滤器优化树状RAG的实体定位,显著提升检索效率和生成质量。
2026-02-02 cs.AI cs.LG
Hierarchical Deep Feature Learning For Decoding Imagined Speech From EEG
University of British Columbia(不列颠哥伦比亚大学)
我们提出了一种混合的深度神经网络策略,将卷积(CNN)和递归神经网络(RNN)的并行组合,与深度自动编码器和完全连接的层级联,以自动识别来自EEG的想象语音。而不是利用原始EEG通道数据,我们计算的协方差矩阵的形式,提供EEG的时空表示的通道的联合变异性。网络是分层训练的,提取的特征被传递到下一个网络层次,直到最终分类。使用一个公开的基于EEG的语音图像数据库,我们证明了约23.45%的精度提高了基线方法。我们的方法证明了混合DNN方法对复杂时空分类问题的承诺。
2019-04-08 cs.LG eess.IV stat.ML
HiPRAG: Hierarchical Process Rewards for Efficient Agentic Retrieval Augmented Generation
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Adobe Inc.(Adobe公司)
HiPRAG通过引入细粒度的知识引导过程奖励,优化代理检索增强生成的推理过程,提升搜索效率并减少无效搜索。
2026-04-11 cs.AI cs.CL cs.LG
Deep Diabetologist: Learning to Prescribe Hyperglycemia Medications with Hierarchical Recurrent Neural Networks
IBM Research China(IBM中国研究院)
在医疗保健领域,将深度学习模型应用于电子健康记录(EHR)已经引起了相当大的关注。EHR数据由一系列医疗访问组成,即诊断,药物治疗,体检,实验室测试等的多变量时间序列。这种连续性使EHR能够很好地匹配递归神经网络(RNN)的功能。在本文中,我们提出了“Deep Diabetologist”-使用RNN进行EHR序列数据建模,为糖尿病患者提供个性化的高血糖药物预测。特别是,我们开发了一个层次的RNN来捕获EHR数据中的异构序列信息。我们的实验结果表明,与使用逻辑回归的基线分类器相比,改进的性能。此外,分层RNN模型的性能优于基本模型,为临床决策支持提供了更深入的数据见解。
2018-10-17 cs.LG
Retrieval Augmented Deep Anomaly Detection for Tabular Data
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院)
本文提出一种检索增强的基于重建的深度异常检测方法,通过KNN或注意力模块选择相关样本辅助Transformer重建正常样本,在31个表格数据集上显著提升了异常检测性能。
2024-07-22 cs.LG
Memory Augmented Deep Generative models for Forecasting the Next Shot Location in Tennis
Queensland University of Technology(昆士兰科技大学)
本文提出了一种新的框架预测击球位置和类型在网球。受最近神经科学发现的启发,我们将神经记忆模块模型的情节和语义记忆组成部分的网球运动员。我们提出了一个半监督生成对抗网络架构,将这些记忆模型与深度神经网络的自动特征学习能力相结合,并展示了使用所提出的框架学习玩家级别行为模式的方法。我们评估所提出的模型的有效性,网球跟踪数据从2012年澳大利亚网球公开赛和展览所提出的方法,发现球员如何适应他们的风格,根据比赛的背景下的应用。
2019-01-16 cs.AI cs.LG cs.NE
Knowledge-augmented Deep Learning and Its Applications: A Survey
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI(IBM人工智能研究院)
深度学习模型虽然在过去几年中在许多不同的领域取得了巨大的成功,但通常是数据饥渴型的,在看不见的样本上表现不佳,并且缺乏可解释性。目标领域中通常存在各种先验知识,它们的使用可以缓解深度学习的不足。为了更好地模仿人类大脑的行为,已经提出了不同的高级方法来识别领域知识并将其集成到深度模型中,以实现数据高效、可推广和可解释的深度学习,我们将其称为知识增强的深度学习(KADL)。在本文中,我们定义了KADL的概念,并介绍了它的三个主要任务,即,知识识别、知识表示和知识集成。不同于现有的调查是集中在一个特定类型的知识,我们提供了一个广泛而完整的领域知识及其表示的分类。基于我们的分类法,我们提供了一个系统的审查现有的技术,不同的现有作品,调查集成方法不可知论的知识分类。本调查涵盖了现有的工作,并提供了在知识增强深度学习的一般领域的研究鸟瞰图。对大量论文的深入和批判性的评论不仅有助于了解当前的进展,而且还有助于确定知识增强深度学习研究的未来方向。
2022-11-30 cs.AI cs.LG
Deep Hierarchical Classification for Category Prediction in E-commerce System
Alibaba Group(阿里巴巴集团)
在电子商业系统中,类别预测是对给定文本的类别进行自动预测。与传统的类与类之间没有关系的分类不同,类别预测被认为是一个标准的层次分类问题,因为类别通常被组织成一个层次树。在本文中,我们解决层次类别预测。提出了一种深度层次分类框架,该框架将多尺度层次信息融入神经网络,并引入了一种基于类别树的表示共享策略。我们还定义了一个新的组合损失函数来惩罚分层预测损失。实验结果表明,该方法在精度上优于现有方法.
2020-05-14 cs.IR cs.LG
Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep RL in Large Networked Systems
Delft University of Technology(代尔夫特理工大学)
学习有效的政策,现实世界的问题仍然是一个开放的挑战,强化学习(RL)领域。主要的限制是所需的数据量和获得数据的速度。在本文中,我们研究如何构建复杂系统的轻量级模拟器,这些模拟器可以足够快地运行,以使深度RL适用。我们专注于代理与一个更大的环境中减少的一部分,同时仍然受到全球动态的影响域。我们的方法结合使用本地模拟器与学习模型,模仿全球系统的影响。实验表明,将这一想法纳入深度RL工作流程可以大大加快训练过程,并为未来提供了几个机会。
2022-02-03 cs.LG
Deep Learning-based Point Cloud Registration for Augmented Reality-guided Surgery
Graz University of Technology(格拉茨工业大学);University Hospital Essen (AöR)(埃森大学医院(公法机构))
本文评估了基于深度学习的点云配准方法在AR引导手术中图像到患者配准的可行性,构建了医学成像与HoloLens 2点云数据集,发现传统配准流程在挑战性数据上仍优于三种成熟深度学习模型。
2024-05-06 cs.CV cs.LG
Deep Learning with Label Noise: A Hierarchical Approach
Meta AI;Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
深度神经网络容易受到标签噪声的影响。现有的提高鲁棒性的方法,如元学习和正则化,通常需要对网络架构进行重大更改或仔细调整优化过程。在这项工作中,我们提出了一种简单的分层方法,在训练深度学习模型时引入了标签层次结构。我们的方法不需要改变网络架构或优化过程。我们通过广泛的模拟和真实数据集以及各种标签噪声类型来研究我们的分层网络。我们的分层方法改进了具有标签噪声的常规深度神经网络的学习。将我们的分层方法与预训练模型相结合,在现实世界的噪声数据集中实现了最先进的性能。
2022-05-28 cs.CV cs.LG
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University(特拉维夫大学)
为了解释深度学习中的隐式正则化,重点关注了矩阵和张量分解,它们对应于简化的神经网络。结果表明,这些模型表现出一个隐含的倾向,低矩阵和张量秩,分别。为了更接近实际的深度学习,本文从理论上分析了分层张量分解中的隐式正则化,这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头,我们克服了与层次结构相关的挑战,并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发,我们设计了显式正则化来抑制局部性,并证明了它能够提高现代卷积网络在非局部任务上的性能,这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Hierarchical Conflict Propagation: Sequence Learning in a Recurrent Deep Neural Network
University of Surrey(萨里大学)
递归神经网络(RNN)能够学习编码和利用任意时间尺度上的激活历史。然而,在实践中,已知现有技术的基于梯度下降的训练方法在学习长期依赖性方面存在困难。在这里,我们描述了一种新的训练方法,涉及并发并行克隆网络,每个共享相同的权重,每个训练在不同的刺激阶段,每个保持独立的激活历史。随着激活历史记录的逐渐增加,通过在并行克隆上递归地执行批量更新来进行训练。这允许冲突从短期上下文向长期上下文分层传播,直到它们被解决。我们用一个字符级的深度RNN来说明并行克隆方法和层次冲突传播,该深度RNN的任务是记住Moby Dick(由Herman Melville)的一段。
2016-02-25 cs.LG
Hierarchically Regularized Deep Forecasting
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
层次预测是许多实际多变量预测应用中的关键问题-目标是同时预测大量相关的时间序列,这些时间序列排列在预先指定的聚合层次中。主要的挑战是利用层次相关性,同时获得良好的预测精度的时间序列在不同层次。在本文中,我们提出了一种新的方法,由两个组成部分的分层预测。首先,沿着基时间序列的全局集合分解时间序列,并使用基分解的系数来建模分层约束。第二,使用系数随时间变化的线性自回归模型。与过去的方法不同,我们的方法是可扩展的(对特定时间序列的推断只需要访问它自己的历史),同时还通过时间序列预测之间的(近似)一致性约束来建模层次结构。我们在几个公共数据集上进行了实验,与现有的最先进的分层模型相比,我们在不同层次的预测上表现出显着改善的整体性能。
2021-10-12 cs.LG
Improving Hierarchical Adversarial Robustness of Deep Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所)
所有的对抗性例子都有相同的结果吗?自动驾驶系统将行人误认为汽车可能会导致比汽车更危险甚至可能致命的行为。为了更好地解决这一重要问题,我们引入了分层对抗鲁棒性的概念。给定一个数据集,其类可以被分组到粗级别标签中,我们将分层对抗示例定义为导致粗级别错误分类的示例。为了提高神经网络对分层攻击的抵抗力,我们引入了一种分层对抗鲁棒(HAR)网络设计,该设计将单个分类任务分解为一个粗分类任务和多个细分类任务,然后通过对抗防御技术进行专门训练。作为端到端学习方法的替代方案,我们证明了HAR显着提高了网络对CIFAR-10和CIFAR-100数据集上的$\ell_2$和$\ell_{\infty}$有界分层攻击的鲁棒性。
2021-02-17 cs.LG
A 3D-Deep-Learning-based Augmented Reality Calibration Method for Robotic Environments using Depth Sensor Data
Technical University of Berlin(柏林工业大学);Microsoft Cloud and AI Security(微软云与人工智能安全部门)
增强现实和移动机器人由于具有使过程成本和时间有效的高潜力而在工业中获得了很多关注。为了促进增强现实,增强现实设备和环境之间的校准是必要的。这是一个挑战,当处理移动机器人由于所有实体的移动性,使环境动态。在这个帐户上,我们提出了一种新的方法来校准的增强现实设备使用3D深度传感器数据。我们使用尖端增强现实设备的深度相机-微软Hololens进行基于深度学习的校准。因此,我们修改了一个神经网络的基础上,最近发表的投票网架构,直接对点云输入观察的全息透镜。我们实现了令人满意的结果,并消除了标记等外部工具,从而为增强现实集成提供了更直观、更灵活的工作流程。结果适用于所有深度相机,并有希望进行进一步的研究。此外,我们还介绍了一个开源的3D点云标记工具,据我们所知,这是第一个用于标记原始点云数据的开源工具。
2019-12-27 cs.CV cs.LG cs.RO
Augmented Q Imitation Learning (AQIL)
York University(约克大学);University of Waterloo(滑铁卢大学)
无监督学习的研究一般可分为两大类:模仿学习和强化学习。在模仿学习中,机器通过模仿专家系统的行为来学习,而在强化学习中,机器通过直接的环境反馈来学习。传统的深度强化学习在机器开始收敛到最优策略之前需要相当长的时间。本文提出了增强Q-模仿学习,这是一种通过将Q-模仿学习作为传统深度Q-学习中的初始训练过程来加速深度强化学习收敛的方法。
2020-04-05 cs.AI cs.LG
Hierarchically Compositional Tasks and Deep Convolutional Networks
Center for Brains, Minds and Machines(脑、心智与机器中心);Massachusetts Institute of Technology(麻省理工学院)
从ImageNet开始,深度学习的主要成功案例依赖于深度卷积网络,在某些任务上,它的表现明显优于传统的浅层分类器,如支持向量机,也优于深度全连接网络;但是深度卷积网络有什么特别之处呢?近似理论的最新结果证明了具有或不具有共享权重的深度卷积网络在逼近其组成结构中具有层次局部性的函数时的指数优势。最近,分层结构被证明很难从数据中学习,这表明它是嵌入网络架构中的强大先验。然而,这些数学结果并没有说明哪些现实任务对应于具有层次局部性的输入输出函数。为了评估这一点,我们考虑了一组视觉任务,在这些任务中,我们通过“确定性置乱”破坏图像的局部组织,以便稍后对这些图像执行视觉任务,这些图像以相同的方式进行训练和测试。对于对象识别,我们发现,正如预期的那样,加扰不会影响浅或深全连接网络的性能,这与卷积网络的性能相反。然而,并非所有涉及图像的任务都会受到影响。纹理感知和全局颜色估计对确定性加扰的敏感性要低得多,这表明与这些任务对应的底层函数不是分层局部的;并且还反直觉地表明,这些任务更好地近似于非深度(纹理)或卷积(颜色)的网络。总之,这些结果揭示了匹配网络架构与其嵌入的任务之前要学习的重要性。
2021-03-25 cs.LG eess.IV q-bio.NC
Reducing Deep Network Complexity via Sparse Hierarchical Fourier Interaction Networks
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
本文针对深度网络复杂度问题,提出融合分层逐块傅里叶变换与Top K掩码机制的稀疏分层傅里叶交互网络,实现局部细节与全局上下文的同时获取,并通过保留关键频谱系数降低复杂度。
2025-04-17 cs.CV cs.LG
Learning deep autoregressive models for hierarchical data
Uppsala University(乌普萨拉大学)
我们提出了一个分层结构化数据模型作为随机时间卷积网络的扩展。该模型结合了自回归模型与分层变分自编码器和下采样,以实现卓越的计算复杂性。我们评估两种不同类型的序列数据:语音和手写文本的模型。结果是有希望的,所提出的模型实现国家的最先进的性能。
2021-07-01 cs.LG cs.SY eess.SY
Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们介绍了三个内存增强的循环神经网络(MARNN),并探讨了一系列简单的语言建模任务,其解决方案需要基于堆栈的机制,他们的能力。我们提供了神经网络识别广义Dyck语言的第一个演示,广义Dyck语言表达了具有层次结构的语言的核心。我们的内存增强架构很容易训练在一个端到端的方式,可以学习的Dyck语言超过多达六个括号对,除了两个确定性回文语言和字符串反转转换任务,通过模仿下推自动机。我们的实验强调了内存增强模型在简单RNN上的建模能力,同时也反映了我们对这些模型局限性的理解。
2019-11-08 cs.CL cs.LG cs.NE
Blockout: Dynamic Model Selection for Hierarchical Deep Networks
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
大多数用于图像分类的深度架构--即使是那些被训练来分类大量不同类别的架构--都是用单个模型来学习共享的图像表示。然而,直觉上,相似的类别应该比差异很大的类别共享更多的信息。虽然分层深度网络通过学习相关类别子集的单独特征来解决这个问题,但当前的实现需要使用通过启发式聚类方法指定的固定架构的简化模型。相反,我们提出了Blockout,这是一种正则化和模型选择的方法,可以同时学习模型结构和参数。作为Dropout的推广,我们的方法提供了一种新颖的分层架构参数化,允许通过反向传播进行结构学习。为了证明它的实用性,我们在CIFAR和ImageNet数据集上评估了Blockout,证明了分类精度的提高、正则化性能的提高、训练速度的加快以及分层网络结构的清晰出现。
2015-12-16 cs.CV cs.LG
Deep Networks Learn Deep Hierarchical Models
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究)
深度网络通过逐层SGD学习深度层次模型,揭示了层次结构在深度学习中的基础作用。
2026-01-01 cs.AI cs.LG
Global Voxel Transformer Networks for Augmented Microscopy
Texas A&M University(德州农工大学)
深度学习的进步使增强显微镜技术取得了显著的成功,使我们能够在不使用昂贵的显微镜硬件和样品制备技术的情况下获得高质量的显微镜图像。然而,目前用于增强显微镜的深度学习模型大多是基于U-Net的神经网络,因此存在某些限制性能的缺点。在这项工作中,我们介绍了全局体素Transformer网络(GVTNets),这是一种用于增强显微镜的高级深度学习工具,它克服了当前基于U-Net的模型的固有局限性,并实现了性能的提高。GVTNet建立在全局体素Transformer运算符(GVTO)上,与卷积等局部运算符相反,GVTO能够聚合全局信息。我们将所提出的方法应用于现有的数据集上,在各种设置下进行三种不同的增强显微镜任务。性能显著且始终优于以前的基于U-Net的方法。
2020-11-23 cs.CV cs.LG eess.IV
Strongly Augmented Contrastive Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
深度聚类由于其通过深度神经网络联合表示学习和聚类的能力,近年来引起了越来越多的关注。在其最新的发展中,对比学习已经成为一种有效的技术,以大大提高深度聚类性能。然而,现有的基于对比学习的深度聚类算法大多集中在一些精心设计的增强(通常通过有限的变换来保持结构),称为弱增强,但不能超越弱增强来探索更强增强中的更多机会(具有更积极的变换甚至严重的失真)。在本文中,我们提出了一种称为强增强对比聚类(SACC)的端到端深度聚类方法,该方法将传统的两个增强视图范式扩展到多个视图,并联合利用强增强和弱增强来加强深度聚类。特别是,我们利用一个骨干网络与triangle共享的权重,其中一个强增强的视图和两个弱增强的意见。基于由主干产生的表示,弱-弱视图对和强-弱视图对被同时用于实例级对比学习(经由实例投影仪)和集群级对比学习(经由集群投影仪),其与主干一起可以以纯无监督的方式联合优化。在五个具有挑战性的图像数据集上的实验结果表明,我们的SACC方法优于最先进的方法。代码可以在https://github.com/dengxiaozhi/SACC上找到。
2022-07-14 cs.CV cs.LG
DeepSentiPers: Novel Deep Learning Models Trained Over Proposed Augmented Persian Sentiment Corpus
University of Guilan(吉兰大学)
本文主要研究如何在每一个波斯语文本中提取意见。深度学习模型提供了一种提高输出质量的新方法。然而,这些架构需要依赖于大的注释数据以及准确的设计。据我们所知,我们不仅缺乏注释良好的波斯语情感语料库,而且还缺乏一个新的模型来对波斯语观点进行多重和二元分类。因此,在这项工作中,我们首先提出了两种新的深度学习架构,包括双向LSTM和CNN。它们是精确设计的深层层次结构的一部分,也能够对两种情况下的句子进行分类。其次,我们针对低资源波斯语情感语料库提出了三种数据增强技术。我们在三个基线和两种不同的神经词嵌入方法上进行的综合实验表明,我们的数据增强方法和预期模型成功地实现了研究目标。
2020-04-11 cs.CL cs.LG cs.NE
AAMDRL: Augmented Asset Management with Deep Reinforcement Learning
AI Square Connect;MILES;LAMSADE;Dauphine university(多芬大学);LISIC;ULCO;Societe Generale(法国兴业银行)
智能体能否在具有连续、非平稳和非齐次观测的噪声和自适应环境中有效地学习?通过交易机器人,我们说明了深度强化学习(DRL)如何应对这一挑战。我们的贡献有三个方面:(i)在DRL中使用上下文信息(也称为增强状态),(ii)对于资产管理环境而言更现实的观测和动作之间的一个时段滞后的影响,(iii)实现称为向前走分析的新的重复性训练测试方法,其精神类似于时间序列的交叉验证。虽然我们的实验是在交易机器人上进行的,但它可以很容易地转换到其他机器人环境中,这些机器人环境在政权变化和噪声数据的连续环境中运行。我们的实验增强资产管理公司有兴趣找到最好的投资组合对冲策略表明,AAMDRL实现了卓越的回报和较低的风险。
2020-09-30 cs.AI cs.LG q-fin.MF
Concept Learning through Deep Reinforcement Learning with Memory-Augmented Neural Networks
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
深度神经网络在许多领域都表现出了出色的性能,可以记住大量数据的熟悉模式。然而,标准的监督式深度学习范式在面临从稀缺数据中有效学习新概念的需求时仍然是有限的。在本文中,我们提出了一个记忆增强的神经网络,这是由人类的概念学习过程的动机。训练过程模仿人类的概念形成过程,学习如何区分不同类别的样本和聚合同类样本。为了更好地利用源于人类行为的优势,我们提出了一个顺序的过程,在这个过程中,网络应该决定如何在每一步记住每个样本。在这个连续的过程中,一个稳定的和交互式的记忆是一个重要的模块。我们验证了我们的模型在一些典型的一次性学习任务,也是一个探索性的离群值检测问题。在所有的实验中,我们的模型在达到或超过这些强基线方面都具有很强的竞争力。
2018-11-15 cs.AI cs.LG
Hierarchical Deep Recurrent Neural Network based Method for Fault Detection and Diagnosis
University of Waterloo(滑铁卢大学)
提出了一种基于深度神经网络(DNN)的工业设备故障检测和分类算法。该算法具有故障分类的能力,特别是早期故障,难以检测和诊断与传统的阈值为基础的统计方法或传统的人工神经网络(ANN)。该算法是基于一个监督深度递归自动编码器神经网络(监督DRAE-NN),使用动态信息的过程中沿时间范围。基于该网络的层次结构,制定了分组故障的基础上,它们的相似性到故障的检测和诊断的子集。此外,一个外部的伪随机二进制信号(PRBS)的设计和注入到系统中,以识别早期故障。基于层次结构的策略提高了早期和非早期故障的检测和分类精度显着。所提出的方法进行测试的基准田纳西伊士曼过程中的显着改善分类相比,多变量线性模型为基础的战略和非层次非线性模型为基础的战略。
2020-12-07 cs.AI cs.LG
Robust Deep-Learning-Based Road-Prediction for Augmented Reality Navigation Systems
Daimler AG R&D(戴姆勒股份公司研发部);University of Ulm(乌尔姆大学)
本文提出了一种利用深度学习技术从摄像头传感器预测道路路线的方法。通过在大量包括不利天气条件的全场景标记的夜间道路图像上训练多尺度卷积神经网络来识别道路像素。提出了一个框架,适用于所提出的方法,以较长距离的道路路线估计,这是一个增强现实导航应用程序的基础。在该框架中,将远程传感器数据(雷达)和来自地图数据库的数据与短程传感器数据(相机)融合,以产生精确的纵向和横向定位以及道路路线估计。所提出的方法可靠地检测有和没有车道标记的道路,从而提高了道路路线估计和增强现实导航的鲁棒性和可用性。从差分GPS和惯性测量单元获取的大量高精度地面实况数据的评估表明,所提出的方法达到了最先进的性能,而不需要现有的车道标记的限制。
2016-05-31 cs.CV cs.LG cs.RO
Hierarchical Decentralized Deep Reinforcement Learning Architecture for a Simulated Four-Legged Agent
Bielefeld University(比勒费尔德大学)
腿部运动在自然界中广泛存在,并激发了当前机器人的设计。这些足式机器人的控制器通常被实现为一个集中实例。然而,在自然界中,对运动的控制是以等级和分散的方式发生的。将这些生物学设计原理引入机器人控制系统激发了这项工作。我们解决的问题是否分散和分层控制是有益的足式机器人,并提出了一种新的分散,分层体系结构来控制模拟腿代理。三个不同的任务,不同的复杂性被设计为基准五个架构(集中式,分散式,分层和分层分散架构的两种不同组合)。结果表明,分散分层架构的不同级别有助于智能体的学习,确保更节能的运动以及对新的不可见环境的鲁棒性。此外,这种比较揭示了模块化在分层架构中解决复杂目标导向任务的重要性。我们提供了我们架构的开源代码实现(https://github.com/wzaielamri/hddrl)。
2022-09-21 cs.AI cs.LG cs.RO
Fault-Tolerant Deep Learning: A Hierarchical Perspective
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tianjin University(天津大学);ShanghaiTech University(上海科技大学);Tsinghua University(清华大学);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海能效与定制人工智能集成电路工程技术研究中心);Peng Cheng Laboratory(鹏城实验室)
随着深度学习在过去十年的快速发展,可以预见,深度学习将不断部署在越来越多的安全关键应用中,如自动驾驶和机器人。在这种情况下,可靠性对于在这些应用程序中部署深度学习至关重要,并逐渐成为性能和能效等主要设计指标中的一等公民。尽管如此,后台深度学习模型与各种底层硬件故障相结合,使得弹性深度学习极具挑战性。在本次专题中,我们将从层次化的角度对容错深度学习设计方法进行全面的综述,并分别从模型层、架构层、电路层和跨层进行研究。
2022-04-05 cs.AI cs.AR cs.LG
Hierarchical Deep Learning for Intention Estimation of Teleoperation Manipulation in Assembly Tasks
University of California, Riverside(加州大学河滨分校);Honda Research Institute(本田研究所)
本文提出一种分层深度学习方法,通过多尺度分层信息和多窗口预测机制,在装配任务遥操作中实现低层动作与高层任务的快速准确意图估计,并在VR仿真中验证其有效性。
2024-03-28 cs.AI cs.LG cs.RO
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University(天津大学);Netease Fuxi AI Lab(网易伏羲人工智能实验室);Nanjing University(南京大学)
多智能体强化学习(MARL)通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时,这将更具挑战性。在本文中,我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象,我们分解成不同的时间尺度的层次结构的问题,并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构,以学习不同MARL范式下的层次化策略。此外,我们提出了一个新的经验重放机制,以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性:(1)各种多智能体垃圾收集任务,以及(2)具有挑战性的在线手机游戏,即,发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
GAMesh: Guided and Augmented Meshing for Deep Point Networks
University of California, Irvine(加利福尼亚大学尔湾分校)
我们提出了一种新的网格化算法,称为引导和增强网格,GAMesh,它使用一个网格之前,生成一个点网络的输出点的表面。通过将输出点投影到该先验上并简化生成的网格,GAMesh确保曲面具有与网格先验相同的拓扑结构,但其几何保真度由点网络控制。这使得GAMesh独立于输出点的密度和分布,这是传统表面重建算法中常见的伪影。我们表明,这种分离的几何拓扑结构可以有几个优点,特别是在单视图的形状预测,公平的评价点网络和重建表面的网络输出稀疏点云。我们进一步表明,通过使用GAMesh训练点网络,我们可以直接优化顶点位置以生成具有任意拓扑结构的自适应网格。
2020-10-19 cs.CG cs.CV cs.GR
Playing optical tweezers with deep reinforcement learning: in virtual, physical and augmented environments
University of Southampton(南安普顿大学);Optoelectronics Research Centre(光电研究中心)
在模拟环境中进行强化学习,以学习多个电机轴上的连续速度控制。然后将其应用于现实世界的光镊实验,其目的是将激光捕获的微球移动到目标位置,同时避免与其他自由移动的微球碰撞。在虚拟环境中训练神经网络的概念在将机器学习应用于实验优化和控制方面具有巨大的潜力,因为神经网络可以发现解决问题的最佳方法,而不会有损坏设备的风险,并且速度不受物理环境中移动的限制。由于神经网络对待虚拟和物理环境等效,我们表明,网络也可以应用于增强环境,其中虚拟环境与物理环境相结合。这种技术可能有潜力解锁与混合和增强现实相关的功能,例如强制执行机器运动的安全限制或作为从附加传感器输入观察结果的方法。
2020-11-10 cs.AI cs.LG cs.RO
HDLTex: Hierarchical Deep Learning for Text Classification
Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Department of System and Information Engineering, University of Virginia(弗吉尼亚大学系统与信息工程系);Data Science Institute, University of Virginia(弗吉尼亚大学数据科学研究所)
每年产生的文件数量不断增加,这就需要不断改进搜索、检索和组织文本的信息处理方法。这些信息处理方法的核心是文档分类,它已经成为监督学习的一个重要应用。最近,这些传统的分类器的性能已经退化的文件数量的增加。这是因为随着文件数量的增长,类别的数量也在增加。本文探讨这个问题不同于目前的文档分类方法,认为这个问题作为多类分类。相反,我们使用一种我们称之为分层深度学习文本分类(HDLTex)的方法来执行分层分类。HDLTex采用深度学习架构堆栈,在文档层次结构的每个级别提供专业的理解。
2017-10-06 cs.AI cs.CL cs.CV