Deep reinforcement learning guided graph neural networks for brain network analysis
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Macquarie University（麦考瑞大学）；Beihang University（北京航空航天大学）；National Acoustic Laboratories（国家声学实验室）；CAEIT（中国电子科学研究院）
Xusheng Zhao, Jia Wu, Hao Peng, Amin Beheshti, Jessica J. M. Monaghan, David McAlpine, Heivet Hernandez-Perez, Mark Dras, Qiong Dai, Yangyang Li, Philip S. Yu, Lifang He
Modern neuroimaging techniques, such as diffusion tensor imaging (DTI) and functional magnetic resonance imaging (fMRI), enable us to model the human brain as a brain network or connectome. Capturing brain networks' structural information and hierarchical patterns is essential for understanding brain functions and disease states. Recently, the promising network representation learning capability of graph neural networks (GNNs) has prompted many GNN-based methods for brain network analysis to be proposed. Specifically, these methods apply feature aggregation and global pooling to convert brain network instances into meaningful low-dimensional representations used for downstream brain network analysis tasks. However, existing GNN-based methods often neglect that brain networks of different subjects may require various aggregation iterations and use GNN with a fixed number of layers to learn all brain networks. Therefore, how to fully release the potential of GNNs to promote brain network analysis is still non-trivial. To solve this problem, we propose a novel brain network representation framework, namely BN-GNN, which searches for the optimal GNN architecture for each brain network. Concretely, BN-GNN employs deep reinforcement learning (DRL) to train a meta-policy to automatically determine the optimal number of feature aggregations (reflected in the number of GNN layers) required for a given brain network. Extensive experiments on eight real-world brain network datasets demonstrate that our proposed BN-GNN improves the performance of traditional GNNs on different brain network analysis tasks.
Deep Reinforcement Learning Models Predict Visual Responses in the Brain: A Preliminary Result
Vidyasirimedhi Institute of Science and Technology（威达亚西里梅迪科技学院）；Imperial College London（帝国理工学院）；King Mongkut’s University of Technology Thonburi（国王科技大学）
Novel Reinforcement Learning Algorithm for Suppressing Synchronization in Closed Loop Deep Brain Stimulators
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）；Texas State University（德克萨斯州立大学）
帕金森氏病的特点是大脑中病理性振荡的放电特征改变和增加。换句话说，它在神经处理过程中引起异常的同步振荡和抑制。为了检查和调节运动回路中的同步性和病理性振荡，使用脑深部刺激器（DBS）。尽管机器学习方法已被应用于抑制的研究，但这些模型需要大量的训练数据和计算能力，这两者都对资源受限的DBS提出了挑战。这项研究提出了一种新的强化学习（RL）框架，用于在神经系统疾病发作期间以更少的功耗抑制神经元活动的同步。建议RL算法包括一个合奏的时间表示的刺激和双延迟深度确定性（TD 3）策略梯度算法。我们量化了所提出的框架对噪声的稳定性，并使用RL针对三种病理信号机制（规则、混沌和突发）降低了同步性，并进一步消除了不期望的振荡。此外，使用了评估奖励、提供给集成的能量和平均收敛点等指标，并与其他RL算法进行了比较，特别是Advantage actor critic（A2C）、具有Kronecker特征信任区域的Actor critic（ACKTR）和近端策略优化（PPO）。
A Prior Guided Adversarial Representation Learning and Hypergraph Perceptual Network for Predicting Abnormal Connections of Alzheimer's Disease
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；Renmin University of China（中国人民大学）；Central South University（中南大学）
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；Technical University of Munich（慕尼黑技术大学）；Foundation Robotics Labs, Munich（慕尼黑基础机器人实验室）；Eötvös Loránd University（劳尔·艾尔多迪大学）
我们提供了一个加速强化学习（RL）算法的框架，由领域知识或离线数据构造的算法。Tabula Rasa RL算法需要与顺序决策任务的范围相匹配的环境交互或计算。使用我们的框架，我们展示了如何启发式引导RL诱导一个更短的地平线子问题，可证明解决了原来的任务。我们的框架可以被看作是一个基于视界的正则化，用于在有限的相互作用预算下控制RL中的偏差和方差。在理论方面，我们描述了一个很好的启发式和RL加速的影响的性质。特别是，我们引入了一个可改进的启发式，启发式，允许RL代理推断超出其先验知识的新概念。在经验方面，我们实例化我们的框架，以加速几个国家的最先进的算法在模拟机器人控制任务和程序生成的游戏。我们的框架补充了关于热启动RL的丰富文献，包括专家演示或探索性数据集，并介绍了将先验知识注入RL的原则性方法。
Sample-Efficient Reinforcement Learning Controller for Deep Brain Stimulation in Parkinson's Disease
Department of Electrical and Computer Engineering, Clemson University（电子与计算机工程系，克莱姆森大学）；Department of Biomedical Engineering, Michigan Technological University（生物医学工程系，密歇根技术大学）
Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning
IRT Saint-Exupéry（圣埃克苏佩里工业技术研究院）；ISAE-SUPAERO（法国高等航空航天学院）；IMT, INSA Toulouse（图卢兹国立应用科学学院数学与信息学研究所）；ANITI（图卢兹人工智能与自然智能研究所）；IMT, Université Paul Sabatier（保罗·萨巴蒂埃大学数学与信息学研究所）；Université de Toulouse（图卢兹大学）
深度强化学习策略尽管在模拟视觉控制任务中具有出色的效率，但在输入训练图像中对干扰进行概括的能力令人失望。图像统计数据或分散注意力的背景元素的变化是防止这种控制策略的通用性和现实世界适用性的陷阱。我们阐述的直觉，一个好的视觉政策应该能够识别哪些像素是重要的，它的决定，并保持这种识别跨图像的重要信息源。这意味着具有小泛化差距的策略的训练应该集中在这些重要的像素上，而忽略其他像素。这导致了显着性引导Q网络（SGQN）的引入，这是一种用于视觉强化学习的通用方法，与任何价值函数学习方法兼容。SGQN极大地提高了Soft Actor-Critic代理的泛化能力，并在Deepmind Control Generalization基准测试中优于现有的最先进方法，在训练效率、泛化差距和策略可解释性方面提供了新的参考。
