Bayesian Optimistic Optimisation with Exponentially Decaying Regret
Applied Artificial Intelligence Institute, Deakin University, Geelong, Australia(应用人工智能研究所,德金大学,澳大利亚格里尔镇)
本文提出BOO算法,在无噪声环境下通过结合贝叶斯优化与基于树的乐观优化方法,实现指数级遗憾界O(N^{-√N})。
2021-05-10 cs.LG stat.ML
Nonmyopic Global Optimisation via Approximate Dynamic Programming
Delft Center for Systems and Control, Delft University of Technology(代尔夫特理工大学代尔夫特系统与控制中心)
本文提出基于近似动态规划的非我的优化策略,针对IDW和RBF模型,通过rollout和多步场景优化方案实现前瞻式优化,提升高维空间中的全局优化性能。
2026-03-26 cs.LG stat.ML
Hyperparameter Learning via Distributional Transfer
University of Oxford(牛津大学);Tencent AI Labs(腾讯人工智能实验室)
贝叶斯优化是一种流行的超参数学习技术,但通常需要初始探索,即使在类似的先验任务已经解决的情况下。我们建议使用这些任务中使用的训练数据集的学习表示来跨任务传输信息。这导致了超参数和数据表示的联合高斯过程模型。表示利用分布嵌入到再生核希尔伯特空间的框架。所开发的方法具有更快的收敛速度相比,现有的基线,在某些情况下,只需要几个评价的目标。
2019-05-26 cs.LG stat.ML
Warm Start Marginal Likelihood Optimisation for Iterative Gaussian Processes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出迭代高斯过程的暖启动边际似然优化方法,通过重用线性求解器解作为初始化,在回归任务上实现与传统方法相同结果且平均加速16倍。
2024-05-28 cs.LG stat.ML
Marginalised Gaussian Processes with Nested Sampling
Secondmind;University of Cambridge(剑桥大学)
高斯过程(GPs)模型是具有由核函数控制的归纳偏差的函数上的丰富分布。学习通过使用边际似然作为目标的内核超参数的优化来进行。这种经典的方法被称为第二类极大似然(ML-II),它产生了超参数的点估计,并且仍然是训练GP的默认方法。然而,这种方法存在低估预测不确定性的风险,并且容易过拟合,特别是当存在许多超参数时。此外,基于梯度的优化使得ML-II点估计对局部最小值的存在非常敏感。这项工作提出了一种替代的学习过程,其中使用嵌套采样(NS)将核函数的超参数边缘化,这是一种非常适合从复杂的多模态分布中采样的技术。我们专注于回归任务的光谱混合(SM)类的内核,并发现一个原则性的方法来量化模型的不确定性,导致在一系列的合成和基准数据集的预测性能大幅提高。在这种情况下,嵌套采样也被发现提供了一个速度优势超过哈密顿蒙特卡罗(HMC),被广泛认为是金标准MCMC为基础的推理。
2021-11-19 cs.LG stat.ML
Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation
University of Edinburgh(爱丁堡大学);AWS AI Labs(AWS人工智能实验室)
本文提出有序迁移超参数优化(OTHPO),假设任务按顺序且与前一任务最相关,提出基本方法并在十个基准上验证其优于现有迁移HPO,同时开源基准以促进研究。
2023-06-29 cs.LG
Approximate Bayesian Optimisation for Neural Networks
MILA(米拉研究所)
为了突出模型选择的重要性,已经做了大量的工作来自动化机器学习算法。自动化选择最佳预测模型及其相应参数的过程可以改善广泛的实际应用。贝叶斯优化(BO)使用黑盒优化方法,通过采集功能根据勘探开发权衡标准提出解决方案。BO框架施加了两个关键成分:一个概率代理模型,由未知目标函数(数据依赖)的先验信念和一个目标函数,描述如何最佳的模型拟合。选择最佳模型及其相关的超参数可能非常昂贵,并且通常使用高斯过程(GP)进行拟合,并且由于其棘手性,在某种程度上应用近似推理。然而,由于GP的规模与观察的数量立方,它一直具有挑战性的目标,其优化需要许多评估。此外,大多数真实数据集是非平稳的,这使得对代理模型的假设过于理想化。以随机方式解决分析易处理性和计算可行性的必要性使得能够确保贝叶斯优化的效率和适用性。在本文中,我们探讨了使用神经网络作为替代GP的函数分布模型,我们提供了一个密度比估计和类概率估计之间的联系的基础上近似推理,这种重新制定提供算法的效率和易处理性。
2021-08-31 cs.LG math.OC math.ST
IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning
Turing Intelligence Technology, UK(英国图灵智能技术公司);Nanjing University, China(中国南京大学)
超参数优化是寻找最优机器学习模型的关键过程。在最近的研究中,寻找最佳超参数设置的效率一直是一个很大的问题,因为优化过程可能是耗时的,特别是当目标函数的评估非常昂贵时。在本文中,我们介绍了一种智能进化优化算法,它适用于机器学习技术的传统进化算法,以加快整体优化过程的调整机器学习模型的分类问题。我们展示了我们的智能进化优化(IEO)在一系列的控制实验,与传统的进化优化超参数调整。实证研究表明,我们的方法平均加快了30.40%的优化速度,在最好的情况下,最高可达77.06%。
2020-09-10 cs.LG cs.NE
emoDARTS: Joint Optimisation of CNN & Sequential Neural Network Architectures for Superior Speech Emotion Recognition
University of Southern Queensland(南昆士兰大学);Queensland University of Technology(昆士兰科技大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心);Imperial College London(帝国理工学院)
本文提出emoDARTS,利用DARTS联合优化CNN与LSTM/RNN架构,不限制CNN层顺序,在三个语音情感数据集上超越现有CNN-LSTM模型和DARTS最佳结果。
2024-03-21 cs.LG cs.SD eess.AS
HEBO Pushing The Limits of Sample-Efficient Hyperparameter Optimisation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Technische Universität Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
在这项工作中,我们严格分析黑盒优化超参数调整任务所固有的假设。我们在贝叶斯标记基准上的结果表明,异方差和非平稳性对黑箱优化器提出了重大挑战。基于这些发现,我们提出了一个异方差和进化贝叶斯优化求解器(HEBO)。HEBO执行非线性输入和输出翘曲,承认精确的边际对数似然优化,是强大的学习参数的值。我们展示了HEBO在NeurIPS 2020黑盒优化挑战中的经验功效,HEBO在其中排名第一。经过进一步分析,我们观察到HEBO在108个机器学习超参数调整任务(包括贝叶斯标记基准)上的表现明显优于现有的黑盒优化器。我们的研究结果表明,大多数超参数调整任务表现出异方差性和非平稳性,多目标收购合奏与帕累托前沿解决方案改善查询配置,和强大的收购最大化提供经验优势,相对于他们的非强大的同行。我们希望这些发现可以作为贝叶斯优化实践者的指导原则。所有代码都可以在https://github.com/huawei-noah/HEBO上获得。
2022-05-25 cs.LG math.OC
Which Hyperparameters to Optimise? An Investigation of Evolutionary Hyperparameter Optimisation in Graph Neural Network For Molecular Property Prediction
Heriot-Watt University(赫瑞-瓦特大学)
近年来,图神经网络(GNN)的研究引起了人们的广泛关注,并在分子性质预测方面取得了良好的效果。大多数用于分子性质预测的GNN都是基于通过聚合其邻居节点(例如原子)的信息来学习节点表示的想法提出的。然后,可以将表示传递到后续层以处理各个下游任务。因此,GNN的架构可以被认为是由两个核心部分组成:图相关层和任务特定层。面对现实世界的分子问题,这些层的超参数优化是至关重要的。在这种情况下,超参数优化(HPO)变得昂贵,因为评估候选解决方案需要大量的计算资源来训练和验证模型。此外,更大的搜索空间往往使HPO问题更具挑战性。在这项研究中,我们专注于选择两种类型的GNN超参数的影响,那些属于图形相关的层和任务特定的层,对GNN的性能进行分子性质预测。在我们的实验中。我们采用了最先进的进化算法(即,CMA-ES)用于HPO。结果表明,分别优化两类超参数可以获得GNN性能的改善,而同时优化两类超参数则可以获得显著的改善。同时,我们的研究也进一步证实了HPO对GNN在分子性质预测问题中的重要性。
2021-04-14 cs.LG
Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition
Great Bay University(广东东莞大亚湾大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出HyperEmo-RAG,一种利用结构化情绪知识库的检索增强生成框架,通过双曲空间嵌入和证据图构建来提升多模态情绪识别的性能。
2026-05-16 cs.CV cs.LG
A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University(赫瑞-瓦特大学)
近年来,图神经网络(GNNs)由于具有处理图相关问题的优异能力而受到越来越多的关注。在实践中,超参数优化(HPO)对于GNN实现令人满意的结果至关重要,但这个过程成本很高,因为不同超参数设置的评估需要过度训练许多GNN。已经提出了许多方法HPO,其目的是有效地识别有前途的超参数。特别地,已经探索了用于HPO的遗传算法(GA),其将GNN视为黑盒模型,给定一组超参数,只能观察其输出。然而,由于GNN模型非常复杂,并且对GNN上的超参数进行评估非常昂贵,因此GA需要先进的技术来平衡搜索的探索和利用,并在有限的计算资源下使优化更加有效。因此,我们提出了一个树结构的变异策略,遗传算法来缓解这个问题。同时,我们回顾了HPO的最新研究成果,为树结构的思想提供了发展的空间,希望我们的方法能在未来进一步完善这些HPO方法。
2021-04-28 cs.LG cs.NE
Enhancing Hyperbole and Metaphor Detection with Their Bidirectional Dynamic Interaction and Emotion Knowledge
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University(航空信息安全与可信计算重点实验室、教育部、网络安全科学与工程学院、武汉大学);National University of Singapore(新加坡国立大学)
针对夸张与隐喻检测中忽略二者关联及隐含情感影响的问题,提出情感引导的双向动态交互框架EmoBi,通过情感分析、领域映射和双向交互模块实现相互促进,在四个数据集上优于现有方法,显著提升检测F1分数。
2025-06-18 cs.CL cs.LG
Hierarchical Hypercomplex Network for Multimodal Emotion Recognition
Sapienza University of Rome(罗马第一大学)
本文提出一种具有分层学习结构的全超复数网络,通过参数化超复数卷积和乘法分别捕获模态内通道交互与模态间相关性,在MAHNOB-HCI数据集上的情感识别任务中超越了现有最先进模型。
2024-10-10 cs.AI cs.CV cs.LG
GeoMER: A Joint Euclidean-Hyperbolic Geometry Framework for Multimodal Emotion Recognition
Newcastle University(纽卡斯尔大学);Taiyuan University of Technology(太原理工大学)
针对多模态情感识别中情感层级结构的几何先验缺失问题,提出欧氏-双曲几何联合框架GeoMER,经IEMOCAP基准实验,其加权准确率83.54%、未加权准确率83.35%,优于欧氏基线方法。
2026-10-14 cs.AI cs.LG cs.SD
Bayesian Optimisation for Robust Model Predictive Control under Model Parameter Uncertainty
University of Sydney(悉尼大学);NVIDIA(英伟达)
我们提出了一种自适应优化方法调整随机模型预测控制(MPC)的超参数,同时联合估计的过渡模型参数的概率分布的基础上的性能奖励。特别是,我们开发了一个贝叶斯优化(BO)算法与异方差噪声模型来处理不同的噪声在MPC超参数和动态模型参数空间。典型的同方差噪声模型是不现实的调整MPC,因为随机控制器固有的噪声,和噪声的水平是由他们的超参数设置的影响。我们评估所提出的优化算法在模拟控制和机器人任务,我们共同推断控制和动力学参数。实验结果表明,我们的方法导致更高的累积奖励和更稳定的控制器。
2022-05-31 cs.AI cs.LG cs.RO
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是指一套用于全局优化昂贵的黑盒函数的技术,它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序,但现代优化任务带来了新的挑战,传统方法通常会失败。在这项工作中,我们介绍了Dragonfly,一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法,允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法,用于处理高维域,用于处理多保真度评估的方法时,廉价的近似昂贵的功能是可用的,方法优化结构化的组合空间,如空间的神经网络架构,并处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化,并证明,当上述方法集成,它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习(RL)系统依赖于一组影响系统性能的初始条件(超参数)。然而,定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此,一个值得注意的限制是复杂模型的算法评估成本高,使得调优过程在计算上昂贵且耗时。在本文中,我们提出了一个框架的基础上集成复杂事件处理和时态模型,以减轻这些权衡。通过这种组合,可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解,并创建抽象表示,允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统,以优化其超参数,同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化,而不是使用在整个训练中保持固定的静态超参数,而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法,该案例研究使用DQN(RL的一种变体)进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明,所提出的历史感知框架显着提高性能相比,传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Optimizing Emotion Recognition with Wearable Sensor Data: Unveiling Patterns in Body Movements and Heart Rate through Random Forest Hyperparameter Tuning
Telkom University(电信大学)
本研究利用智能手表与心率传感器数据,通过随机森林超参数调优优化情绪识别,在多场景实验中实现了86.63%的二分类与76.33%的三分类平均准确率。
2024-08-13 cs.HC cs.LG
Hypercomplex Multimodal Emotion Recognition from EEG and Peripheral Physiological Signals
Sapienza University of Rome(罗马萨皮恩扎大学)
提出超复数多模态网络,通过参数化超复数乘法融合脑电与外周生理信号,在MAHNOB-HCI上超越现有方法,实现效价和唤醒度分类。
2023-10-11 cs.HC cs.LG eess.SP
A Systematic Comparison Study on Hyperparameter Optimisation of Graph Neural Networks for Molecular Property Prediction
Heriot-Watt University(赫瑞-瓦特大学)
图神经网络(GNN)已经被提出用于广泛的图相关学习任务。特别是近年来,越来越多的GNN系统被应用于预测分子性质。然而,一个直接的障碍是选择合适的超参数,以实现令人满意的性能,较低的计算成本。与此同时,在典型的深度学习应用中,许多分子数据集远远小于许多其他数据集。大多数超参数优化(HPO)方法尚未在分子域中的小数据集上探索其效率。在本文中,我们进行了理论分析的共同和特殊功能的两个国家的最先进的和流行的算法HPO:TPE和CMA-ES,我们比较了它们与随机搜索(RS),这是作为一个基线。在MoleculeNet平台上,从不同的角度对RS、TPE和CMA-ES对GNNs的HPO影响进行了实验研究,以预测GNNs的分子性质。在我们的实验中,我们得出结论,RS,TPE和CMA-ES在解决不同的特定分子问题时具有各自的优势。最后,我们相信我们的工作将激励GNN应用于化学和材料科学中的分子机器学习问题的进一步研究。
2021-04-22 cs.LG q-bio.BM
QROSS: QUBO Relaxation Parameter Optimisation via Learning Solver Surrogates
Institute of High Performance Computing, Agency for Science Technology and Research(新加坡科技研究局高性能计算研究所);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
解决约束组合优化问题的一种越来越流行的方法是首先将其转换为二次无约束二进制优化(QUBO)问题,并使用标准QUBO求解器求解。然而,这种放松引入了平衡约束的目标和惩罚项的超参数,它们的选择值会显著影响性能。因此,调整这些参数是一个重要的问题。现有的通用超参数调整方法需要多次昂贵的调用QUBO求解器,使得它们不切实际的性能关键的应用程序时,需要重复解决类似的组合优化问题。在本文中,我们提出了QROSS方法,其中我们建立代理模型的QUBO求解器通过学习求解器数据的一个问题的实例的集合。通过这种方式,我们能够捕获实例的常见结构及其与求解器的交互,并以较少的QUBO求解器调用次数产生良好的惩罚参数选择。我们以旅行商问题(TSP)为例进行了研究,在那里我们证明了我们的方法可以找到更好的解决方案,与传统的超参数调整技术相比,更少的调用QUBO求解器。此外,通过简单的自适应方法,QROSS可以很好地推广到分布数据集和不同类型的QUBO求解器。
2021-03-19 cs.LG math.OC
Audio emotion recognition for atypical hearing
Sorbonne Université(索邦大学);Ircam(声学与音乐研究与协调学院);CNRS(法国国家科学研究中心)
该博士研究探索非典型听力(如自闭症听觉过敏)下的音频情感识别,通过微调CLAP模型并利用少量标注数据泛化情感反应,以解决评估难题。
2026-09-28 cs.LG
Differential Evolution and Bayesian Optimisation for Hyper-Parameter Selection in Mixed-Signal Neuromorphic Circuits Applied to UAV Obstacle Avoidance
University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Institute of Neuroinformatics(神经信息学研究所)
Lobula Giant Movement Detector(LGMD)是蝗虫的一个识别神经元,它可以检测到隐约可见的物体并触发其逃跑反应。理解导致这些快速和鲁棒响应的神经原理和网络可以导致在机器人应用中设计高效的避障策略。在这里,我们提出了一个神经形态的脉冲神经网络模型的LGMD驱动的神经形态的动态视觉传感器(DVS),它已被优化,以产生强大的和可靠的响应,在面对的限制和可变性的混合信号模拟-数字电路的输出。由于该LGMD模型参数较多,我们采用差分进化算法对其参数空间进行优化。我们还研究了使用自适应差分进化(SADE)已被证明,以改善困难,找到合适的输入参数DE。我们探讨使用两种生物学机制:突触可塑性和膜适应性的LGMD。我们应用DE和SADE找到最适合无人机(UAV)避障系统的参数,并显示它如何优于用于比较的最先进的贝叶斯优化。
2017-11-05 cs.LG cs.NE math.OC
Heteroscedastic Bayesian Optimisation for Stochastic Model Predictive Control
School of Computer Science, the University of Sydney(悉尼大学计算机学院);Australian Research Council Centre for Data Analytics for Resources and Environments (DARE)(澳大利亚研究理事会资源与环境数据分析中心(DARE));NVIDIA(英伟达)
模型预测控制(MPC)在涉及复杂物理系统的控制的应用中已经获得成功。这类控制器利用系统动态的近似模型提供的信息来模拟控制动作的效果。MPC方法还提出了一些超参数,这些超参数通过要求与物理系统的交互而可能需要相对昂贵的调谐过程。因此,我们研究微调MPC方法的背景下,随机MPC,这提出了额外的挑战,由于控制器的行动的随机性。在这些情况下,性能结果呈现噪声,其在可能的超参数设置的域中不是均匀的,而是以依赖于输入的方式变化。为了解决这些问题,我们提出了一个贝叶斯优化框架,该框架考虑了异方差噪声来调整控制问题中的超参数。基准连续控制任务和物理机器人的实证结果支持所提出的框架的适用性相对于基线,不考虑异方差。
2020-10-08 cs.LG cs.RO stat.ML
TWIG: Towards pre-hoc Hyperparameter Optimisation and Cross-Graph Generalisation via Simulated KGE Models
Trinity College Dublin(都柏林圣三一大学)
TWIG通过仅用2590个参数模拟ComplEx-N3模型在UMLS上的结果,证明KGE仅学习结构模式,并提出结构泛化假设,实现跨图链接预测。
2024-02-08 cs.AI cs.LG
PHemoNet: A Multimodal Network for Physiological Signals
Sapienza University of Rome(罗马第一大学)
本文提出完全超复数多模态网络PHemoNet,通过参数化超复数乘法编码EEG和外周生理信号并融合,在MAHNOB-HCI数据集上实现效价与唤醒度分类的领先性能。
2024-09-13 cs.LG eess.SP
Learning by Turning: Neural Architecture Aware Optimisation
Caltech(加州理工学院)
深度网络的下降方法是出了名的反复无常:它们需要仔细调整步长、动量和权重衰减,而哪种方法在新的基准上效果最好还不清楚。为了解决这个问题,本文对神经结构和优化进行了综合研究,从而产生了一种新的优化器,称为Nero:神经元旋转器。Nero训练可靠,没有动量或权重衰减,在Adam和SGD失败的情况下也能工作,并且几乎不需要学习率调整。此外,Nero的内存占用量是Adam或LAMB的~平方根。Nero结合了两个想法:(1)在平衡网络的空间上投影梯度下降;(2)神经元特定的更新,其中步长设置每个神经元超平面转动的角度。本文最后讨论了架构和优化之间的几何联系如何影响深度学习中的泛化理论。
2021-09-18 cs.LG cs.NE
EmotionNAS: Two-stream Neural Architecture Search for Speech Emotion Recognition
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
针对语音情感识别中人工设计模型需适配不同数据集、耗时费力的问题,提出名为EmotionNAS的双流NAS框架,融合手工与深度特征并补充双流互补信息,性能超越现有方法达SOTA。
2023-06-09 cs.LG cs.SD eess.AS
Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion Recognition
National Laboratory of Pattern Recognition, CASIA, Beijing, China(中国科学院自动化研究所模式识别国家重点实验室,北京,中国);CAS Center for Excellence in Brain Science and Intelligence Technology, Beijing, China(中国科学院脑科学与智能技术卓越创新中心,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院,北京,中国)
语音情感识别的现有工作利用各种无监督学习方法来处理低资源样本。然而,这些方法没有注意到长期的动态依赖性,这是语音情感识别的重要建模。为了解决这个问题,本文将无监督表示学习策略-未来观察预测(FOP)与迁移学习方法(如微调和Hypercolumns)相结合。为了验证该方法的有效性,我们在IEMOCAP数据库上进行了实验。实验结果表明,我们的方法优于目前先进的无监督学习策略。
2019-10-24 cs.LG cs.SD eess.AS
Speech & Song Emotion Recognition Using Multilayer Perceptron and Standard Vector Machine
City University of London(伦敦大学城市学院)
在这里,我们比较了SVM和MLP在RAVDESS数据集的语音和歌曲通道的情感识别中的性能。我们已经开始了提取各种音频特征的旅程,为我们的模型确定最佳缩放策略和超参数。为了增加样本量,我们进行了音频数据增强,并使用SMOTE解决了数据不平衡问题。我们的数据表明,优化的SVM优于MLP,准确率为82%,而不是75%。经过数据增强后,两种算法的性能相同,约为79%,但SVM的过拟合很明显。我们最后的探索表明,SVM和MLP的性能是相似的,都导致较低的准确度为语音通道相比,歌曲通道。我们的研究结果表明,支持向量机和MLP是强大的分类器,情感识别的声音依赖的方式。
2021-05-19 cs.LG cs.SD eess.AS
Facial Emotion Recognition: State of the Art Performance on FER2013
Boston University(波士顿大学)
人脸情感识别对于临床实践、行为描述等人机交互具有重要意义。由于人脸的异质性和图像的变化,如不同的面部姿势和照明,计算机模型的准确和鲁棒的FER仍然具有挑战性。在用于FER的所有技术中,深度学习模型,特别是卷积神经网络(CNN),由于其强大的自动特征提取和计算效率而显示出巨大的潜力。在这项工作中,我们在FER2013数据集上实现了最高的单网络分类精度。我们采用VGGNet架构,严格微调其超参数,并尝试各种优化方法。据我们所知,我们的模型在FER2013上实现了73.28%的最先进的单网络准确度,而无需使用额外的训练数据。
2021-05-08 cs.AI cs.CV cs.LG
Effective Context Modeling Framework for Emotion Recognition in Conversations
FPT Software AI Center(FPT软件人工智能中心);The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出基于GNN的ConxGNN框架,通过多尺度异构图和超图并行捕捉对话上下文与多模态关系,结合跨模态注意力与损失重加权机制,在IEMOCAP和MELD数据集上实现了最先进的情感识别性能。
2024-12-21 cs.CL cs.LG
Multimodal Emotion Recognition Using Deep Canonical Correlation Analysis
Shanghai Jiao Tong University(上海交通大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
多模态信号比单模态数据更能全面地表达情感,因此在情感识别方面具有更强的能力。本文将深度典型相关分析(DCCA)引入多模态情感识别。DCCA的基本思想是通过指定的典型相关分析约束,分别对每种模态进行变换,并将不同的模态协调到一个超空间中。我们评估了DCCA在五个多模态数据集上的性能:SEED,SEED-IV,SEED-V,DEAP和DREAMER数据集。我们的实验结果表明,DCCA在所有五个数据集上都达到了最先进的识别准确率:在SEED数据集上为94.58%,在SEED-IV数据集上为87.45%,在DEAP数据集上两个二元分类任务为84.33%和85.62%,四类分类任务为88.51%,在SEED-V数据集上为83.08%,在DREAMER数据集上,三个二进制分类任务的正确率分别为88.99%、90.57%和90.67%。我们还比较了DCCA的噪声鲁棒性与现有的方法时,添加各种数量的噪声的种子-V数据集。实验结果表明,DCCA具有更强的鲁棒性。通过使用t-SNE可视化特征分布并计算DCCA前后不同模态之间的互信息,我们发现DCCA转换的不同模态的特征在情感之间更具有同质性和区分性。
2019-08-13 cs.CV cs.LG
PSO Fuzzy XGBoost Classifier Boosted with Neural Gas Features on EEG Signals in Emotion Recognition
Pars AI Company(Pars AI公司)
本文提出将神经气体网络、PSO与模糊逻辑集成到XGBoost中,用于脑电信号情绪识别,实验表明该方法在多数分类器上优于其他特征选择技术,显著提升了识别准确率。
2024-08-30 cs.LG cs.NE
Self-supervised Group Meiosis Contrastive Learning for EEG-Based Emotion Recognition
Beijing University of Technology(北京工业大学);Beijing-Dublin International College(北京都柏林国际学院)
近年来,基于脑电信号的情感识别研究受到了人机交互和认知科学领域的广泛关注。然而,如何在有限的标签下识别情感已经成为一个新的研究和应用瓶颈。针对这一问题,提出了一种基于刺激一致性脑电信号的自监督群体减数分裂对比学习框架。在SGMC中,开发了一种新的遗传学启发的数据增强方法,命名为减数分裂。它利用一组EEG样本中刺激的对齐,通过配对、交叉交换和分离来生成增强组。该模型采用群体投射器从同一情绪视频刺激触发的群体脑电样本中提取群体水平的特征表示。然后采用对比学习来最大化具有相同刺激的扩充组的组级表征的相似性。SGMC在公开的DEAP数据集上实现了最先进的情感识别结果,在效价和唤醒维度上的准确率分别为94.72%和95.68%,并且在公开的SEED数据集上也达到了具有竞争力的性能,准确率为94.04%。值得注意的是,即使使用有限的标签,SGMC也显示出显着的性能。此外,特征可视化的结果表明,该模型可能已经学习了视频级别的情感相关特征表示,以提高情感识别。在超参数分析中进一步评估了群体规模的影响。最后,进行了对比实验和烧蚀研究,以检验建筑的合理性。该代码在网上公开提供。
2022-08-02 cs.AI cs.LG cs.NE