Guided-GAN: Adversarial Representation Learning for Activity Recognition with Wearables
The University of Adelaide(阿德莱德大学);Monash University(莫纳什大学)
人体活动识别是普适计算中的一个重要研究领域,大规模标记传感器数据的获取是繁琐、劳动密集和耗时的。为了减轻HAR中数据注释的负担而研究的最先进的无监督补救措施主要是探索训练自动编码器框架。在本文中:我们探索了生成对抗网络(GAN)范例,以从可穿戴传感器数据中学习无监督特征表示;并设计了一种新的GAN框架-几何引导GAN或引导GAN-用于该任务。为了证明我们的公式的有效性,我们评估了三个下游分类基准上以无监督方式由Guided-GAN学习的特征。我们的研究结果表明,Guided-GAN的性能优于现有的无监督方法,同时接近完全监督学习表示的性能。所提出的方法为弥合无监督和有监督的人类活动识别之间的差距铺平了道路,同时有助于降低人类数据注释任务的成本。
2021-10-12 cs.AI cs.LG
Theory-guided hard constraint projection (HCP): a knowledge-based data-driven scientific machine learning method
Peng Cheng Laboratory(鹏城实验室);The University of Tokyo(东京大学);Southern University of Science and Technology(南方科技大学);Peking University(北京大学);Malardalen University(马拉达伦大学);LocationMind Inc.(LocationMind公司)
机器学习模型已经成功地应用于许多科学和工程领域。然而,它仍然是一个模型,同时利用领域知识和实验观测数据困难。以专家系统为代表的基于知识的符号AI的应用受到模型表达能力的限制,而以神经网络为代表的数据驱动的连接主义AI则容易产生违反物理机制的预测。为了充分整合领域知识和观测数据,充分利用先验信息和神经网络的强大拟合能力,提出了理论引导的硬约束投影(HCP)方法。该模型通过离散化将控制方程等物理约束转化为易于处理的形式,然后通过投影实现硬约束优化。基于严格的数学证明,理论引导的HCP可以确保模型预测严格符合约束补丁中的物理机制。基于非均质地下水流问题的实验验证了理论引导的HCP的性能。由于硬约束的应用,与全连接神经网络和软约束模型(如理论引导神经网络和物理信息神经网络)相比,理论引导HCP需要的数据更少,预测精度更高,对噪声观测的鲁棒性更强。
2021-01-23 cs.AI cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术院)
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题,通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
Human-Guided Complexity-Controlled Abstractions
MIT(麻省理工学院);UC Irvine(加州大学尔湾分校)
本文提出通过调节离散表示分布的熵来控制表示复杂度,并证明人类能够借助可视化选择适合任务的复杂度水平,从而利用人类洞察实现快速模型微调。
2023-10-27 cs.AI cs.LG
RuleEdit: Failure-Guided Human-AI Model Editing with Prospective Impact Preview
Singapore Management University(新加坡国立大学)
提出RuleEdit系统,通过规则表的不匹配信号检测失败并预览模型编辑的影响,在卒中康复评估中显著提升人机协同性能。
2026-04-12 cs.AI cs.HC cs.LG
LGML: Logic Guided Machine Learning
University of Waterloo(滑铁卢大学)
我们介绍了逻辑引导机器学习(LGML),一种新的方法,共生结合机器学习(ML)和逻辑求解器的目标是从数据中学习数学函数。LGML由两个阶段组成,即学习阶段和具有校正反馈回路的逻辑阶段,使得学习阶段从输入数据学习符号表达式,并且逻辑阶段交叉验证学习的表达式与已知辅助真理的一致性。如果不一致,逻辑阶段将“反例”反馈给学习阶段。重复这个过程,直到学习的表达式与辅助真理一致。使用LGML,我们能够学习对应于勾股定理和正弦函数的表达式,与基于开箱即用的多层感知器(MLP)的方法相比,数据效率提高了几个数量级。
2021-03-29 cs.AI
Machine Education: Designing semantically ordered and ontologically guided modular neural networks
University of New South Wales Canberra(新南威尔士大学堪培拉分校);University of Canberra(堪培拉大学);Defence Science and Technology(国防科学技术组织)
关于机器教学、机器教育和机器课程设计的文献还处于起步阶段,关于这个主题的论文很少,主要集中在数据和模型工程因素上,以改善机器学习。在本文中,我们首先讨论了迄今为止在机器教学和教育方面的一些尝试。然后,我们将理论和方法从人类教育到结构,并在数学上定义机器教育课程设计中的核心问题,以及支持机器教育步骤所需的建模方法。最后,但并非最不重要的是,我们提供了一个基于本体的方法来指导课程计划的开发,以产生透明和可解释的模块化学习机器,包括神经网络。
2020-02-07 cs.AI cs.CY
Knowledge-guided Machine Learning: Current Trends and Future Prospects
Virginia Tech(弗吉尼亚理工大学);University of Pittsburgh(匹兹堡大学);University of Minnesota(明尼苏达大学)
本文综述了科学知识引导机器学习(KGML)的研究现状,分析了知识类型、集成形式与融入方法,并展望其在环境科学中的典型应用与未来前景。
2024-05-01 cs.AI cs.CE cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University(亚利桑那州立大学);Apple(苹果公司)
强化学习(RL)代理的奖励是具有挑战性的。基于偏好的强化学习(PbRL)通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而,PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励(PRIOR)框架,它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束,可以减少一半所需的反馈量,并提高整体奖励恢复。此外,我们证明,使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
DreamControl: Human-Inspired Whole-Body Humanoid Control for Scene Interaction via Guided Diffusion
General Robotics(通用机器人技术公司);University of California, Berkeley(加州大学伯克利分校);Brown University(布朗大学)
提出 DreamControl,用人体运动数据训练扩散先验并引导仿真中的 RL 策略,使 Unitree G1 获得自然、可迁移的全身场景交互技能。
2025-09-30 cs.AI cs.LG cs.RO
Human-Aware Belief Revision: A Cognitively Inspired Framework for Explanation-Guided Revision of Human Models
Washington University in St. Louis(圣路易斯华盛顿大学)
针对传统信念修正框架忽视人类寻求解释认知模式的问题,提出认知启发的Human-Aware Belief Revision框架,通过非最小化的解释引导方式修正人类模型,并经两项人类受试者研究验证其有效性,为开发人类感知AI系统提供指导。
2024-08-22 cs.AI
Detection of Unknown-Unknowns in Human-in-Plant Human-in-Loop Systems Using Physics Guided Process Models
Arizona State University(亚利桑那州立大学)
针对安全关键型人在回路人在设备系统的未知-未知场景检测问题,提出结合DiH-RNN与物理引导代理模型的检测框架,并在人工胰腺系统上验证了对未知胰岛素药筒故障的检测效果。
2023-12-12 cs.AI cs.SY eess.SY
CLIP-guided Diffusion Model for Backdoor Generation in Sensor-based Human Activity Recognition
提出IMU-DM-CLIP方法,利用扩散模型生成带后门的合成数据,以10%注入率和10%引导数据成功攻击HAR模型。
2026-06-23 cs.AI cs.CR cs.LG
VORTEX: Aligning Task Utility and Human Preferences through LLM-Guided Reward Shaping
Department of Computer Science, Harvard University(计算机科学系,哈佛大学)
本文提出VORTEX框架,利用LLM通过自然语言反馈迭代生成塑形奖励,在不修改求解器的情况下实现任务效用与人类偏好的帕累托最优对齐,并在分配任务中验证其有效性。
2025-09-19 cs.AI
Confidence-Guided Human-AI Collaboration: Reinforcement Learning with Distributional Proxy Value Propagation for Autonomous Driving
Tianjin Key Laboratory of Intelligent Unmanned Swarm Technology and System, School of Electrical and Information Engineering, Tianjin University(天津智能无人群技术与系统重点实验室,电气与信息工程学院,天津大学);Key Laboratory of System Control and Information Processing, Ministry of Education of China(系统控制与信息处理重点实验室,中华人民共和国教育部);School of Mechanical Engineering, Shanghai Jiao Tong University(机械工程学院,上海交通大学)
本文提出置信度引导的人机协同策略C-HAC,在DSAC框架下利用分布式代理价值传播和置信度评估实现人类引导与自学习策略动态切换,以最少人类干预提升自动驾驶安全性、效率与整体性能。
2025-06-05 cs.AI cs.RO
Using Human-Guided Causal Knowledge for More Generalized Robot Task Planning
Brown University(布朗大学)
涉及人工智能(AI)的研究的一个主要挑战是开发算法,这些算法可以找到可以推广到不同环境和任务的问题的解决方案。与人工智能不同,人类善于找到可以转移的解决方案。我们假设这是因为他们的解决方案是由因果模型告知的。我们建议使用人类引导的因果知识来帮助机器人找到可以推广到新环境的解决方案。我们开发和测试的语言接口,天真的参与者可以用来沟通这些因果模型的规划的可行性。我们发现初步证据表明,参与者能够使用我们的界面,并生成因果模型,实现近泛化。我们概述了一个实验,旨在测试远泛化使用我们的接口,并描述我们的长期目标,这些因果模型。
2021-10-09 cs.AI cs.RO
Toward Machine-Guided, Human-Initiated Explanatory Interactive Learning
KU Leuven(鲁汶大学);University of Trento(特伦托大学)
最近的工作已经证明了将局部解释与主动学习相结合来理解和监督黑盒模型的前景。在这里,我们表明,在特定条件下,这些算法可能会歪曲正在学习的模型的质量。原因是机器通过预测和解释查询实例的标签来说明它的信念:如果机器不知道自己的错误,它可能最终选择它人为表现良好的查询。我们通过引入解释性引导学习来解决这种叙事偏见,解释性引导学习是一种新颖的交互式学习策略,其中:i)监督者负责选择查询实例,而ii)机器使用全局解释来说明其整体行为,并指导监督者选择具有挑战性的,信息丰富的实例。这种策略保留了解释性互动的关键优势,同时避免了叙事偏见,并在样本复杂性方面优于主动学习。基于聚类的原型的初步实证评估突出了我们的方法的承诺。
2020-07-20 cs.AI
ContactHandover: Contact-Guided Robot-to-Human Object Handover
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
本文提出ContactHandover系统,通过预测人类接触点可供性图来引导机器人抓取和递送姿态,在27个家用物体上验证了其提升交接可见性与可达性的效果。
2024-09-30 cs.AI cs.CV cs.RO
Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种将符号知识图谱赋予Transformer网络的方法,通过运行时增强注意力机制,利用短视频片段预测长期人类动作,在Breakfast和50Salads数据集上比现有方法提升最多9%。
2023-09-12 cs.AI cs.CV
TruePose: Human-Parsing-guided Attention Diffusion for Full-ID Preserving Pose Transfer
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Institute of High Performance Computing (IHPC)(高性能计算研究所);Centre for Frontier AI Research (CFAR)(前沿人工智能研究中心)
TruePose提出人体解析引导的注意力扩散方法,通过孪生UNet、HPFA和CAA模块在姿态迁移中同时保持面部与服装外观,实验证明其优于13种基线方法。
2025-02-05 cs.AI cs.CV
Widening the Pipeline in Human-Guided Reinforcement Learning with Explanation and Context-Aware Data Augmentation
Arizona State University(亚利桑那州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
人类解释(例如,在特征重要性方面)最近被用于扩展交互式机器学习中人与代理之间的通信信道。在这种情况下,人类训练师不仅提供基本事实,还提供某种形式的解释。然而,这种人类指导只在监督学习任务中进行了研究,目前还不清楚如何将这种类型的人类知识最好地融入深度强化学习。在本文中,我们提出了第一个研究使用人类视觉解释的人在回路强化学习(HRL)。我们专注于从反馈中学习的任务,其中人类训练员不仅为查询的状态-动作对提供二进制评价性“好”或“坏”反馈,而且还通过注释图像中的相关特征提供视觉解释。我们提出了EXPAND(解释增强反馈),以鼓励模型编码任务相关的功能,通过上下文感知的数据增强,只扰动人类显着信息中的不相关的功能。我们选择了五个任务,即Pixel-Taxi和四个Atari游戏,来评估这种方法的性能和样本效率。我们表明,我们的方法显着优于利用人类解释的方法,这些方法适用于监督学习,以及仅利用评估反馈的人在回路RL基线。
2021-10-26 cs.AI
Self-Guided Curriculum Learning for Neural Machine Translation
Nagoya University(名古屋大学);The University of Sydney(悉尼大学);Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学)
在机器学习领域,假设经过良好训练的模型能够恢复训练标签,即模型预测的合成标签应该尽可能接近地面真实标签。受此启发,我们提出了一个自我指导的课程策略,以鼓励神经机器翻译(NMT)模型的学习遵循上述恢复标准,其中我们投每个训练样本的恢复程度作为其学习难度。具体来说,我们采用句子级别的BLEU分数作为恢复程度的代理。与现有的课程依赖于语言先验知识或第三方语言模型不同,我们选择的学习难度更适合衡量NMT模型的知识掌握程度。在WMT 14 English $\Rightarrow$ German和WMT 17 Chinese $\Rightarrow$ English两个翻译基准测试上的实验表明,该方法可以在强基线Transformer上持续提高翻译性能。
2021-08-27 cs.AI cs.CL
VGFlow: Visibility guided Flow Network for Human Reposing
Adobe(奥多比);Adobe Research(奥多比研究院)
人类休息的任务涉及到生成一个人站在一个任意的可想象的姿势的现实图像。在生成感知上准确的图像方面存在多种困难,并且现有方法在保留纹理、保持图案连贯性、尊重布料边界、处理遮挡、操纵皮肤生成等方面受到限制。这些困难由于以下事实而进一步加剧:人类的姿势取向的可能空间大且可变,服装物品的性质是高度非刚性的,体型的多样性在种群中差异很大。为了减轻这些困难,并合成感知准确的图像,我们提出了VGFlow。我们的模型使用了一个可识别性引导的流模块,将流分解为目标的可见和不可见部分,以同时保持纹理和样式操作。此外,为了处理不同的身体形状并避免网络伪影,我们还引入了一个自监督的逐块“真实性”损失来改善输出。VGFlow可在不同的图像质量指标(SSIM、LPIPS、FID)上定性和定量观察到最先进的结果。
2023-03-28 cs.AI cs.CV
Human Attention-Guided Explainable Artificial Intelligence for Computer Vision Models
University of Hong Kong(香港大学);Huawei Research Hong Kong(华为香港研究院);City University of Hong Kong(香港城市大学)
该研究针对计算机视觉模型的显著性可解释AI方法,提出人类注意力引导的HAG-XAI框架,通过可训练函数与平滑核对齐人类注意力,在目标检测任务上同时提升解释的合理性与忠实度。
2023-05-05 cs.AI cs.CV
Dancing Avatar: Pose and Text-Guided Human Motion Videos Synthesis with Image Diffusion Model
Zhejiang University(浙江大学)
本文提出 Dancing Avatar,利用预训练 T2I 扩散模型并结合帧内、背景与帧间对齐模块,实现文本和姿态引导的高一致性人体运动视频生成。
2023-08-15 cs.AI cs.CV
Pose Guided Human Image Synthesis with Partially Decoupled GAN
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学);Shanghai International Studies University(上海外国语大学)
姿态引导的人体图像合成(PGHIS)是一个具有挑战性的任务,将人体图像从参考姿态转换为目标姿态,同时保持其风格。现有的方法大多将参考人体图像的纹理编码到一个隐空间中,然后利用解码器合成目标姿态的图像纹理。然而,很难恢复整个人体图像的细节纹理。为了缓解这个问题,我们提出了一种方法,通过解耦的人体成几个部分(\eg,头发,脸,手,脚,\etc),然后使用这些部分中的每一个来指导合成的人,它保留了生成的图像的详细信息的逼真的图像。此外,我们设计了一个基于多头注意力的PGHIS模块。由于大多数基于卷积神经网络的方法由于卷积运算而难以建模长距离依赖性,因此注意力机制的长距离建模能力比卷积神经网络更适合于姿态转移任务,特别是对于尖锐的姿态变形。在Market-1501和DeepFashion数据集上进行的大量实验表明,我们的方法在定性和定量指标方面几乎优于其他现有的最先进的方法。
2022-10-07 cs.AI cs.CV
Doc-Guided Sent2Sent++: A Sent2Sent++ Agent with Doc-Guided memory for Document-level Machine Translation
Huawei Translation Services Center(华为翻译服务中心)
针对现有文档级机器翻译方法易漏句或流畅度不足的问题,提出带文档引导记忆的Doc-Guided Sent2Sent++智能体,采用增量句子级强制解码策略,在多语言多领域测试中多项指标显著优于现有方法。
2025-01-15 cs.AI cs.CL
Language guided machine action
Alibaba-Group(阿里巴巴集团);University of Oxford(牛津大学)
本文构建了一个层次化的模块化网络,称为语言引导机器动作(LGMA),其模块模仿人类大脑皮层网络处理信息流,可以完成语言引导动作、意图分解和动作执行前的心理模拟等多个一般任务。LGMA包含3个主要系统:(1)初级感觉系统,包含视觉、语言和感觉运动的多模态感觉信息。(2)联想系统涉及到认知语言的理解和合成、感觉运动和语言之间的转换、语言和视觉之间的转换、以及将注意的视觉对象和手臂状态整合到未来空间动作的认知地图中的上顶叶。前辅助运动区(pre-SMA)可以将高级意图转化为顺序的原子动作,而SMA可以将这些原子动作、当前手臂和被关注对象状态整合为感觉运动向量,通过手臂的前运动和主运动对手臂施加相应的力矩,实现意图。高级执行系统包括前额叶皮层(PFC),前额叶皮层负责外显推理,引导基于语言的自主行为;
2020-11-23 cs.AI cs.CL q-bio.NC
Human-like machine thinking: Language guided imagination
University of Oxford(牛津大学)
人类的思维需要大脑理解语言表达的含义,并使用语言正确地组织思想流。然而,当前的自然语言处理模型主要局限于单词概率估计。在这里,我们提出了一个语言引导的想象力(LGI)网络,以逐步学习大量单词和语法的含义和用法,旨在形成一个类似人类的机器思维过程。LGI包含三个子系统:(1)视觉系统,其包含用于将输入或想象的场景分解成抽象的群体表示的编码器,以及用于从更高级别的表示重构想象的场景的想象解码器;(2)语言系统,包含将符号文本转换为二进制向量的二进制化器,IPS(模仿人类顶内沟,由LSTM实现)从输入文本中提取数量信息,以及将二进制向量转换为文本符号的textizer;(3)PFC(模仿人类前额叶皮层,由LSTM实现),结合语言和视觉表示的输入,并相应地预测文本符号和操作图像。LGI逐步学习了八种不同的语法(或任务),通过语言和视觉系统之间的适当交互,形成了一个机器思维循环并得到了验证。本文提供了一种新的架构,让机器以类似人类的方式学习,理解和使用语言,最终使机器能够构建虚拟的“心理”场景并拥有智能。
2019-06-01 cs.AI cs.CL q-bio.NC
Human-AI Collaborative Inductive Thematic Analysis: AI Guided Analysis and Human Interpretive Authority
University of Georgia(佐治亚大学);Kutztown University(库茨敦大学);College of Nursing, Midwifery and Allied Health Sciences(护理、助产与联合健康科学学院);University of Connecticut(康涅狄格大学)
本文探讨了人类与人工智能协作进行归纳主题分析的过程,展示了AI工具如何辅助分析流程并增强透明性,同时强调人类在解释权威中的核心作用。
2026-01-17 cs.AI cs.CY
Can a Robot Trust You? A DRL-Based Approach to Trust-Driven Human-Guided Navigation
University of Maryland, College Park(马里兰大学帕克分校)
众所周知,人类使用各种感知输入来构建其日常环境的认知地图。因此,当一个人被要求向一个特定的位置方向,他们的寻路能力转换这个认知地图到方向指令的挑战。由于空间焦虑,口头指示中使用的语言可能是模糊的,往往不清楚。为了解释这种不可靠的导航指导,我们提出了一种新的基于深度强化学习(DRL)的信任驱动的机器人导航算法,学习人类的可信度来执行语言引导的导航任务。我们的方法旨在回答机器人是否可以信任人类的导航指导的问题。为此,我们着眼于训练一种策略,该策略仅使用可信赖的人类指导来学习导航到目标位置,并由其自己的机器人信任度量驱动。我们着眼于从基于语言的指令中量化各种情感特征,并以人类信任度量的形式将它们纳入我们的策略的观察空间。我们利用这两个信任度量到一个最佳的认知推理方案,决定何时和何时不信任给定的指导。我们的研究结果表明,学习的政策可以导航环境中的最佳,时间效率的方式,而不是一个探索性的方法,执行相同的任务。我们在模拟和现实环境中展示了我们的结果的有效性。
2020-11-01 cs.AI cs.MA cs.RO
Towards Proof Synthesis Guided by Neural Machine Translation for Intuitionistic Propositional Logic
IBM Research -- Tokyo(IBM研究院(东京));Kyoto University(京都大学)
受深度神经网络(DNN)在机器学习中的最新发展的启发,我们探索了它们在PL相关主题中的应用。本文是实现这一目标的第一步;我们提出了一种无否定命题逻辑的证明合成方法,其中我们使用DNN来获得证明搜索的指南。这个想法是把证明综合问题看作是从命题到其证明的转换。我们训练seq 2seq,这是神经机器翻译中的一个流行网络,因此它生成一个编码为给定命题的$λ$ -项的证明。我们实现了整个框架,并根据经验观察到,生成的证明项在AST的树编辑距离方面接近于正确的证明。这一观察结果证明了使用经过训练的seq 2seq模型的输出作为证据搜索的指导是合理的。
2017-06-20 cs.AI cs.LO cs.PL
Human-guided Collaborative Problem Solving: A Natural Language based Framework
University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft Research India(微软印度研究院);Washington State University(华盛顿州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Pennsylvania(宾夕法尼亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑的问题,人机协作问题解决的规划任务加上自然语言通信。我们的框架由三个组成部分-一个自然语言引擎,解析的语言话语的正式表示,反之亦然,一个概念学习者,诱导广义概念的计划的基础上有限的互动与用户,和一个HTN计划,解决了任务的基础上,人类的互动。我们说明了这个框架的能力,以解决协作解决问题的关键挑战,通过演示它在一个基于Minecraft的blocksworld域的协作建设任务。随附的演示视频可在https://youtu.be/q1pWe4aahF0上获得。
2022-07-19 cs.AI cs.CL cs.HC
Uncertainty-guided annotation enhances segmentation with the human-in-the-loop
Radboud University Medical Center(拉德堡德大学医学中心);Linköping University(林雪平大学)
针对深度学习模型临床应用的透明度不足与域外分布问题,提出不确定性引导标注(UGA)人在回路框架,通过像素级不确定性量化辅助临床医生修正,在Camelyon数据集上显著提升淋巴结转移分割性能并开源代码。
2024-02-16 cs.AI cs.CV cs.HC