Unsupervised Features Mining via Activation Geometry
介绍通过激活几何挖掘（MAG）的无监督框架，在输入前加指令Q，用m(Q∣p)-m(p)衡量其对模型内部表征的影响，探索多种MAG，所提取特征可预测模型理解与判断，还用于选择最佳训练数据集。
2026-07-07 cs.AI
Intent Mining from past conversations for conversational agent
Accenture Labs（埃森哲实验室）
对话系统是AI社区的主要兴趣。聊天机器人越来越多地被部署来提供全天候支持并提高客户参与度。许多商业机器人构建框架遵循一种标准方法，该方法要求构建和训练意图模型以识别用户输入。意图模型在有监督的设置中使用文本话语和意图标签对的集合进行训练。为不同的意图收集大量和广泛的训练数据是机器人构建过程中的瓶颈。此外，标记一百到数千个具有意图的对话的成本是一项耗时费力的工作。在本文中，我们提出了一个意图发现框架，包括4个主要步骤：使用预训练的领域不可知对话行为分类器从对话中提取文本话语（数据提取），相似用户话语的自动聚类（聚类），使用Intent标签手动注释聚类（标记）并将意图标签传播到来自先前步骤的话语，其未被映射到任何聚类（标签传播）;以从原始会话生成意图训练数据。针对不平衡数据的聚类问题，提出了一种新的基于密度的聚类算法ITER-DBSCAN。主题专家（具有领域专业知识的注释者）手动查看聚类的用户话语，并提供用于发现的意图标签。我们进行了用户研究，以验证在意图覆盖率、准确性和节省手动注释时间方面生成的训练意图模型的有效性。虽然系统被开发用于构建会话系统的意图模型，但是该框架也可以用于短文本聚类或作为标记框架。
2021-01-18 cs.AI cs.CL cs.LG
Investigating Classification Techniques with Feature Selection For Intention Mining From Twitter Feed
De Montfort University（德蒙福特大学）
在过去的十年中，社交网络成为最流行的通信和交互媒介。例如，微型博客服务Twitter拥有2亿多注册用户，每天交换6 500多万条帖子。用户通过这些推文表达他们的想法，想法，甚至他们的意图。大多数推文都是非正式的，而且经常使用俚语，其中包含拼写错误和缩写词。本文研究了基于文本挖掘技术从Twitter提要中提取用户意图的特征选择问题。它首先介绍了我们用来从提取的Twitter提要构建自己的数据集的方法。在此之后，我们提出了两种技术的特征选择，然后分类。在第一种技术中，我们使用信息增益作为一个阶段的特征选择，其次是监督分类算法。在第二种技术中，我们使用了一种混合的方法，基于前向特征选择算法，其中两个特征选择技术采用其次是分类算法。我们研究这两种技术与四个分类算法。我们使用自己的数据集进行评估，并严格审查结果。
2020-01-22 cs.AI cs.IR cs.LG
Mining and Transferring Feature-Geometry Coherence for Unsupervised Point Cloud Registration
Nanyang Technological University（南洋理工大学）；University of Waterloo（滑铁卢大学）；Xiamen University（厦门大学）
针对无监督点云配准伪标签质量差的问题，提出INTEGER方法，通过特征-几何一致性挖掘模块结合高低层信息生成可靠伪标签，并利用基于锚点的对比学习与混合密度学生模型构建鲁棒特征空间，在KITTI和nuScenes上取得优异性能。
2024-12-24 cs.AI cs.CV
ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning
Université Jean Monnet（让·莫内大学）；Meetic
最近的研究认为，Few-Shot意图检测是一个元学习问题：该模型正在学习从一组连续的小任务中学习。在这项工作中，我们提出了ProtAugment，一个Meta学习算法短文本分类（意图检测任务）。ProtAugment是Prototypical Networks的一个新扩展，它限制了在每个事件中由少数镜头分类目标引入的偏差的过拟合。它依赖于不同的释义：首先对条件语言模型进行微调以进行释义，然后在每个元学习片段的解码阶段引入多样性。多样的释义是无监督的，因为它被应用于未标记的数据，然后作为一致性损失被推向原型网络训练目标。ProtAugment是用于意图检测元学习的最先进的方法，不需要额外的标记工作，也不需要在给定的应用领域上微调条件语言模型。
2021-05-27 cs.AI cs.CL cs.LG
Deep Interest Mining for Intent-Enriched Semantic IDs in Multimodal Generative Recommendation
Amazon（亚马逊）
提出DeepInterestGR框架，通过视觉线索和意图描述符丰富量化前的物品表示，并结合相关性门控语义奖励，提升基于语义ID的生成式推荐性能。
2026-06-01 cs.AI cs.IR
M$^2$-Miner: Multi-Agent Enhanced MCTS for Mobile GUI Agent Data Mining
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）
M$^2$-Miner通过多智能体增强MCTS方法，实现了低成本、高效率的移动GUI智能体数据挖掘，提升了数据质量和挖掘效果。
2026-02-05 cs.AI cs.CV
Knowledge Discovery using Unsupervised Cognition
Avatar Cognition（阿凡达认知公司）
本文提出三种基于已训练Unsupervised Cognition模型的知识发现技术，包括模式挖掘、特征选择和降维，以区分相关与无关特征并提取有意义的模式，实验证明其超越了现有技术水平。
2025-01-28 cs.AI cs.LG
Unsupervised Behavior Extraction via Random Intent Priors
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Automation, Tsinghua University（清华大学自动化系）；Department of Computer Science & Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）
本文提出 UBER，通过随机先验生成多样化伪奖励，从无奖励数据中无监督提取可复用行为策略，提升在线强化学习样本效率并减少对人类监督的依赖。
2023-10-28 cs.AI cs.LG
Hierarchical Skeleton Meta-Prototype Contrastive Learning with Hard Skeleton Mining for Unsupervised Person Re-Identification
Nanyang Technological University（南洋理工大学）；The University of British Columbia（不列颠哥伦比亚大学）
本文提出无监督分层骨架元原型对比学习方法Hi-MPC，结合困难骨架挖掘HSM，通过关节、部件、肢体分层建模与元原型一致性学习，在多个数据集上超越现有骨架行人重识别方法。
2023-09-19 cs.AI cs.CV
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
GUI-explorer: Autonomous Exploration and Mining of Transition-aware Knowledge for GUI Agent
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对GUI智能体在动态环境中的误解和知识过时问题，提出无需训练的GUI-explorer，通过自主探索和转换感知知识挖掘，在SPA-Bench和AndroidWorld上显著超越SOTA。
2025-05-22 cs.AI
AgentOS: From Application Silos to a Natural Language-Driven Data Ecosystem
University of Kansas（堪萨斯大学）；Clemson University（克莱姆森大学）；Arizona State University（亚利桑那州立大学）；Duke University（杜克大学）
本文提出AgentOS，通过自然语言驱动的数据生态系统，解决传统操作系统与智能代理的适配问题，构建持续的数据挖掘管道。
2026-03-11 cs.AI
Unsupervised Law Article Mining based on Deep Pre-Trained Language Representation Models with Application to the Italian Civil Code
University of Calabria（卡拉布里亚大学）
将法律搜索和检索建模为预测问题是近年来法律智能研究中的一种主流方法。专注于法律文章检索任务，我们提出了一个名为LamBERTa的深度学习框架，该框架专为民法法典设计，并专门针对意大利民法典进行了培训。据我们所知，这是第一项基于BERT（来自Transformers的双向编码器表示）学习框架为意大利法律系统提出法律文章预测的高级方法的研究，该框架最近在深度学习方法中引起了越来越多的关注，在几个自然语言处理和学习任务中表现出了出色的效果。我们定义LamBERTa模型微调意大利预训练BERT的意大利民法典或其部分，作为一个分类任务的法律文章检索。我们的LamBERTa框架的一个关键方面是，我们设想它来解决一个极端的分类方案，其特点是大量的类，少样本学习问题，以及缺乏测试查询基准意大利法律预测任务。为了解决这些问题，我们定义了不同的方法来对法律条文进行无监督标注，这些方法原则上可以适用于任何法律条文代码系统。我们提供了我们的LamBERTa模型的可解释性和可解释性的见解，我们提出了一个广泛的实验分析不同类型的查询集，单标签以及多标签评估任务。经验证据表明了LamBERTa的有效性，以及它对广泛使用的深度学习文本分类器和为属性感知预测任务设计的Few-Shot学习器的优越性。
2021-12-02 cs.AI cs.CL cs.IR
Fake News Detection on Social Media: A Data Mining Perspective
Arizona State University（亚利桑那州立大学）；Charles River Analytics（查尔斯河分析公司）；Michigan State University（密歇根州立大学）
社交媒体对新闻消费来说是一把双刃剑。一方面，它的低成本，容易获取和快速传播的信息导致人们从社交媒体中寻找和消费新闻。另一方面，它使“假新闻”得以广泛传播，即，低质量新闻，故意虚假信息。假新闻的广泛传播有可能对个人和社会产生极其负面的影响。因此，社交媒体上的假新闻检测最近成为一项新兴的研究，引起了极大的关注。社交媒体上的假新闻检测呈现出独特的特征和挑战，使得传统新闻媒体的现有检测算法无效或不适用。首先，假新闻是故意编写的，以误导读者相信虚假信息，这使得基于新闻内容的检测变得困难和重要;因此，我们需要包括辅助信息，例如社交媒体上的用户社交活动，以帮助做出决定。其次，利用这些辅助信息本身就具有挑战性，因为用户与假新闻的社交活动会产生大量、不完整、非结构化和嘈杂的数据。由于社交媒体上的假新闻检测问题既具有挑战性又具有相关性，我们进行了这项调查，以进一步促进对该问题的研究。本文对社交媒体上的假新闻检测进行了全面的综述，包括心理学和社会学理论对假新闻的刻画、数据采掘视角下的现有算法、评价指标和代表性数据集。我们还讨论了社交媒体上虚假新闻检测的相关研究领域，开放问题和未来的研究方向。
2017-09-03 cs.AI cs.SI
Generalized Zero-shot Intent Detection via Commonsense Knowledge
University of California, Riverside（加州大学河滨分校）
从自然语言话语中识别用户意图是会话系统中的关键步骤，其已作为监督分类问题被广泛研究。然而，在实践中，部署意图检测模型后会出现新的意图。因此，这些模型应该无缝地适应和分类具有可见和不可见意图的话语-不可见意图在部署后出现，并且它们没有训练数据。针对这种设置的少数现有模型严重依赖于几乎不可用的训练数据，并且过度拟合可见意图数据，导致将具有不可见意图的话语错误分类为可见意图的偏见。我们建议乘坐：意图检测模型以无监督的方式利用常识知识来克服训练数据稀缺的问题。RIDE计算鲁棒且可概括的关系元特征，其捕获话语和意图标签之间的深层语义关系;这些特征通过考虑话语中的概念如何经由常识知识链接到意图标签中的概念来计算。我们对三个广泛使用的意图检测基准进行了广泛的实验分析，结果表明，关系元特征显著提高了检测可见和不可见意图的准确性，并且RIDE在不可见意图方面优于最先进的模型。
2021-02-04 cs.AI cs.CL
Commonsense Knowledge Mining from Pretrained Models
Harvard University（哈佛大学）
推断常识知识是自然语言处理中的一个关键挑战，但由于训练数据的稀疏性，先前的工作表明，用于常识知识挖掘的监督方法在对新数据进行评估时表现不佳。在这项工作中，我们开发了一种方法，使用一个大的，预先训练的双向语言模型生成常识知识。通过将关系三元组转换为屏蔽句，我们可以使用该模型通过估计两个实体之间的逐点互信息来对三元组的有效性进行排序。由于我们不更新双向模型的权重，因此我们的方法不会因任何一个常识知识库的覆盖而有偏见。虽然这种方法在测试集上的表现比在相应的训练集上显式训练的模型差，但在从新的来源中挖掘常识知识时，它优于这些方法，这表明无监督技术可能比当前的监督方法更好地推广。
2019-09-02 cs.AI cs.CL cs.LG
Key-phrase boosted unsupervised summary generation for FinTech organization
BITS Pilani（比尔拉科学技术学院皮拉尼分校）；American Express（美国运通）
针对金融科技领域缺乏标注数据的问题，提出利用'行动-对象'对的无监督短语摘要生成方法，通过上下文指标评估，显著优于基线，并已在Amex部署。
2023-10-16 cs.AI cs.CL
Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
Uniphore（尤尼福尔（Uniphore））
本文提出可控意图发现（CDI）框架，通过无监督对比学习、半监督微调、迭代伪标签优化及无遗忘学习，实现人在回路的增量式意图发现，在CLINC和BANKING上显著优于现有方法。
2024-10-18 cs.AI cs.CL cs.LG
Evolving a Stigmergic Self-Organized Data-Mining
自组织复杂系统通常由大量频繁相似的组件或事件组成。通过它们的过程，一个系统的全局级别的模式仅仅从系统的较低级别组件之间的许多交互中出现。此外，指定系统组件之间的交互的规则仅使用局部信息来执行，而不参考全局模式，这与在许多现实世界的问题中一样不容易访问或不可能找到。Stigmergy，一种在社会昆虫中发现的环境的间接通信和学习是自组织的一个众所周知的例子，不仅提供重要的线索，以了解组件如何相互作用，以产生一个复杂的模式，可以查明简单的生物非线性规则和方法，以实现改进的人工智能自适应分类系统，关键的数据采掘。在目前的工作中，我们的目的是表明，一种新的类型的数据采掘可以设计基于Stigmergic范式，利用这种现象的几个自然特征。通过将仿生群体智能与演化计算相结合，我们寻求一种完全分布式的、自适应的、集体的、协作的自组织数据采掘。作为一个真实世界，实时测试床，我们的建议，万维网挖掘将被使用。考虑到这一目的，网络使用数据是从莫纳什大学的网站（澳大利亚）收集的，每周有700多万次点击。结果进行了比较，最近的其他系统，表明该系统是到目前为止有前途的。
2004-02-28 cs.AI cs.IR
Multi-Modality Transformer for E-Commerce: Inferring User Purchase Intention to Bridge the Query-Product Gap
Kennesaw State University（肯尼索州立大学）；The Home Depot, Inc（家得宝公司）
本文提出多模态Transformer模型PINCER，利用点击流和产品目录数据将用户查询转为伪产品表示，以推断购买意图，实验证明其优于现有方法。
2025-01-21 cs.AI cs.IR cs.LG
TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows
EPFL（洛桑联邦理工学院）；Binome Technologies（Binome科技公司）
本文提出TraceCompiler系统，通过技能引导挖掘含噪声的LLM智能体轨迹并编译为近确定性工作流，在T1、AppWorld数据集上验证了依赖恢复的高精度，实现了Venmo资金请求意图的调用减少。
2026-08-05 cs.AI cs.LG cs.SE
Auto-Intent: Automated Intent Discovery and Self-Exploration for Large Language Model Web Agents
LG AI Research（LG AI研究院）；Field AI；University of Michigan（密歇根大学）
该研究提出Auto-Intent方法，通过无监督发现精简意图、训练意图预测器并结合自探索提示机制，在无需直接微调的情况下提升LLM网页导航智能体性能，且具备跨基准泛化能力。
2024-10-29 cs.AI cs.CL cs.LG
