Better Simulations for Validating Causal Discovery with the DAG-Adaptation of the Onion Method
University of Minnesota(明尼苏达大学);Institute for Health Informatics, University of Minnesota(明尼苏达大学健康信息学研究所)
针对因果发现算法验证缺乏标准模拟的问题,提出DaO方法,通过均匀采样与DAG一致的相关矩阵空间生成线性模型,提供Python和R实现,并倡导作为公平通用基准。
2024-05-21 cs.AI stat.ME
A fast PC algorithm for high dimensional causal discovery with multi-core PCs
University of South Australia(南澳大利亚大学);Zhejiang Normal University(浙江师范大学);USTC(中国科学技术大学)
从观测数据中发现因果关系是一个至关重要的问题,它在许多研究领域都有应用。PC算法是用于因果发现的最先进的基于约束的方法。然而,在最坏的情况下,PC算法的运行时间与节点(变量)的数量呈指数关系,因此当应用于高维数据(例如基因表达数据集)时效率低下。另一方面,过去十年中计算机硬件的进步导致了多核个人计算机的广泛可用性。有一个重要的动机是设计一个并行PC算法,适用于个人计算机,并不需要最终用户的并行计算知识超出他们的能力,在使用PC算法。在本文中,我们开发了并行PC,一个快速和内存效率的PC算法,使用并行计算技术。我们将我们的方法应用于一系列合成和真实世界的高维数据集。在DREAM 5挑战的数据集上的实验结果表明,原始PC算法在运行超过24小时后无法产生任何结果;同时,我们的并行PC算法在4核CPU计算机上在12小时内完成,在8核CPU计算机上不到6小时。此外,我们将并行PC到因果推理方法推断miRNA-mRNA的调控关系。实验结果表明,并行PC有助于提高因果推理算法的效率和准确性。
2016-11-10 cs.AI
Gains: Fine-grained Federated Domain Adaptation in Open Set
Laboratory for Big Data and Decision(大数据与决策实验室);College of Science(科学学院);Department of Computer Science and Technology(计算机科学与技术系)
针对开放联邦场景中新客户端持续加入带来的知识发现与适应问题,提出Gains,通过编码器—分类器拆分、细粒度发现、贡献聚合及抗遗忘机制提升源域与目标域性能。
2025-10-12 cs.AI cs.LG
Feature-Based Instance Neighbor Discovery: Advanced Stable Test-Time Adaptation in Dynamic World
Tsinghua University(清华大学);Shenzhen Technology University(深圳技术大学);Sichuan Agricultural University(四川农业大学)
针对测试时适应中的动态多分布问题,本文提出FIND框架,通过LFD、FABN和S-FABN实现稳定高效的特征分区与归一化,准确率提升30%。
2025-06-07 cs.AI cs.CV cs.LG
Open-Ended Diverse Solution Discovery with Regulated Behavior Patterns for Cross-Domain Adaptation
Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院)
针对强化学习策略在跨域部署时因行为不受限而易失效的问题,提出Diversity in Regulation (DiR)方法,通过行为模式正则化训练多样策略以发现利于泛化的模式,显著提升了跨域适应性能。
2023-05-20 cs.AI cs.LG
Diverse Parallel Data Synthesis for Cross-Database Adaptation of Text-to-SQL Parsers
Indian Institute of Technology Bombay(印度理工学院孟买分校)
文本到SQL解析器通常在训练期间与看不见的数据库作斗争。由于新模式中缺少自然语言查询,使解析器适应新数据库是一个具有挑战性的问题。我们提出了ReFill,一个框架,用于合成高质量和文本多样的并行数据集,以适应文本到SQL解析器的目标模式。ReFill学习从现有模式中检索和编辑文本查询,并将其传输到目标模式。我们发现,检索不同的现有文本,掩盖其特定于模式的令牌,并重新填充与目标模式相关的令牌,导致更多样化的文本查询比标准的SQL到文本生成方法。通过跨多个数据库的实验,我们证明了使用ReFill合成的数据集上的微调解析器始终优于先前的数据增强方法。
2022-10-29 cs.AI cs.CL cs.LG
DaLC: Domain Adaptation Learning Curve Prediction for Neural Machine Translation
NAVER Corp.(NAVER公司);NAVER LABS Europe(NAVER欧洲实验室)
神经机器翻译(NMT)模型的领域自适应(DA)通常依赖于一个预先训练好的通用NMT模型,该模型在域内并行数据样本上适应新的领域。如果没有并行数据,就无法估计DA的潜在益处,也无法估计它所需的并行样本量。然而,这是一个理想的功能,可以帮助MT从业者在投入资源创建数据集之前做出明智的决定。我们提出了一个领域自适应学习曲线预测(DaLC)模型,该模型基于源语言中的领域内单语样本预测未来DA性能。我们的模型依赖于NMT编码器表示与各种实例和语料库级别的功能相结合。我们证明,实例级是更好地区分不同的领域相比,在以前的研究中提出的语料库级别的框架。最后,我们对结果进行了深入的分析,强调了我们方法的局限性,并为未来的研究提供了方向。
2022-04-20 cs.AI cs.CL
Trustless parallel local search for effective distributed algorithm discovery
University College London(伦敦大学学院);Comrade Cooperative(Comrade合作社)
元启发式搜索策略已经证明了它们在各种情况下对人造解决方案的有效性。它们通常在局部搜索区域开发中是有效的,并且它们的整体性能在很大程度上受到探索和开发之间的平衡的影响。并行局部搜索的最新发展探索了利用高效的局部搜索并达到令人印象深刻的结果的方法。然而,这限制了私有可信计算机集群内的节点的扩展潜力。在这项研究中,我们提出了一种新的区块链协议,允许并行本地搜索扩展到不可信和匿名的计算节点。该协议引入了可公开验证的性能评估的局部最优值报告的每个节点,创造了一个竞争的环境之间的局部搜索。这是加强与经济刺激,以产生良好的解决方案,提供协调之间的节点,因为每个节点试图探索不同部分的搜索空间击败他们的竞争。
2020-04-02 cs.AI cs.DC
Causal Discovery Inspired Unsupervised Domain Adaptation for Emotion-Cause Pair Extraction
Monash University(莫纳什大学);Victorian Institute of Forensic Medicine(维多利亚法医研究所)
针对跨域情感-原因对抽取,本文提出受因果发现启发的CAREL-VAE模型,利用情感知识桥接事件分布并通过变分后验正则化解耦表示,在中英文基准上显著超越最强基线。
2025-02-17 cs.AI cs.CL cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
A Parallel Algorithm for Exact Bayesian Structure Discovery in Bayesian Networks
Iowa State University(爱荷华州立大学);Sage Bionetworks;Georgia Institute of Technology(佐治亚理工学院)
贝叶斯网络中的精确贝叶斯结构发现需要指数级的时间和空间。使用动态规划(DP),已知的最快的顺序算法计算$O(2(d+1)n2^n)$时间和空间中的结构特征的精确后验概率,如果贝叶斯网络中的节点(变量)的数量是$n$并且每个节点的入度(父节点的数量)由常数$d$限定。在这里,我们提出了一个并行算法,能够计算精确的后验概率的所有$n(n-1)$边缘具有最佳的并行空间效率和接近最佳的并行时间效率。也就是说,如果使用$p=2^k$处理器,则运行时间减少到$O(5(d+1)n2^{n-k}+k(n-k)^d)$,并且空间使用变为每个处理器$O(n2^{n-k})$。我们的算法是基于观察到的顺序DP算法中的子问题构成一个$n$ - $D$超立方体。我们采取了一种微妙的方式来协调相关的DP程序的计算,从而抑制了大量的数据交换。此外,我们开发的两个变种的著名的\emph{zeta transform},这有应用程序的贝叶斯网络的上下文之外的并行技术。我们证明了我们的算法的能力,数据集上的变量多达33个,其可扩展性高达2048处理器。我们将我们的算法应用到一个生物数据集,发现酵母信息素反应途径。
2016-08-13 cs.AI cs.DC cs.LG
Beyond Transfer Accuracy: Mechanism-Guided Controlled Adaptation for Low-Resource Languages
Monash University Indonesia(印度尼西亚墨尔本大学);Institute Teknologi Bandung(Bandung理工大学);MBZUAI(MBZUAI研究所);Boston University(波士顿大学)
提出基于上下文分解的电路发现方法(CD-T),通过标签平衡激活均值和任务方向相关性评分实现无反事实电路发现,并利用电路目标监督微调(CT-SFT)在低资源跨语言情感迁移中最小化灾难性遗忘,优于全局微调。
2026-09-03 cs.AI cs.CL cs.LG
Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation
Nanjing University(南京大学);Alibaba DAMO Academy(阿里巴巴达摩院);Peng Cheng Laboratory(鹏城实验室)
最近,$k$ NN-MT已经显示出直接将预训练的神经机器翻译(NMT)模型与特定于域的令牌级$k$ -最近邻($k$ NN)检索相结合以实现领域自适应而无需再训练的有前途的能力。尽管在概念上很有吸引力,但它严重依赖于高质量的域内平行语料库,限制了其在无监督领域自适应方面的能力,其中域内平行语料库很少或不存在。在本文中,我们提出了一个新的框架,直接使用领域内的单语句子在目标语言中构建一个有效的$k$最近邻检索的搜索引擎。为此,我们首先引入一个基于目标语言的自动编码任务,然后在原NMT模型中插入轻量级适配器,将该任务的标记级表示映射为翻译任务的理想表示。多域数据集上的实验表明,我们提出的方法显着提高了目标端单语数据的翻译精度,同时实现了与反向翻译相当的性能。
2022-05-25 cs.AI cs.CL cs.LG
Evidential Reasoning in Parallel Hierarchical Vision Programs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
本文提出了一种有效的适应和应用的证据理论,一个可以有效地用于大规模并行层次系统的视觉模式感知的Dempster-Shafer。它描述了所使用的技术,并在一个扩展的示例中显示了它们如何在应用多层次的过程集时提高系统的性能。
2013-03-27 cs.AI cs.CV
Newton to Einstein: Axiom-Based Discovery via Game Design
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出将科学发现从归纳学习转向基于公理的推理,通过游戏设计框架使智能体演化规则以解释异常,初步实验证明其能解决先前难题,为创造性、可解释的理论驱动发现奠定基础。
2025-09-05 cs.AI cs.CE
Hierarchical Meta-Reinforcement Learning via Automated Macro-Action Discovery
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mississippi State University(密西西比州立大学)
针对元强化学习在复杂高维任务上的挑战,提出三层架构自动发现任务无关宏动作以引导原始策略学习,提升样本效率与成功率。
2024-12-16 cs.AI cs.LG
Scaling Discovery Requires Forgetting
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);Bespoke Labs
该研究针对LLM智能体规模化自动化研究的平台期问题,提出通过定期遗忘搜索状态的方法,在四项任务上较并行智能体和单个智能体分别实现最高15%、39%的性能提升。
2026-10-15 cs.AI cs.CL
The AI Telco Engineer: Toward Autonomous Discovery of Wireless Communications Algorithms
NVIDIA
本文探讨了代理AI自主设计无线通信算法的能力,通过框架生成、评估和优化候选算法,在物理层和介质访问控制层完成任务,算法性能优于传统方法且具备可解释性。
2026-04-11 cs.AI cs.IT cs.MA