Layer-to-Layer Knowledge Mixing in Graph Neural Network for Chemical Property Prediction
Monash University(蒙纳士大学);University of Nottingham Ningbo China(宁波诺丁汉大学);University of Haifa(海法大学)
本研究提出层间知识混合(LKM)自蒸馏方法,通过最小化GNN层间隐藏嵌入距离聚合多跳信息,在几乎不增加计算成本下,将化学性质预测误差降低最高45.3%。
2025-10-23 cs.LG
DirectMultiStep: Direct Route Generation for Multistep Retrosynthesis
Yale University(耶鲁大学)
本文提出基于Transformer和专家混合的DirectMultiStep模型,将多步逆合成路线直接生成为单一字符串,在PaRoutes数据集上显著提升Top-1准确率,并能泛化到训练集外的FDA药物,推动了全自动逆合成规划的发展。
2025-03-20 cs.AI cs.LG
A Bayesian algorithm for retrosynthesis
The Institute of Statistical Mathematics, Research Organization of Information and Systems(信息系统研究机构统计数学研究所);Daicel Corporation(大赛璐公司)
以所需产物结束的合成路线的鉴定一直是固有的耗时过程,其在很大程度上依赖于关于整个反应空间的有限部分的专业知识。目前,新兴的机器学习技术正在颠覆逆合成规划的过程。本研究的目的是发现从给定的所需分子到市售化合物的反向合成路线。该问题被减少到一个组合优化任务的解决方案空间的组合复杂性的所有可能的购买反应物对。我们解决这个问题的框架内的贝叶斯推断和计算。工作流程包括两个步骤:训练深度神经网络,以高精度向前预测给定反应物的产物,然后通过条件概率的贝叶斯定律将该向前模型反转为向后模型。使用后向模型,一组不同的高度可能的反应序列结束一个给定的合成目标是详尽的探索使用蒙特卡罗搜索算法。贝叶斯逆合成算法可以成功地重新发现80.3%和50.0%的已知的合成路线的一步和两步反应的前10名的准确性,分别,从而优于国家的最先进的算法的整体准确性。值得注意的是,蒙特卡罗方法,这是专门设计的存在不同的多个路线,往往揭示了一个排名名单的数百个反应路线相同的合成目标。我们研究了基于合成有机化学专业知识的这些不同候选物的潜在适用性。
2020-03-06 cs.LG physics.chem-ph stat.ML
Mixing It Up: Exploring Mixer Networks for Irregular Multivariate Time Series Forecasting
Institute of Computer Science, University of Hildesheim(计算机科学学院,希尔德斯海姆大学);VWFS Data Analytics Research Center (VWFS-DARC)(VWFS数据分析研究中心(VWFS-DARC))
本文提出IMTS-Mixer网络,通过ISCAM和ConTP组件有效处理不规则多变量时间序列预测,实现高精度与低参数量的平衡。
2026-02-26 cs.LG
Mixing Classifiers to Alleviate the Accuracy-Robustness Trade-Off
University of California, Berkeley(加州大学伯克利分校)
针对深度神经分类器中准确率与对抗鲁棒性的权衡问题,提出混合标准与鲁棒模型输出概率的方法,无需额外训练即可显著改善权衡,并在鲁棒性可证明时提供理论保证。
2024-06-03 cs.CV cs.LG
The Impact of Language Mixing on Bilingual LLM Reasoning
University of Pennsylvania(宾夕法尼亚大学)
本研究探究中英双语大语言模型推理中的语码混合现象,明确RLVR是其关键训练成因,证实语码混合是有益的策略性推理行为,还提出用轻量探针引导解码以提升推理准确率。
2025-09-30 cs.AI cs.CL cs.LG
FNet: Mixing Tokens with Fourier Transforms
Google Research(谷歌研究院)
我们表明,Transformer编码器架构可以加快,有限的精度成本,通过用简单的线性变换“混合”输入令牌取代自我注意力子层。这些线性混合器,以及前馈层中的标准非线性,证明了在几个文本分类任务中建模语义关系的能力。最令人惊讶的是,我们发现用标准的非参数化傅立叶变换替换Transformer编码器中的自注意子层,在GLUE基准测试中实现了BERT对应物的92-97%的准确度,但在标准512输入长度下,GPU上的训练速度快了80%,TPU上的训练速度快了70%。在较长的输入长度下,我们的FNet模型明显更快:与Long Range Arena基准测试中的“高效”Transformers相比,FNet与最准确模型的准确性相匹配,同时在GPU上的所有序列长度(以及TPU上相对较短的长度)上都超过了最快的模型。最后,FNet的内存占用量很小,在较小的模型尺寸下特别有效;对于固定的速度和精度预算,小型FNet模型优于Transformer模型。
2022-05-26 cs.CL cs.LG
Mixing Time Estimation in Reversible Markov Chains from a Single Sample Path
Columbia University(哥伦比亚大学);Ben-Gurion University(本-古里安大学);University of Alberta(阿尔伯塔大学)
本文提供了第一个程序,用于计算一个完全依赖于数据的区间,该区间在规定的置信水平上捕获有限可逆遍历马尔可夫链的混合时间$t_{\text{mix}}$。该间隔是从马尔可夫链的单个有限长度样本路径计算的,并且不需要知道链的任何参数。这与以前的方法形成对比,以前的方法要么只提供点估计,要么需要重置机制或额外的先验知识。该区间是围绕弛豫时间$t_{\text{relax}}$构建的,它与混合时间密切相关,并且区间的宽度以$\sqrt{n}$的速率大致收敛到零,其中$n$是样本路径的长度。下限表明,除非对链进行进一步的限制,否则在平均看到每个状态至少$Ω(t_{\text{relax}})$次之前,没有任何过程可以达到此精度水平。最后,确定了未来的研究方向。
2015-11-03 cs.LG stat.ML
Efficient and Accurate Spatial Mixing of Machine Learned Interatomic Potentials for Materials Science
ML-MIX通过空间混合不同复杂度的互原子势,提升大规模分子动力学模拟效率,同时保持精度,适用于材料科学中的点缺陷分析和位错运动研究。
2025-11-20 cond-mat.mtrl-sci cs.LG
Space-time Mixing Attention for Video Transformer
Samsung AI Cambridge(三星剑桥人工智能中心);Queen Mary University of London(伦敦玛丽女王大学)
本文是关于使用Transformers的视频识别。最近在这一领域的尝试已经证明了有前途的结果方面的识别精度,但他们也被证明,在许多情况下,由于额外的建模的时间信息,导致显着的计算开销。在这项工作中,我们提出了一个视频Transformer模型的复杂性与视频序列中的帧的数量成线性比例,因此不会引起任何开销相比,基于图像的Transformer模型。为了实现这一点,我们的模型做了两个近似的视频Transformers中使用的全时空注意:(a)它限制时间注意到一个本地的时间窗口,并利用Transformer的深度,以获得完整的时间覆盖的视频序列。(b)它使用有效的时空混合来共同关注空间和时间位置,而不会在仅空间注意力模型之上产生任何额外成本。我们还展示了如何整合2个非常轻量级的机制,全球时间只注意,以最小的计算成本提供额外的精度提高。我们证明了我们的模型在最流行的视频识别数据集上产生了非常高的识别精度,同时比其他视频Transformer模型更有效。代码将提供。
2021-06-11 cs.AI cs.CV cs.LG
Supervised Speaker Embedding De-Mixing in Two-Speaker Environment
University of Sheffield(谢菲尔德大学)
从多扬声器环境中分离不同的扬声器属性是具有挑战性的。与传统的语音声源分离方法不同,本文提出了一种说话人嵌入去混方法。该方法在嵌入空间中从双说话人信号中分离出不同的说话人属性。拟议的办法包括两个步骤。在第一步中,干净的说话人嵌入学习和收集的残余TDNN为基础的网络。在步骤2中,将两个扬声器信号和扬声器之一的嵌入都输入到扬声器嵌入解混网络。训练去混网络,通过重构损失产生另一个说话人的嵌入。利用说话人辨识准确率和纯净嵌入与去混嵌入之间的余弦相似度来评价所得到的嵌入的质量。在人工增强的双说话人数据(TIMIT)和真实世界的双说话人数据(MC-WSJ)上进行了实验。研究了六种不同的说话人嵌入去混结构。实验结果表明,本文提出的一种结构与纯说话人嵌入的性能相近,识别准确率达到96.9%,余弦相似度为0.89。
2021-02-05 cs.CL cs.LG cs.SD
Efficient Online Data Mixing For Language Model Pre-Training
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对预训练数据选择成本高、固定混合比例难适应训练动态的问题,提出基于多臂老虎机的在线数据混合算法ODM,在几乎不增加训练时间的前提下减少19%迭代并提升MMLU性能。
2023-12-09 cs.CL cs.LG
A deep learning modeling framework to capture mixing patterns in reactive-transport systems
University of Houston(休斯顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
化学混合的预测和控制对于许多科学领域都是至关重要的,例如地下反应输运、气候建模、燃烧、流行病学和药理学。由于非均质和各向异性介质中混合的复杂性质,与这种现象相关的数学模型在分析上是不可处理的。数值模拟往往提供了一个可行的路线,以准确地预测化学混合。然而,用于混合的当代建模方法不能利用可用的时空数据来提高未来预测的准确性,并且可能是计算密集型的,特别是当空间域较大并且用于长期时间预测时。为了解决这一知识缺口,本文将提出一个深度学习(DL)建模框架,用于预测快速双分子反应下的化学混合过程。该框架使用卷积神经网络(CNN)来捕获空间模式,并使用长短期记忆(LSTM)网络来预测混合中的时间变化。通过对框架的精心设计--对CNN的权重设置非负约束和选择激活函数,该框架确保了化学物种在所有空间点和所有时间的非负性。我们基于DL的框架快速,准确,并且需要最少的数据进行训练。
2021-01-11 cs.LG cs.NA math.NA
ReLaMix: Residual Latency-Aware Mixing for Delay-Robust Financial Time-Series Forecasting
Lanzhou University(兰州大学);Brandeis University(品牌斯大学);Shenzhen University(深圳大学);Central University of Finance and Economics(中央财经大学);Central China Normal University(中央师范大学)
本文提出ReLaMix网络,通过残差细化和可学习瓶颈压缩提升延迟观测下的信号恢复能力,在大规模PAXGUSDT数据集上验证了其在多种延迟比例和预测时间跨度下的卓越性能。
2026-03-21 cs.AI cs.LG
On the Pseudo-Mixing of Kac's Walk
Harvard(哈佛大学);uOttawa(渥太华大学);TIMC(TIMC机构);MIT(麻省理工学院)
本文针对SO(n)上Kac游走的伪混合性展开研究,证明其前k列的混合步数,解决了Oliveira的猜想,并将该结果应用于证明快速Johnson-Lindenstrauss变换的有效性。
2026-08-19 cs.CR cs.LG math.PR
The Fast Mixing Mechanism for Differential Privacy
提出基于快速变换的差分隐私草图机制,在保持隐私保证的同时匹配经典快速草图方法的运行时间,并应用于差分隐私线性回归实现首个快速方法。
2026-08-24 cs.IT cs.LG math.IT
Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing
University of California, Berkeley(加利福尼亚大学伯克利分校);Scale AI
本文提出自适应平滑方法,通过混合标准与鲁棒分类器并自适应调整权重,显著改善精度-鲁棒性权衡,在CIFAR-100上实现85.21%干净精度和38.72%鲁棒精度。
2024-07-22 cs.CR cs.CV cs.LG