Temporal Bridges for Spatial Resolution: Enhancing Climate Data Super-Resolution with Bidirectional Alignment
Baidu, Inc.(百度公司)
针对现有气候数据超分辨率模型忽略时间相关性的问题,提出带双向时间对齐的Temporal-Enhanced框架,通过配对潜在映射、双向时间对齐和时序增强超分实现性能提升,在大规模真实数据集上表现优越。
2026-08-07 cs.AI cs.LG
Adversarial Alignment of Multilingual Models for Extracting Temporal Expressions from Text
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学);Saarbrücken Graduate School of Computer Science(萨尔布吕肯计算机科学研究生院)
虽然时间标记仍然是基于规则的系统占主导地位,最近有神经时间标记器的尝试。然而,所有这些都集中在单语设置。在本文中,我们探索了从文本中提取时间表达式的多语言方法,并研究了将嵌入空间对齐到一个公共空间的对抗训练。有了这个,我们创建了一个单一的多语言模型,也可以转移到看不见的语言,并设置在这些跨语言迁移实验的新的艺术状态。
2020-05-19 cs.CL cs.LG
STAA: Spatio-Temporal Alignment Attention for Short-Term Precipitation Forecasting
Chengdu Computer Application Institute, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);Chengdu University of Information Technology(成都信息工程大学)
针对短期降水预报中多源数据不同步、时空依赖捕捉弱及极端降水预测差的问题,提出带SATA时间对齐模块和STAU特征提取器的STAA模型,在中国西南区域数据上RMSE较SOTA方法提升12.61%。
2024-09-06 cs.LG physics.ao-ph
Dynamic Weight Alignment for Temporal Convolutional Neural Networks
NTT Communication Science Laboratories(日本电报电话通信科学实验室)
在本文中,我们提出了一种改进时间卷积神经网络(CNN)的方法,通过使用动态规划来确定权值和输入的最佳对齐。传统的CNN卷积将共享权重线性匹配到输入的窗口。然而,有可能存在权重的更优对准。因此,我们建议使用动态时间规整(DTW)来动态地将权重与卷积层的输入对齐。具体地说,动态对准克服了问题,如时间失真,通过寻找最小距离匹配的权重和输入的约束。我们证明了所提出的架构的有效性Unipen在线手写数字和字符数据集,UCI阿拉伯语口语数字数据集,和UCI日常生活活动数据集。
2019-02-07 cs.CV cs.LG cs.NE
Temporal Attentive Alignment for Video Domain Adaptation
Georgia Institute of Technology(佐治亚理工学院)
虽然近年来已经提出了各种基于图像的领域自适应(DA)技术,但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此,我们首先提出了一个具有更大域差异的更大规模数据集:UCF-HMDB_full。其次,我们研究了不同的DA集成方法的视频,并表明,同时对齐和学习时间动态实现有效的对齐,即使没有复杂的DA方法。最后,我们提出了时间注意对抗适应网络(TA 3 N),它明确地注意到使用域差异的时间动态,以实现更有效的域对齐,在三个视频DA数据集上实现了最先进的性能。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-06-07 cs.CV cs.LG cs.MM
CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models
Johns Hopkins University(约翰斯·霍普金斯大学);Bloomberg L.P.(彭博有限合伙企业)
复制机制在序列到序列模型(seq2seq)中被采用,以生成从输入到输出的单词的复制。这些框架在词法类型级别上运行,无法提供一个显式的对齐来记录每个标记的复制位置。此外,它们需要单独复制来自输入(跨度)的连续标记序列。我们提出了一个模型,一个显式的令牌级复制操作,并将其扩展到复制整个跨度。我们的模型在输入和输出的跨度之间提供了硬对齐,允许seq2seq的非传统应用,如信息抽取。我们展示了嵌套命名实体识别的方法,实现了近国家的最先进的准确性与数量级的解码速度增加。
2020-10-28 cs.CL cs.LG
Extraction and Recovery of Spatio-Temporal Structure in Latent Dynamics Alignment with Diffusion Models
Georgia Institute of Technology(佐治亚理工学院)
针对脑计算神经信号对齐中现有方法忽略潜在动力学时空结构的问题,提出基于扩散模型的ERDiff方法,通过提取-恢复流程保留时空结构,在合成数据及灵长类运动皮层记录的跨日、跨受试者任务中表现更优。
2024-03-08 cs.LG q-bio.NC
Temporal Representation Alignment: Successor Features Enable Emergent Compositionality in Robot Instruction Following
University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
针对如何自动学习实现组合性的任务表示问题,提出基于时间对齐损失关联当前与未来状态表示的方法,无需显式子任务规划或强化学习即可提升组合泛化能力,在机器人操作任务及模拟中验证了对语言或目标图像指定任务的显著改进。
2025-02-13 cs.LG cs.RO
Personalized Federated Learning for Spatio-Temporal Forecasting: A Dual Semantic Alignment-Based Contrastive Approach
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对时空预测中的时空异质性与联邦个性化难题,提出FUELS双重语义对齐对比学习方法,通过时间难负样本过滤和空间定制原型提升性能并降低约94%通信成本。
2024-04-04 cs.AI cs.LG
Online and Linear-Time Attention by Enforcing Monotonic Alignments
Google Brain
具有注意力机制的递归神经网络模型已被证明在各种各样的序列到序列问题上非常有效。然而,软注意力机制在产生输出序列中的每个元素时对整个输入序列执行遍历的事实排除了它们在在线设置中的使用,并导致二次时间复杂度。基于在许多感兴趣的问题中输入和输出序列元素之间的对齐是单调的这一认识,我们提出了一种用于学习单调对齐的端到端可微方法,该方法在测试时能够在线和线性时间内计算注意力。我们验证了我们的方法上的句子摘要,机器翻译,和在线语音识别问题,并取得了与现有的序列到序列模型的竞争结果。
2017-06-29 cs.CL cs.LG
Learning Online Alignments with Continuous Rewards Policy Gradient
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学);Google Brain(谷歌大脑);Open AI(OpenAI)
具有软注意力的序列到序列模型在机器翻译、语音识别和问答中取得了显著的成功。尽管它们有能力且易于使用,但它们要求在推理开始时整个输入序列可用,这一假设对于即时翻译和语音识别是无效的。为了解决这个问题,我们提出了一种新的方法来解决序列到序列的问题,使用硬在线比对,而不是软离线比对。在线比对模型能够开始产生输出,而不需要首先处理整个输入序列。高度精确的在线序列到序列模型是有用的,因为它可以用于构建精确的基于语音的瞬时翻译器。我们的模型使用硬二进制随机决策来选择将产生输出的时间步长。该模型使用标准的策略梯度方法进行训练以产生这些随机决策。在我们的实验中,我们表明,该模型取得了令人鼓舞的性能TIMIT和华尔街日报(WSJ)语音识别数据集。
2016-08-03 cs.CL cs.LG
Sequence Alignment with Dirichlet Process Mixtures
University of Bath(巴斯大学);University of Tübingen(图宾根大学);University of Bristol(布里斯托尔大学)
提出了一种基于Dirichlet过程混合模型(DPMM)的高维时间扭曲序列无监督比对概率模型。我们遵循(Kazlauskaite,2018)中介绍的方法,同时将每个数据序列表示为真实底层函数和时间扭曲的组合,两者都使用高斯过程(GP)(Rasmussen,2005)建模,并使用无监督对齐方法对齐底层函数。在(Kazlauskaite,2018)中,使用GP潜变量模型(GP-LVM)(Lawrence,2005)作为序列模型进行比对,而我们的主要贡献是将这种方法扩展到使用DPMM,这允许我们在时间上比对序列并同时对其进行聚类。我们表明,DPMM实现了竞争力的结果相比,GP-LVM合成和真实世界的数据集,并讨论了不同的属性的估计的基础功能和这些模型所青睐的时间扭曲。
2018-11-26 cs.LG stat.ML
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences(中国科学院)
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力,以更好地识别。采用长短期记忆递归神经网络(LSTM-RNN)作为主要的分类结构。首先,软注意力机制对齐音频和视频流。其次,添加7个情感嵌入向量,这是对应于每一个分类的情感类型,定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明,本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
Locality Sensitive Hashing-based Sequence Alignment Using Deep Bidirectional LSTM Models
Georgia Institute of Technology(佐治亚理工学院)
双向长短期记忆(LSTM)是一种特殊的递归神经网络(RNN)架构,旨在比RNN更精确地建模序列及其长程依赖关系。本文提出使用深度双向LSTM进行序列建模,作为执行基于局部敏感哈希(LSH)的序列比对的方法。特别是,我们使用深度双向LSTM来学习LSH的特征。然后可以利用获得的LSH进行序列比对。我们证明了使用所提出的基于LSTM的模型通过在参考基因组上比对短读查询来建模序列的可行性。除了使用Illumina测序技术生成的一组短读段之外,我们还使用人类参考基因组作为我们的训练数据集。最终目标是将查询序列与参考基因组进行比对。我们首先将参考基因组分解成多个序列。然后,这些序列被馈送到双向LSTM模型中,然后映射到固定长度的向量中。这些向量就是我们所说的训练过的LSH,然后可以用于序列比对。案例研究表明,使用引入的基于LSTM的模型,我们实现了更高的精度与历元的数量。
2020-04-05 cs.LG cs.NE stat.ML
Ultra-large alignments using Phylogeny-aware Profiles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
许多生物学问题,包括深层进化历史的估计和蛋白质序列之间的远程同源性的检测,依赖于多个序列比对(MSA)和大型数据集的系统发育树。然而,精确的大规模多序列比对是非常困难的,特别是当数据集包含片段序列时。我们提出了UPP,MSA方法,使用一种新的机器学习技术-隐马尔可夫模型的包围-我们在这里提出。UPP可对核苷酸和氨基酸序列进行高度准确的比对,即使在超大数据集或包含片段序列的数据集上也是如此。UPP可在https://github.com/smirarab/sepp上获得。
2015-04-05 cs.CE cs.LG q-bio.GN
Temporal Attentive Alignment for Large-Scale Video Domain Adaptation
Georgia Institute of Technology(佐治亚理工学院);Sony Interactive Entertainment LLC(索尼互动娱乐有限责任公司);Binghamton University(宾厄姆顿大学)
虽然近年来已经提出了各种基于图像的领域自适应(DA)技术,但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此,我们首先提出了两个大规模的视频DA数据集具有更大的域差异:UCF-HMDB_full和Kinetics-Gameplay。其次,我们研究了不同的DA集成方法的视频,并表明,同时对齐和学习时间动态实现有效的对齐,即使没有复杂的DA方法。最后,我们提出了时间注意对抗适应网络(TA 3 N),它明确地注意到时间动态使用域差异更有效的域对齐,在四个视频DA数据集上实现了最先进的性能(例如,在“HMDB --> UCF”上,与“仅源”相比,从73.9%到81.8%的准确度增益为7.9%,在“Kinetics --> Gameplay”上,则为10.3%)。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-09-15 cs.CV cs.LG cs.MM
A Differentiable Alignment Framework for Sequence-to-Sequence Modeling via Optimal Transport
Idiap Research Institute(Idiap研究机构);EPFL(瑞士联邦理工学院);BUT(布拉格技术大学)
本文提出基于最优传输的可微对齐框架,改进序列到序列模型的对齐性能,同时在ASR性能上有所权衡。
2025-11-21 cs.LG cs.SD eess.AS
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
Multi-scale Alignment and Contextual History for Attention Mechanism in Sequence-to-sequence Model
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
序列到序列模型是用于映射两个不同长度的序列的神经网络模块。序列到序列模型有三个核心模块:编码器、解码器和注意力。注意力是连接编码器和解码器模块的桥梁,并在许多任务中提高模型性能。在本文中,我们提出了两个想法,以提高序列到序列模型的性能,通过增强注意力模块。首先,我们维护位置的历史和来自先前几个时间步的预期上下文。其次,我们应用多尺度卷积从几个以前的注意向量到当前的解码器状态。我们利用我们提出的序列到序列语音识别和文本到语音系统的框架。结果表明,我们提出的扩展可以显着提高性能相比,一个标准的注意力基线。
2018-07-22 cs.CL cs.LG cs.SD