AA-SGAN: Adversarially Augmented Social GAN with Synthetic Data
Department of Computer Science, University of Turin(计算机科学系,都灵大学)
针对合成轨迹不真实导致预测模型训练效果差的问题,提出对抗增强方法在训练时增强合成轨迹,显著提升最先进生成模型在真实轨迹上的预测性能。
2024-12-23 cs.AI cs.CV
A Transformer-Based Conditional GAN with Multiple Instance Learning for UAV Signal Detection and Classification
Scientific Computing Department, STFC, Rutherford Appleton Laboratory(科学计算部、STFC、拉瑟福德苹果顿实验室);School of Electronics and Information, Northwestern Polytechnical University(电子与信息学院、西北工业大学)
本文提出一种结合Transformer条件GAN与多实例局部可解释学习的框架,通过合成样本增强数据和聚焦关键片段,在DroneDetect和DroneRF数据集上分别达到96.5%和98.6%的无人机飞行状态分类准确率,优于现有SOTA方法。
2025-07-19 cs.AI cs.LG
SocialFormer: Social Interaction Modeling with Edge-enhanced Heterogeneous Graph Transformers for Trajectory Prediction
Robert Bosch GmbH(罗伯特·博世公司);Bosch Center for Artificial Intelligence(博世人工智能中心);Technical University of Munich(慕尼黑工业大学)
本文提出 SocialFormer 轨迹预测方法,利用道路拓扑、EHGT 异构图网络和 GRU 时间编码器建模车辆间社会交互,并融合智能体、车道与交互信息,在 nuScenes 上达到最先进性能。
2024-05-06 cs.AI
Financial time series augmentation using transformer based GAN architecture
Faculty of Electronics and Information Technology, Warsaw University of Technology(电子与信息技术学院,华沙技术大学)
本文提出基于变换器的GAN架构,通过生成合成数据增强金融时间序列,提升深度学习预测模型的准确性。
2026-02-19 cs.AI cs.LG
Texture Image Synthesis Using Spatial GAN Based on Vision Transformers
Shiraz University(设拉子大学)
本文提出ViT-SGAN混合模型,将视觉Transformer与空间GAN融合,并通过在自注意力机制中引入纹理描述符来提升纹理合成质量,在多个指标上优于现有最先进模型。
2025-05-07 cs.AI cs.CV
Swin Meets EfficientNet: Lightweight Architectures for GAN-Based Face Forensics
International Institute of Information Technology, Bangalore(国际信息技术学院(班加罗尔));Ulster University(阿尔斯特大学);Dr B R Ambedkar National Institute of Technology Jalandhar(阿姆倍伽尔博士国家技术学院贾朗达尔分校)
本研究提出结合EfficientNet-B0卷积处理与Swin Transformer后端的混合架构,在14万张人脸数据集上实现99%准确率,高效检测GAN生成的合成人脸,性能优于纯Swin变体及仅CNN的基线。
2026-09-03 cs.AI cs.CV
Transformer Encoder for Social Science
Princeton University(普林斯顿大学);Boston University(波士顿大学)
高质量的文本数据已经成为社会科学家的重要数据来源。我们已经见证了预训练的深度神经网络模型的成功,例如BERT和RoBERTa,在最近的社会科学研究中。在本文中,我们提出了一个紧凑的预训练深度神经网络,Transformer Encoder for Social Science(TESS),旨在解决社会科学研究中的文本处理任务。使用两个验证测试,我们证明了TESS优于BERT和RoBERTa平均16.7%的训练样本的数量是有限的(<1,000训练实例)。结果显示TESS在社会科学文本处理任务上优于BERT和RoBERTa。最后,我们讨论了我们的模型的局限性和未来的研究提出了建议。
2022-08-17 cs.AI cs.CL
IG-GAN: A Generative Adversarial Network for Aerodynamic Data Generation Based on Intrinsic Geometry
School of Information Science and Engineering, Hebei University of Science and Technology(信息科学与工程学院,河北科技大学)
针对现实世界多数数据是嵌入高维欧几里得空间流形的情况,提出基于内在几何的生成对抗网络IG-GAN用于空气动力学数据生成。其生成器用贝塞尔曲面构建流形,判别器为RBF-D。实验显示该方法相比基线能显著降低预测均方误差。
2026-07-14 cs.AI cs.LG
BRUMS at SemEval-2020 Task 12 : Transformer based Multilingual Offensive Language Identification in Social Media
University of Wolverhampton(伍尔弗汉普顿大学);Birmingham City University(伯明翰城市大学)
在本文中,我们描述了团队\textit{BRUMS}进入OffensEval 2:SemEval-2020中社交媒体中的多语言攻击性语言识别。OffensEval组织者向参与者提供了带有注释的数据集,其中包含来自阿拉伯语、丹麦语、英语、希腊语和土耳其语社交媒体的帖子。我们提出了一个多语言深度学习模型来识别社交媒体中的攻击性语言。总体而言,该方法达到了可接受的评价分数,同时保持了语言之间的灵活性。
2020-10-13 cs.AI cs.CL
Graph Integrated Transformers for Community Detection in Social Networks
School of Information Technology Carleton University Ottawa, ON, Canada(信息科技学院卡尔顿大学渥太华,加拿大)
本文提出一种结合GNN和Transformer的混合模型GIT-CD,用于提升社交网络中的社区检测性能。
2026-01-07 cs.AI cs.SI
Detection of depression on social networks using transformers and ensembles
University of Ljubljana, Faculty of Computer and Information Sciences(卢布尔雅那大学计算机与信息科学学院);Jozef Stefan Institute(约泽夫·斯蒂芬研究所)
针对社交媒体上的抑郁症检测,构建基于预训练语言模型(BERT、RoBERTa等)的分类器及两种集成,在Reddit和Twitter数据集上验证,集成方法优于单个模型。
2023-05-09 cs.AI cs.CL
SSI-GAN: Semi-Supervised Swin-Inspired Generative Adversarial Networks for Neuronal Spike Classification
Deakin University(迪肯大学);CSIRO Health and Biosecurity(联邦科学与工业研究组织健康与生物安全部);University of Southern Queensland(南昆士兰大学)
SSI-GAN通过半监督学习方法,利用Swin启发式架构实现神经元尖峰分类,仅用1-3%的标记数据即可达到99.93%的准确率,显著降低手动标注工作量。
2026-01-01 cs.AI cs.LG
Characteristics and prevalence of fake social media profiles with AI-generated faces
Observatory on Social Media, Indiana University(印第安纳大学社会媒体观测站);Network Science Institute, Northeastern University(东北大学网络科学研究所)
本文系统分析了Twitter上使用GAN生成人脸的虚假账号,提出基于眼睛位置一致性与人工标注的检测方法,估计其普遍性下界为0.021%-0.044%,并开源代码与数据以应对多模态生成式AI威胁。
2024-07-04 cs.AI cs.CY cs.SI
Fake News Detection with Heterogeneous Transformer
The Hong Kong University of Science and Technology(香港科技大学)
假新闻在社交网络上的传播引起了公众对有效和高效的假新闻检测方法的需求。一般来说,社交网络上的假新闻是多模态的,与用户和帖子等其他实体有各种联系。社交网络中新闻内容的异质性以及与其他实体的关系给设计一个模型带来了挑战,该模型可以全面捕获社交网络中实体的局部多模态语义和传播模式的全局结构表示,从而有效准确地分类假新闻。本文提出了一种新的基于Transformer的模型:HetTransformer,利用Transformer的编码器-解码器结构捕获新闻传播模式的结构信息,解决了社交网络上的假新闻检测问题。我们首先捕获本地异构语义的新闻,帖子,和用户实体在社交网络。然后,我们应用Transformer来捕获社交网络中传播模式的全局结构表示,以用于假新闻检测。在三个真实世界数据集上的实验表明,我们的模型能够在假新闻检测中超越最先进的基线。
2022-05-06 cs.AI cs.SI
mdctGAN: Taming transformer-based GAN for speech super-resolution with Modified DCT spectra
Nanyang Technological University(南洋理工大学);Xidian University(西安电子科技大学);Brunel University London(伦敦布鲁内尔大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对语音超分辨率中忽略相位重建的问题,提出基于 MDCT 的 mdctGAN 框架,通过对抗学习与自注意力机制实现无需声码器的相位感知重建,在 VCTK 数据集上达到最先进的 LSD 性能。
2023-05-19 cs.AI eess.AS
M3PT: A Transformer for Multimodal, Multi-Party Social Signal Prediction with Person-aware Blockwise Attention
University of Southern California(南加州大学)
本研究提出了一种基于人物感知块状注意力掩码的因果Transformer架构M3PT,通过单一模型同时处理多方对话中的多模态社交线索,并在HHCD数据集上验证了多模态融合能显著提升咬食时机与说话状态的预测效果。
2025-02-03 cs.AI cs.LG cs.RO
Hope Speech Detection in Social Media English Corpora: Performance of Traditional and Transformer Models
本研究对比传统机器学习与Transformer模型在社交媒体希望言论检测中的性能,发现Transformer模型在精确率和召回率上更优,最佳模型加权F1达0.79。
2025-10-27 cs.AI cs.CL
A Transformer-based Framework for POI-level Social Post Geolocation
Singapore University of Technology and Design(新加坡科技设计大学);Dalian University of Technology(大连理工大学);Forth AI(Forth人工智能公司)
社交帖子的POI级地理信息对于许多基于位置的应用和服务至关重要。然而,社交媒体数据及其平台的多模态、复杂性和多样性限制了推断这种细粒度位置及其后续应用的性能。为了解决这个问题,我们提出了一个基于transformer的通用框架,该框架建立在预先训练的语言模型的基础上,并考虑非文本数据,用于POI级别的社交帖子地理定位。为此,对输入进行分类以处理不同的社交数据,并为特征表示提供最佳组合策略。此外,提出了一种统一的层次表示来学习时间信息,并采用级联版本的编码来更好地捕获特征位置。在各种社交数据集上的实验结果表明,我们提出的框架的三个变体在准确性和距离误差指标方面大大优于多个最先进的基线。
2022-10-26 cs.AI cs.IR
SocialBERT -- Transformers for Online SocialNetwork Language Modelling
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
当代语言理解任务的普遍性使得开发利用数据源提供的所有知识的通用但高效的模型具有相关性。在这项工作中,我们提出了SocialBERT -第一个模型,使用知识的作者在网络中的位置在文本分析。我们研究了可能的模型学习社会网络信息,并成功地将其注入到基线BERT模型。评估表明,嵌入这些信息保持了良好的泛化能力,给定作者的概率模型质量提高了7.5%。所提出的模型已经在所选社交网络的大多数群体上进行了训练,并且仍然能够与以前未知的群体一起工作。所获得的模型,以及我们的实验代码,可供下载和应用任务中使用。
2021-11-13 cs.AI cs.CL cs.SI
GAT-GAN : A Graph-Attention-based Time-Series Generative Adversarial Network
ST Engineering Pte Ltd(新加坡科技工程有限公司)
针对多变量时间序列中复杂时空关系难以建模的问题,本文提出含双图注意力层的 GAT-GAN,并引入 FTD 指标,实验证明其生成质量与下游预测表现优于现有基准。
2023-06-03 cs.AI cs.LG
GSGFormer: Generative Social Graph Transformer for Multimodal Pedestrian Trajectory Prediction
Ecole des Ponts(巴黎路桥学院);Akkodis Research(Akkodis研究院)
针对行人、环境与弱势道路使用者间复杂交互下的多模态轨迹预测问题,提出 GSGFormer,融合异构图神经网络、Transformer 与 CVAE-Residual-GMM,在充足和有限数据条件下均取得优异性能。
2023-12-07 cs.AI cs.CV
Urban Crowdsensing using Social Media: An Empirical Study on Transformer and Recurrent Neural Networks
Singapore University of Technology and Design(新加坡科技设计大学)
城市规划的一个重要方面是了解不同位置的人群水平,这通常需要使用物理传感器。这样的传感器在大规模实施时可能是昂贵且耗时的。为了解决这个问题,我们利用公开的社交媒体数据集,并将其作为两个城市感知问题的基础,即事件检测和人群水平预测。这项工作的一个主要贡献是我们从Twitter和Flickr收集的数据集,以及地面实况事件。我们用两种初步的监督学习方法证明了这个数据集的有用性:首先,一系列神经网络模型来确定社交媒体帖子是否与事件相关,其次是一个回归模型,使用社交媒体帖子计数来预测实际人群水平。我们讨论这些任务的初步结果,并强调一些挑战。
2020-12-05 cs.AI cs.SI
Zero-Training Temporal Drift Detection for Transformer Sentiment Models: A Comprehensive Analysis on Authentic Social Media Streams
Aayam Bansal Ishaan Gangwani
本文提出了一种无训练的时间漂移检测方法,通过分析真实社交媒体数据,揭示了Transformer情感模型在事件驱动期间的性能退化,并引入了四种高效的时间漂移度量标准。
2025-11-30 cs.AI cs.CL cs.LG
Enhancing Social Media Personalization: Dynamic User Profile Embeddings and Multimodal Contextual Analysis Using Transformer Models
Indian Institute of Management, Indore(印度管理学院印多尔分校)
本研究针对社交媒体个性化需求,提出基于Transformer的动态用户画像嵌入方法,在超2000万数据点的数据集上验证其能更精准追踪用户偏好、提升推荐效果与用户参与度,为社交平台优化体验提供支撑。
2024-07-09 cs.AI cs.IR cs.SI
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology(河内国立大学工程与技术大学 HMI 实验室)
本文提出在GCN中引入Transformer编码器层,通过注意力机制重排节点特征空间,提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
Transforming Color: A Novel Image Colorization Method
Chosun University(朝鲜大学)
针对传统图像着色方法难捕捉长程依赖、效果不逼真的问题,提出融合Transformer与GAN、结合随机正态分布色彩编码器的着色方法,性能优于现有技术,为相关领域开辟新可能。
2024-10-07 cs.AI cs.CV
BotDGT: Dynamicity-aware Social Bot Detection with Dynamic Graph Transformers
University of Science and Technology of China(中国科学技术大学);Beihang University(北京航空航天大学);Harbin Engineering University(哈尔滨工程大学)
针对社交网络动态性被忽略导致检测易被规避的问题,提出BotDGT框架,通过结构模块获取历史快照拓扑信息并结合时间模块建模演化行为,在准确率等指标上优于现有方法。
2024-04-24 cs.AI cs.SI
GASTON: Graph-Aware Social Transformer for Online Networks
GASTON通过图感知社交Transformer方法,利用用户成员模式预训练社区嵌入,提升在线社区内容检测的准确性。
2026-01-26 cs.AI cs.LG cs.SI
Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer
Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通大数据挖掘与具身智能重点实验室)
本文提出基于Transformer的P2T3方法,通过提取传播树中的对话链并引入诱导偏置,解决谣言传播结构中的过平滑问题,实验表明其在多个基准数据集上优于现有方法。
2026-03-24 cs.AI cs.CL
HULAT at SemEval-2023 Task 10: Data augmentation for pre-trained transformers applied to the detection of sexism in social media
本文介绍了我们参与SemEval-2023任务10,其目标是检测社交媒体中的性别歧视。我们将探讨一些最流行的Transformer模型,如BERT、DistilBERT、RoBERTa和XLNet。我们还研究了不同的数据增强技术来增加训练数据集。在开发阶段,我们通过对任务B和C使用RoBERTa和数据增强获得了最佳结果。然而,使用合成数据并不能改善任务C的结果。我们参与了三个子任务。我们的方法仍然有很大的改进空间,特别是在两个细粒度的分类。我们所有的代码都可以在存储库https://github.com/isegura/hulat_edos中找到。
2023-03-01 cs.AI cs.CL cs.LG
A Hybrid Model for Traffic Incident Detection based on Generative Adversarial Networks and Transformer Model
University of Shanghai for Science and Technology(上海理工大学);Capital One(第一资本)
针对交通事件检测中数据获取困难与类别不平衡问题,提出融合 Transformer 和 GANs 的混合模型,并在四个真实数据集上验证其检测性能提升。
2024-03-02 cs.AI cs.LG
Reward Modeling for Mitigating Toxicity in Transformer-based Language Models
Concordia University(康考迪亚大学)
基于转换器的语言模型能够生成流畅的文本,并且能够有效地适应各种自然语言生成任务。然而,在大型未标记的Web文本语料库上预训练的语言模型已被证明患有退化的有毒内容和社会偏见行为,从而阻碍了它们的安全部署。人们提出了各种解毒方法来减轻语言模型的毒性;然而,当提示包含与性别、种族或宗教相关的特定社会身份时,这些方法难以解毒语言模型。在这项研究中,我们提出了一种基于强化学习的方法,用于减轻语言模型中的毒性。我们解决了语言模型的安全性的挑战,并提出了一个新的奖励模型,能够检测有毒的内容,并减轻对社会身份的毒性预测无意中的偏见。实验结果表明,基于Reinforce-Defenefy的语言模型去毒方法在自动评价指标上优于现有的去毒方法,表明了该方法在语言模型去毒方面的能力,并且在生成的内容中不容易产生对社会身份的非故意偏见。
2022-07-27 cs.AI cs.CL
Examining the Mental Health Impact of Misinformation on Social Media Using a Hybrid Transformer-Based Approach
提出 RoBERTa-LSTM 混合 Transformer 方法,用于错误信息检测、心理健康影响评估及相关障碍分类,并通过准确率和卡方检验证实错误信息与心理恶化相关。
2025-06-07 cs.AI cs.CL
Exploring Attention GAN for Vehicle Motion Prediction
University of Alcalá(阿尔卡拉大学);University of Würzburg(维尔茨堡大学)
设计安全可靠的自动驾驶堆栈(ADS)是我们这个时代最具挑战性的任务之一。这些ADS预计将在高度动态的环境中完全自主驾驶,并且比人类更可靠。从这个意义上说,为了在任意复杂的交通场景中高效安全地导航,ADS必须能够预测周围参与者的未来轨迹。目前最先进的模型通常基于递归、图和卷积网络,在车辆预测方面取得了显著的效果。在本文中,我们探讨了注意力在运动预测生成模型中的影响,同时考虑了物理和社会背景来计算最合理的轨迹。我们首先使用LSTM网络对过去的轨迹进行编码,该网络作为计算社会背景的多头自我注意模块的输入。另一方面,我们制定了一个加权插值来计算最后一个观察帧中的速度和方向,以计算可接受的目标点,从HDMap信息的可驱动性中提取,这代表了我们的物理环境。最后,我们的生成器的输入是从多元正态分布中采样的白噪声向量,而社会和物理环境是其条件,以便预测合理的轨迹。我们验证我们的方法使用Argoverse运动预测基准1.1,实现竞争力的单峰结果。
2022-09-26 cs.AI cs.CV cs.RO
Optimizing Transformer based on high-performance optimizer for predicting employment sentiment in American social media content
Carnegie Mellon University(卡内基梅隆大学);North Carolina State University(北卡罗来纳州立大学);New York University(纽约大学)
本文基于群智能优化算法改进Transformer模型,用于预测美国社交媒体就业相关文本情绪,实验表明模型准确率显著提升且泛化能力强,为就业决策提供数据支持。
2024-10-09 cs.AI cs.CL
Harnessing the Power of Hugging Face Transformers for Predicting Mental Health Disorders in Social Networks
Ayandegan Institute of Higher Education(阿亚ndegan高等教育学院)
本文比较四种 Hugging Face BERT 模型与传统机器学习方法,利用社交媒体数据预测精神障碍,最高准确率达97%,证明少量用户数据与预训练模型也可有效支持心理健康筛查。
2023-06-30 cs.AI cs.HC cs.IR
Exploring multi-task multi-lingual learning of transformer models for hate speech and offensive speech identification in social media
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
仇恨言论已成为在线社交媒体平台的主要内容审核问题。鉴于在线内容制作的数量和速度,在任何平台上都不可能手动调节与仇恨言论相关的内容。在本文中,我们利用一个多任务和多语言的方法,最近提出的Transformer神经网络的基础上解决三个子任务的仇恨言论。这些子任务是2019年印欧语言仇恨言论和攻击性内容识别(HASOC)共享任务的一部分。我们通过利用多任务模型来扩展我们对该竞赛的提交,这些模型使用三种方法进行训练,a)具有单独任务负责人的多任务学习,b)反向翻译,以及c)多语言训练。最后,我们研究了各种模型的性能,并确定了基于Transformer的模型表现不同且更好的实例。我们表明,可以利用不同的组合方法来获得可以在不同的语言和任务上轻松推广的模型,同时(在某些情况下)牺牲轻微的准确性,以大大减少推理时间计算成本。我们开源了HASOC 2019代码的更新版本,并在https://github.com/socialmediaie/MTML_HateSpeech上进行了新的改进。
2021-01-27 cs.AI cs.CL cs.LG
Generative Adversarial Transformers
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院);Facebook, Inc.(脸书公司)
我们介绍了GANformer,一种新型高效的Transformer,并将其用于可视化生成建模任务。该网络采用了一种二分结构,可以在图像上进行长距离交互,同时保持线性效率的计算,可以很容易地扩展到高分辨率合成。它迭代地将信息从一组潜在变量传播到不断发展的视觉特征,反之亦然,以支持根据另一个对每个特征的改进,并鼓励出现对象和场景的组合表示。与经典的Transformer架构相比,它利用乘法积分,允许灵活的基于区域的调制,因此可以被视为成功的StyleGAN网络的推广。我们通过对一系列数据集(从模拟的多对象环境到丰富的真实世界室内和室外场景)进行仔细评估,展示了该模型的强度和鲁棒性,表明它在图像质量和多样性方面取得了最先进的结果,同时享受快速学习和更好的数据效率。进一步的定性和定量实验为我们提供了一个深入了解模型的内部工作,揭示了改进的可解释性和更强的解纠缠,并说明了我们的方法的好处和功效。该模型的实现可在https://github.com/dorarad/gansformer上获得。
2022-03-29 cs.AI cs.CL cs.CV
VAuLT: Augmenting the Vision-and-Language Transformer for Sentiment Classification on Social Media
University of Southern California(南加州大学)
我们提出了视觉和增强语言Transformer(VAuLT)。VAuLT是流行的视觉和语言Transformer(ViLT)的扩展,并提高了视觉和语言(VL)任务的性能,这些任务涉及比图像标题更复杂的文本输入,同时对训练和推理效率的影响最小。重要的是,ViLT能够在VL任务中进行有效的训练和推理,这是通过使用补丁的线性投影而不是对象检测器来编码图像来实现的。然而,它是在字幕数据集上进行预训练的,其中语言输入是简单的,字面的和描述性的,因此缺乏语言多样性。因此,当在野外处理多媒体数据时,例如多模态社交媒体数据,字幕语言数据以及任务的多样性有明显的转变。我们确实发现了ViLT缺乏语言能力的证据。VAuLT的关键见解和新颖性在于将大语言模型(LM)(如BERT)的输出表示传播到ViLT的语言输入。我们发现,LM和ViLT的联合训练可以比ViLT产生高达20%的相对改进,并在涉及更丰富的语言输入和情感结构的VL任务上实现最先进或相当的性能,例如TWITTER-2015和TWITTER-2017中的目标导向情感分类,以及MVSA-单和MVSA-多的情感分类。我们的代码可在https://github.com/gchochla/VAuLT上获得。
2023-01-25 cs.AI cs.CL cs.CV