arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

共收录 8057 信号源:cs.CL, cs.AI, cs.CY, cs.LG

1. 其他安全 8057 篇

2608.12689 2026-08-14 cs.CV cs.AI 新提交 57%

Mr3D-VL: A generalist vision language foundation model for Multiparametric 3D Magnetic Resonance Imaging

Mr3D-VL:面向多参数3D磁共振成像的通用视觉语言基础模型

Zhi Qiao, Xintong Wu, Yichu He, Feng Shi

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 本文针对现有3D视觉语言模型无法满足多参数3D MRI跨模态协同推理需求的问题,提出Mr3D-VL模型,通过特定设计实现性能提升,在多项任务上优于同规模的领域及通用模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12677 2026-08-14 cs.AI cs.CV 新提交 57%

The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis

自然语言理解在基于多模态视频的登革热诊断中的作用

Danial Sharifrazi, Saadat Behzadi, Julakha Jahan Jui, Mojtaba Mohammadi, Nouman Javed, Roohallah Alizadehsani, Prasad N. Paradkar, Asim Bhatti

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 本研究提出基于YOLO和CLIP的视觉-语言框架,从视频中分类未受感染与DENV2感染的蚊子,帧级准确率达98.54%、灵敏度达99.91%,证实该框架可用于分析感染相关生物行为。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12395 2026-08-14 cs.AI 新提交 57%

Research Assistant: AstraZeneca's Agentic System for R&D

研究助手:阿斯利康的研发智能体系统

Piotr Grabowski, Mohamed Alameen, Jorge Bretones, Sabina Cardell, Miguel Carmona, Gavin Edwards, Ben Grainger, Sameh Hassan, Erik Jansson, Artur Kuziakhmetov, Albert Maristany, Hebatallah Mohamed, Andriy Nikolov, Sebastian Nilsson, Mark O'Donoghue, James Pacileo, Ashiq Sultan, Alex Voegele, Michael Ughetto

机构 * AstraZeneca(阿斯利康)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 阿斯利康研发了基于LLM的智能体系统Research Assistant,整合多类生物医学数据,支持两种问答模式,可溯源证据,为研发工作提供支持。

Comments 16 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12355 2026-08-14 cs.HC cs.AI cs.SE 新提交 57%

Humans are Missing from AI Coding Agent Research

AI编码智能体研究中缺失了人类

Zora Z. Wang, John Yang, Kilian Lieret, Alexa Tartaglini, Valerie Chen, Yuxiang Wei, Zijian Wang, Lingming Zhang, Karthik Narasimhan, Ludwig Schmidt, Graham Neubig, Daniel Fried, Diyi Yang

机构 * Carnegie Mellon University(卡内基梅隆大学) Stanford University(斯坦福大学) Princeton University(普林斯顿大学) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 该文指出AI编码智能体研究当前缺失人类维度,主张转向以人为中心的编码智能体,明确了人机交互的四个核心层面并提出相关研究方向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.12338 2026-08-14 cs.CL 新提交 57%

SDAM: Structure-Difference-Aware Memory Evolution for Complex Text-to-SQL

SDAM:面向复杂文本转SQL的结构差异感知记忆演化

Keyan Xu, Dingzirui Wang, Xuanliang Zhang, Qingfu Zhu, Wanxiang Che

机构 * Harbin Institute of Technology(哈尔滨工业大学)

专题命中 其他安全 :alignment(abstract);分类 cs.CL

AI总结 针对现有文本转SQL记忆设计的缺陷,提出SDAM方法,集成至SDAM-SQL框架,在BIRD-dev和Spider-test数据集上实现指标提升,验证了方法有效性。

Comments 19 pages, 5 figures, 12tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08567 2026-08-14 cs.LG 版本更新 57%

Neural Message Passing on Structural Interaction Graphs for Fully-Inductive Graph Neural Networks

面向全归纳图神经网络的结构交互图上的神经消息传递

Omer Yom-Tov, Avigdor Gal

专题命中 其他安全 :alignment(abstract);分类 cs.LG

AI总结 该研究提出SIGIL框架,通过结构交互图和关系消息传递网络实现图特征的统一表示,可用于全归纳链接预测,还能统一多种图基础模型设计范式。

Comments 7 pages, 1 figure in the main body. 12 pages, 5 figures in appendix. Submitted to AAAI 2027 (main track) and currently under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.23126 2026-08-14 cs.HC cs.AI 版本更新 57%

Vibe to Code: Elucidating Strategic Oscillation of Tacit Knowledge in Generative AI Design Workflows -- An Exploratory Qualitative Study

从氛围到代码——再回到氛围:生成式人工智能在设计意图形成中的词汇振荡

Daisaku Sato

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 研究生成式人工智能工具下设计意图的形成,通过五位设计师设计着陆页英雄板块的过程,以词汇粒度为视角,发现设计师存在词汇振荡,不匹配促使其反思,还定位了人工智能及模糊性的作用。

Comments Author's original version (as submitted, February 2026). This article has been accepted for publication in International Journal of Human-Computer Interaction, published by Taylor & Francis

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.23724 2026-08-14 cs.CV cs.AI 版本更新 57%

Zoom In, Reason Out: Efficient Far-field Anomaly Detection in Expressway Surveillance Videos via Focused VLM Reasoning Guided by Bayesian Inference

聚焦推理,推断出异常:通过贝叶斯推理引导的聚焦VLM推理实现高速公路视频远场异常检测

Xiaowei Mao, Bowen Sui, Weijie Zhang, Yawen Yang, Shengnan Guo, Shilong Zhao, Jiaqi Lin, Tingrui Wu, Youfang Lin, Huaiyu Wan

机构 * School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院) Key Laboratory of Big Data & Artificial Intelligence in Transportation, Ministry of Education(教育部交通运输大数据与人工智能重点实验室) Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence (2018)(北京市交通数据挖掘与具身智能重点实验室)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 本文提出VIBES框架,通过贝叶斯推理引导的聚焦VLM推理,解决远场目标异常检测中的注意力稀释和计算成本问题,提升检测准确性和实时效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.11681 2026-08-13 cs.CV cs.AI cs.MM 新提交 57%

Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation

学习多模态伪标签以实现鲁棒的开放词汇实例和全景分割

Duy Tran Thanh, Yeejin Lee, Byeongkeun Kang

机构 * Seoul National University of Science and Technology(首尔科技大学) Chung-Ang University(中央大学)

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 该研究针对开放词汇实例分割与开放集全景分割的痛点,提出多模态框架,结合预训练视觉语言模型生成伪标签并优化训练目标,在COCO数据集上取得优于现有SOTA的性能。

Comments 14 pages

Journal ref Neurocomputing, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10339 2026-08-12 stat.ME cs.AI stat.AP 新提交 57%

Expert-Guided g-computation with Large Language Models for Estimating Causal Effects on Timings: Applications to Hospital Quality Improvement

基于大型语言模型的专家引导g计算法估计时序因果效应:在医院质量改进中的应用

Patrick Vossler, Jialin Ouyang, F. Richard Guo, Anran Huang, Ali Shojaie, Lucas Zier, Fan Xia, Jean Feng

机构 * University of California, San Francisco(加利福尼亚大学旧金山分校) University of Michigan, Ann Arbor(密歇根大学安娜堡分校) University of Washington, Seattle(华盛顿大学西雅图分校)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 本研究提出专家引导g计算法(egg-computation),结合专家判断与LLM技术,用于估计医院干预措施对平均住院时长的因果效应,在模拟和真实医院数据中表现优于传统方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10494 2026-08-12 cs.AI cs.MA 新提交 57%

GeoForge: Non-Parametric Self-Evolving Agents for Earth-Observation Reasoning

GeoForge:用于对地观测推理的非参数自进化智能体

Xin Xiao, Jiang Zhong, Junnan Zhu, Yingchao Feng, Peijin Wang, Yidan Zhang, Kaiwen Wei

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 GeoForge是一种无需训练的自进化框架,通过结构化非参数执行状态及多记忆机制提升EO智能体的规划与推理能力,可改善任务准确率、工具轨迹质量并减少推理错误。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.05624 2026-08-12 cs.MA cs.LG 版本更新 57%

Behavioral Inference at Scale: The Fundamental Asymmetry Between Motivations and Belief Systems

大规模行为推断:动机与信念系统之间的根本不对称性

Jason Starace, Terence Soule

机构 * Department of Computer Science University of Idaho(计算机科学系 俄克拉荷马州立大学)

专题命中 其他安全 :alignment(abstract);分类 cs.LG

AI总结 研究通过大规模实验揭示动机与信念系统在行为推断中的根本不对称性,发现动机推断效率远超信念系统,且信念系统推断的瓶颈在于信息理论限制。

Comments Published in Transactions on Machine Learning Research (2026). OpenReview: https://openreview.net/forum?id=aDMDqtw63H

Journal ref Transactions on Machine Learning Research, ISSN 2835-8856 (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03888 2026-08-12 cs.SD cs.AI 版本更新 57%

IndexTTS 2.5 Technical Report

IndexTTS 2.5 技术报告

Yunpei Li, Xun Zhou, Jinchao Wang, Lu Wang, Yong Wu, Siyi Zhou, Yiquan Zhou, Yining Wang, Yaogen Yang, Zhetao Hu, Shiyao Duan, Jiacheng Xu, Jingchen Shu, Bin Xia

机构 * Bilibili Inc.(哔哩哔哩公司)

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 IndexTTS 2.5通过四方面改进提升了多语言支持、推理速度和合成质量,实现了更广泛的语言覆盖和情感语调复制。

Comments 11 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08887 2026-08-11 cs.CV cs.CY 新提交 57%

City Sentinel: A Unified AI-Based Smart Surveillance Framework for Real-Time Multi-Threat Detection Using Deep Learning

城市哨兵:基于AI的统一智能监控框架,用于使用深度学习的实时多威胁检测

Hanan Syed Shabir, Noor Fatima, Safia Baloch, Masroor Hussain

机构 * GIK Institute(GIK学院)

专题命中 其他安全 :safety(abstract);分类 cs.CY

AI总结 该研究提出City Sentinel统一监控框架,集成六种检测功能,采用多模型架构,在低延迟下实现高准确率,可灵活扩展新功能,满足实时多威胁监控需求。

Comments 6 pages, FIT 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08453 2026-08-11 cs.AI cs.CR 新提交 57%

What Keeps Agent Skills from Being Reusable? Evidence from 138K SKILL.md Files

是什么阻碍了智能体技能的可复用性?来自13.8万个SKILL.md文件的证据

Chi Zhang, Yimin Liu, Xinze Chen, Ping Ji

机构 * The Graduate Center, City University of New York(纽约城市大学研究生中心) The Ohio State University(俄亥俄州立大学) Hunter College, City University of New York(纽约城市大学亨特学院)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 本研究通过分析13.8万个SKILL.md文件,发现91.8%的Agent Skills存在可复用性相关缺陷,主要为打包问题,验证了路由元数据对检索可靠性的影响,并提出了结合规范提示等的质量保证生成工作流。

Comments 11 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08301 2026-08-11 cs.LG cs.RO eess.SP 新提交 57%

Machine-Learning-Based Diagnostic Framework for Passive Ultrasonic Detection of Railway Wheel Defects

基于机器学习的铁路车轮缺陷被动超声检测诊断框架

Aashish Shaju, Steve Southward, Mehdi Ahmadian

专题命中 其他安全 :safety(abstract);分类 cs.LG

AI总结 本研究提出基于机器学习的铁路车轮缺陷被动超声检测框架,结合统计特征选择与随机森林分类器,实现9类车轮缺陷的非接触式识别,为现场检测系统奠定基础。

Comments Presented at the ASNT Research Symposium 2026, Salt Lake City, Utah, July 20-24, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08195 2026-08-11 cs.CR cs.AI 新提交 57%

Targeted Counterfactual Fingerprinting for Black-Box LLM Ownership Verification

面向黑盒大语言模型所有权验证的针对性反事实指纹技术

Yutong Wu, Xiaofan Bai, Shixin Li, Pingyi Hu, Ziqi Zhou, Zilong Wang, Xiaojing Ma, Songfeng Lu, Yuhong Li, Jin Xuan, Yi Wang, Dongmei Zhang, Bin Benjamin Zhu

机构 * Huazhong University of Science and Technology(华中科技大学) Alibaba Group(阿里巴巴集团) Microsoft Corporation(微软公司)

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 针对黑盒LLM所有权验证的挑战,提出TCF框架,将开放式生成对比转化为受限答案的反事实迁移,在四个LLM系列上平均AUC达0.9861,优于TRAP等现有方法。

Comments 37 pages, 18 figures, 23 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00818 2026-08-11 cs.AI econ.GN q-fin.EC 版本更新 57%

The Scaling Paradox in Human-AI Collaboration

人机协作中的缩放悖论

Anyan Qi, Mengxin Wang

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 本研究构建分析模型,发现人机协作中存在缩放悖论:人类高估AI能力时,更大的AI规模会降低系统性能、加剧企业利润损失,企业可通过成本内部化等策略管理偏差,AI缩放需结合人机交互管理。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.28650 2026-08-11 cs.HC cs.AI 版本更新 57%

Unanticipated Effects of Generative AI on Expertise Pathways and Performance Perception in System Administration

生成式AI对系统管理领域专业能力路径与绩效感知的意外影响

Rana Abou Khamis, Hala Assal, Ashraf Matrawy

机构 * Carleton University(卡尔顿大学)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 本文通过对14名IT从业者的半结构化访谈,揭示GenAI压缩系统管理传统专业能力路径、重置绩效预期引发双速文化与生产力愧疚感等意外影响,引发相关领域对专业能力发展等问题的思考。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.06540 2026-08-11 cs.CL 版本更新 57%

Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs

分层声学-语义建模:全双工口语语言模型的模态分离与语义连贯

Zhenyu Liu, Xuanyu Zhang, Yunxin Li, Qixun Teng, Shenyuan Jiang, Haolan Chen, Minjun Zhao, Fanbo Meng, Yu Xu, Yancheng He, Baotian Hu, Haizhou Li, Min Zhang

机构 * School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院) Center for Language, Intelligence and Machines, Shenzhen Loop Area Institute, Shenzhen(深圳环智中语言、智能与机器中心) School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院)

专题命中 其他安全 :alignment(abstract);分类 cs.CL

AI总结 研究全双工口语语言模型受模态干扰问题,提出Lychee-FD框架及分层参数分离策略,通过实验验证该方法能有效提升模型性能,在语音智能和交互流畅性上取得显著进步,且不影响推理效率。

Comments 22 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07282 2026-08-11 cs.CV cs.LG 版本更新 57%

Compatibility of Face Embeddings Across Deep Neural Networks

人脸嵌入在不同深度神经网络模型间是否兼容?

Fizza Rubab, Yiying Tong, Arun Ross

机构 * Michigan State University(密歇根州立大学)

专题命中 其他安全 :alignment(abstract);分类 cs.LG

AI总结 研究探讨不同深度神经网络模型在人脸嵌入空间中的几何结构,发现低容量线性映射能显著提升跨模型人脸识别与验证性能,表明人脸身份编码的表征收敛。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.07223 2026-08-11 cs.AI 版本更新 57%

Reflex First, Reflect Later: Latency-Aware Embodied LLM Agents for Dynamic Response

先反射,后反思:面向动态响应的延迟感知具身大语言模型智能体

Yangqing Zheng, Shunqi Mao, Dingxin Zhang, Weidong Cai

机构 * School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 该研究针对动态环境中具身LLM智能体的推理延迟问题,提出RRARA智能体及相关评估指标,通过时间转换机制与预规划器实现决策质量与响应能力的平衡。

Comments Accepted by the CVPR 2025 Embodied AI Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2301.07210 2026-08-11 stat.ME cs.CE cs.LG stat.AP 版本更新 57%

Causal Falsification of Digital Twins

数字孪生的因果证伪

Rob Cornish, Muhammad Faaiz Taufiq, Arnaud Doucet, Chris Holmes

机构 * University of Oxford(牛津大学)

专题命中 其他安全 :safety(abstract);分类 cs.LG

AI总结 本研究针对安全关键场景下数字孪生的准确性评估问题,提出仅需独立同分布观测轨迹数据的通用统计因果证伪方法,将其应用于Pulse生理引擎脓毒症建模,采用MIMIC-III数据集验证,可应对数据混杂问题。

Comments Accepted for publication in the Journal of Machine Learning Research (JMLR)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06948 2026-08-10 cs.AI 新提交 57%

LMM Modality Transfer: A Pre-requisite for Autonomous GIS Agents

多模态大模型模态迁移:自主地理信息系统智能体的先决条件

Ivan Majic, Zexian Huang, Franziska Hübl, Krzysztof Janowicz, Meilin Shi, Mina Karimi, Zilong Liu, Alexandra Fortacz-Lazan

机构 * Graz University of Technology(格拉茨工业大学) University of Vienna(维也纳大学) University of Liverpool(利物浦大学)

专题命中 其他安全 :alignment(abstract);分类 cs.AI

AI总结 本文针对自主GIS智能体的先决条件,提出LMM模态迁移任务,发现现有LMM在图像与文本模态间传递空间信息的能力不足,需加强多模态对齐以实现地理空间理解。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27581 2026-08-10 cs.LG 版本更新 57%

MUGEN: A Unified Framework for Efficient Motion Understanding and Generation

MUGEN:用于高效运动理解与生成的统一框架

Zhankai Ye, Yukai Jin, Bingyang Wei, Bofan Li, Yusen Wu, Fangyi Li, Shangqian Gao, Xin Liu

机构 * Florida State University(佛罗里达州立大学) Texas Christian University(得克萨斯基督教大学) University of Miami(迈阿密大学) University of Pennsylvania(宾夕法尼亚大学)

专题命中 其他安全 :alignment(abstract);分类 cs.LG

AI总结 MUGEN是一个无码本的统一运动-语言框架,通过自适应长度自编码器实现高效运动压缩,在HumanML3D和SnapMoGen数据集上的生成、检索与对齐指标均表现优异,兼顾效率与性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15771 2026-08-10 cs.CL 版本更新 57%

Skill-RAG: Failure-State-Aware Retrieval Augmentation via Hidden-State Probing and Skill Routing

Skill-RAG: 通过隐藏状态探测与技能路由实现故障状态感知的检索增强

Kai Wei, Raymond Li, Xi Zhu, Zhaoqian Xue, Jiaojiao Han, Jingcheng Niu, Fan Yang

机构 * University of Michigan(密歇根大学) University of British Columbia(不列颠哥伦比亚大学) Rutgers University(罗格斯大学) University of Pennsylvania(宾夕法尼亚大学) New Jersey Institute of Technology(新泽西理工学院) TU Darmstadt(图腾斯大学) Wake Forest University(威克森林大学)

专题命中 其他安全 :alignment(abstract);分类 cs.CL

AI总结 提出Skill-RAG框架,通过轻量级隐藏状态探测器和基于提示的技能路由器,在检索失败时诊断原因并选择四种技能(查询重写、问题分解、证据聚焦、退出)纠正查询-证据错位,显著提升多轮检索后困难案例的准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.17584 2026-08-10 cs.AR cs.LG 版本更新 57%

CHIME: A Case for Efficient Long-Context Attention-FC Disaggregated Inference with DIMM-PIM

CHIME:基于DIMM-PIM的高效长上下文注意力-全连接分离式推理方案

Qingyuan Liu, Liyan Chen, Haocheng Wang, Yanning Yang, Dong Du, Zhigang Mao, Naifeng Jing, Yubin Xia, Haibo Chen

机构 * Shanghai Jiao Tong University(上海交通大学)

专题命中 其他安全 :alignment(abstract);分类 cs.LG

AI总结 CHIME是首个集成DIMM-PIM的AFD系统,通过无气泡流水线等技术解决同步问题,实现最高5.15倍于HBM-PIM方案的LLM推理加速。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05630 2026-08-07 cs.CL 新提交 57%

Human-Like Anaphor Resolution in Large Language Models

大型语言模型中类人指代消解

Keane Zhang, Varshini Chinta, Raj Sanjay Shah, Sashank Varma

机构 * Georgia Institute of Technology(佐治亚理工学院)

专题命中 其他安全 :alignment(abstract);分类 cs.CL

AI总结 本研究探究话语结构等认知科学确定的指代消解影响因素对GPT-2-XL等五个开源权重LLM的作用,发现部分LLM对部分因素具类人敏感性,明确了LLM近似人类指代消解的条件。

Comments 7 pages, 6 figures, 1 table. Presented at CogSci 2026 and the 2026 Annual Meeting of the Society for Text & Discourse. Code: https://github.com/wristy/anaphor

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05000 2026-08-07 cs.CV cs.LG cs.MM 版本更新 57%

Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

迈向多模态预训练的物理学:知识流、模态协同、早期统一与方法指南

Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis

机构 * FAIR, Meta(Meta FAIR研究院) Reality Labs, Meta(Meta Reality Labs) University of Oxford(牛津大学)

专题命中 其他安全 :alignment(abstract);分类 cs.LG

AI总结 该研究探索多模态预训练的机制,得出知识流、模态协同等四个关键见解,推导高效预训练方法,为多模态预训练的理解与扩展提供基础。

Comments Project page: https://junlinhan.github.io/projects/physics_of_mm_pretrain/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16278 2026-08-07 cs.CV cs.AI 版本更新 57%

RealityBridge: Bridging Editable 3D Gaussian Splatting Driving Simulations and Real-World Videos

RealityBridge: 连接可编辑3D高斯泼溅驾驶模拟与现实世界视频

Zhenhua Wu, Yun Pang, Mingkun Chang, Yuwei Ning, Liangzhi Wang, Yi Xiao, Guanbin Li

机构 * Sun Yat-sen University(中山大学) Guangdong Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室) Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室)

专题命中 其他安全 :safety(abstract);分类 cs.AI

AI总结 提出RealityBridge框架,利用多模态控制和轻量级GateNet,结合自回归长视频训练与奖励引导后训练,缩小编辑后3DGS驾驶视频的Sim-to-Real差距,提升视觉真实感和时间一致性。

Comments Under submission

详情

展开后加载摘要…

URL PDF HTML 收藏