arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2511.11705cs.LGcs.CV
收藏

多模态机器学习:通过图文对量化卡路里估计的改进效果

Multimodal ML: Quantifying the Improvement of Calorie Estimation Through Image-Text Pairs

Arya Narang

AI总结:

该研究基于TensorFlow与Nutrition5k数据集训练多模态CNN模型,验证了引入菜品名称文本输入可使卡路里估计的MAE降低1.06千卡,实现1.25%的性能提升。

摘要:

本文旨在明确与仅使用图像的基线模型相比,短文本输入(本研究中为菜品名称)对卡路里估计性能的提升幅度,以及该提升是否具备统计显著性。研究采用TensorFlow库与谷歌整理的Nutrition5k数据集,分别训练了仅输入图像的CNN(卷积神经网络)以及同时接收文本与图像输入的多模态CNN。实验结果显示,使用多模态模型时,卡路里估计的平均绝对误差(MAE)从84.76千卡降至83.70千卡,减少了1.06千卡,相对提升幅度为1.25%。

英文摘要:

This paper determines the extent to which short textual inputs (in this case, names of dishes) can improve calorie estimation compared to an image-only baseline model and whether any improvements are statistically significant. Utilizes the TensorFlow library and the Nutrition5k dataset (curated by Google) to train both an image-only CNN and multimodal CNN that accepts both text and an image as input. The MAE of calorie estimations was reduced by 1.06 kcal from 84.76 kcal to 83.70 kcal (1.25% improvement) when using the multimodal model.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑