基于多模态语义信息的文本生成图像方法

杨冰,周家辉,姚金良,向学勤

Text-to-image generation method based on multimodal semantic information

Bing YANG,Jiahui ZHOU,Jinliang YAO,Xueqin XIANG

表 3 基于多模态语义信息的文本生成图像方法的模块消融实验

Tab.3 Module ablation study of text-to-image generation method based on multimodal semantic information

基线 星模块卷积 可变形卷积 语义对齐鉴别器 CUB数据集 COCO数据集 FID↓ SCLIP↑ FID↓ SCLIP↑ √ — — — 10.08 0.3164 5.85 0.3338 √ √ — — 9.70 0.3184 5.76 0.3352 √ — √ — 9.89 0.3176 5.80 0.3343 √ — — √ 9.97 0.3191 5.72 0.3368 √ √ √ — 9.68 0.3205 5.69 0.3341 √ √ — √ 9.62 0.3222 5.65 0.3382 √ — √ √ 9.93 0.3198 5.71 0.3375 √ √ √ √ 9.56 0.3259 5.62 0.3405