Star GAN论文解析

论文地址:https://arxiv.org/pdf/1912.01865v1.pdf 

https://openaccess.thecvf.com/content_cvpr_2018/papers/Choi_StarGAN_Unified_Generative_CVPR_2018_paper.pdf

源码:stargan项目实战及源码解读-CSDN博客 

1.   概述     

        在传统方法中,给定一张人脸图片,要求改变头发颜色、改变性别、改变年龄肤色等,我们需要为每个任务都生成训练一个网络。正如下图所示,要完成上述任务需要训练K*(K-1)个cycle GAN(参见:基于CycleGan开源项目实战图像合成-CSDN博客)

        Star GAN解决的问题是,我们能不能使用一个网络,解决上述所有问题。

 2.建模流程分析

        整体流程还是采用cycle gan,但是,现在的每一个生成器和判别器都需要加入一个one hot编码的向量。生成器加入目标风格的one hot向量,代表在某种风格j的生成结果。 判别器加入代表原图片的one hot向量,代表在原图片为i时,判断生成结果的真假。

        整体流程还是采用star gan,首先,指定输入图像和生成的风格(例如更换头发)进行生成,得到结果。但是,我们的生成不是生成另外一个人,生成结果需要是同一个人。所以,我们需要将生成结果进行还原。

        对于判别器,需要判别生成图片的真假,以及对应的风格。

 

3.star GANv2

star GAN V1存在的问题

         star ganv1将各种风格看成一个one hot向量,这种编码只能作为标签,而不能表达实际意义。那么,在v2版本中,star GAN使用了特征向量表达各种风格,这种做法的好处在于,特征向量不仅具有很强的表达能力。而且能够进一步学习他们之间的关系。

star GAN v2 建模网络

star GANv2包含4个网络,star GAN v2最大的特点为输出都是多分支的。

  • 生成网络,即对输入图像生成一张给定风格的图像
  • 映射网络,随机初始化一个向量,通过全连接层得到对应风格的转化向量。
  • ecoder:直接将图像编码为对应风格的向量
  • 判别器:对于输入图像,为每一种风格判断真假         

损失函数

1.Style reconstruction

         首先,在使用生成网络生成图片时,我们会输入一张图片和对应风格的向量s,然后生成得到对应风格的图片。在得到生成图片后,我们再使用ecoder将生成图片编码为对应风格的向量s'。很显然,我们希望s和s'足够接近。

 2.Style diversification(多样性损失)

首先,初始化2组向量z1和z2,然后经过map网络得到对应风格的编码s1和s2,很显然,s1和s2是不同的,我们现在希望根据s1和s2生成的结果差异越大越好,差异越大,多样性越高。即损失函数越大越好

 

3.Preserving source characteristics 

        可以理解为一种重构损失,我们希望生成的结果还是同一个人,因此,对于生成图片还原回去要与原来的输入图片足够接近。

4.Adversarial objective

即判别器损失,原始图片预测接近于1,而生成图像预测接近于0

总损失为上述损失的加权和

数据与代码链接:https://pan.baidu.com/s/1aNlghgo6mtD4iWqNgMOWOQ?pwd=s206 
提取码:s206 

相关推荐

  1. 如何写好论文——(2)引言的逻辑

    2024-04-06 07:16:05       56 阅读
  2. 学术论文中常见的拉丁语及其缩写词汇

    2024-04-06 07:16:05       38 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-06 07:16:05       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-06 07:16:05       100 阅读
  3. 在Django里面运行非项目文件

    2024-04-06 07:16:05       82 阅读
  4. Python语言-面向对象

    2024-04-06 07:16:05       91 阅读

热门阅读

  1. VTK使用交互器来从三维体数据中提取二维切片

    2024-04-06 07:16:05       49 阅读
  2. VTK的交互器

    2024-04-06 07:16:05       38 阅读
  3. 【QT教程】QT6设计模式

    2024-04-06 07:16:05       39 阅读
  4. gbm模型做分类

    2024-04-06 07:16:05       30 阅读
  5. Acwing2024蓝桥杯日期问题

    2024-04-06 07:16:05       36 阅读
  6. Spring Boot单元测试快速入门Demo

    2024-04-06 07:16:05       43 阅读