这只狗其实是猫变的撸猫神器StarGANv2来了

新智元报导

来历：arxiv

修改：大明、鹏飞

【新智元导读】最新的奇特变脸东西StarGAN第二版来了！这次不光能够人变人，还能完成猫、狗、虎、豹各种动物无缝切换，输入图片给进去，想变什么自己挑！数据集和Github资源已敞开。戳右边链接上新智元小程序了解更多！

猫变狗、狗变虎、虎变豹，男人变女人，无缝切换是个什么奇特体会？

最近，一家名为Clova Research的组织的研讨团队就像让运用者实在的体会一把这种奇特，他们提出的StarGAN v2图画转化模型能够完成这一点。

StarGAN v2：后来居上，一起处理多样性和扩展性

优异的图画-图画转化模型需求学习不同视觉域之间的映射，要一起满意以下特点：1）生成图画的多样性和 2）在多个域上的可扩展性。现有办法一般只能处理这两个问题的其间一个，即要么关于一切域，其出现的多样性有限，要么需求用多个模型。

StarGAN v2能够一起处理这两个问题，在CelebAHQ面部和新的动物面部数据集（AFHQ）上进行的试验标明，StarGAN v2在图画质量、多样性和可扩展性方面较基线规范和曩昔的模型均完成了提高。为了更好地评价模型，还发布了AFHQ数据集，该数据集具有较大域间和域内差异的高质量动物面部图画。

考虑到每个图画域中的不同款式，抱负的图画-图画转化应该能够组成图画。可是，规划和学习此类模型是很杂乱的，因为数据会集或许包括很多图画形式和范畴。

Github资源地址：

https://github.com/clovaai/stargan-v2

为了处理图片款式的多样性问题，曩昔的新办法向生成器加入了低维潜代码，从规范的高斯散布中随机采样。可是，因为这些办法仅考虑了两个域之间的映射，因而无法扩展到渐渐的变多的域。例如，具有N个域，这些办法需求练习N（N-1）个生成器来处理每个域之间的转化，然后约束了它们的实际运用。

为了处理可扩展性问题，有研讨提出了一致的结构。StarGAN 是最早的模型之一，它运用一个生成器来学习一切可用域之间的映射。生成器将域标签作为附加输入，并学习将图画转化为相应的域。可是，StarGAN依然需求学习每个域的确定性映射，这或许无法获取数据散布的多形式性质。在给定源图画的情况下，它不可避免地在每个域中发生相同的输出。

StarGAN v2能够一起处理这两方面的问题，能够跨多个域生成不同的图画。该办法以StarGAN为根底，用特定域的款式代码替换本来的域标签，这些代码能够表明特定域的各种形式。StarGAN v2引进两个模块，一个映射网络和一个款式编码器。前者学习将随机高斯噪声转化为款式代码，后者学习从给定的参阅图画中提取款式代码。

最终，运用这些款式代码，生成器会成功地在多个域上学习组成各种图画（图1）。StarGAN v2的确获益于新的款式代码的运用。与现在的SOTA办法比较，咱们的办法可扩展到多个域，并且在视觉质量和多样性方面生成了功能更好的成果。

研讨人员还提出了质量更高、改变规模更宽的动物面孔（AFHQ）新数据集，更好地评价域间和域内差异较大的图画-图画翻译模型的功能，并发布了数据集。

CelebA-HQ数据集和新搜集的动物脸部（AFHQ）数据集上的各种图画组成成果。榜首列显现输入图画，其他列是StarGAN v2组成的图画。

StarGAN v2由四个模块组成。（a）生成器将输入图画转化为反映域特定款式代码的输出图画。（b）映射网络将潜在代码转化为多个域的款式代码，其间一个是在练习期间随机挑选的。（c）款式编码器提取图画的款式代码，答应生成器履行参阅引导的图画组成。（d）判别器从多个域中区别实在图画和虚伪图画。

CelebA-HQ数据集上各种装备的功能。Frechet初始间隔（FID）表明实在图画和生成图画的两个散布之间的间隔（越低越好），而学习到的感知图画斑块类似度（LPIPS）代表生成图画的多样性（越高越好）。

运用表1中的每种装备生成的图画的视觉比较。请留意，给定源图画，装备（A）-（C）供给单个输出，而（D）-（F）生成多个输出图画

潜在辅导组成图片的定量比较。实在图画的FID由练习集和测验集之间核算。留意，因为测验图画的数量缺乏，它们或许不是最佳值。

CelebA-HQ和AFHQ数据集上潜辅导图画组成成果的定性比较。每种办法都运用随机采样的潜在代码将源图画（最左边列）转化为方针域。（a）前三行对应于后三行中将男性转化为女人，反之亦然。（b）从顶部开端的每两行按以下次序显现组成图画：猫-狗，狗-野生动物、野生动物-猫。

现在作者仅仅在上面发布了论文的链接，还没有给出StarGAN v2的完成代码，手痒的小伙伴能够先来回忆一下用TensorFlow完成StarGAN代码，只需求1天时刻即可练习完。

TensorFlow模型的完成

要求：

Tensorflow 1.8

Python 3.6

> python download.py celebA

下载数据集

> python download.py celebA

练习

python main.py --phase train

测验

python main.py --phase test

celebA 测验图画和你想要的图画一起运转

预练习模型

下载 celebA_checkpoint

成果 (128x128, wgan-gp)

女人

男性

预练习权重：

https://drive.google.com/open?id=1ezwtU1O_rxgNXgJaHcAynVX8KjMt0Ua-

练习时刻：少于 1 天

硬件：GTX 1080Ti

Github资源：

https://github.com/clovaai/stargan-v2

论文地址：

https://arxiv.org/pdf/1912.01865.pdf