了解 CycleGAN 的图像风格转换并探索其在在游戏图形模块中的应用。

如果你是一名玩家，你一定听说过现在两场疯狂流行的大战「大逃杀」，堡垒之夜和绝地求生。他们是两个非常相似的游戏，其中有 100 个玩家在一个小岛上出没，直到剩下一个幸存者。我喜欢堡垒之夜的游戏玩法，但更喜欢绝地求生更逼真的视觉效果。这让我想到了，我们是否可以为游戏提供图形模块，以便我们可以选择喜欢的视觉效果，而无需依赖游戏开发人员为我们提供该选项？如果一个 mod 可以在绝地求生的视觉效果中呈现堡垒之夜的帧，那该怎么办？这就是我决定探索深度学习是否有所帮助的地方，并且我遇到了一种名为 CycleGANs 的神经网络，这种网络恰好擅长风格转换。在这篇文章中，我将介绍 CycleGANs 的工作方式，然后训练它们将堡垒之夜视觉转换为绝地求生。

什么是 CycleGANs？

CycleGAN是用于跨域图像风格转换的一种生成对抗网络。可以训练它们将一个域的图像（如堡垒之夜）转换为另一个域（如绝地求生）。该任务以无监督的方式执行，即这两个域中没有图像的一对一映射。

原始的 Github 实现及其结果可以在这里找到：

这个网络能够理解原始域图像中的对象，并应用必要的转换来匹配目标域图像中同一对象的外观。这个算法的最初实现经过训练，可将马匹转化为斑马，将苹果变为橘子，并将照片转化为具有惊人效果的绘画。

它们如何工作？

让我们试着了解 CycleGAN 如何使用堡垒之夜作为我们的输入域和绝地求生作为我们的目标域的例子。使用这两款游戏的屏幕截图，我们训练了一对一的生成性对抗网络，其中一个网络学习堡垒之夜和绝地求生的视觉样式。这两个网络以循环的方式同时训练，以便它们学习在两个游戏中形成对象之间的关系，从而进行适当的视觉转换。下图显示了这两个网络的循环设置的一般架构。

我们从堡垒之夜的原始图像开始训练。我们将训练两个深层网络，一个生成器和一个鉴别器。鉴别器将随时间学习来区分堡垒之夜的真实和虚假图像。生成器将被训练以使用来自训练集的绝地求生的随机屏幕截图将输入图像从原始域转换为目标域。

为了确保这种转变是有意义的，我们实施了一个重构条件。这意味着我们同时训练另一组生成器／鉴别器，它们从伪域中重构原始域中的图像。我们实施的条件是这种重构必须与原始图像相似，给我们一个循环损失值，我们的目标是在训练过程中最小化。这与自动编码器类似，不同之处在于我们不在中间步骤的隐藏空间中寻找编码，而是在目标域中寻找整个图像。

这里使用的生成器网络（F2P）主要由三个卷积块组成。第一个在较低纬的隐藏空间中找到堡垒之夜屏幕截图的编码。这种编码被转换为表示同一个隐藏空间中的绝地求生的编码。然后解码器从转换后的编码中构造输出图像，给出看上去像绝地求生的堡垒之夜图像。

在训练过程中，我遇到的一个限制是由于 GPU 内存限制，我只能处理 256 x256 的图像。这将显著影响结果，但是如果您的视频内存超过 5gb，就可以尝试生成最多 512x512 的图像。

原文发布时间为：2018-07-06