网络结构图
损失函数
ω为权重，较大的ω会导致来自输入照片的更多内容信息被保留，因此会产生具有更详细纹理的风格化图像。在实验中ω设置为10实现了风格和内容的良好平衡。
对抗损失（Adversarial loss）
判别器 D 的任务是确定输入图像是从生成器合成还是从真实目标流形合成的。然而，我们观察到仅仅训练鉴别器 D 来分离生成的和真实的卡通图像并不足以将照片转换为卡通图像。这是因为清晰的边缘呈现是卡通图像的一个重要特征，但这些边缘在整个图像中所占的比例通常很小。因此，没有清晰再现的边缘但具有正确阴影的输出图像可能会混淆使用标准损失训练的鉴别器。
使用三个步骤进行处理：
（1）使用标准 Canny 边缘检测器检测边缘像素，（2）扩张边缘区域，（3）在扩张的边缘区域中应用高斯平滑。
处理后结果见(b)
最终对抗损失表示为：
c:卡通图，e:去掉边缘的卡通图，p:真实图
内容损失（Content loss）
确保生成的卡通图像保留输入照片的语义内容，采用了预训练的VGG网络中的高层 feature maps。
内容损失定义为：
L是VGG的第几层
使用了“conv4_4”层中的特征图来计算语义内容损失。
初始化训练阶段
由于 GAN 模型是高度非线性的，通过随机初始化，优化很容易陷入次优的局部最小值。为了帮助提高其收敛性，我们提出了一个新的初始化阶段。请注意，生成器网络 G 的目标是在保持语义内容的同时以卡通风格重建输入照片。我们使用仅重建输入图像内容的生成器来启动对抗性学习框架。为此，在初始化阶段，我们仅使用语义内容损失 Lcon(G, D) 对生成器网络 G 进行预训练。我们的实验结果表明，这个简单的初始化阶段有助于 CartoonGAN 快速收敛到良好的配置，而不会过早收敛。
2 条评论
人物刻画立体，细节描写入木三分。
叼茂SEO.bfbikes.com