概述

在艺术领域，艺术家可以通过风格和内容的相互交融来创作不同的画作，现阶段，在深度神经网络的帮助下，计算机可以轻易的识别画作中的物体或者内容。但是，风格是一个比较抽样的概念，计算机其实无法像人类那样识别一个画作或者艺术家的风格。这篇文章主要介绍深度神经网络将画作中的风格和内容本身进行分离，并将风格做迁移，应用到另一个图片内容之中，最终达到一个风格迁移的工作。其实这很像Photoshop中的滤镜，然而滤镜毕竟是人为设定好的一系列动作处理集合，只能针对特定风格的图片，对于不同特征的图片，需要选择不同的滤镜，因此是比较机械和人工的。

卷积神经网络在图像识别领域应用广泛，并且实践证明有很好的效果。它通过一个多层的网络结构来对图像进行特征表达，如果我们把输入图像称之为网络的底层，则随着网络层次的加深，高层的网络关注图片的高级特征，例如图像的内容或者物体的排列，而底层的信息则重点关注图像像素级别的特征。为了将图像的风格和内容分离并进行迁移，我们需要做两部分工作：

  • 图像内容的重建
  • 风格的重建

同时在合成是要同时考虑内容重建造成的loss和风格重建造成的loss。

内容重建

内容重建和风格重建都使用了VGG网络，VGG-16的网络结构图参见下图，详情图来自于这里.





图1 VGG网络结构图



对于内容重建来说，只使用了前5层的网络‘conv1 1’ (a), ‘conv2 1’ (b), ‘conv3 1’ (c), ‘conv4 1’ (d) and ‘conv5 1’ (e)，即图2中的a、b、c、d、e。VGG 网络主要用来做内容识别，在实践中作者发现，使用前三层a、b、c已经能够达到比较好的内容重建工作，d、e两层保留了一些比较高层的特征，丢失了一些细节。