【深度学习】谷歌deepdream原理及tensorflow实现

什么是DeepDream？

DeepDream是谷歌发布的对卷积神经网络（CNN）进行可视化的方法，当然它的用途不仅限于此，我们可以通过它让机器“做梦”，以下是一些效果：

可以看到计算机将自然图像的一些特征放大，生成了它想想中的一些物体。利用这个特点还可以生成一些从未有过的物体：

DeepDream的原理

卷积神经网络由于其从理论上难以解释，一直被很多学者诟病。在2013年“Visualizing and Understanding Convolutional Neural Networks”这篇文章提出了使用梯度上升的方法可视化网络每一层的特征，即用一张噪声图像输入网络，反向更新的时候不更新网络权重，而是更新初始图像的像素值，以这种“训练图像”的方式可视化网络。deepdream正是以此为基础。

之前说过，deepdream需要放大图像特征。比如：有一个网络学习了分类猫和狗的任务，给这个网络一张云的图像，这朵云可能比较像狗，那么机器提取的特征可能也会像狗。假设对应一个特征[0.6, 0.4], 0.6表示为狗的概率， 0.4表示为猫的概率，那么采用L2范数可以很好达到放大特征的效果。对于这样一个特征，L2 = x1^2 + x2^2，若x1越大，x2越小，则L2越大，所以只需要最大化L2就能保证当x1>x2的时候，迭代的轮数越多x1越大，x2越小，所以图像就会越来越像狗。每次迭代相当于计算L2范数，然后用梯度上升的方法调整图像。当然不一定要一张真实的图像，也可以从一张噪声图像生成梦境，只不过生成的梦境会比较奇怪。

以上是DeepDream的基本原理，具体实现的时候还要通过多尺度、随机移动等方法获取比较好的结果，在代码部分会给出详细解释。

DeepDream的tensorflow实现

先放上完整项目的代码：https://github.com/hjptriplebee/deep_dream_tensorflow 欢迎star、fork哦！

实现参考：tensorflow/example/tutorial

首先是下载google的inception模型，tensorflow_inception_graph.pb 是模型文件。

def get_model():
    """download model"""
    model = os.path.join("model", model_name)
    if not os.path.exists(model):
        print("Down model...")
        os.system("wget https://storage.googleapis.com/download.tensorflow.org/models/inception5h.zip -P model")
        os.system("unzip model/inception5h.zip -d model")
        os.system("rm model/inception5h.zip")
        os.system("rm model/imagenet_comp_graph_label_strings.txt")
    return model

然后定义计算图，加载模型，将输入的placeholder加入计算图中，并定义L2范数和其对于原始图像的梯度。

    # define graph
    graph = tf.Graph()
    sess = tf.InteractiveSession(graph=graph)

    # load model
    with tf.gfile.FastGFile(model, "rb") as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())

    # define input
    X = tf.placeholder(tf.float32, name="input")
    X2 = tf.expand_dims(X - imagenet_mean, 0)
    tf.import_graph_def(graph_def, {"input": X2})

    # L2 and gradient
    loss = tf.reduce_mean(tf.square(graph.get_tensor_by_name("import/%s:0" % layer)))
    gradient = tf.gradients(loss, X)[0]

需要多尺度操作，原始尺寸大小的图像不需要存储，下采样再上采样的图像比原始图像模糊，边缘会钝化，做差后的图像可以保留边缘这类的显著性。

    for i in range(octave_num - 1):
        size = np.shape(image)[:2]
        narrow_size = np.int32(np.float32(size) / octave_scale)
        # down sampling and up sampling equal to smooth, diff can save significance
        down = resize(image, narrow_size)
        diff = image - resize(down, size)
        image = down
        octaves.append(diff)

定义计算梯度的函数。每一次对图像的一块进行梯度上升，为了防止固定区域梯度上升造成块与块之间存在明显的分界线，所以每次要现对图像进行小幅度的随意移动。

    def cal_gradient(image, gradient):
        """cal gradient"""
        # generate offset and shift to smooth tile edge
        shift_x, shift_y = np.random.randint(tile_size, size=2)
        image_shift = np.roll(np.roll(image, shift_x, 1), shift_y, 0)
        total_gradient = np.zeros_like(image)
        # calculate gradient for each region
        for y in range(0, max(image.shape[0] - tile_size // 2, tile_size), tile_size):
            for x in range(0, max(image.shape[1] - tile_size // 2, tile_size), tile_size):
                region = image_shift[y:y + tile_size, x:x + tile_size]
                total_gradient[y:y + tile_size, x:x + tile_size] = sess.run(gradient, {X: region})
        return np.roll(np.roll(total_gradient, -shift_x, 1), -shift_y, 0)

对每一个尺度进行梯度上升。

    for i in range(octave_num):
        print("octave num %s/%s..." % (i+1, octave_num))
        if i > 0:
            # restore image except original image
            diff = octaves[-i]
            image = resize(image, diff.shape[:2]) + diff
        for j in range(iter_num):
            # gradient ascent
            g_ = cal_gradient(image, gradient)
            image += g_ * (learning_rate / (np.abs(g_).mean() + 1e-7))  # large learning rate for small g_

代码就这么多，很简短吧？全部代码见：https://github.com/hjptriplebee/deep_dream_tensorflow 欢迎star、fork哦！

采用不同层的特征、迭代轮数、多尺度缩放比例等参数会获得完全不同的结果，下面是一些效果：

我的博客即将同步至腾讯云+社区，邀请大家一同入驻。