参考论文AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks
代码位置
！！本篇论文的图片与表格均来自上面的参考论文！！

摘要

        大概意思就是现在，GAN网络已经非常好用了，但是它的复杂与庞大的特点，使得其很难用于计算资源限制的移动设备上。所以对于压缩GAN网络的呼声越来越高，但是目前又没有人在这个方面有很好的研究，已有的GAN压缩算法不具备普适性，即只能够压缩特定的对抗网络，而且大多需要GAN的判别器，非常不实用。然后本篇论文就是设计了一个自动的、仅需要GAN生成器参加的、能够适用于各种各样的GAN网络的压缩算法。

我们的模型：AutoGAN-Distiller (AGD)

模型的任务

        给定一个训练好的GAN模型G₀在数据集X上，我们的目标就是找到一个G，使得G计算量少，能够适应移动设备，且没有过于牺牲G的生成质量，即G₀≈G，x∈X。

一般设计理念

        许多NAS工作（理解为自动在数据集上寻找最优的网络结构）的搜索空间为有向无环图的方式来进行搜索。这造成了许多不规则且密集的连接，通常对于硬件是不太友好的。所以，本论文采用顺序的搜素空间，在顺序的流程中，每一个独立的可搜素的模块仅仅包含单一的一个操作（cnn，relu之类的），并且他们之间是顺序连接，没有分支。

为特定程序构建的网络

        不同的GAN任务通常会有不同的网络结构，比如说，对于常见的图像到图像的GAN任务中，图像增强更喜欢更深的网络来恢复纹理并且在像素级预测中是精确的，而风格迁移通常指较浅的架构，并且更多地关注全局样式的一致性而不是局部细节。

图像到图像的一个例子：

风格迁移的一个例子：

        对于图片转化，这篇论文继承的是CycleGAN的结构。图片中的Stem和Header部分只搜索width，而中间的红色部分既搜索width也搜索operator。

        同理对于超分辨率问题，该论文继承的是SRResNet。

搜索的operator和width

operator就下面这三种，即填充到之前的那个红色框中

width的话就有点讲究了（作者所说的width其实就是每一层的通道数）。如果和operator一样，采用组合的方式来确定width，那这必然是一个指数级的组合，探索效率必然会大幅下降，所以，该论文的作者采用子集的方式。即先定义一个最大的通道数，使得每一层都是这个最大的通道数，然后探索的过程就是选取子集。原文如下：

整个过程的伪代码