网络设计空间的设计
摘要
本文提出了一种新的网络设计范式。我们的目标是帮助提高对网络设计的理解，并发现在不同环境下普遍适用的设计原则。我们不再专注于设计单个的网络实例，而是设计了参数化网络总体的网络设计空间。整个过程类似于经典的人工网络设计，但提升到了设计空间层面。使用我们的方法，我们探索网络设计的结构方面，并得出一个低维的设计空间，由简单的，规则的网络组成，我们称之为RegNet。RegNet参数化的核心观点非常简单：良好网络的宽度和深度可以用量化的线性函数来解释。我们分析了RegNet的设计空间，得出了与当前网络设计实践不符的有趣发现。RegNet的设计空间提供了简单而快速的网络，可以很好地在各种不同的FLOP状态下工作。在类似的训练环境和FLOPs下，RegNet模型的性能优于流行的efficientnet模型，而在gpu上的速度高达5倍。
介绍
深卷积神经网络是视觉识别的引擎。在过去的几年里，更好的体系结构已经在广泛的视觉识别任务中取得了长足的进步。示例包括LeNet、AlexNet、VGG和ResNet。这一工作既提高了神经网络的有效性，也促进了我们对网络设计的理解。特别是，上述工作序列分别证明了卷积、网络和数据大小、深度和残差的重要性。这些工作的成果不仅是特定的网络实例，而且是可以推广和应用于许多设置的设计原则。
尽管手动网络设计已取得了长足的进步，但手动寻找优化良好的网络可能会面临挑战，尤其是随着设计选择数量的增加。 解决此局限性的一种流行方法是神经体系结构搜索（NAS）。 给定可能的网络的固定搜索空间后，NAS会在搜索空间内自动找到一个好的模型。 最近，NAS备受关注，并显示出出色的效果。
尽管NAS是有效的，但是这种范式有局限性。搜索的结果是将单个网络实例调整到特定设置（例如，硬件平台）。在某些情况下，这是不够的；但是，它不能帮助我们发现网络设计原则，加深我们的理解，使我们能够概括到新的设置。特别是，我们的目标是找到易于理解、建立和概括的简单模型。
在这项工作中，我们提出了一个新的网络设计范例，它结合了人工设计和NAS的优点。我们不是专注于设计单个网络实例，而是设计参数化网络总体的设计空间。1与手动设计一样，我们的目标是可解释性，并发现描述网络的一般设计原则，这些原则简单、运行良好，并可跨设置进行概括。与NAS一样，我们的目标是利用半自动化过程来帮助实现这些目标。
