随着深度学习技术在移动设备和嵌入式系统中的应用日益广泛，轻量级卷积神经网络（CNN）的设计和优化变得尤为重要。MobileNet系列作为轻量级CNN的代表，经历了多次迭代，其中MobileNetV3在保持高精度的同时，进一步提升了计算效率和内存占用。本文将聚焦于MobileNetV3的架构优化策略，详细解析其如何通过改进卷积结构、引入硬件感知设计等方法实现效率的大幅提升。
MobileNetV3引入了混合扩张卷积，结合了深度可分离卷积（Depthwise Separable Convolution）和点卷积（Pointwise Convolution）的优点，进一步减少了计算量和模型参数。同时，MobileNetV3采用了SE（Squeeze and Excitation）模块，通过显式建模通道间的相关性，增强了模型的特征表示能力。SE模块首先对卷积输出的特征图进行全局平均池化（Global Average Pooling），然后通过全连接层（Fully Connected Layer）和激活函数（如Sigmoid）生成通道权重，最后将这些权重与原始特征图进行加权求和，实现对特征图的自适应调整。
此外，MobileNetV3还使用了Swish激活函数，相比ReLU函数，Swish函数在负值区域具有更平滑的过渡，有助于模型更好地捕捉特征。
def swish(x):
return x * torch.sigmoid(x)
为了进一步提升SE模块的计算效率和表达能力，MobileNetV3提出了h-swish和h-sigmoid两种改进版的激活函数。h-swish函数在保持Swish函数性能的同时，通过近似计算减少了浮点运算次数，降低了计算成本。h-sigmoid函数则是对Sigmoid函数的简化，同样提高了计算效率。
def h_swish(x):
return x * torch.relu6(x + 3.) / 6.
def h_sigmoid(x):
return torch.relu6(x + 3.) / 6.
MobileNetV3利用神经网络架构搜索（NAS）技术，根据特定的硬件平台（如CPU、GPU、NPU等）自动优化网络结构，以实现最优的性能和效率平衡。NAS通过穷举或启发式搜索算法，在大量候选网络中找出满足特定目标（如精度、延迟、功耗等）的最优网络架构。MobileNetV3在搜索过程中，不仅考虑了模型的精度，还结合了硬件特性，如内存带宽、计算能力等，从而设计出更适合特定硬件的轻量级网络。
MobileNetV3通过混合扩张卷积、改进的SE模块以及硬件感知网络设计等优化策略，实现了轻量级卷积神经网络在计算效率和模型精度方面的显著提升。这些优化策略不仅提升了MobileNetV3在移动设备和嵌入式系统中的应用价值，也为其他轻量级网络的设计和优化提供了有益的参考。