2024年1月27日

新型实时形义分割网络ShuffleSeg可用于嵌入式设备

作者 admin

性能良好的卷积神经网络通常是计算密集型的,这在移动和嵌入式设备以及实时应用程序中可能是一个劣势。 近日,来自开罗大学和阿尔伯塔大学的研究人员提出了一个名为ShuffleSeg的框架,可以实现实时语义分割。 这种方法可以显着降低对计算资源的需求,同时保持分割精度。 机器之心在本文中对项目进行了简单的编译介绍,相关研究的TensorFlow代码已经在GitHub上公开。

构建计算高效的卷积神经网络 (CNN) 仍然是一个开放的研究问题。 提高 CNN 计算效率的主要机制有两种。 第一种机制侧重于设计高效模型,例如 GoogleNet、Xception、MobileNet 以及最近的 ShuffleNet。 另一种机制用于模型加速,包括网络连接或通道的修剪或网络量化。 以前关于提高计算效率的研究主要集中在图像分类和目标检测等最终任务上。 然而,很少有研究针对实时语义分割网络,尽管语义分割在机器人相关应用中有很多好处。 对计算高效的语义-语义分割的需求非常重要。

在本文中,我们提出了一种基于 [4] 中提出的 ShuffleNet 单元的实时语义分割网络。 我们在本文中将其称为 ShuffleSeg。 ShuffleSeg 在其解码器中集成了跳跃连接以改进分割结果。 我们的网络需要 2.03 GFLOPs,并且在计算效率方面优于之前需要 3.83 GFLOPs 的最佳分割网络。 尽管如此,ShuffleSeg 在 CityScapes 测试集基准上实现了 58.2% 的平均交并比 (IoU),这与最佳性能相当。 因此,我们的网络在速度和准确性之间取得了很好的平衡。 这有望在嵌入式设备中实现进一步的部署应用程序。

实时语义分割最近开始受到关注。 帕斯克等。 阿尔。 [13] 介绍了 ENet,这是一种具有瓶颈模块的高效轻量级分割网络。 Chaurasia等。 阿尔。 [14] 提出了 LinkNet 架构,它使用 ResNet18 作为编码器。 LinkNet 实现了比 ENet 更好的平均 IoU。 但 ENet 在计算效率方面表现更好。 其他网络如SegNet和FCN8s也不注重计算效率,但在分割相关文献中被广泛使用。 Badrinarayanan 等人提出的 SegNet。 阿尔。 [15] 是使用编码器-解码器架构进行端到端语义分割的早期尝试。 龙等。 阿尔。 [16] 首次尝试以端到端的方式训练全卷积分割网络 (FCN)。 他还提出了 skip-net 方法,在 FCN16s 和 FCN8s 架构的分割中使用更高分辨率的特征图。

据我们所知,以前没有关于实时语义分割的工作利用分组卷积和通道改组。 我们在本研究中提出的 ShuffleSeg 是一种计算效率高的分割网络。 该网络的设计灵感来自于 ShuffleNet,这是一种高效的分类和检测网络。 ShuffleNet 单元使用分组卷积代替 1×1 卷积来提高性能。 仅使用分组卷积对网络精度不利,因此我们还使用通道改组来保持良好的精度。 这与跳过架构相结合,通过使用更高分辨率的特征图改善了我们的分割结果。 ShuffleSeg 的代码将公开发布。

方法

本节详细介绍了我们提出的用于语义分割的网络架构。 该架构将在两个主要模块中进行解释:负责提取特征的编码模块,以及负责在网络中上采样以计算最终类的概率图的解码模块。

解码器架构

我们提出的架构中使用的编码器基于 ShuffleNet。 我们主要从其中使用的grouped convolution和channel shuffling中获取灵感。 [4,2,3] 表明深度可分离或分组卷积可以在降低计算成本的同时保持良好的表示能力。 分组卷积的堆叠可能导致主要瓶颈。 输出通道将来自有限数量的输入通道。 为了解决这个问题,文献[4]中引入了channel shuffling,它在ShuffleSeg的编码和解码部分也得到了很好的应用。

轨道式插座怎么嵌入桌面_气体灭火设备配件 七式七氟_嵌入式系统设备

图 1:ShuffleSeg 网络架构

编码器架构

分割网络的解码部分执行转置卷积以对输入分辨率进行上采样。 受 UNet、FCN8s 和 Dilation Frontend 研究的启发,我们使用了不同的解码方法。 我们比较的四种不同的解码方法是 (1) UNet,(2) SkipNet,(3) Dilation Frontend 8s,(4) Dilation 4s

实验

轨道式插座怎么嵌入桌面_气体灭火设备配件 七式七氟_嵌入式系统设备

表 1:不同解码方法在类级别的准确率和计算效率比较

嵌入式系统设备_气体灭火设备配件 七式七氟_轨道式插座怎么嵌入桌面

表2: 表1:不同解码方法在类别级别的准确率比较

嵌入式系统设备_气体灭火设备配件 七式七氟_轨道式插座怎么嵌入桌面

表 3:ShuffleSeg 与当前最先进的实时分割网络的比较

轨道式插座怎么嵌入桌面_嵌入式系统设备_气体灭火设备配件 七式七氟

图 2:CityScapes 上 ShuffleSeg 的定性图像。 (a) 原始图像,(b) 使用粗略注释预训练的 SkipNet,(b) UNet,(c) Dilation 8s

论文:ShuffleSeg:实时语义分割网络(ShuffleSeg: Real-time Semantic Segmentation Network)

嵌入式系统设备_轨道式插座怎么嵌入桌面_气体灭火设备配件 七式七氟

实时语义分割对于移动和机器人相关应用非常重要。 我们提出了一个计算高效的分割网络,我们称之为 ShuffleSeg。 我们提出的架构基于其编码器中的分组卷积和通道混洗,可用于提高性能。 我们对不同的解码方法进行了消融研究,比较了 Skip 架构、UNet 和 Dilation Frontend。 我们讨论了关于速度和准确性权衡的有趣见解。 研究表明,解码方法中的跳跃架构可以为实时性能目标提供最佳折衷,同时通过使用更高分辨率的特征图进行更准确的分割,仍然可以提供足够的准确性。 我们在 CityScapes 上评估 ShuffleSeg,并将其与最先进的实时分割网络进行比较。 与 CityScapes 测试集上的其他方法相比,它实现了 58.3% 的联合交集 (IoU),同时将 GFLOP 降低了 1 倍。ShuffleSeg 在 NVIDIA Jetson TX2 上以每秒 15.7 帧的速度运行,这使其具有巨大的真实潜力-时间应用程序。