基于深度学习的严重遮挡商品的识别检测计数方法与系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 114550148 A(43)申请公布日 2022.05.27

(21)申请号 202210044607.4(22)申请日 2022.01.14

(71)申请人 山东师范大学

地址 250014 山东省济南市历下区文化东

路88号(72)发明人 万洪林　张理继　仲宗锋　孙景生　(74)专利代理机构 济南圣达知识产权代理有限

公司 37221

专利代理师 张勇(51)Int.Cl.

G06V 20/60(2022.01)G06V 10/40(2022.01)G06K 9/62(2022.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书1页 说明书6页 附图3页

G06V 10/774(2022.01)G06V 10/82(2022.01)G06V 10/80(2022.01)

(54)发明名称

基于深度学习的严重遮挡商品的识别检测计数方法与系统(57)摘要

本公开提供了一种基于深度学习的严重遮挡商品的识别检测计数方法及系统，包括：获取待识别的图像；将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focus层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。CN 114550148 ACN 114550148 A

权　利　要　求　书

1/1页

1.一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，包括：获取待识别的图像；

将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focus层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。

2.如权利要求1所述的一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，所述主干网络中的卷积块包括卷积层、标准化层及激活函数；所述若干残差块包括三个顺序连接的第一残差块和一个第二残差块，所述第一残差块包括卷积块和残差结构；所述第二残差块包括顺序连接的卷积块、SPPB结构以及残差结构。

3.如权利要求2所述的一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，所述SPPB结构用于提取不同尺度的特征，并进行特征融合。

4.如权利要求1所述的一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，所述输出若干不同尺度的特征，具体为：按照残差块的连接顺序，在后三个残差块中分别输出不同尺度的特征，并输入到所述加强特征提取网络中进行融合。

5.如权利要求1所述的一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，所述解耦头网络具体结构为：融合特征输入一个卷积块，输出两个分支结构，两个分支结构均包括两个卷积块，分别预测出标注框的各个属性。

6.如权利要求1所述的一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，所述标注框的属性包括标注框类别、标注框前/背景类型、标注框位置以及标注框中所包含商品数量。

7.如权利要求1所述的一种基于深度学习的严重遮挡商品的识别检测计数方法，其特征在于，所述方法还包括：将所述标注框添加到待识别的图像上，进行可视化展示。

8.一种基于深度学习的严重遮挡商品的识别检测计数系统，其特征在于，包括：数据获取单元，其用于获取待识别的图像；识别检测单元，其用于将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；

其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focous层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。

9.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时实现如权利要求1‑7任一项所述的一种基于深度学习的严重遮挡商品的识别检测计数方法。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1‑7任一项所述的一种基于深度学习的严重遮挡商品的识别检测计数方法。

2

CN 114550148 A

说　明　书

1/6页

基于深度学习的严重遮挡商品的识别检测计数方法与系统

技术领域

[0001]本公开属于图像处理技术领域，尤其涉及一种基于深度学习的严重遮挡商品的识别检测计数方法与系统。

背景技术

[0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

[0003]随着深度学习、5G、大数据、云服务、移动支付的发展，使得无人零售成为可能。无

其不但能够节约人工成本和运营成人零售的优势主要在于能够实现24小时的无人化经营，

本，还能极大的提升夜间的零售额。[0004]近年来，基于深度学习的图像处理技术在无人零售中得到了广泛应用。这一技术不需要实体标签作为商品信息的辅助载体，而是通过大量的图片学习实现的自主的识别能力，有着自动化程度高，识别准确率高等优点；但是，发明人发现，虽然现有的通用深度学习算法比较成熟，但在面对零售场景中严重遮挡商品的检测效果并不理想，原因在于，为了空间利用的最大化，超市货架上的商品大多堆叠摆放，现有算法在生成的标注框时，有时会将堆叠的商品识别成一个，有时又会生成大量重叠的标注框，并不能达到预期效果。发明内容

[0005]本公开为了解决上述问题，提供了一种基于深度学习的严重遮挡商品的识别检测计数方法与系统，所述方案利用深度神经网络提取有效特征并进行不同尺度特征融合，同时采用新的特征，即依据商品的遮挡程度采用不同的检测框：当某一商品被同一种类商品遮挡超过一定阈值时，用一个框表示堆叠的一组商品；如果遮挡小于该阈值，则用一个单独的检测框进行预测，最终实现严重遮挡商品的识别检测与计数。[0006]根据本公开实施例的第一个方面，提供了一种基于深度学习的严重遮挡商品的识

包括：别检测计数方法，

[0007]获取待识别的图像；

[0008]将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；[0009]其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focus层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。[0010]进一步的，所述主干网络中的卷积块包括卷积层、标准化层及激活函数；所述若干残差块包括三个顺序连接的第一残差块和一个第二残差块，所述第一残差块包括卷积块和残差结构；所述第二残差块包括顺序连接的卷积块、SPPB结构以及残差结构。[0011]进一步的，所述SPPB用于提取不同尺度的特征，并进行特征融合。[0012]进一步的，所述输出若干不同尺度的特征，具体为：按照残差块的连接顺序，在后

3

CN 114550148 A

说　明　书

2/6页

三个残差块中分别输出不同尺度的特征，并输入到所述加强特征提取网络中进行融合。[0013]进一步的，所述解耦头网络具体结构为：融合特征输入一个卷积块，输出两个分支结构，两个分支结构均包括两个卷积块，分别预测出标注框的各个属性。[0014]进一步的，所述标注框的属性包括标注框类别、标注框前/背景类型、标注框位置以及标注框中所包含商品数量。[0015]进一步的，所述方法还包括：将所述标注框添加到待识别的图像上，进行可视化展示。

[0016]根据本公开实施例的第二个方面，提供了一种基于深度学习的严重遮挡商品的识别检测计数系统，包括：[0017]数据获取单元，其用于获取待识别的图像；[0018]识别检测单元，其用于将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；[0019]其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focous层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。

[0020]根据本公开实施例的第三方面，提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的一种基于深度学习的严重遮挡商品的识别检测计数方法。

[0021]根据本公开实施例的第四方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的一种基于深度学习的严重遮挡商品的识别检测计数方法。[0022]与现有技术相比，本公开的有益效果是：[0023](1)本公开提供了一种基于深度学习的严重遮挡商品的识别检测计数方法及系统，所述方案利用深度神经网络提取有效特征并进行不同尺度特征融合，同时采用新的特征，即依据商品的遮挡程度采用不同的检测框：当某一商品被同一种类商品遮挡超过一定阈值时，用一个框表示堆叠的一组商品；如果遮挡小于该阈值，则用一个单独的检测框进行预测，最终实现严重遮挡商品的识别检测与计数。[0024](2)本公开所述方案能够有效识别货架上严重遮挡的商品并对其数量进行统计，同时，单阶段模型的应用有效提高了商品识别的效率，所述单阶段模型利用单独的endtoend网络，区别于现有的两阶段模型先得到候选框，再对候选框中物体进行预测，进一步提高了识别检测精度及效率。

[0025]本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。附图说明

[0026]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

[0027]图1为本公开实施例一中所述的一种基于深度学习的严重遮挡商品的识别检测计

4

CN 114550148 A

说　明　书

3/6页

数方法流程图；

[0028]图2为本公开实施例一中所述的深度学习模型整体结构示意图；[0029]图3(a)为本公开实施例一中所述的CSPlayer结构示意图；[0030]图3(b)为本公开实施例一中所述的Res_unit结构示意图；[0031]图4为本公开实施例一中所述的碗类识别可视化结果示意图；[0032]图5为本公开实施例一中所述的盆类识别可视化结果示意图。

具体实施方式

[0033]下面结合附图与实施例对本公开做进一步说明。[0034]应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

[0035]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。[0036]在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。[0037]实施例一：

[0038]本实施例的目的是提供一种基于深度学习的严重遮挡商品的识别检测计数方法。[0039]一种基于深度学习的严重遮挡商品的识别检测计数方法，包括：[0040]获取待识别的图像；

[0041]将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；[0042]其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focus层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。[0043]进一步的，所述主干网络中的卷积块包括卷积层、标准化层及激活函数；所述若干残差块包括三个顺序连接的第一残差块和一个第二残差块，所述第一残差块包括卷积块和残差结构；所述第二残差块包括顺序连接的卷积块、SPPB结构以及残差结构。[0044]进一步的，所述SPPB结构用于提取不同尺度的特征，并进行特征融合。[0045]进一步的，所述输出若干不同尺度的特征，具体为：按照残差块的连接顺序，在后三个残差块中分别输出不同尺度的特征，并输入到所述加强特征提取网络中进行融合。[0046]进一步的，所述解耦头网络具体结构为：融合特征输入一个卷积块，输出两个分支结构，两个分支结构均包括两个卷积块，分别预测出标注框的各个属性。[0047]进一步的，所述标注框的属性包括标注框类别、标注框前/背景类型、标注框位置以及标注框中所包含商品数量。[0048]进一步的，所述方法还包括：将所述标注框添加到待识别的图像上，进行可视化展示。

[0049]具体的，为了便于理解，以下结合附图从具体实施方面对本公开所述方案进行详

5

CN 114550148 A

说　明　书

4/6页

细说明：

[0050]本公开提供了一种基于深度学习的严重遮挡商品的识别检测计数方法，如图1所示，其具体包括三个过程：数据处理、网络构建以及模型的训练与测试；以下对上述三个过程进行详细说明：[0051](一)数据处理

[0052]本公开使用的是Locount商品检测数据集，其包含了140个类别的商品，训练集有34022张图片涵盖了超过190万个商品，图片大小为1920x1080。[0053](1)数据集标签处理

[0054]数据集的标签不能直接用于训练，需对其进行预处理，将商品数据集标签转换成模型能够读取的COCO格式。通过对原数据集的读取获得图片的宽高，商品标注框的左上角坐标和右下角坐标，商品的数量信息等。依据COCO格式通过代码将信息添加到以下三个字段：categories、annotations、images，其分别用于存储类别信息、标注信息和图像信息。最

保存在相应路径下，生成最终的训练集与测试集。终将处理好的数据以json格式输出，

[0055](2)数据增强处理

[0056]在输入到主干网络之前将数据集中的图片进行数据增强处理，主要包括Mosaic、Mixup两种数据增强方法，其中，Mosaic数据增强方法是将4张图片(即将训练集中4张随机的商品图片，通过Mosaic数据增强方式拼接成1张图片)进行随机缩放、随机裁剪、随机排布的方式进行拼接，Mixup数据增强方式是在Mosaic方法的基础上对2张图片(即Mosaic数据增强方法处理后的任意两张图片)以不同的方式添加灰条在图片两侧添加或在图片上下添加灰条将其压缩成3x640x640大小，通过一个融合系数将其合成一张大小为3x640x640大小的图片。[0057](二)网络结构[0058]如图2所示，本公开所述方法的网络结构主要分为以下几个部分：主干网络、加强特征提取网络、解耦头网络。[0059](1)主干网络

[0060]通过数据增强后的图片首先使用一个类似于YOLOV5中的Focus网络进行特征提

最终得取，即每隔一个像素点取一个值，得到4个独立特征层，将其在通道维度上进行拼接，

到12x320x320的特征层，然后通过卷积+标准化+激活函数进行通道数的调整，这里采用的激活函数为SiLU激活函数是一个平滑的有下界无上界的函数其公式为：[0061]F(x)＝x·sigmioid(x)

[0062]然后通过构建的resblock_body(残差块：包括上述的第一残差块和第二残差块)进行特征提取，共使用了4次此结构，其中，最后一次稍有不同，resblock_body的实现首先是通过一个3x3的卷积对图片进行压缩，对通道数实现扩张，然后通过Csplayer(如图3所示)进行特征提取，其结构相当于一个大的残差结构包含两条支路，一条支路是堆叠的残差块(如图‑3所示)，另一条支路相当于一条大的残差边。在最后一个resblock_body中添加SPPB结构使用大小为1x1、5x5、9x9、13x13不同池化核的最大池化进行特征提取，再将不同尺度的特征图进行Concat操作。[0063](2)加强特征提取网络[0064]利用获得的最后三个有效特征层，来进行加强网络构建。将深层的特征层进行上

6

CN 114550148 A

说　明　书

5/6页

采样，与浅层的特征层进行融合，上采样全部完成后再对得到的浅层的特征层进行下采样与深层的特征层进行Concat操作这样就形成了FPN+PAN的特征融合网络。[0065](3)解耦头网络

[0066]采用与YOLOx类似的解耦头，首先使用一个1x1的卷积进行降维，并在后面的两个分支里使用两个3x3的卷积然后得到Cls、Obj、Reg、Count分别用于判断目标框的类别、判断目标框是前景还是背景、对目标框的位置进行预测、对目标框中所包含商品数量进行预测。[0067]如图2所示，为了进一步提高检测精度，在所述加强特征提取网络后设置有三个解耦头网络(YOLOHead)；这三个YOLOHead分别对应三种不同尺度的特征层预测分别是20x20，40x40，80x80；分别对应了大件商品，中等尺寸商品，小商品的检测。其优势在于，商品图像中存在不同尺寸的目标，如果只预测高层的特征语义信息，得到的目标位置比较粗略，通过在不同特征层独立进行得到的目标位置更准确。[0068](三)模型的训练与测试

[0069]本公开在MMdetection平台下利用Pytorch实现模型搭建，使用随机梯度下降法(SGD)进行训练共训练100个epoch，在训练的最后15个epoch，停用两种数据增强方法。使用smoothL1损失来训练count分支，使用BCE损失来训练cls和obj分支其损失函数公式为：[0070]l(x，y)＝L＝{Il，…Ii…，In}T

[0071]I＝‑W[y·logx+(1‑y)·log(1‑x)]iiiiii[0072]其中，W为权重值，x为输入值，y为输出的目标值。使用CIOU损失来训练reg分支其损失函数公式为：

[0073][0074][0075]

其中，v是衡量长宽比一致性的参数，其可以定义为：

其中，wgt，hgt，wp，hp分别表示真实框宽高和预测框宽高，CIOU_Loss相较于其他损

失函数考虑更加全面，考虑到了重叠面积、中心点距离和长宽比。[0077]如图4和图5所示，利用训练得到的模型对测试集图片进行推理，最终获得可视化结果。

[0078]实施例二：

[0079]本实施例的目的是提供一种基于深度学习的严重遮挡商品的识别检测计数系统。[0080]一种基于深度学习的严重遮挡商品的识别检测计数系统，包括：[0081]数据获取单元，其用于获取待识别的图像；[0082]识别检测单元，其用于将待识别的图像输入预先训练的识别检测模型中，输出带有商品数量的标注框；[0083]其中，所述识别检测模型包括主干网络、加强特征提取网络以及解耦头网络，所述主干网络包括顺序连接的Focous层、卷积块以及若干残差块，输出若干不同尺度的特征；所述加强特征提取网络将所述不同尺度的特征层进行特征融合；所述解耦头网络基于融合的特征进行标注框的属性预测。[0084]在更多实施例中，还提供：

[0076]

7

CN 114550148 A[0085]

说　明　书

6/6页

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计

算机指令，所述计算机指令被处理器运行时，完成实施例一中所述的方法。为了简洁，在此不再赘述。

[0086]应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

[0087]存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。[0088]一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。

[0089]实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

[0090]本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

[0091]上述实施例提供的一种基于深度学习的严重遮挡商品的识别检测计数方法及系统可以实现，具有广阔的应用前景。

[0092]以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

8

CN 114550148 A

说　明　书　附　图

1/3页

图1

图2

9

CN 114550148 A

说　明　书　附　图

2/3页

图3(a)

图3(b)

10

CN 114550148 A

说　明　书　附　图

3/3页

图4

图5

11