基于Jetsonano的水果成熟度无损检测方法及系统
基于jetson nano的水果成熟度无损检测方法及系统
技术领域
1.本发明属于水果成熟检测技术领域，具体涉及基于jetson nano的水果成熟度无损检测方法及系统。
背景技术：
2.目前，水果成熟度检测是农业智能化的重要组成部分。传统的机器学习方法通过对图像进行分割预处理后提取特征，根据阈值或差值判断水果成熟度效果显著，但其存在以下问题：1、背景影响大，由于需要的数据集较少，模型的鲁棒性较差；2、识别速度慢，通常需要对图像进行预处理后提取特征；3、部署难度高，传统机器学习方法计算缓慢且对识别环境有要求通常部署于流水线而不是嵌入式设备中。
3.因此，设计一种能通过图像实现对水果成熟度的快速检测，模型鲁棒性强且能有效避免人工检测主观影响的基于jetson nano的水果成熟度无损检测方法及系统，就显得十分必要。jetson nano指嵌入式ai平台。
4.例如，申请号为cn202210200381.2的中国专利文献描述的一种基于yolov4模型和卷积神经网络的水果成熟检测方法和系统。该方法包括：步骤s1、将训练图片输入基于yolov4模型的水果识别单元；步骤s2、将来自水果识别单元的训练数据集输入水果成熟检测单元以训练水果成熟检测单元的基于卷积神经网络的深度学习模型；步骤s3、通过摄像头和树莓派拍摄图片并将图片输入水果识别单元；步骤s4、将图像输入水果成熟检测单元，输出是否成熟。虽然在yolov4模型基础上结合水果成熟检测模型，以对水果的成熟进行检测，并使用轻量级yolov4-tiny结构作为yolov4模型中识别网络，以提高水果检测的精度和速度，且可运用于日常生活中水果成熟的检测，以方便对于水果的储存，但是其缺点在于，仍然需要数据集训练，针对人工标注的数据集仍存在各人主观判断不一致且效率过低的问题。
技术实现要素：
5.本发明是为了克服现有技术中，现有水果成熟度检测采用的深度学习算法，仍然需要数据集训练，针对人工标注的数据集仍存在各人主观判断不一致且效率过低的问题，提供了一种能通过图像实现对水果成熟度的快速检测，模型鲁棒性强且能有效避免人工检测主观影响的基于jetson nano的水果成熟度无损检测方法及系统。
6.为了达到上述发明目的，本发明采用以下技术方案：
7.基于jetson nano的水果成熟度无损检测方法，包括如下步骤：
8.s1，通过自动标注的方法构建水果成熟度数据集，并对目标检测网络yolov4-tiny进行训练；
9.s2，拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；
10.s3，将步骤s2提取出的图像作为输入层，输入训练后的目标检测网络yolov4-tiny
中进行特征提取和分类预测，获得水果的成熟度信息；
11.s4，将获得的水果的成熟度信息，通过显示器进行展示。
12.作为优选，步骤s1包括如下步骤：
13.s11，采集单一背景已知成熟度的水果图像以及自然环境下的未知成熟度的水果图像；
14.s12，对单一背景的已知成熟度的水果图像进行分割后提取特征确定成熟度判断标准；
15.s13，根据步骤s12得到的成熟度判断标准对自然环境下的未知成熟度的水果图像进行标签信息补充，获得自然环境下的水果成熟度数据集；
16.s14，根据步骤s13得到的自然环境下的水果成熟度数据集训练轻量级目标检测网络yolov4-tiny。
17.作为优选，步骤s12包括如下步骤：
18.s121，将所述单一背景的已知成熟度的水果图像进行分割，去除背景信息；
19.s122，将图像的rgb颜空间转换为lab颜空间；
20.s123，使用k-means聚类算法对转换颜空间后的图像进行特征提取，并作为水果成熟度分类标准。
21.作为优选，步骤s13包括如下步骤：
22.s131，通过目标检测算法对图像中的水果进行识别定位，并获得水果坐标信息；
23.s132，根据获得的水果坐标信息，对图像中的水果进行裁剪映射；
24.s133，对映射出的水果，采用水果成熟度分类标准进行成熟度分类，并更新标签文件。
25.作为优选，步骤s12的具体过程如下：
26.s121，将输入的图像转为灰度图，并通过otsu分割法将图像中的水果分割出来；设阈值为k，将灰度图分为两部分像素分为c1,c2的概率分别为p1,p2；计算c1的像素均值记为m
c1
，同理得到m
c2
，全局像素均值为m，求类间方差，公式如下：
27.σ2＝p1*(m
c1-m)2+p2*(m
c2-m)228.化简得
29.σ2＝p1*p2*(m
c1-m
c2
)230.遍历数据范围0-255，求使得σ2最大的k值即为阈值。
31.s122，将分割后的图像由rgb颜空间转为lab颜空间；求a通道的像素均值记为ma，同理b通道的均值记为mb，差比a/b的值记为mc，根据k-means聚类算法计算聚类中心，设定需要分为3种成熟度，则需要3个聚类中心，公式如下：
[0032][0033][0034]
其中，mci表示第i个对象1≤i≤n，cj表示第j个聚类中心，mc
it
表示第i个对象的第
t个属性，c
jt
表示第j个成熟度的第t个属性,|si|代表第i类簇中对象的个数；所述聚类中心指成熟度；
[0035]
依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到3个类簇{s1,s2,s3}。
[0036]
作为优选，步骤s13的具体过程如下：
[0037]
训练一个只进行识别而不检测成熟度的深度模型，通过目标检测算法对未分级水果数据集图像进行识别，将识别到的水果图像映射到步骤s122中，进行成熟度聚类，根据识别到的位置信息和得到的成熟度信息，新建训练集标签。
[0038]
本发明还提供了基于jetson nano的水果成熟度无损检测系统，包括：
[0039]
数据构建与训练模块，用于通过自动标注的方法构建水果成熟度数据集，并对目标检测网络yolov4-tiny进行训练；
[0040]
图像采集模块，用于拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；
[0041]
水果成熟度信息获取模块，用于将提取出的图像作为输入层，输入训练后的目标检测网络yolov4-tiny中进行特征提取和分类预测，获得水果的成熟度信息；
[0042]
信息显示模块，用于将获得的水果的成熟度信息，通过显示器进行展示。
[0043]
本发明与现有技术相比，有益效果是：(1)本发明提出一种基于机器学习的自动标注方法，通过该方法制作数据集训练深度学习模型，使得目标检测算法具备成熟度检测功能，从而实现水果成熟度实时检测；(2)本发明可以通过图像实现对水果成熟度的快速检测；(3)本发明采用的模型鲁棒性较强，能够在自然环境下对水果进行识别；(4)本发明可以有效避免人工检测的主观影响。
附图说明
[0044]
图1为本发明中水果成熟度检测与识别算法的一种流程图；
[0045]
图2为本发明中自动标注方法的一种流程图；
[0046]
图3为本发明中已分级水果成熟度图像的一种示意图；
[0047]
图4为本发明中未分级水果数据集图像的一种示意图；
[0048]
图5为本发明中基于jetson nano的水果成熟度无损检测系统的一种硬件结构图。
具体实施方式
[0049]
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0050]
实施例：
[0051]
如图1所示，本发明提供了基于jetson nano的水果成熟度无损检测方法，包括如下步骤：
[0052]
s1，通过自动标注的方法构建水果成熟度数据集，并对目标检测网络yolov4-tiny进行训练；
[0053]
s2，拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；
[0054]
s3，将步骤s2提取出的图像作为输入层，输入训练后的目标检测网络yolov4-tiny中进行特征提取和分类预测，获得水果的成熟度信息；
[0055]
s4，将获得的水果的成熟度信息，通过显示器进行展示。
[0056]
另外，采摘人员可以通过lcd屏触控操作进行实时检测或拍摄图像后检测。
[0057]
其中，水果的成熟度信息分为未成熟、将成熟和已成熟。
[0058]
步骤s1包括如下步骤：
[0059]
s11，采集单一背景已知成熟度的水果图像以及自然环境下的未知成熟度的水果图像；
[0060]
s12，对单一背景的已知成熟度的水果图像进行分割后提取特征确定成熟度判断标准；
[0061]
s13，根据步骤s12得到的成熟度判断标准对自然环境下的未知成熟度的水果图像进行标签信息补充，获得自然环境下的水果成熟度数据集；
[0062]
s14，根据步骤s13得到的自然环境下的水果成熟度数据集训练轻量级目标检测网络yolov4-tiny。
[0063]
如图2所示，步骤s12包括如下步骤：
[0064]
s121，将所述单一背景的已知成熟度的水果图像进行分割，去除背景信息；
[0065]
s122，将图像的rgb颜空间转换为lab颜空间；
[0066]
s123，使用k-means聚类算法对转换颜空间后的图像进行特征提取，并作为水果成熟度分类标准。
[0067]
实验证明泽比a/b作为综合度指标可以作为相关果实成熟的参考指标。本发明结合深度学习与机器学习对水果图像数据集进行自动标注，从而避免了人工标注时，个人主观影响造成的成熟度不一致问题。已分级成熟度图像如图3所示，图中水果图像从左到右分别为未成熟、将成熟、已成熟。
[0068]
未分级水果数据集图像如图4所示，该数据集用于深度模型的训练。未分级水果数据集数量多，若进行人工手动标注成熟度易出现主观分类不一致问题，进而导致训练效果差。因此，本发明进行如下步骤s13过程：
[0069]
s131，通过目标检测算法对图像中的水果进行识别定位，并获得水果坐标信息；
[0070]
s132，根据获得的水果坐标信息，对图像中的水果进行裁剪映射；
[0071]
s133，对映射出的水果，采用水果成熟度分类标准进行成熟度分类，并更新标签文件。
[0072]
本发明提出的自动标注方法的具体实现过程如下：
[0073]
1.将输入的图像转为灰度图，并通过otsu分割法将图像中的水果分割出来；设阈值为k，将灰度图分为两部分像素分为c1,c2的概率分别为p1,p2；计算c1的像素均值记为m
c1
，同理得到m
c2
，全局像素均值为m，求类间方差，公式如下：
[0074]
σ2＝p1*(m
c1-m)2+p2*(m
c2-m)2[0075]
化简得
[0076]
σ2＝p1*p2*(m
c1-m
c2
)2[0077]
遍历数据范围0-255，求使得σ2最大的k值即为阈值。
[0078]
2.将分割后的图像由rgb颜空间转为lab颜空间；求a通道的像素均值记为ma，同理b通道的均值记为mb，差比a/b的值记为mc，根据k-means聚类算法计算聚类中心，设定需要分为3种成熟度，则需要3个聚类中心，公式如下：
[0079][0080][0081]
其中，mci表示第i个对象1≤i≤n，cj表示第j个聚类中心，mc
it
表示第i个对象的第t个属性，c
jt
表示第j个成熟度的第t个属性,|si|代表第i类簇中对象的个数；所述聚类中心指成熟度；
[0082]
依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到3个类簇{s1,s2,s3}。
[0083]
3.训练一个只进行识别而不检测成熟度的深度模型，通过目标检测算法对未分级水果数据集图像进行识别，将识别到的水果图像映射到步骤2中，进行成熟度聚类，根据识别到的位置信息和得到的成熟度信息，新建训练集标签。
[0084]
本发明还提供了基于jetson nano的水果成熟度无损检测系统，包括：
[0085]
数据构建与训练模块，用于通过自动标注的方法构建水果成熟度数据集，并对目标检测网络yolov4-tiny进行训练；
[0086]
图像采集模块，用于拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；
[0087]
水果成熟度信息获取模块，用于将提取出的图像作为输入层，输入训练后的目标检测网络yolov4-tiny中进行特征提取和分类预测，获得水果的成熟度信息；
[0088]
信息显示模块，用于将获得的水果的成熟度信息，通过显示器进行展示。
[0089]
具体采用的设备如图5所示，摄像头采集到水果图像，传入嵌入式ai平台jetson nano进行识别和检测，将检测结果在显示屏上显示反馈给采摘人员。其中，数据构建与训练模块、水果成熟度信息获取模块均搭载在jetson nano开发板上。
[0090]
本发明提出一种基于机器学习的自动标注方法，通过该方法制作数据集训练深度学习模型，使得目标检测算法具备成熟度检测功能，从而实现水果成熟度实时检测；本发明可以通过图像实现对水果成熟度的快速检测；本发明采用的模型鲁棒性较强，能够在自然环境下对水果进行识别；本发明可以有效避免人工检测的主观影响。
[0091]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。
技术特征：
1.基于jetson nano的水果成熟度无损检测方法，其特征在于，包括如下步骤：s1，通过自动标注的方法构建水果成熟度数据集，并对目标检测网络yolov4-tiny进行训练；s2，拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；s3，将步骤s2提取出的图像作为输入层，输入训练后的目标检测网络yolov4-tiny中进行特征提取和分类预测，获得水果的成熟度信息；s4，将获得的水果的成熟度信息，通过显示器进行展示。2.根据权利要求1所述的基于jetson nano的水果成熟度无损检测方法，其特征在于，步骤s1包括如下步骤：s11，采集单一背景已知成熟度的水果图像以及自然环境下的未知成熟度的水果图像；s12，对单一背景的已知成熟度的水果图像进行分割后提取特征确定成熟度判断标准；s13，根据步骤s12得到的成熟度判断标准对自然环境下的未知成熟度的水果图像进行标签信息补充，获得自然环境下的水果成熟度数据集；s14，根据步骤s13得到的自然环境下的水果成熟度数据集训练轻量级目标检测网络yolov4-tiny。3.根据权利要求2所述的基于jetson nano的水果成熟度无损检测方法，其特征在于，步骤s12包括如下步骤：s121，将所述单一背景的已知成熟度的水果图像进行分割，去除背景信息；s122，将图像的rgb颜空间转换为lab颜空间；s123，使用k-means聚类算法对转换颜空间后的图像进行特征提取，并作为水果成熟度分类标准。4.根据权利要求3所述的基于jetson nano的水果成熟度无损检测方法，其特征在于，步骤s13包括如下步骤：s131，通过目标检测算法对图像中的水果进行识别定位，并获得水果坐标信息；s132，根据获得的水果坐标信息，对图像中的水果进行裁剪映射；s133，对映射出的水果，采用水果成熟度分类标准进行成熟度分类，并更新标签文件。5.根据权利要求2所述的基于jetson nano的水果成熟度无损检测方法，其特征在于，步骤s12的具体过程如下：s121，将输入的图像转为灰度图，并通过otsu分割法将图像中的水果分割出来；设阈值为k，将灰度图分为两部分像素分为c1,c2的概率分别为p1,p2；计算c1的像素均值记为m
c1
，同理得到m
c2
，全局像素均值为m，求类间方差，公式如下：σ2＝p1*(m
c1-m)2+p2*(m
c2-m)2化简得σ2＝p1*p2*(m
c1-m
c2
)2遍历数据范围0-255，求使得σ2最大的k值即为阈值。s122，将分割后的图像由rgb颜空间转为lab颜空间；求a通道的像素均值记为m
a
，同理b通道的均值记为m
b
，差比a/b的值记为m
c
，根据k-means聚类算法计算聚类中心，设定需要分为3种成熟度，则需要3个聚类中心，公式如下：
其中，mc
i
表示第i个对象1≤i≤n，c
j
表示第j个聚类中心，mc
it
表示第i个对象的第t个属性，c
jt
表示第j个成熟度的第t个属性,|s
i
|代表第i类簇中对象的个数；所述聚类中心指成熟度；依次比较每一个对象到每一个聚类中心的距离，将对象分配到距离最近的聚类中心的类簇中，得到3个类簇{s1,s2,s3}。6.根据权利要求5所述的基于jetson nano的水果成熟度无损检测方法，其特征在于，步骤s13的具体过程如下：训练一个只进行识别而不检测成熟度的深度模型，通过目标检测算法对未分级水果数据集图像进行识别，将识别到的水果图像映射到步骤s122中，进行成熟度聚类，根据识别到的位置信息和得到的成熟度信息，新建训练集标签。7.基于jetson nano的水果成熟度无损检测系统，其特征在于，包括：数据构建与训练模块，用于通过自动标注的方法构建水果成熟度数据集，并对目标检测网络yolov4-tiny进行训练；图像采集模块，用于拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；水果成熟度信息获取模块，用于将提取出的图像作为输入层，输入训练后的目标检测网络yolov4-tiny中进行特征提取和分类预测，获得水果的成熟度信息；信息显示模块，用于将获得的水果的成熟度信息，通过显示器进行展示。
技术总结
本发明属于水果成熟检测技术领域，具体涉及基于Jetson ano的水果成熟度无损检测方法及系统。包括如下步骤：S1，通过自动标注的方法构建水果成熟度数据集，并对目标检测网络YOLOv4-tiny进行训练；S2，拍摄自然环境下的水果视频或者图像；若拍摄视频，则对视频进行逐帧图像提取；S3，将步骤S2提取出的图像作为输入层，输入训练后的目标检测网络YOLOv4-tiny中进行特征提取和分类预测，获得水果的成熟度信息；S4，将获得的水果的成熟度信息，通过显示器进行展示。本发明具有能通过图像实现对水果成熟度的快速检测，模型鲁棒性强且能有效避免人工检测主观影响的特点。人工检测主观影响的特点。人工检测主观影响的特点。
