一种蘑菇生长状态时空预测方法
1.本发明属于智慧农业技术领域及食用菌技术领域，具体的说，涉及一种蘑菇生长状态时空预测方法。
背景技术：
2.目前的蘑菇温室环境监控系统，只对温室环境参数进行采集，由用户预先设定好环境参数，中控单元通过对传感器采集的数据进行检查再根据用户的预设参数进行简单对比来确定生产中间的设备状态，该方式相对于最开始的无环境监测的开环控制系统，对于食用菌生长环境控制的实时性有了明显改善。但蘑菇等农作物的生长影响因素较多，其生长过程和状态不像工业产品那么可控，其很难按预计设定状态进行生长，时间长了，往往调控效果不好。所以，目前蘑菇培养基地通常还是需要人工隔一段时间去巡视菇房，观察菇菌的生长状态(长势)，然后根据长势对环境参数进行人工微调干预，这种人工观察的方式工作量大，而且对菌菇长势的预测不够准确，对菇菌长势实际变化的自适应调整能力较差。
3.此外，蘑菇是易密集或成簇生长的果实，通常还需要避免果实过密导致的生长空间限制以及营养竞争而对果实的质量和产量造成影响。并且，需要对果实的后续采摘时间和采摘量进行预测，便于较优地对采摘任务和疏蕾蔬果进行合理安排，使得大部分果实能适时被采摘。所以，要达到更精准的农作物温室智能控制、优化栽培和采摘管理智能化水平，提高产量和质量，仅靠人工或生长状态监测是不够的，需要对其生长状态进行自动、智能预测，提前进行干预。
4.对果实未来生长状态预测的技术目前一般采用生长模型建模方式，通过研究果实生长环境因子对其生长的影响，建立生长模型实现对果实生长的预测。但是由于农作物生长的随机性强、生长过程受影响因素非常多，不仅仅受环境因子的影响，还会受到培养基成分、厚度等影响，生长模型通常准确度不高。
技术实现要素：
5.针对现有技术中对蘑菇生长状态监测和预测中存在的上述缺陷，本发明的目的是提供一种蘑菇生长状态时空预测方法，该方法能替代人工对蘑菇的生长状态进行监测，特别地能对蘑菇的生长状态进行图像预测，其考虑了蘑菇生长状态的时空变化，将卷积长短时记忆神经网络convlstm与实例分割网络融合，并结合ssim损失函数来提高蘑菇生长状态的预测图像的质量与预测精度。本发明通过对蘑菇生长状态的精准预测，有利于解决现有蘑菇温室环境调控中存在的人工精细化调控难、各菇房生长状态各有不同、调控手段单一且不能24小时全天值守调控等问题，实现温室环境因子的更加精准控制，提高蘑菇产量和质量；此外，还有利于对蘑菇的成熟期及生长聚集程度进行预测，辅助进行蘑菇采摘时间、采摘人员、疏蕾计划安排等栽培和生产管理计划进行更加科学合理的安排。
6.为实现本发明的目的，本发明采用以下技术方案：
7.一种蘑菇生长状态时空预测方法，包括以下步骤：
8.(1)采用rgbd深度相机每隔x分钟拍摄多张图像用于获取蘑菇生长过程中的彩图与深度图；
9.(2)按照生长潮数、生长天数，采用峰值信噪比psnr对拍摄到的蘑菇生长状态的彩图与深度图进行数据清洗，得到处理后清晰的图片数据；
10.(3)采用实例分割算法识别提取蘑菇子实体
11.对清洗后得到的彩图，按一定时间间隔t取出前n次图像，构成生长状态彩图图像序列p
ntc0
；再利用实例分割算法从该序列图像的每张图像中提取出蘑菇子实体图像，去除背景图像形成仅含蘑菇的彩图图像序列p
ntc
；
12.(4)取若干张和彩图图像序列p
ntc
同时刻对应的连续的深度图组成深度图像序列p
ntd
，将彩图图像序列p
ntc
、深度图像序列p
ntd
分别输入convlstm网络中进行预测，预测出k时刻后的彩图图像p
to+kc
和深度图图像p
to+kd
；
13.(5)彩图与深度图匹配提取预测图像蘑菇特征
14.将预测的彩图图像p
to+kc
通过实例分割算法识别提取出各蘑菇并对提取的蘑菇进行椭圆拟合获得各蘑菇的轮廓和中心点坐标，然后与深度图图像p
to+kd
进行蘑菇高度匹配，计算出蘑菇的尺寸大小，获得k时刻后的蘑菇大小及中心点位置，进而预测蘑菇的长势特征，长势特征包括：蘑菇生长速度预测、蘑菇成熟时间预测、未来第1、2
…
l天的成熟蘑菇量预测、蘑菇分布均匀程度、蘑菇聚集情况、蘑菇总数和蘑菇生长密度。
15.进一步的，步骤(2)和步骤(5)中，实例分割算法独立的选自solo v2、mask rcnn、yolact等中任一种。
16.进一步的，步骤(3)中，彩图图像序列p
ntc
、深度图像序列p
ntd
分别输入convlstm网络中，分别通过卷积网络进行特征提取和编码，编码后特征信息输入lstm神经网络经更新状态门i、遗忘门f、隐藏层h提取出长序列隐藏信息与短序列隐藏信息，然后送入解码器解码输出预测结果，convlstm网络结构公式如下，
[0017][0018][0019][0020][0021][0022]
式中，为矩阵元素的乘积，x
t
表示t时刻输入，i
t
表示输出门状态保留概率，f
t
表示遗忘门状态保留概率，c
t
表示t时刻单元状态，o
t
表示t时刻输出门输出概率，h
t
表示t时刻隐含层输出，w
xi
、w
hi
、w
ci
、bi分别表示输入门的权重和阈值，w
xf
、w
hf
、w
cf
、bf分别表示遗忘门的权重和阈值，w
xc
、w
hc
、bc分别表示状态门的权重和阈值，w
xo
、w
ho
、w
co
、bo分别表示输出门的权重和阈值。
[0023]
进一步的，步骤(4)中，convlstm网络中，采用ms-ssim损失函数进行训练调优，ms-ssim损失函数计算公式如下：
[0024][0025]
其中，m表示不同的尺度；μ
p
,μg分别表示预测图像和实际图像的均值；σ
p
,σg分别表
示预测图像和实际图像之间的标准差；σ
pg
表示预测值和实际图像之间的协方差；βm和γm分别表示两项之间的相对重要性，c1和c2是为了防止除数为0而添加的常数项。
[0026]
进一步的，步骤(4)中，convlstm网络中，使用adam优化器训练活函数使用relu。
[0027]
进一步的，步骤(5)中，预测蘑菇生长速度的方法为：
[0028]
将统计预测的未来k时刻后的彩图图像p
to+kc
中的各蘑菇菌盖大小与当前时刻to时刻对应各蘑菇菌盖大小之差的平均值除以k，得到预测蘑菇生长速度值。
[0029]
进一步的，步骤(5)中，蘑菇成熟时间预测方法为：
[0030]
根据预测出的1小时、2小时、3小时
…
m小时后的生长状态彩图和深度图像，识别和提取出各成熟蘑菇，第m小时后预测图像上的成熟蘑菇的成熟时间为m小时后成熟，然后将每个蘑菇的成熟时间m综合标注在当前时刻to的蘑菇生长状态图像上显示，为种植人员进行环境参数调节和采摘、疏蕾安排提供参考依据。其中，基于彩图和深度图像配合计算的蘑菇大小是决定其成熟度的关键参数，蘑菇是否成熟根据计算出的蘑菇大小进行判断，当蘑菇的大小大于一个确定值时，即为成熟蘑菇。
[0031]
进一步的，步骤(5)中，未来第l天中每天的成熟蘑菇量预测方法为：
[0032]
根据预测出的第1、2
…
l天后的生长状态彩图和深度图像，识别和提取出各天预测图像上的成熟蘑菇个数、形状和位置信息，并生成预测出的每天成熟蘑菇分布图，为种植人员进行采摘时间和采摘人员等采摘相关安排提供参考；预测出的每天成熟蘑菇分布图仅高亮显示当天成熟的蘑菇，其通过将预测出的第l天的预测图中的第l-1天的成熟蘑菇从图片中抠除，然后用亮显标记出第l天成熟的蘑菇生成；其中：蘑菇是否成熟根据计算出的蘑菇大小进行判断。
[0033]
进一步的，步骤(5)中，蘑菇分布均匀程度的判别方法为：
[0034]
对预测出来的生长状态彩图图像从竖直、水平、45度和135度四个方向以及中心和外围对图像进行区域划分，得到10个区域，即上、下、左、右、左上、右下、右上、左下、中心和外围，统计这10个区域内的蘑菇数量yi以及各区域磨菇数之和yo，即蘑菇总数，然后按如下公式计算区域统计分布向量的方差mse：
[0035][0036]
根据mse的值的大小将蘑菇分布的均匀程度划分为三个等级：第一等级为mse在0-13之间、第二等级为mse在14-21之间、第三等级为mse在21以上，其中第一等级表示蘑菇分布比较均匀，第二等级表示蘑菇分布均匀程度为一般，第三等级表示蘑菇分布很不均匀。
[0037]
进一步的，步骤(5)中，蘑菇聚集情况的判别方法为：
[0038]
对预测出来的生长状态图像及提取出来的蘑菇大小及中心点位置，采用基于局部密度的聚类方法，按照蘑菇间中心距小于等于蘑菇的半径之和来进行聚类判断，然后在预测图中标示出聚类蘑菇，统计聚类个数和聚类大小，即一个聚类中的蘑菇个数，实现对蘑菇聚集程度的判别预测。
[0039]
进一步的，步骤(5)中，蘑菇生长密度的判别方法为：
[0040]
对预测出来的彩图图像识别并提取出蘑菇，计算单位面积的蘑菇个数，实现对蘑菇的生长密度进行预测。
[0041]
以上，本发明提出对果实生长的图像(包括彩图和深度图)的连续时间序列直接进
行未来生长状态图像进行预测。其从图像中先提取特征，然后按照特征值的历史序列进行预测，直接对生长状态图片进行预测，图像预测的时候更多的生长关系影响细节均载在图中一起参与预测，而且果实与周边果实及果实所处位置等空间信息也一起参与预测，这种基于时空两个维度对果实生长状态预测，其预测效果能更加接近实际状态。和现有技术相比，本发明的有益效果在于：
[0042]
本发明方法可对蘑菇进行生长速度、成熟期、蘑菇聚集情况、蘑菇分布均匀程度等长势进行预测，其可替代人工巡检，为更加精准有效的开展农作物温室环境因子控制以及农作物的智能采摘及疏蕾等合理安排提供信息基础和判断依据，实现温室环境因子的更加精准控制和栽培管理以及采摘管理的智能化程度，提高蘑菇产量和质量。本方法不仅限于蘑菇，其它食用菌类、果蔬的生长状态预测均可采用此方法。
附图说明
[0043]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术的附图做简单地介绍，很显然下面描述的附图仅仅是对本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前题下，还可以根据这些附图获得其他附图。
[0044]
图1蘑菇生长状态预测方法流程图。
[0045]
图2蘑菇生长状态预测系统。
[0046]
图3蘑菇生长状态图像预测网络结构。
[0047]
图4生长状态彩图预测结果图像。
[0048]
图5生长状态深度图预测结果图像。
[0049]
图6实例分割算法分割效果图。
[0050]
图7预测的各蘑菇成熟期分布图。
[0051]
图8预测的每天成熟蘑菇的个数即分布图。
[0052]
图9蘑菇分布均匀程度的判别方法。
[0053]
图10蘑菇分布均匀程度预测图。
[0054]
图11蘑菇聚集情况预测图。
具体实施方式
[0055]
下面结合附图和实施例对本发明的技术方案进行详细阐述。
[0056]
本发明的一种蘑菇生长状态时空预测流程图如图1所示。
[0057]
在本发明的一个优选实施方案中，本发明的一种蘑菇生长状态时空预测系统如图2所示，包括深度相机、图像传输装置、中央主控系统和生长状态图像预测系统。其中深度相机安装在蘑菇上方，采集蘑菇生长状态图像，采集到的图像通过图像传输装置，采用5g传输方式传输至中央主控系统，中央主控系统存储采集到的图像并通过生长状态图像预测系统预测未来某一时刻k的生长状态图像，然后，提取预测图像中的生长状态特征，预测蘑菇的生长速度、生长密度、成熟期、未来聚集情况、分布均匀程度等长势。
[0058]
在本发明的一个优选实施方案中，生长状态图像预测模型为solov2-convlstm融合的时空预测模型，其结构如图3所示，一方面，取若干张时间间隔为t小时的生长状态彩图
图像序列，采用实例分割算法solov2从该序列图像的每张原始图像中(含土壤、菌丝等背景信息)提取出蘑菇个体图像形成新的仅含蘑菇的彩图图像序列进行预测，以将预测任务只关注到蘑菇本体上而得到对蘑菇状态的更精准预测；另一方面，取同样时间段内若干张相同间隔的深度图图像序列。然后分别将仅含蘑菇的彩图图像序列和深度图像序列分别通过卷积神经网络进行特征提取和编码，进而将编码所得特征信息输入lstm经更新状态门、遗忘门、隐藏层预测网络结构提取出长序列隐藏信息与短序列隐藏信息，然后送入解码器解码输出预测结果，其中预测网络的损失函数采用ms-ssim，最终得到预测图像。该生长状态图像预测模型solov2-convlstm通过i9-10900k-3.7ghz的cpu、rtx3090gpu、pytorch深度学习框架下，训练参数设置为学习率α＝0.0001，使用基于adam优化器β1＝0.5、β2＝0.2，激活函数采用relu，训练次数为5000次训练而得。
[0059]
在本发明的一个优选实施方案中，生长状态图像预测步骤为：
[0060]
(1)采用深度相机分别对双孢蘑菇的生长状态每间隔10分钟采集三张彩图和三张深度；
[0061]
(2)通过5g传输到中央主控系统；
[0062]
(3)对采集的3张图像通过psnr图像质量函数对比挑选出图像质量最优的图像。
[0063]
(4)将采集并筛选5张连续彩图图像组成历史彩图图像序列p
ntc0
，并采用实例分割算法solov2从该序列图像的每张图像中(含背景土壤等信息)提取出蘑菇个体图像形成仅含蘑菇的生长状态彩图历史图像序列p
ntc
。
[0064]
(5)取以上彩图序列图像同时刻对应的5张连续深度图像组成深度图像历史图像序列p
ntd
，将p
ntc
和p
ntd
输入图像预测模型convlstm中进行预测，得到1小时后的彩图图像p
to+1c
和深度图图像p
to+1d
，如图4、5所示。
[0065]
(6)将预测的彩图图像p
to+kc
通过实例分割算法solov2识别提取出各蘑菇并对提取的蘑菇进行椭圆拟合获得各蘑菇的轮廓和中心点坐标，然后与深度图图像进行蘑菇高度匹配，计算出蘑菇的尺寸大小，从而获得1小时后的预测图像中蘑菇大小及中心点位置。
[0066]
在本发明的一个实施方案中，，发明人采用不同识别算法对采集的蘑菇采图进行分割识别，其采用实例分割算法(mask rcnn)分割的效果如图6(c)所示，识别的成功率和精度均明显优于传统视觉方法(基于边缘灰度梯度特征的传统识别方法，图6(a),)或目标检测定位算法(基于yolo的目标检测定位算法，图6(b))。
[0067]
在本发明的一个实施方案中，发明人分别基于实例分割与convlstm融合的典型方法solov2-convlst算法、和convlstm算法对蘑菇的生长状态进行预测，结果显示，solov2-convlst算法的预测效果显著优于仅用convlstm算法的预测效果，如表1所示：
[0068]
表1
[0069][0070]
在本发明的一个优选实施方案中，通过预测得到的蘑菇大小及中心点位置信息进行蘑菇生长速度预测、蘑菇成熟时间预测、未来第1、2
…
l天的成熟蘑菇量预测、蘑菇分布均
匀程度、蘑菇聚集情况、蘑菇总数等实现对蘑菇长势的具体预测。
[0071]
在本发明的一个优选实施方案中，蘑菇成熟时间预测方法为：按照上述solov2-convlstm图像预测方法分别预测出1小时、2小时
…
48小时后的生长状态彩图和深度图图像，并采用solov2识别提取出各成熟蘑菇，第m小时后预测图像上的成熟蘑菇的成熟时间为m小时后成熟，然后将每个蘑菇的成熟时间m综合标注在当前时刻(to)的蘑菇生长状态图像上显示出来。如图7所示，每个蘑菇上标的数字为该蘑菇即将成熟的时间，若标5，则表示该蘑菇5小时后成熟，为种植人员进行环境参数调节和疏蕾安排等提供参考依据。
[0072]
在本发明的一个优选实施方案中，未来第l天中每天的成熟蘑菇量预测方法为：按照上述solov2-convlstm图像预测方法分别预测出第1、2天后的生长状态彩图和深度图图像，并采用solov2识别提取出各天预测图像上的成熟蘑菇个数、蘑菇形状和蘑菇中心点位置信息，并生成新的每天成熟蘑菇分布图，为种植人员进行采摘时间和采摘人员等采摘相关安排提供参考。如图8所示，为预测出的每天成熟蘑菇分布图，图中用黄亮显示当天成熟的蘑菇图。左图为预测的1天后成熟的蘑菇分布，右图为预测的2天后成熟的蘑菇分布图，其中，不包含前一天成熟的蘑菇，因为前一天的蘑菇已经被采摘了。
[0073]
在本发明的一个优选实施方案中，蘑菇分布均匀程度预测的判别方法为：对按照上述solov2-convlstm图像预测方法预测出来的生长状态彩图图像从竖直、水平、45度和135度四个方向以及中心和外围对图像进行区域划分，得到10个区域如图9所示，即上、下、左、右、左上、右下、右上、左下、中心和外围。统计这10个区域内的蘑菇数量yi以及各区域磨菇数之和yo(即蘑菇总数)，然后按如下公式计算区域统计分布向量的方差mse：
[0074][0075]
根据mse的值的大小将蘑菇分布的均匀程度划分为三个等级：第一等级为mse在0-13之间、第二等级为mse在14-21之间、第三等级为mse在21以上，并可视化显示出其分布均匀程度。如图10所示，分别为三个不同分布均匀等级的蘑菇分布图，左上角标注了蘑菇总数、mse值、均匀程度等级，其中第一等级表示蘑菇分布比较均匀，第二等级表示蘑菇分布均匀程度为一般，第三等级表示蘑菇分布很不均匀。
[0076]
在本发明的一个优选实施方案中，蘑菇聚集情况预测的判别方法为：按照上述solov2-convlstm图像预测方法预测出来的生长状态图像及采用solov2识别提取出的蘑菇形状和中心点位置信息，采用基于局部密度的聚类方法，按照蘑菇间中心距小于等于蘑菇的半径之和来进行聚类判断，并将聚类蘑菇、聚类个数及聚类大小用可视化方法显示。如图11所示，预测出来的图像通过聚类计算后，共有a-f 6个聚类，每个聚类的大小即聚类中所含蘑菇个数用数字标注在聚类字母后面，例如c4表示c这个聚类含有4个蘑菇聚集在一起。通过此方法可预测蘑菇聚集程度，聚类数量越多、聚类大小越大表示蘑菇密集丛生现象越严重，需要进行疏蕾。
