用于物联网平台的方法、装置以及电子设备与流程
1.本技术涉及工业物联网领域，具体地涉及一种用于物联网平台的方法、装置以及电子设备。
背景技术：
2.当前，在工业物联网领域，工业设备核心工况数据通过各种不同类型的传感器和终端设备，经过各种传输协议加密之后通过4g/5g无线网络实时传输到物联网管理平台，在平台侧通过实时解析，存储，分析生成预测模型，实现生产制造流程优化，推动工业制造转型升级。特别是在工程机械领域，物联网技术的应用更加广泛，由于工程机械设备的种类繁多(车载泵，塔机，履带吊，强夯机，升降机，推土机，旋挖钻等等)，同一种设备类型应用的部件(如底盘)的供货商也各不相同。设备的工况数据经过不同的供货商的私有协议加密传输到物联网平台，需要对工况数据进行实时解析。传统的物联网数据实时解析主要采用flink实时计算引擎，通过编码实现不同部件类型对应的数据解析协议类文件，编写完这些解析协议类文件后需要将解析协议文件集成到flink计算引擎的中，flink计算引擎会根据不同设备—部件类型与解析协议类的对应关系，加载对应的解析协议并最终完成海量物联网数据的实时解析。
3.图3示意性示出了现有物联网平台实时解析装置进行升级与数据解析的流程图，如图3所示，每当有新的设备发布，或者有新的供应商加入到供应链系统，就要通过人工编码实现新增产品对应的解析协议类文件的配置，然后将新增的解析协议类文件集成到flink计算引擎的拓扑任务中去，进行软件打包上线发版。由于设备的更新迭代和供应商及其生产的部件的型号的变化，需要投入大量的研发人员不断地新增对应底盘类型的解析协议类文件，每新增一种解析协议类文件就要重新将flink计算引擎的拓扑任务进行一次发版，将正在运行的任务停掉，将新的任务(p1、p2、p3)替换停掉的任务，即必须中断现有业务的正常运行，导致如解锁车，远程升级的等业务的中断，引起客户的不便，造成损失。
技术实现要素：
4.本技术的目的是为了克服现有技术存在的物联网平台的协议解析装置必须要中断现有任务以进行新的解析协议类文件配置这一问题，提供了一种用于物联网平台的方法、装置以及电子设备。
5.为了实现上述目的，本技术第一方面提供一种用于物联网平台的方法，应用于物联网平台，方法包括：
6.获取与设备的工况数据对应的数据定义，以生成解析协议类文件；
7.hadoop分布式文件存储系统存储解析协议类文件；
8.缓存数据库存储设备与其对应的解析协议名称的对应关系；
9.flink计算引擎响应于消息队列的加载触发消息，根据加载触发消息从hadoop分布式文件存储系统加载解析协议类文件；
10.flink计算引擎在解析协议类文件库中进行信息注册；
11.flink计算引擎将解析协议类文件存储至解析协议类文件库中。
12.在本技术实施例中，方法还包括：
13.flink计算引擎获取工况数据；
14.flink计算引擎根据工况数据解析设备编号；
15.flink计算引擎根据设备编号在缓存数据库中查对应的解析协议名称；
16.flink计算引擎根据解析协议名称在解析协议类文件库中查对应的解析协议类文件，以生成解析协议；以及
17.flink计算引擎根据生成的解析协议解析工况数据。
18.在本技术实施例中，根据原始数据集确定工况数据集包括：
19.判断起重机是否处于行驶状态或作业状态；
20.在起重机处于行驶状态或作业状态的情况下，根据原始数据集中处于相应状态的起重机的目标发动机的转速和负荷百分比确定目标发动机的实际扭矩，其中工况数据集包括目标发动机的转速和实际扭矩。
21.在本技术实施例中，方法还包括：
22.将解析完成后的工况数据实时发送至下游消息队列；
23.下游系统响应于下游消息队列，存储或使用解析完成后的工况数据。
24.在本技术实施例中，获取与设备的工况数据对应的数据定义，生成解析协议类文件，包括：
25.根据获取到的数据定义，生成用于解析同类数据的低代码文件；
26.将低代码文件编译成字节码文件。
27.在本技术实施例中，在hadoop分布式文件存储系统存储解析协议类文件之后，还包括：
28.将解析协议类文件的相关信息数据集合为加载触发消息；
29.发送加载触发消息至所述消息队列。
30.在本技术实施例中，根据加载触发消息从hadoop分布式文件存储系统加载解析协议类文件，包括：
31.根据加载触发消息，解析出解析协议类文件的解析协议的名称，生成时间和文件位置；
32.将解析协议类文件加载至flink计算引擎的每个分布式计算节点上。
33.在本技术实施例中，缓存数据库为redis数据库。
34.在本技术实施例中，消息队列为kafka订阅消息系统。
35.本技术第二方面提供一种物联网平台的数据解析装置，包括：
36.解析协议服务模块，被配置成获取与设备的工况数据对应的数据定义，生成解析协议类文件；
37.hadoop分布式文件存储系统，被配置成存储解析协议类文件；
38.缓存数据库，被配置成存储设备与其对应的解析协议名称的对应关系；
39.flink计算引擎，被配置成：响应于消息队列的加载触发消息，根据加载触发消息从hadoop分布式文件存储系统加载解析协议类文件；
40.在解析协议类文件库中进行信息注册；
41.将解析协议类文件存储至解析协议类文件库中；
42.消息队列系统，被配置成接收解析协议模块发送的加载触发消息与flink计算引擎解析完成的工况数据。
43.在本技术实施例中，flink计算引擎还被配置成：
44.获取工况数据；
45.根据工况数据解析设备编号；
46.根据设备编号在缓存数据库中查对应的解析协议名称；
47.根据解析协议名称在解析协议类文件库中查对应的解析协议类文件，以生成解析协议；以及
48.根据生成的解析协议解析工况数据。
49.在本技术实施例中，装置还包括：
50.plc控制器，被配置成接收设备传输的工况数据，并发送至解析协议服务模块。
51.本技术第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并且能够在处理器上运行的程序，所述处理器执行程序时实现上述的用于物联网平台的方法。
52.通过上述技术方案，可以基于数据定义生成解析协议类文件并动态加载解析协议类文件到flink计算引擎中，实现解析协议类文件在flink计算引擎中的热加载。故在配置新的解析类文件时无需中断业务，可完成物联网平台工况数据解析装置的无感升级。采用数据定义生成解析协议类文件这一低代码的开发的方式提高了实时计算效率，解析协议类文件在flink计算引擎中进行热加载的方式不影响现有业务，大大简化和优化了之前实时解析系统需要频繁发版的流程，极大地提高了开发效率，降低了运维成本，不会造成因业务中断而造成的客户投诉和经济损失。
附图说明
53.图1示意性示出了根据本技术实施例的用于物联网平台的方法的流程示意图。
54.图2示意性示出了根据本技术实施例的工况数据的解析阶段的流程示意图。
55.图3示意性示出了现有物联网平台实时解析装置进行升级与数据解析的流程图。
56.图4示意性示出了根据本技术实施例的用于物联网平台的数据解析装置进行数据解析的流程图。
57.图5示意性示出了根据本技术实施例的用于物联网平台的数据解析的电子设备的内部结构框图。
58.图6示意性示出了一种hadoop分布式文件存储系统的结构框图。
具体实施方式
59.以下结合附图对本技术的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本技术，并不用于限制本技术。
60.需要说明，若本技术实施例中有涉及方向性指示(诸如上、下、左、右、前、后
……
)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
61.另外，若本技术实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
62.图1示意性示出了根据本技术实施例的用于物联网平台的方法的流程示意图。如图1所示，在本技术实施例中，提供了一种用于物联网平台的方法，该方法可分为两个阶段：解析协议类文件配置阶段与工况数据的解析阶段。工业设备每引入一种带有新的供货商的私有协议的部件，都需要对其对应的设备进行解析协议类文件的配置。在本技术的一个实施例中，解析协议类文件配置阶段可以包括以下步骤：
63.步骤101：获取与设备的工况数据对应的数据定义，以生成解析协议类文件；
64.步骤102：hadoop分布式文件存储系统存储解析协议类文件；
65.步骤103：缓存数据库存储设备与其对应的解析协议名称的对应关系；
66.步骤104：flink计算引擎响应于消息队列的加载触发消息，根据加载触发消息从hadoop分布式文件存储系统加载所述解析协议类文件；
67.步骤105：flink计算引擎在解析协议类文件库中进行信息注册；
68.步骤106：将解析协议类文件存储至解析协议类文件库中。
69.在本技术的一个实施例中，不同设备的不同类型的部件(如底盘)在通过传感器采集工况数据并进行不同供货商的私有协议加密后，通过一种总线协议(can总线协议或485总线协议)将工况数据传输至一plc控制器，该plc控制器对接收到的工况数据进行基于物联网平台协议的三次包装，再发送至物联网平台中的数据解析装置，该数据解析装置的主要任务即针对部件的不同供货商的私有协议生成解析协议类文件并进行数据解析，解析协议类文件是以代码的形式生成，通过flink计算引擎加载计算后生成明文形式的解析协议，以进行工况数据的解析。
70.在本技术的一个实施例中，步骤101包括：
71.根据获取到的数据定义，生成用于解析同类数据的低代码文件；
72.将低代码文件编译成字节码文件。
73.数据定义即每种设备的部件的类型对应的工况数据的结构特点，比如工况数据采用的是can总线协议进行传输，那么数据定义即包括：数据的canid、数据长度、数据位置、数据含义、数据标识等数据的结构特点，技术人员或其他用户可于物联网平台中配置设备的工况数据的上述结构特点作为这一类工况数据的数据定义，也可以通过平台提供的模板，批量导入此类工况数据所对应的数据定义，应理解的是，数据定义表征了工况数据所使用的私有协议的类型、工况数据所对应的工况参数类型以及传输该工况数据的具体设备。
74.在本技术的一个实施例中，解析服务模块在获取到数据定义后，根据数据定义自动生成一个低代码文件，该低代码文件可为java文件。生成的低代码文件可以用于解析所有同类型的工况数据。将通过数据定义自动生成低代码的方式替换技术人员直接进行数据解析代码的编写的方式，并以此提高数据解析的效率，降低物联网平台在项目实施过程中的复杂性和实施难度。
75.在本技术的一个实施例中，为了实现后续flink计算引擎对解析协议类文件的热加载，将自动生成的低代码文件编译成后缀为.class的字节码文件。
76.在本技术的一个实施例中，字节码文件编译完成后，被存储至hadoop分布式文件系统。即步骤102：hadoop分布式文件存储系统存储所述解析协议类文件。
77.大数据处理任务首先要解决的问题即数据的存储问题，特别像是物联网平台数据解析这种承载海量数据流的大数据处理任务。hadoop分布式文件存储系统(hdfs)，是hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在，分布式即意味着hdfs是横跨在多台计算机上的存储系统。图6示意性示出了一种hadoop分布式文件存储系统的结构框图，如图6所示，hdfs使用多台计算机存储文件，并且提供统一的访问接口—namenode，程序可以像是访问一个普通文件系统一样使用hdfs。namenode维护和管理文件系统的元数据，是访问hdfs的唯一入口。值得注意的是，hdfs虽然有统一的入口，但是数据是放在不同机器(如datanode1、datanode2
……
)的磁盘(disk)上存储的。
78.同时，本技术中使用的大数据计算引擎为flink计算引擎，flink计算引擎在实时领域应用广泛，具有高吞吐、低延迟等优势，更重要的是，flink计算引擎为分布式处理引擎，其代码和程序可以并行地在多台计算机上(或flink计算引擎的多个分布式计算节点)同时运行。将分布式的实时大数据计算引擎与分布式的文件存储系统结合—任意一台计算机(任意一个计算节点)都可以低延迟高效率地处理任意一台计算机上存储的数据，这种结合方式与物联网平台数据的庞大性、回馈要求的实时性以及本技术要求达到的工况数据解析装置的无感升级相匹配。即步骤101中生成的字节码文件在被存储至hdfs后，可以在flink计算引擎中实现实时热加载，不需要中断任何业务即可完成新的解析协议类文件的配置。
79.在本技术的一个实施例中，在步骤102之后还包括：
80.将解析协议类文件的相关信息数据集合为所述加载触发消息；
81.发送加载触发消息至消息队列。
82.为了保证解析协议类文件能够即使被加载到flink计算引擎中，避免出现一部分设备的工况数据无法实时从密文被解析成具体的工况数据，影响后续的数据分析和其他业务的正常运行，故需要一个能被flink计算引擎实时消费相关消息的消息队列提供相应的加载提醒即加载触发消息。在本技术的一个实施例中，解析协议服务模块在生成了解析协议类文件且该解析协议类文件存储至hdfs后，解析协议服务模块会将该解析协议类文件的解析协议的名称，生成时间和文件位置集合为一条加载触发消息发送至消息队列，flink计算引擎在实时消费、响应消息队列中的此类消息后，即进行解析协议类文件的加载，具体的，消息队列可以为kafka订阅消息系统。即步骤104：flink计算引擎响应于消息队列的加载触发消息，根据加载触发消息从hadoop分布式文件存储系统加载所述解析协议类文件。
83.在本技术的一个实施例中，步骤104包括：
84.根据所述加载触发消息，解析出所述解析协议类文件的解析协议的名称，生成时间和文件位置；
85.将所述解析协议类文件加载至所述flink计算引擎的每个分布式计算节点上。
86.flink计算引擎响应并消费消息队列中的加载触发消息，根据加载触发消息解析出需要加载的解析协议类文件的解析协议的名称，生成时间和文件位置，通过文件位置从
hdfs中加载相应的解析协议类文件至各个分布式计算节点上，使解析协议类文件的代码可以并行地在各个计算节点上执行。
87.在本技术的一个实施例中，flink计算引擎根据所加载的解析协议类文件的信息在flink计算引擎中的解析协议类文件库中进行注册，即将解析协议类文件所对应的解析协议名称进行对应并存储其对应关系，并将解析协议类文件存储至解析协议类文件库中，以便于后续工况数据的解析。即步骤105与步骤106：
88.flink计算引擎在解析协议类文件库中进行信息注册；
89.flink计算引擎将解析协议类文件存储至解析协议类文件库中。
90.值得注意的是，在本技术的一个实施例中，缓存数据库会同时存储工况数据的设备与其对应的解析协议名称的对应关系作为解析协议类文件配置的一个环节，便于后续工况数据的实时解析，具体的，缓存数据库可以为redis数据库。即步骤103：缓存数据库存储设备与其对应的解析协议名称的对应关系。
91.图2示意性示出了根据本技术实施例的工况数据的解析阶段的流程示意图，在本技术的一个实施例中，工况数据的解析阶段包括：
92.步骤110：flink计算引擎获取工况数据；
93.步骤120：flink计算引擎根据工况数据解析设备编号；
94.步骤130：flink计算引擎根据设备编号在缓存数据库中查对应的解析协议名称；
95.步骤140：flink计算引擎根据解析协议名称在解析协议类文件库中查对应的解析协议类文件，以生成解析协议；
96.步骤150：flink计算引擎根据生成的解析协议解析工况数据。
97.在上述解析协议类文件配置阶段完成后，当后续同类的工况数据到达物联网平台的数据解析装置后，flink计算引擎解析出工况数据来源的设备的设备编号，根据设备编号在缓存数据库中查对应的解析协议名称，根据解析协议名称在解析协议类文件库中查对应的解析协议类文件，以生成明文的解析协议解析工况数据。在本技术的一个实施例中，同类设备使用的是同一个解析协议，故同类设备的解析协议类文件配置只需进行一次解析协议类文件的配置即可进行所有同类设备工况数据的解析。
98.在本技术的一个实施例中，flink计算引擎将解析完成后的工况数据实时发送至下游消息队列，下游系统响应于下游消息队列，存储或使用解析完成后的工况数据。同时，flink计算引擎从实时消息队列中消费各个设备的通信日志，动态地完成海量工况数据的解析。
99.图4示意性示出了根据本技术实施例的用于物联网平台的数据解析装置进行数据解析的流程图，如图4所示，在本技术的一个实施例中，提供一种用于物联网平台的数据解析装置，包括：
100.解析协议服务模块201，被配置成获取由用户或技术人员导入的与设备的工况数据对应的数据定义，生成解析协议类文件；
101.hadoop分布式文件存储系统202，被配置成存储解析协议类文件；
102.缓存数据库203，被配置成存储设备与其对应的解析协议名称的对应关系；
103.flink计算引擎204，被配置成：响应于消息队列的加载触发消息，根据加载触发消
息从hadoop分布式文件存储系统202加载所述解析协议类文件；
104.在解析协议类文件库中进行信息注册；
105.将所述解析协议类文件存储至解析协议类文件库中；
106.消息队列系统205，被配置成接收解析协议模块发送的加载触发消息与flink计算引擎204解析完成的工况数据。
107.在本技术的一个实施例中，flink计算引擎204还被配置成：
108.获取工况数据；
109.根据工况数据解析设备编号；
110.根据设备编号在缓存数据库203中查对应的解析协议名称；
111.根据解析协议名称在解析协议类文件库中查对应的解析协议类文件，以生成解析协议；以及
112.根据生成的解析协议解析工况数据。
113.在本技术的一个实施例中，该数据解析装置还包括一plc控制器，用于将通过总线协议传输而来的工况数据进行三次加密并发送至解析协议服务模块。
114.图5示意性示出了根据本技术实施例的用于物联网平台的数据解析的电子设备的内部结构框图。如图5所示，在本技术一实施例中，提供一种电子设备300，包括存储器301、处理器302及存储在存储器上并且能够在处理器上运行的程序，处理器执行程序时实现上述的方法。
115.以上结合附图详细描述了本技术的优选实施方式，但是，本技术并不限于上述实施方式中的具体细节，在本技术的技术构思范围内，可以对本技术的技术方案进行多种简单变型，这些简单变型均属于本技术的保护范围。
116.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本技术对各种可能的组合方式不再另行说明。
117.此外，本技术的各种不同的实施方式之间也可以进行任意组合，只要其不违背本技术的思想，其同样应当视为本技术所公开的内容。
