一种网络空间链路测绘方法、系统、存储介质及设备与流程
1.本发明涉及网络分析技术领域，尤其涉及一种基于路由跟踪和分布式图计算的网络空间链路测绘方法、一种基于路由跟踪和分布式图计算的网络空间链路测绘系统、一种计算机可读存储介质以及一种电子设备。
背景技术：
2.网络空间、地理空间和社会空间的相互映射，可绘制三位一体的网络空间地图。网络空间地图的绘制，对监督部门、网络安全部门、互联网金融行业和互联网广告行业，都有着巨大的帮助，是网络安全行业的基础平台。而链路分析测绘专注于网络空间内各设备节点之间的通联关系，以此为基础展示真实存在的第五维空间（网络空间），辅以设备的地理位置和社会实体属性，为客户提供全面的网络空间地图相关服务。
3.网络链路分析传统的方法是单位内部依靠人工进行统计排查，互联网依靠通管局、运营商等部门提供基础骨干路由链路关系，以此绘制网络拓扑图进行链路分析。这种方法效率低、成本高，展示方式受限，更无法及时反映网络变更。即便是新兴的以图数据库等技术进行网络链路分析，也是以图数据结构存储内部网络、通信数据等为主，提供记录检索、静态图片等简单查询，无法满足网络空间的分析、展示和查询需求。
技术实现要素：
4.针对上述问题，本发明提供了一种网络空间链路测绘方法、系统、存储介质及设备，通过将网络空间链路测绘拆分为数据收集、计算分析、绘图展示三个过程，首先通过对网络空间进行探测获得基础数据，再使用机器学习的图形算法对数据进行拆分计算，结合运营商、自治域、地理信息等数据源进行关联分析，使用前端可视化技术，以多种图形方式展示链路测绘结果，解决了传统网络链路种数据收集难、分析难度大、展示效果差、更新缓慢等问题。通过该方法，能够从数据源头提高链路测绘准确度，实时监测网络变化情况，以最快速度反映网络空间的链路实况，且能够更直观地展示呈现，提供更好的用户体验。
5.为实现上述目的，本发明提供了一种基于路由跟踪和分布式图计算的网络空间链路测绘方法，包括：对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果；对所述路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；分析所述二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；引入所述网络空间的网段分配数据以及对应的地理位置信息对所述链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。
6.在上述技术方案中，优选地，所述对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果的具体过程包括：
将路由探测任务下发至预设的探测主机，由所述探测主机对所要测绘的网络空间进行并行探测；所述探测主机利用路由跟踪命令探测所要测绘网络空间的目标ip地址，获得当前探测主机至目标ip地址之间的路由情况；汇总所有所述探测主机探测到的路由信息，得到所述路由信息结果。
7.在上述技术方案中，优选地，所述对所述路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图的具体过程包括：利用分布式图处理框架技术加载所述路由信息结果，并对每条所述路由信息结果进行验证过滤、文本分割及扁平化处理，得到路由链路对应的源ip与目标ip的二元组关系；利用graphx加载所述二元组关系，生成所述二元组关系图。
8.在上述技术方案中，优选地，所述分析所述二元组关系图的顶点和边，以确定网络路由节点之间的链路关系的具体过程包括：利用graphx计算得到所述二元组关系图中的所有顶点作为路由节点，计算得到顶点之间连线的边作为路由节点之间的链路关系；对每个路由节点统计出度、入度，并分析每个路由节点的前向节点和后向节点，以分析路由节点的级别属性和重要性、分析路由链路的辐射范围和最短路径。
9.在上述技术方案中，优选地，所述引入所述网络空间的网段分配数据以及对应的地理位置信息对所述链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图的具体过程包括：针对所述网络空间的链路关系，引入ip地理位置数据库、全球as（autonomous system）自治系统数据和运营商的ip网段分配数据，分析得到所述网络空间的网络层级、链路数量和运营商分配情况的多维度数据；根据所述网络空间的多维度数据对所述链路关系进行关联分析，得到地域-运营商-idc（internet data center，互联网数据中心）-单位层级关系；查询得到对应的idc、单位及ip地址的地理经纬度信息，结合地图服务，在地图上对应的地理经纬度打点标注路由节点、连线标注链路关系，得到网络空间链路图。
10.在上述技术方案中，优选地，通过定时循环扫描方式对所要测绘的网络空间的ip地址进行路由跟踪，并对实时获得的所述路由信息结果进行拆分以生成二元组关系，实时更新路由节点之间的链路关系，并根据链路关系实时更新测绘形成的所述网络空间链路图。
11.在上述技术方案中，优选地，根据应用场景，利用vue.js、echarts、d3js或dagre-d3的前端可视化技术，以预设方式展示所述网络空间链路图。
12.本发明还提出一种基于路由跟踪和分布式图计算的网络空间链路测绘系统，应用如上述技术方案中任一项公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法，包括：路由探测模块，用于对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果；路由分析模块，用于对所述路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；
图计算分析模块，用于分析所述二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；关联分析展示模块，用于引入所述网络空间的网段分配数据以及对应的地理位置信息对所述链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。
13.本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，该至少一个指令被处理器执行能够实现如上述技术方案中任一项公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法。
14.本发明还提出一种电子设备，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令，以实现如上述技术方案中任一项公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法。
15.与现有技术相比，本发明的有益效果为：通过将网络空间链路测绘拆分为数据收集、计算分析、绘图展示三个过程，首先通过对网络空间进行探测获得基础数据，再使用机器学习的图形算法对数据进行拆分计算，结合运营商、自治域、地理信息等数据源进行关联分析，使用前端可视化技术，以多种图形方式展示链路测绘结果，解决了传统网络链路种数据收集难、分析难度大、展示效果差、更新缓慢等问题。通过该方法，能够从数据源头提高链路测绘准确度，实时监测网络变化情况，以最快速度反映网络空间的链路实况，且能够更直观地展示呈现，提供更好的用户体验。
附图说明
16.图1为本发明一种实施例公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法的流程示意图；图2为本发明一种实施例公开的基于路由跟踪和分布式图计算的网络空间链路测绘系统的模块示意图。
17.图中，各组件与附图标记之间的对应关系为：1.路由探测模块，2.路由分析模块，3.图计算分析模块，4.关联分析展示模块。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.下面结合附图对本发明做进一步的详细描述：如图1所示，根据本发明提供的一种基于路由跟踪和分布式图计算的网络空间链路测绘方法，包括：对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果；对路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；
分析二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；引入网络空间的网段分配数据以及对应的地理位置信息对链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。
20.在该实施方式中，通过将网络空间链路测绘拆分为数据收集、计算分析、绘图展示三个过程，首先通过对网络空间进行探测获得基础数据，再使用机器学习的图形算法对数据进行拆分计算，结合运营商、自治域、地理信息等数据源进行关联分析，使用前端可视化技术，以多种图形方式展示链路测绘结果，解决了传统网络链路种数据收集难、分析难度大、展示效果差、更新缓慢等问题。通过该方法，能够从数据源头提高链路测绘准确度，实时监测网络变化情况，以最快速度反映网络空间的链路实况，且能够更直观地展示呈现，提供更好的用户体验。
21.具体地，在上述实施方式中，优选地，对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果的具体过程包括：将路由探测任务下发至预设的探测主机，由探测主机对所要测绘的网络空间进行并行探测；探测主机利用路由跟踪命令探测所要测绘网络空间的目标ip地址，获得当前探测主机至目标ip地址之间的路由情况；汇总所有探测主机探测到的路由信息，得到路由信息结果。
22.其中，路由跟踪命令traceroute（windows 系统下是tracert）命令利用icmp 协议定位源计算机和目标计算机之间的所有路由器。ttl 值可以反映数据包经过的路由器或网关的数量，通过操纵独立icmp 呼叫报文的ttl 值和观察该报文被抛弃的返回信息，traceroute命令能够遍历到数据包传输路径上的所有路由器。
23.通过对指定范围内的ip地址进行路由跟踪，获取网络空间中的链路信息。ip地址支持直接指定ip段范围，也支持通过国省市地区、域名列表解析得到ip列表。在探测主机上使用路由跟踪命令探测各目标ip，获得探测主机到目标ip之间的路由情况。
24.为防止因来源单一导致路由网络探测不全的情况，本发明从国内外多个探测主机发起任务，探测结果经加密通道发送至服务器的消息队列，经汇总后保存在数据库/hdfs中。原始数据包含探测主机ip、途径路由ip、目标ip等字段。
25.在上述实施方式中，优选地，对路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图的具体过程包括：利用分布式图处理框架技术加载路由信息结果，并对每条路由信息结果进行验证过滤、文本分割及扁平化处理，得到路由链路对应的源ip与目标ip的二元组关系；利用graphx加载二元组关系，生成二元组关系图。
26.其中，spark graphx是一个分布式图处理框架，基于spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。具体地，在实施过程中，使用spark加载路由信息结果，对每行结果进行验证过滤、文本分割、扁平化处理，形成（源ip、目标ip）的二元组关系。使用graphx加载二元组关系，生成二元组关系图，可以分析出图的顶点和边，即为网络关系中的路由节点和两个路由节点之间的链路关系。
27.在上述实施方式中，优选地，分析二元组关系图的顶点和边，以确定网络路由节点之间的链路关系的具体过程包括：
利用graphx计算得到二元组关系图中的所有顶点作为路由节点，计算得到顶点之间连线的边作为路由节点之间的链路关系；对每个路由节点统计出度、入度，并分析每个路由节点的前向节点和后向节点，以分析路由节点的级别属性和重要性、分析路由链路的辐射范围和最短路径。
28.具体地，使用graphx计算出所有顶点和边作为链路分析的基础，可以对每个节点统计其出度、入度，分析前向节点、后向节点，也可以按查询条件拆分子图局部展示，计算同级路由节点、分析辐射范围、寻最短路径等。以路由级别属性为例，可以划分为国家、省级、市级、单位等级别，路由重要性可分级为核心、普通、边缘等级别。
29.其中，加载海量的路由信息结果，在服务器计算环境中进行处理，生成链路关系基础数据，组装成图数据结构并展示，变化数据捕获可实时读取新数据参与运算。
30.在上述实施方式中，优选地，引入网络空间的网段分配数据以及对应的地理位置信息对链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图的具体过程包括：针对网络空间的链路关系，引入ip地理位置数据库、全球as自治系统数据和运营商的ip网段分配数据，分析得到网络空间的网络层级、链路数量和运营商分配情况的多维度数据；根据网络空间的多维度数据对链路关系进行关联分析，得到地域-运营商-idc-单位层级关系；查询得到对应的idc、单位及ip地址的地理经纬度信息，结合地图服务，在地图上对应的地理经纬度打点标注路由节点、连线标注链路关系，得到网络空间链路图。
31.具体地，在路由节点及关系数据的基础上，接入不同数据源，使用前端可视化技术展示各种场景分析的果。通过关联纯真ip地理位置数据库、全球as自治系统、运营商ip段分配等数据，分析出区域内网络层级、链路数量、运营商分配，使用echarts桑基图等图形进行展示。通过互联网开放地图服务的查询接口获取idc机房、使用单位、ip地址的地理经纬度信息，结合自建地图服务，可以在地图上精准标注地理位置，以地图打点和连线的形式展示路由节点和链路关系，将网络空间和地理空间结合展示。如节点和链路关系辐射可以热力图方式展现。
32.在上述实施方式中，优选地，通过定时循环扫描方式对所要测绘的网络空间的ip地址进行路由跟踪，并对实时获得的路由信息结果进行拆分以生成二元组关系，实时更新路由节点之间的链路关系，并根据链路关系实时更新测绘形成的网络空间链路图。
33.在上述实施方式中，优选地，根据应用场景，利用vue.js、echarts、d3js或dagre-d3的前端可视化技术，以预设方式展示网络空间链路图。
34.如图2所示，本发明还提出一种基于路由跟踪和分布式图计算的网络空间链路测绘系统，应用如上述实施方式中任一项公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法，包括：路由探测模块1，用于对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果；路由分析模块2，用于对路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；
图计算分析模块3，用于分析二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；关联分析展示模块4，用于引入网络空间的网段分配数据以及对应的地理位置信息对链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。
35.在上述实施方式中，优选地，路由探测模块1具体用于：将路由探测任务下发至预设的探测主机，由探测主机对所要测绘的网络空间进行并行探测；探测主机利用路由跟踪命令探测所要测绘网络空间的目标ip地址，获得当前探测主机至目标ip地址之间的路由情况；汇总所有探测主机探测到的路由信息，得到路由信息结果。
36.在上述实施方式中，优选地，路由分析模块2具体用于：利用分布式图处理框架技术加载路由信息结果，并对每条路由信息结果进行验证过滤、文本分割及扁平化处理，得到路由链路对应的源ip与目标ip的二元组关系；利用graphx加载二元组关系，生成二元组关系图。
37.在上述实施方式中，优选地，图计算分析模块3具体用于：利用graphx计算得到二元组关系图中的所有顶点作为路由节点，计算得到顶点之间连线的边作为路由节点之间的链路关系；对每个路由节点统计出度、入度，并分析每个路由节点的前向节点和后向节点，以分析路由节点的级别属性和重要性、分析路由链路的辐射范围和最短路径。
38.在上述实施方式中，优选地，关联分析展示模块4具体用于：针对网络空间的链路关系，引入ip地理位置数据库、全球as自治系统数据和运营商的ip网段分配数据，分析得到网络空间的网络层级、链路数量和运营商分配情况的多维度数据；根据网络空间的多维度数据对链路关系进行关联分析，得到地域-运营商-idc-单位层级关系；查询得到对应的idc、单位及ip地址的地理经纬度信息，结合地图服务，在地图上对应的地理经纬度打点标注路由节点、连线标注链路关系，得到网络空间链路图。
39.本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有至少一个指令，该至少一个指令被处理器执行能够实现如上述实施方式中任一项公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法。
40.本发明还提出一种电子设备，电子设备包括存储器及处理器，存储器用于存储至少一个指令，处理器用于执行至少一个指令，以实现如上述实施方式中任一项公开的基于路由跟踪和分布式图计算的网络空间链路测绘方法。
41.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：
1.一种网络空间链路测绘方法，其特征在于，包括：对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果；对所述路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；分析所述二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；引入所述网络空间的网段分配数据以及对应的地理位置信息对所述链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。2.根据权利要求1所述的网络空间链路测绘方法，其特征在于，所述对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果的具体过程包括：将路由探测任务下发至预设的探测主机，由所述探测主机对所要测绘的网络空间进行并行探测；所述探测主机利用路由跟踪命令探测所要测绘网络空间的目标ip地址，获得当前探测主机至目标ip地址之间的路由情况；汇总所有所述探测主机探测到的路由信息，得到所述路由信息结果。3.根据权利要求2所述的网络空间链路测绘方法，其特征在于，所述对所述路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图的具体过程包括：利用分布式图处理框架技术加载所述路由信息结果，并对每条所述路由信息结果进行验证过滤、文本分割及扁平化处理，得到路由链路对应的源ip与目标ip的二元组关系；利用graphx加载所述二元组关系，生成所述二元组关系图。4.根据权利要求3所述的网络空间链路测绘方法，其特征在于，所述分析所述二元组关系图的顶点和边，以确定网络路由节点之间的链路关系的具体过程包括：利用graphx计算得到所述二元组关系图中的所有顶点作为路由节点，计算得到顶点之间连线的边作为路由节点之间的链路关系；对每个路由节点统计出度、入度，并分析每个路由节点的前向节点和后向节点，以分析路由节点的级别属性和重要性、分析路由链路的辐射范围和最短路径。5.根据权利要求4所述的网络空间链路测绘方法，其特征在于，所述引入所述网络空间的网段分配数据以及对应的地理位置信息对所述链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图的具体过程包括：针对所述网络空间的链路关系，引入ip地理位置数据库、全球as自治系统数据和运营商的ip网段分配数据，分析得到所述网络空间的网络层级、链路数量和运营商分配情况的多维度数据；根据所述网络空间的多维度数据对所述链路关系进行关联分析，得到地域-运营商-idc-单位层级关系；查询得到对应的idc、单位及ip地址的地理经纬度信息，结合地图服务，在地图上对应的地理经纬度打点标注路由节点、连线标注链路关系，得到网络空间链路图。6.根据权利要求1至5中任一项所述的网络空间链路测绘方法，其特征在于，通过定时循环扫描方式对所要测绘的网络空间的ip地址进行路由跟踪，并对实时获得的所述路由信息结果进行拆分以生成二元组关系，实时更新路由节点之间的链路关系，并根据链路关系实时更新测绘形成的所述网络空间链路图。
7.根据权利要求6所述的网络空间链路测绘方法，其特征在于，根据应用场景，利用vue.js、echarts、d3js或dagre-d3的前端可视化技术，以预设方式展示所述网络空间链路图。8.一种网络空间链路测绘系统，其特征在于，应用如权利要求1至7中任一项所述的网络空间链路测绘方法，包括：路由探测模块，用于对所要测绘的网络空间对应的ip地址进行路由跟踪，获取探测到的路由信息结果；路由分析模块，用于对所述路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；图计算分析模块，用于分析所述二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；关联分析展示模块，用于引入所述网络空间的网段分配数据以及对应的地理位置信息对所述链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，该至少一个指令被处理器执行能够实现如权利要求1至7中任一项所述的网络空间链路测绘方法。10.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器用于存储至少一个指令，所述处理器用于执行所述至少一个指令，以实现如权利要求1至7中任一项所述的网络空间链路测绘方法。
技术总结
本发明公开了一种网络空间链路测绘方法、系统、存储介质及设备，涉及网络分析技术领域，方法包括：对所要测绘的网络空间对应的IP地址进行路由跟踪，获取探测到的路由信息结果；对路由信息结果进行拆分处理，形成路由链路对应的二元组关系，并生成二元组关系图；分析二元组关系图的顶点和边，以确定网络路由节点之间的链路关系；引入网络空间的网段分配数据以及对应的地理位置信息对链路关系进行关联分析，在地图上标注对应的路由节点及链路关系以测绘形成网络空间链路图。通过本发明的技术方案，提高了链路测绘准确度，能够实时监测网络变化情况，且能够更直观地展示呈现，提供了更好的用户体验。好的用户体验。好的用户体验。
