NB

DOI:10.3969/.1006-6403.2021.11.006

NB-IoT

窄带物联网设备管理平台云原生

多活研究与实践

［李中雷 陈杨］

摘要

随着蜂窝物联网海量连接增长以及云计算技术快速发展，传统自建基础设施以

及基于单体架构的应用平台设计，在基础设施敏捷性、灾备能力、可扩展性以

SOA

及功能迭代等方面，无法满足海量物联网设备接入的需求。云计算技术的快速发展为

物联网设备统一接入管理的需求提供发展基础，容器、微服务、敏捷基础设施以及

Kubernetes

容器编排服务为业务灵活部署提供了便捷高效的手段，云原生架构为平

台系统稳定性及业务高可用提供基础能力架构。结合云原生架构设计思想和云计算多

可用区节点的能力，构建蜂窝窄带物联网领域首个云原生多活设备管理平台，

NB-IoT

满足海量设备统一接入管理需求。基于当前已构建的云原生多活设备管理平台和窄带

物联网业务发展现状，展望未来窄带物联网生态的发展前景。

通

信

热

点

李中雷

硕士毕业于南京邮电大学，现任职于天翼物联科技有限公司智能连接研发运营中

心，从事物联网平台建设、移动通信核心网等应用研究工作，在物联网和云计算行业

应用有深入理解及应用经验。

陈杨

硕士毕业于南京邮电大学，现任职于天翼物联科技有限公司智能连接研发运营中

心，长期从事云计算、虚拟化、物联网平台、软件架构等方面研究及规划，对物联网

云平台架构有深入理解及应用经验。

关键词：

窄带物联网云原生敏捷基础设施物联网平台

1

前言

物联网是以感知技术和网络通信技术为主要手段实

，

现人机物的泛在连接提供信息感知信息传输信

、、，、、

息处理等服务的基础设施随着经济社会数字化转型和智

。

能升级步伐加快物联网已经成为新型基础设施的重要组

，

成部分随着云计算技术以及移动通信技术发展物联网

。，

技术应用进入了一个蓬勃发展的阶段云网融合发展的理服务以及敏捷基础设施相辅相成深度融合实现在不同

，，，

念也在电信运营商企业内部贯彻执行

。

云计算技术深度发展在为物联网领域应用提供敏捷性

基础设施的同时也为行业应用的可靠性灵活性提供便

，、

捷的手段年云原生基金会联盟成立云原

。，

2015CNCF

生技术相关开源项目包括容器编排技术已成为

Kubernetes

公认的云原生操作系统编排技术与容器微

。、

Kubernetes

26

Copyright©博看网 . All Rights Rerved.

NB-IoT

窄带物联网设备管理平台云原生多活研究与实践

行业不同应用场景的项目落地加速传统产业与云计算

、，

技术融合助力行业融合创新

，。

随着云计算技术快速发展在智慧水务智慧燃气

，、、

智慧水产物流跟踪智慧消防环境监测共享经济等

、、、、

领域取得了丰富的成功实践应用推进千行百业数字化改

，

造中国电信积极践行云网融合理念推进云转数改

。，“”

战略转型物联网设备上云成为大趋势海量物联网设备

，，

管理在迎接大发展机遇的同时也面临复杂的技术挑战

。

传统移动物联网终端接入企业客户应用系统架构单

一且客户自建系统规格不一致架构承载能力有限如

，，。

何让海量终端具备高可靠连接入网能力构建更多人机交

，

互场景增强人员远程控制设备能力在国家规模化推动

，，

物联网设备进行智慧化改造背景下传统的应用系统已经

，

无法满足海量终端接入需求亟需提供一种满足高可靠

，、

高安全大连接低时延的物联网平台

、、。

由于单体应用架构在项目开发项目管理迭代升级

、、、

运维管理容灾管理等方面的严重弊端面对大中型平台

、，

项目传统单体架构不能实现项目开发敏捷管理

，，

SOA

采用单流水线作业效率相对较低此外单体架构平

。

SOA

台在能力迭代升级方面需要进行全服务中断升级管理客

，

户业务感知较差对于头部客户而言中断业务升级方式

，，

影响范围愈加广泛

。

如图所示为当前业内流行的微服务

2

（

μ

sMicrorv-

，

ice

），，

可以实现容器和微服务应用管理在项目开发管理

及版本能力迭代升级方面可以实现相对架构较高

，

SOA

的效率运维人员只需重点关注业务服务运行情况但这

，。

种微服务架构在容灾能力依然需要自建机房并且采用一

，

主一备或者一主两备方式该方式云资源利用率低投入

，，

成本较高

。

2

物联网设备管理平台发展趋势

对于中小企业受限于自身技术能力与云迁移能力

，，

物联网开放平台的业务架构设计采用传统面向服务

SOA

的单体应用架构客户应用部署在自己机房机房维护及

，，

运维人员的维护成本逐步升高随着云计算技术的演进

。，

用户的业务应用逐步向云迁移应用上云的过程为应用

，，

的业务架构演进提供了更多可能性使得业务架构的演进

，

方向可以向着稳定性强可靠性高性能更强的方向发展

、、。

如图所示为使用单体应用服务架构所有

1SOA

，

的应用服务均部署在同一个虚拟机上利用统一的

，

ESB

（，）

Enterpri Service Bus

企业服务总线实现服务之间数

据通信转发业务调度管理等能力单体应用架构简单

、。，

开发成本低开发周期短主要面向小型开发项目时可以

，，

快速落地但是面向大型企业开发项目时应用架

。，

SOA

构弊端就非常明显业务处理逻辑不能复用应用部署在同

，，

一个虚拟机导致应用管理复杂度高并且后续的服务变更也

，

会更加困难一次小的调整就需要进行全服务的迭代升级

，。

图微服务架构

2

因此需要对微服务业务架构进行深度优化提供更加

，

灵活便捷可靠的业务服务架构并利用更敏捷高效的

、、，

基础设施实现业务灵活部署高效迭代并且降低运维管理

、

成本提高平台可用性

，。

面向超大型平台开发现实服务实例可能多达上万个

，，

同时需要满足服务状态生命周期维护状态检测弹性伸

、、

缩等能力微服务弹性伸缩能力可根据业务高峰及低谷期

。

自动进行服务数量缩减以最大化提升资源使用效能同

，，

时保障业务使用安全在出现单服务故障时可以进行异常

，

状态服务隔离降低用户对单服务实例故障问题感知从

，，

而大大提升平台业务使用可靠性如图所示为本文实现

。

3

的云原生架构图

。

随着物联网设备数量持续增长采用云原生架构物

，，

联网平台可以满足海量设备稳定可靠安全接入管理成

、、

图面向服务架构

1 SOA

为必然面临的课题考虑到未来物联网业务特性及产业持

。

通

信

热

点

27

2021.11·

广东通信技术

Copyright©博看网 . All Rights Rerved.

》

通信热点

的耦合性微服务可以做到弹性扩容缩减并通过标签

，、，

方式实现业务分发的隔离即可以实现相同处理业务逻辑

，

的微服务一部分可以承载业务一部分可以不承载业务

，，，

这可以实现业务功能的灰度发布或者说在功能运行时

，，

可以先升级一部分微服务确认正常之后再升级另外一

，，

部分业务灰度发布流程如图所示

，。

4

图云原生架构

3

续发展物联网平台需要在海量异构网络终端接入管理

，、

平台能力快速迭代灵活扩容解决业务快速增长带来的计

、

算压力层次清晰分明的业务架构便捷高效的研发运维

、、

体系等方面进行深入思考打造高效智能可靠稳定

，、、、、

灵活的物联网设备管理平台

。

图业务灰度发布流程

4

随着云计算技术向超大规模分布式云计算体系方向发

3

物联网平台上云思路

通

信

热

点

展物联网开放平台的可扩展性承载容量也相应获得利

，、

好平台依托云的发展可实现弹性伸缩容多节点分布

，，，

可以满足多地域海量设备接入的需求

、。

3.1

短期物联网平台目标架构

对于云原生架构业务的简单理解是一个架构是否是云

原生就看这个架构是否是生长在云上生长在云上

，。“”

不是简单的使用云的服务比如这些基

IaaSECSOBS

，、

本的计算或者存储而是应该理解为是否使用云上的分布

，

式服务比如缓存数据库服务关系型数据库服务

，、

DCS

RDSDDS

、，

文档数据库服务等这才是直接影响到业务

架构的服务在微服务框架下分布式服务是必须在非

。，，

云原生架构的时代研发运维人员基于开源版本软件搭建

，

服务自行运维而到了云原生时代业务则可以直接使

，。，

用云上的服务研发人员只需要调用云服务的接口使

，

API

用服务即可底层的软件和机器维护都由运维人员负责

，。

另外两个不得不提的技术就是和

DockerKubernetes

。

其中前者标准化了应用分发的标准不论是物联网平台面向物联网设备提供接入管理服务设备

，，，

Spring Boot

写的应用还是写的应用都以镜像的方式分发传感器采集数据通过窄带网络上传到平台随着

，，；。

NB-IoT

而后者在前者的技术上又定义了应用生命周期的标准一设备数量增加传统自建基础设施搭建的单体架构应用平

，，

个应用从启动到上线到健康检查再到下线都有了统台面临以下几个方面的挑战

，，，。

一的标准在容器的应用领域上由于其高性

。，

Kubernetes

能及灵活可用性目前默认已经成为容器编排以及生命周发计算处理能力以及业务处理效率面临巨大的挑战

，。

期管理的操作系统

。

容器技术的应用隔离了微服务应用和底层计算资源体应用架构扩容需要购买物理计算机并且安装上架打

，，，

4

基于云原生多活业务架构实践

中国电信联合华为年开始全力推进窄

，

2017NB-IoT

带物联网平台的商业应用目前已经应用在燃气水务

，、、

烟感路灯等小数据量低频次通信场景设备连接规模已

、，

经近亿在海量物联网设备接入场景下设备管理平台需

。，

要满足高并发接入高可用弹性扩容等能力以满足未

，，，

来更多设备接入需求本文介绍在业务发展以及

。

NB-IoT

云计算技术迭代更新过程中物联网设备连接管理平台能

，

力建设的思考实践

。

4.1

云原生技术实践

（），

1

设备上传数据的消息并发量持续增长平台并

（），

2

业务持续增长面临计算资源扩容情况传统单

28

Copyright©博看网 . All Rights Rerved.

NB-IoT

窄带物联网设备管理平台云原生多活研究与实践

通与现存设备网络并且纳入资源管理流程时间长操好的隔离提供强有力的安全保障但是在业务可靠性

，，，，。、

作复杂资源扩展性方面相比云计算基础设施存在较大的不足

。。

（），（），，

3SOA1

传统单体应用架构软件版本隔离性差业自建机房部署计算设施需要进行站址选择部

务处理逻辑打包在一起如果对业务处理漏洞进行补丁修署冷却系统消防系统做好人员进出管控更重要的是

，、，。

复或者新功能上线升级需要中断全平台业务进行升级在单个机房的条件下无法满足业务容灾的需要如果建

，，，。

客户业务感知差设多个异地机房则投入成本则会翻倍资源利用率不高

。，，。

随着云计算技术快速发展以和

，

Kubernetesdocker

容器应用为代表的云原生技术为解决上述问题打开思路的需要如果业务发展较快对计算资源要求较高没有

，。，，，

在窄带物联网场景下设备使用协更多的机架部署设备则在资源扩展性方面很容易受限制

NB-IoTNB-IoTUDP

，，。

议上传数据在平台内部需要经过负载分发微服务做业在云计算时代海量计算资源汇聚并通过虚拟化技

，，，，

务逻辑处理并及时响应负载均衡服务在七层模术实现计算资源分配及隔离可以根据客户业务需要动态

。，

LVSOSI

型的网络层只进行路由转发可以实现万级的消息调配资源数据且云服务提供商可以在一个资源池

，，。

TPSregion

接入满足海量设备高并发接入需求与业务处理微内建立多个可用区每个可用区即是一个机房多个

，。，，

LVSAZ

服务采用最小连接数原则进行业务均衡分发微服务可用区之间距离一般在以内通过光纤方式进行直

μs

，，

μs

运行在集群中可以进行动态伸缩如果业

Kubernetes

，，

务量突然有增长可以增加微服务实例数量缓解高峰业示为本文设计的云原生多活场景下的业务服务架构

，，。

务压力如果业务进入低谷期可以缩减微服务实例数量

；，，

节省计算资源

。

相比传统单体应用架构微服务在原有单体架构基础

，

上将业务处理逻辑进行拆分将一个应用拆分成多个应

，，

用实例不同应用之间通过开放接口进行业务交互

，。

API

业务处理逻辑拆分之后不仅可以实现业务逻辑隔离业

，，

务处理流程清晰而且如果出现单个微服务状态出现异常

，

情况可以将该微服务直接停止而不会影响相同微服务

，，

的其他实例同时在服务版本升级时候可以直接针对同

。，

一种微服务进行单个滚动升级极大降低业务逻辑代码耦

，

合以及服务升级的影响提升平台整体可靠性以及服务感

，

知如图所示为基于云原生底座的微服务业务处理流程

。。

5

（）

2

自建机房的选址面积需要考虑到业务长期发展

50 km

连确保可用区服务之间时延在以内如图所

，。

0.01 ms6

3AZ

通

信

热

点

图云原生多活场景下的业务服务架构

6 3AZ

本文所涉及的物联网设备管理平台除应用

NB-IoT

，

微服务部署之外其他关键组件也同样实现方

3AZ3AZ

，

式部署如图所示为的部署模式

，。

7MongoDB3AZDDS

数据库服务包含个业务组件和

3mongosshardconfig

、，

其中用于处理数据库连接请求用于数据请

mongosshard

，

求的处理且为一主两从模式用于数据库配

shardconfig

，

图基于云原生底座的微服务业务处理

5

置管理

。

传统机房的部署模式会将个组件部署在同一台虚拟

3

4.2 3AZ

多活架构

自建基础设施的方式虽然在物理计算资源上做到很

，

机上如果虚拟机出现问题或者其中一个组件出现问题

，，，

都会导致数据库崩溃无法提供服务采用部署方式

，。，

3AZ

29

2021.11·

广东通信技术

Copyright©博看网 . All Rights Rerved.

》

通信热点

就依赖于服务的弹性伸缩能力可以实现容器微服务的全

，

生命周期管理

。

5

云原生技术未来研究方向

云原生技术经过短短几年的发展目前已经开始在多

，

个业务领域开始投入使用越来越多的企业开始投入到云

，

原生技术使用场景

：

图的部署模式

7 MongoDB3AZ

将个组件拆分开部署每个组件独立虚拟机部署计算

3

，，

资源相互不影响如果单个组件出现问题不影响其他组

，，

件工作极大地摆脱了对底层计算资源的依赖性提升服

，，

务可靠性

。

图所示为传统主备部署和云原生多活部署的设备管

8

理平台方案对比可以实现亿级终端的设备管理

，

NB-IoT

通

信

热

点

和能力开放支持弹性扩容灰度发布服务分级等能力

，、、；

突破传统主备部署能力瓶颈实现物联网业务无感知升级

，

及倒换在单个数据中心发生故障情况下平台还可快速

，，

完成业务迁移确保用户业务零损失平台安全可靠

，“”，

性取得极大突破

。

（）

1

数据共享机制

云原生数据库仅开放接口提供服务如果存在大

API

，

量数据需要进行多站点之间备份通过接口的方式

，，

API

势必对服务的计算能力产生影响因此如何平衡好

PaaS

，

PaaS

服务和客户业务需求之间关系是未来需要重点考

，

量的问题

。

（）

2

函数式计算

英文全称为即函数即服务

Function as a ServiceFaaS

，，，

是在微服务基础上进一步进行更细粒度的计算拆分这种

，

方式可以实现计算能力随时启用和销毁且业务逻辑简单

，，

用户只需要做好某一个业务逻辑的规划在平台上

，

FaaS

可以进行简单的函数编写即可运行起来一个应用程序

，，

不需要深厚的代码编写能力

。

（）

3

设备管理平台异地多节点

云原生平台是在单节点内实现物联网

3AZregion

，

设备是在全国范围内铺开使用客户要求可以通过单点的

，

方式实现对全国业务管理平台的分布式节点必然有需求

，，

图传统主备部署与分布式多活部署方案对比

8

目前国内外运营商物联网网络系统采用传统主备容灾

模式故障倒换影响业务时长达分钟以上而在移动

，，

30

互联网领域采用多活部署的例如支付宝平台仅在云平台

，

业务侧实现多活技术尚未实现网络侧多活技术的部署应

，

用本文研究并实现的从网络到平台融合的多活部署在

。，

单数据中心故障的情况下用户感知

，“”。

0

不仅在服务上实现微服务可靠性大幅度提升

PaaS

，

在应用服务上平台通过云容器引擎服务进行

SaaSCCE

，

SaaS

微服务的业务编排管理同时通过心跳保护等异常

，

检测机制如果微服务所在宿主机所在的机房出现异常情

，

况微服务也会漂移到其他正常状态的机房宿主机上这

，，

同涉及到多节点之间的数据同步即多个之间业务

，

region

活跃的技术实现未来需要进行更多新技术需要满足该业

，

务场景需求

。

6

结语

随着云计算物联网的大力发展新型基础设

、、，

5G

施的强力推进建设传统企业借助新型基础设施进行企业

，

信息化数字化转型中国电信以网是基础云为核心

、。“、、

网随云动云网一体为发展理念全力践行云转数改战

、”，

略推进新兴技术在各行各业的落地应用本文分析传统

，。

企业应用架构在物联网领域面临业务处理能力服务可靠

、

性架构灵活性等问题提出通过云原生多活的技术打造

、，

30

Copyright©博看网 . All Rights Rerved.

NB-IoT

窄带物联网设备管理平台云原生多活研究与实践

可靠灵活稳定的业务服务架构实现方案并在实际生进物联网新型基础设施建设做出重要贡献

、、，。

产业务中完成实践对于未来海量物联网设备管理平台的

，

架构演进具有较大的实践指导意义

。

当前经济社会数字化转型和智能升级步伐加快物

，

联网已成为新型基础设施重要组成部分本文提供的

，

NB-

乡村振兴设备管理平台云原生多活技术在社会治理

、、

IoT

节能环保等方面带来了显著的社会效益在社会治理方面

。，

通过系列应用为基础设施建设提供坚实保障可以有效

，，

解决了传统人工抄表入户难计数不准管网漏水与水质

、、

检测等问题减少水资源浪费此外通过创新的应用不断

，，

挖掘社会价值通过城市生命线安全运行监测物联网建

；，

立全过程全天候立体化的城市生命线安全运行监测系

、、

统实现多源传感器信息采集融合运用城市生命线监测

，，

数据与空间地理信息云融合技术实现城市生命线系统风

，

险的及时感知早期预测预警和高效处置应对类似的

、、，

解决方案和应用创新案例不胜枚举

。

通过系列技术融合创新持续优化终端低时

，

NB-IoT

延低功耗大连接接入充分发挥物联网在推动数字经

、、，

济发展赋能传统产业转型升级等方面的重要作用为推

、，

参考文献

1 .[J].

李绍良企业数字化转型浪潮下的云原生技术应用网络安

全技术与应用

,2020,No.239(11):125-126.

2 ,,,.Kubernetes

刘福鑫李劲巍王熠弘等基于的云原生海

量数据存储系统设计与实现计算机应用

[J].,2020,40(2):547-

552.

3 ,,,.OpenStack

李小宁李磊金连文等基于构建私有云计算

平台电信科学

[J].,2012(09):1-8.

4 ,.:CN11078062

顾爱峰王蕾一种窄带物联网设备管理平台

3A[P]. 2020.

5 .""[J].,2016,32(1):

樊昊双活数据中心的设计实现电信科学

182-187.

6 Qian Zhou,et al."Rearch on the Internet of Things

Platform Design for Agricultural Machinery Operation and

Operation Management".Proceedings of the International

Conference on Intelligent Agriculture 2017ICIA2017

（）

.. Springer Nature Switzerland AG 2019,2017,415-

425.

（收稿日期：）

2021-10-26

通

信

热

点

（）

上接第页

25

虽然通过承载业务并不会降低质量

VC-OTNSDH

，

但不排除个别客户坚持不接受采用之外的系统承载

SDH

其业务因此实施割接之前需要做好客户的沟通工作确

。，

保客户能接受将系统中业务迁移至避免钉

SDHOTN

，“

子户妨碍系统退网工作的实施

”。

SDH

房造成这种现象的主要原因是机房资源被过度消耗无

。、

法继续新增设备只能另选核心机房满足后续的网络建设

，

需求核心机房的更替会对网络结构带来大规模调整容

。，

易埋下安全隐患因此对于机房资源应当精打细算使用

。，

及时清理低效资产才能保持网络持续健康发展建立低

，，

成本高效运营的差异化优势

。

5

实施效果分析

参考文献

通过对某省开展业务迁移至情况进行

SDHVC-OTN

统计核心机房的实施效果较为明显省会级城市平均每

，：

机房可拆除端设备架地市平均每机

32SDH63DDF

、，

房可拆除端设备架释放出的装机空

13SDH27DDF

、，

间可满足未来几年核心网边缘云等部署需求

、、。

IDC

在实施过程中发现部分地市在时代最主要的核

SDH

心机房如今的功能已弱化为次要核心机房甚至汇聚机

，，

1 ,,,.VCOTN

林何平王澄张金亮等一种融合交叉功能的系

统技术应用电信科学

[J].,2018(5):173-180.

2 ,,,.VC-OTN

杨曦王书勋赵林等基于大客户专线精品承载

网探讨电信工程技术与标准化

[J].,2019(3).87-92.

3 ,.OTN[J].

陆威刘蓓蕾基于接口结构的对接方案分析电信

工程技术与标准化

,2020(3):54-58.

（收稿日期：）

2021-11-12

31

2021.11·

广东通信技术

Copyright©博看网 . All Rights Rerved.