联邦学习在泛在电力物联网人工智能领域的应用

更新时间:2025-12-10 10:52:07 阅读: 评论:0


2022年8月1日发
(作者:预售许可)

摘要:针对泛在电力物联网中人工智能应用发展存在系统间的“教据孤岛”问题以及电力数据的安全性

问题.实现跨行业跨业务线数据集中训练存在的现实问.题和政策瓶颈,介绍了联邦学习技术.并基于泛在

电力物联网架构,设计各种应用场景下使用联邦学习的策略和基本流程。

关键词:泛在电力物联网;联邦学习:人工智能

文章编号:209:6-4137..(2019)23-018-04DOI:10.13535/.10-1507/a.2019.23.03

■文/谢丰卞建玲王楠郑倩

联邦学刃在i乏在电n

籾联间八工智能颁域的应闲

0引言

2019年国家电网有限公司“两

会”提出了“三型两网、世界一

流”的战略S标,即瞄准世界一

流,打造枢纽型、平台型和共享型

企业,建设运营好坚强智能电网和

泛在电力物联网。型两网”战

略的实施搭违了技术创新平台,实

现各种新技术,如人丁智能、物联

网的推广应用,使承载电力流的坚

强智能电网与承载数据流的泛在电

力物联网,相辅相成、融合发展,

共同构成能源流、业务流、数据流

主体提供用户数据存在法律风险,

限制人工智能应用直接使川跨主体

数据根据《中华人民共和国网络

安全法》,网络运营者不得泄露、

篡改、毁坏其收集的个人信息,并

丘与第三方进行数据交易时需确保

拟定的合同明确约定拟交易数据的

范闱和数据保护义务。根据《家电

网数据安全规定,禁止将电网生产

及Jl]电采集类业务数据及装置提供

给社会第三方使ffl,相关法规的建

立对人工智能传统的集中数据处理

模式提出新的挑战.基于国家电网

和K•他市场主体数据,构逮人丁智

能应用必须使丨丨!新的数据处理模式

来解决用户数据隐私安全和打造共

享型企业之间的矛盾

(2)数据安全要求导致人T.

智能应用获取M—主体跨业务线数

据存在困难根据《电力行业信息

系统安全等级保护基本要求》及国

家电网数据安全相关规定,跨专业

共享数据必须落实相关权限控制和

脱敏、脱密措施:,而人工智能应用

的训练又需要使用大量真实业务数

据,脱敏和脱密后的业务数据很可

能会影响人丁.智能应用训练效果3

(3)人T.智能应用传统的集中

式模型训练方式,难以满足部分电力

智能应用实时性要求。电力控制和巡

检等业务场景的部分人T.智能应用对

模铟更新实时性要求高,同时又存

在网络环境不稳定的客观情况,集

中式模型训练更新到边缘节点的方

式难以满足其性能实时性要求

2联邦学习技术概述

解决以上挑战,都需要设计

一种满足数据隐私、安全和性能要

求的人工智能框架^20I6年,谷

歌公司提出联邦学习(Federated

“3流合一”的能源互联网,形成

强大的技术创新平台.

随着承载数据流的泛在电力物

联网的建设,基于其电力数据和公

开数据集的国家电网内部人丁.智能

Learning),它是一种训练数据去

中心化的人工智能框架。目的在于

通过对保存在大量终端的分布式数

据开展训练,学习一个高质量中心

化的机器学习模型,解决数据孤岛

的问题。其重点解决以下问题

w求和应用将大量出现同时,打

造共享型企业将吸引更多社会资本

和各类市场主体参与能源乜联网建

设和价值挖掘融合电力数据和其

他行业数据的闺家电网外部人丁.智

能需求和应用也将大量川现

(I)联邦学习参与各方收集

的本地数据较敏感,由于各种原因

不能对外直接提供数据。

(2)联邦学习参与各方不能

确保网络一直在线,网络可能存在

不稳定情况。

(3)联邦学习参与方较多,

比如手机、物联网设备等。

2019年初,紧跟丁(^〇1^1(^2.0

1泛在电力物联网中人工智

能应用发展面对的挑战

(I)末经用户授权向第三方

•18•|屮叫办新科技2019年第59期

科技创新

alpha发布之后,谷歌公司发布并

开源TensorFlowFederated框架,用

于完成在不需要数据集中收集情况

下,避免用户隐私泄露的分布式A1

计算框架:该框架最初是为了促进

谷歌公司内部进行联邦学习的实验

而开发的,这种技术使最终用户拥

有的设备能够协同学习共享预测模

型,同时在各自设备上保留敏感的

训练数据,从而从需要集中收集数

据的传统模式,解耦到分布式机器

学习模式_ted框

架分为以下两层。

(1)FederatedLearning

(FL)API层:该层提供了一组高

级接口,允许开发人员将所包含的

联合训练和评估实施应用于现有的

智慧医疗训练数据不足的问题微

众银行基于其FATE框架,将联邦

学习技术引人再保险领域.并共建

保险行业联邦生态圈。可见,互联

网、金融和医疗是当前联邦学习主

要应用领域,但是电力领域从数据

安全性、敏感性和应用实时性要求

等方面都适合联邦学习应用

享,在源端实现数据融通和边缘智

能,如图1所示

泛在电力物联网原始数据分

布在感知层各边缘节点上,同平台

层之间的通信方式多种多样,由于

地理环境限制不能确保网络一立在

线:电力数据涉及用户隐私且安全

性要求高,同时在泛在电力物联网

架构下,感知层将具备较强的通信

和计算能力,满足联邦学习算力和

数据分布式需求:可见,泛在电力

物联网架构适合使用联邦学习解决

人工智能应用面临的用户隐私、数

据安全和实时性问题:

3.2泛在电力物联网中人工智能

应用场景分析

目前,人T_智能在语音和计算

TensorFlow模型。

(2)FederalerlCore(FC)

AIM层:提供一组较低级别的接口,

通过在强类型函数编程环境中将

TensorFImv与分布式通信运算符相结

合,简洁地表达新的联合算法:

国内,在微众银行首席人T.

智能官杨强教授带领下,微众银

行AI团队在2019年发布并开源联

邦学习框架FATE(FV心

3联邦学习在泛在电力物联

网运用策略

3.1泛在电力物联网架构满足联

国家电网泛在电力物联网架构

由应用层、平台层、网络层和感知

层组成其中,感知层实现业务数

据获取,通过通信、计算等资源共

邦学习算力和数据分布式需求

TechnologyEnabler),可以让企业

和机构在保护数据安全和数据隐私

的前提下进行AI协作。

在联邦学习应用方面,谷歌

将联邦学习技术运用到输人

法中,在不侵犯用户隐私的前提

下,使Gboarf丨输人法联想词预测准

确率增加24%,联想词条点击率增

加10%。阿里巴巴利用联邦学习技

术,推出蚂蚁金服共享学习平台,

破解了电商数据共享和隐私保护难

以平衡的难题,实现数据的多方协

同和授权共享,应用在智能信贷、

智能风控等专业领域中。平安集团

将联邦学习运用于医疗行业,破解

应用层

客户服务企业运营电网运行新兴业务

O

企业中台

平台层能力全业务统一数据中心物联管理中心

开放一体化“国网云”平台

物取

管控

网络层

感知层

....®

锐—咖接入||

__

©

II边!*雖处理

泛在电力物联网建设大纲》)图1泛在电力物联网架构(图片来源:

((泛i

屮rt新科《2019年第59期|•19•

科技创新

户特征重叠较少,但是用户重叠较

多,将数据按照特怔维度切分,取

出各7/特征并集中川户相同的部分

数祸绀合训练,即扩充每用户(或

样本)特征数此类应川可能是电

力数椐和其他行业数据联合训练的

人丁.智能应用,如某地区电力W户

营钔数据和银行数据联合分析川户

还贷信州.用户都属于同一地K.

用户重叠度高,但电力营销数据的

特怔主要是用户购电I关数据,银

行数据主耍是川户的存贷数据,数

据维度重叠度较低,各参4//

数据集描述如图3所示,其中虚框

表示人r.智能应川联合训练的数

据集

机视觉领域达到商用程度,部分能

力超越人类最高水平在泛在电力

物联网建设过程中,将涌现大M人

特征在不同节点分布,可以大致分

为以下两类:①数据特怔取拽度高

的人T.智能应用.指参与各方的数

据特征重叠较多,但是用户重叠较

少,将数据按照川户维度切分,取

出各方特征交集但用户不完全相同

的部分数据组合训练此类位川在_

实际中一般是国家电网内部人T:智

能成川,各物联网边缘层和感知层

节点按照国家电网统一规范建设,

在各地区虽有个性化需求,但主要

数据的特征重叠度高,但是用户却

山于I丨:i属不同地K取叠度低如使

川多行和全国数据.对某类电力设

济故障进行预测各设备分M不同

地丨X:,基本无重叠度,似是此类设

备能够提取的特怔高度重叠此类

应用在传统人T.智能方式下,是通

过集中不同节点数据实现了人T智

能训练样本数的扩充。K各参与方

数据集描述如阁2所示,其中虚框

表示人T.智能应用联合训练的数据

集:②用户(或样本)重叠度高的

人T.智能应用,指参与各方的用

图3

Hi*

n智能需求和应用。其中,各物联

网边缘感知层V/点仅依靠丨'丨&数据

完成人下智能训练,存在数据,特

別是标注数据较少的w境传统方

式通过在中心节点汇集数据进行训

练,在解决安仝和用户隐私问题情

况下是可行的佰是各节点数据,

持別是跨业务线数据的汇集,在现

实情况下可能而临各种问题在希

塑把泛在电力物联网数祸和凡他各

类市场主体数据联合进行训练时,

更是面临用户数据隐私的政策法规

限制。同时,现代人V.智能算法普

迎具备主$习”能力,如能在

边缘感知节点完成模哨训练,能极

大提高模型运丨丨]的实时性这都要

求提出一种在泛在电力物联网边缘

节点完成本地数据训练和模型更新

的AI框架.3

综合来看,泛在电力物联网

人丁智能应用按用户(或样本)和

特征维度

IS2特征重赍/文高的教椹集

it!

mm

用户(或#本>重赍度高的教描集

以下将按类型分析两类人T.智

能位丨lj在泛在电力物联网架构下完

成联邦学习的策略和基本流程.

3.3各场景中联邦学习运用策略

假设多个数据拥有实体F.,

(i=卜_n),联合它们各自的数据

训练机器学习模型时,第i个数据拥

•20•|屮IWS新fHi2019年第59期

|»r〇ar«*sH

科技创新

有方所持有的用丁•联合学习的数据

集用Di表示,可以用一个矩阵来

表示。假设矩阵的每一行代表一个

用户,每一列代表一种用户特征。

同时,在监督学习算法训练中,某

些数据集可能还包含标签数据,第

将数据按照特征维度切分,取出各

方特征并集中用户相同的部分数据

组合训练。由于特征差异大,部分

参与方可能无监督学习算法中的标

签数据。比如,在电力数据和金融

数据进行联合训练预测用户还贷信

用的人T智能应用中,电力数据集

(5)协调者根据各js'(i=l〜

n)数据,在基础上更新全局模

型''■、+丨;enrlfor

其中,由于各应用场景中用

户标识不同,初始化过程,而会有

所不同。迭代过程中,部分数据拥

有实体Ei由于不存在标签数据Yj,

i个数据拥有方的用户特征为Xi,标

签为YiC

3.3.1数据特征重叠度高人工智能应

用使用联邦学习的策略和基本流程

此类应用由于特征重叠度高,

用户fi叠度低,可假设在监督学习

中,各数据拥有实体Ei均拥有身

用户的标签各数据拥有实体按照

用户维度切分,取出各方特征交集

但用户不完全相同的部分数据进行

训练。联邦学习的训练过程如下:

Initialize:各数据拥有实体Ei根据

以上策略切分出数据集D,,协调者

生成初始模型w,,,训练轮数S。

fors=0.11do

fw各数据拥有实体&(i=l…n)

inparalleldo

(I)各E,从协调者获取最新模

型ws;

(2)各已;根据A身数据集

成本轮数据抽取、模型更新值"计

算;

(3)各Ejn密传输k给协调

者;endfor

(4)协调者根据各j」(i=b-_

n)数据,在基础上更新全局模

型ws+l;endfor

3.3.2用户(或样本)重叠度高人

工智能应用使用联邦学习策略的策

略和基本流程

此类应用由于用户重叠较多,

可表示SDi,不含标签数据;金融

需要第2步同有标签数据的实体交

机构的用户数据集表示为D:,艽中

互中间结果,完成自身本轮训练过

用户特征数据表示为X2,金融机构

程,各算法需要根据自身特点,结

已掌握的用户还贷信用值即为标签

合用户隐私保密要求,设计不同的

数据,表示为Y23拥有标签数据的

M,

数据集0,可表示为(X。)基

于以上假设,联邦学习的训练过程4结语

如下。

本文结合电力行业数据安全要

Initialize:各数据拥有实体仏

求和业界人工智能技术发展趋势,

使用基于加密的用户样本对齐技

分析联邦学习在泛在电力物联网人

术,在各F+不公开各丨^数据的前提

工智能方面运用的合理性,并基于

下确认双方的共有用户,并且不暴

泛在电力物联网架构,设计各应用

露不重叠用户:,协调者生成初始模

场景下使用联邦学习的策略和基本

型W。,训练轮数

流程3

#fors=0.1do

(or各数据拥有实体E,(i=卜-n)

参考文献

inparalleldo

[1]王大鹏,李硕.守正创新瞄准“三

(1)各协调者获取最新丰吴型两网”目标阔步前行[].国家电网

型^,同时获得用以对训练过程数

报,2019-01.

据传输加密的公钥;

[2]YangQ,LiuY,ChenT,etal.

Federatedmachinelearning:

(2)无标签数据的数据拥有

conceptsandapplications[J].ACM

实体Ki以加密形式同拥有标签数据TIST,2019,10(2):1-19.

的数据拥有实体交互,用于获得计

算模型更新值的中间结果Mi;

(作者谢丰系北京中电普华信息技术

(3)E/分别基于加密的中间结

有限公nj高级工程师,硕士)

果Mi或其标签数据计算模型更新值

■i

Js;

(4)各Ei加密传输给协调

者;endfor

中新fHi2019年第59期I*21-

I'完


本文发布于:2022-08-01 17:00:06,感谢您对本站的认可!

本文链接:http://www.wtabcd.cn/falv/fa/78/50955.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 站长QQ:55-9-10-26