学习的算法，利用历史数据对线损值进行预测[6-7]。管理线损包括窃电、计量表误差、漏电等[8-10]。过去针对管理线损分析研究主要集中在窃电分析上。Bharat Dangar等[11]提出了一种使用极限学习机（ELM）、改进ELM（OS-ELM）、支持向量机（SVM）3种算法来进行电力损耗识别、检测和预测的电力损耗分析框架。Li yinghui等[6]提出了基于BP神经网络的客户消费行为分析模型，利用该模型可以计算出窃电的怀疑系数，并对电力用户的信用等级进行分类，得出了一个可行的解决窃电问题的思路。康宁宁等[12]利用模糊C均值（FCM）算法对负荷曲线进行聚类，得到典型特征曲线，再与用户负荷曲线进行匹配，筛选出疑似窃电用户，再使用基于粒子群算法优化的SVM算法进行进一步检测，准确性比SVM算法高。
积分电量可用于广泛分析计量损耗和漏电等行为，大连电业局基于SCADA系统，设计了一套实时积分电量及电量报表、日负荷曲线平台。2016年，国网江西省电力公司的南昌供电分公司结合EMS/SCADA（能量管理系统/数据采集与监视控制系统）系统和TMR（远程抄表系统）系统的数据，设计建立了一套比对报警系统，对积分电量和表底电量在线实时进行“双值比对”，对电量异动实现智能型、综合性监控，为电力计量消缺提供充分的技术保障[13]。
可以发现，过去研究主要针对单一线损，由于各类线损不是孤立存在，目前对线损之间的关联与耦合缺乏研究。为实现站、线、变、户层级关系逐级排查达到准确分析和定位的目的，本文基于大数据技术，采用机器学习算法、聚类、挖掘、关联关系等分析方法，充分利用计量系统产生的海量数据资源，构建直观有效的配电网线损分析评估体系，实现线损构成可视化，线损率变化可溯源，降损任务可分解等功能，全方位、多维度支撑管理降损和技术降损。
1 基础数据处理
基础数据是系统建设的基石，数据质量是保证数据应用和信息化实用效果的基础。基础数据主要以计量自动化系统为电能量数据源，以营销系统为档案数据源、以GIS系统为电网拓扑、以地理信息为背景数据源。对各数据的采集整合和分析，确保各数据的准确性和一致性是实现线损精确定位的基础。通过研究数据质量校核支撑技术，结合持续管理机制，如统一业务数据标准、定期检查问题、闭环解决质量问题等逐步解决数据基础的正确和一致，以支撑上层应用的数据质量要求。
数据预处理流程如图1所示，对收集的数据进行清洗，通过数据预处理方法剔除错误信息，补充缺失信息，制定规范化数据准则，为线损分析与定位提供高质量数据。通过数据一致性比对，根据实际需要设置比对多维度条件，如设备名称、电气参数等相似度，进行系统间一致性比对，得到计量自动化系统与营销系统、GIS系统之间数据具体差异，理清线变户关系，抽离出需要整改的数据源，规范数据属性，实现数据标准化正则化。对此，本文主要采用个案剔除法和均值替换法清洗数据，解决异常数据，提高数据质量。
1）个案剔除法
个案剔除法是直接剔除异常的数据记录，当数据样本比较少时，删除样本会影响结果的客观性和正确性，当异常值比较少时，该方法可以快速剔除异常信息。
针对计量数据，如果某一计量点（用户）或台区在某一天的数据连续出现异常值或者异常率超过阈值，则直接删除该计量点（用户）或台区当日的全部数据，不计人模型建立中。例如，日负载率表中数据缺失严重，所以某些日子的数据则删除。但是，由于通信故障等原因导致的数据异常，不能采用简单的剔除法来删除异常信息。对于该类异常数据，则根据通信恢复后的计量数据，结合计量点的用能习惯，反演出计量点通信异常期间的数据，再判断计量数据是否需要剔除。
2）均值替换法
均值替换法解决了个案剔除法中将许多有用的信息被剔除的问题。若该值为数值型，则使用其他样本中该属性取值的平均值来填充;若该值取值为非数值型，则采用其他样本中取值较多的值来填充。
当样本中异常值较少，则采用异常值左右的数据取平均值来代替。例如电压电流在某一时刻缺失，则将其近似看作线性曲线，用两侧示值的平均值代替。对于资产系统、调度系统、营销系统产生的档案数据、计量数据、计量关系数据，为电网运行数据，不能直接作为线损分类的分类指标，需要根据电力数据之间的物理规律以及分类分析所需对源数据进行统计分析，找出电力数据的特征属性，以便于对线损进行分类。
2 线损分析与评估
首先利用线损类别分类器对当前线损进行分类，判别出当前的线损综合构成。在此基础上，针对于分类出的每种线损行为，根据相应的计算与分析模型，训练相应的分类器。将各台区线损分类为理论线损、通信线损、窃电线损3大类，然后再根据对应的分类器对各大类线损进行精细化分类，分别找出各部分线损产生的位置（即由哪些计量点或用户产生），实现线损构成可视化、线损率变化可溯源，指导工作人员对降损任务进行分解，实现全面降损。
1）理论线损
理论线损是由电网本身结构、设备决定的，电能传输不可避免地造成损失，它主要与技术状况、运行方式、电网结构有关，包含各电力元件可变损耗部分及固定损耗部分。目前常用的计算方法有等值电阻法、均方根电流法、平均电流法等。但是，这些算法大多用于10kV配电网的理论线损计算，而0.4kV低压配电网由于供电方式复杂，供电出线回路不同，沿线负荷分布没有严格规律，各相负荷分配不平衡。基于此，本文采用改进等值电阻法计算理论线损，能够获得比较准确的计算结果。
配电网中变压器和导线的等效电阻Re表示如下：式中：Api——通过i段线路供电的用户有功电量;
Aqi——通过i段线路供电的用户无功电量;
Ri——i段线路电阻;
AP
AQ——配电变压器低压侧出口总无功电量;
n——低压线路上总分段数。
假设计算条件：1）低压配电线路各节点负荷曲线形状相同;2）各节点功率因数相同;3）各节点电压相同，忽略电压降;4）沿线负荷分布具有一定的规律，能够满足一定的负荷分布形状。
低压台区改进等值电阻法公式如下：
△A=NIpj2K2Re×10-3（2）式中：N——配电变压器低压侧出口结构系数，单项两线制取2，三相三线制取3，三相四线制取3.5：
Ipj——不平均电流;
T——时间;
K——配电变压器出口负荷曲线形状系数。
K值根据负荷率和最小负荷率计算，但由于计算困难，所以一般采用推荐的如表1所示的理论计算值。
在配电网中，其他运行数据对理论线损的影响可以忽略，因此本文采用等效电阻方法，根据配网的拓扑结构和接线方式，计算得到配电网中变压器和导线的等效电阻，进而有效计算和评估理论线损的数值。
2）通信线损
配电网中通信线损主要分为虚假通信线损和真实通信线损两种。对于某台区或某用户，由于通信受阻或临时故障，导致某些点或者某几天的数据缺失，当通信恢复后，计量表计的数据传输到计量中心，需要对缺失的数据点修复，减少虚假通信线损对日线损的影响。当采集器或者通信永久故障时，则需要运维人员检修通信线路或表计的通信模块，降低线损的影响。
计量系统每15min上传一次数据，通信系统状态信息每30min更新一次。通信系统故障状态异常时，根据计量规则，计量数据无法及时更新，则选取故障前一时刻的数据和上一天同时刻的数据进行均值加权，作为通信故障时刻的计量数据。当通信系统故障状态恢复正常时，通过对时序数据分析，采用模糊拟合算法，建立计量表的数值实时变化、历史一个月同时段平均数值、实时线损数据之间关联关系模型，得到线路的通信线损时刻和线损值。
3）窃电线损
对于窃电损耗，通过对各用户用电数据进行分类，找出具有相似特征的用户，划分用户类型。对处于不同类型的用户，分别构建用户用电模型，进行针对性的行为分析，發现用户用电的规律。当某用户某阶段用电行为与用户历史用电行为差异很大，同时与该用户所在同类型用户用电行为趋势差异很大，可以判断该用户为窃电行为重点关注对象，通过运维管理人员人户检查，判断是否具有窃电行为。
利用基于自动最优聚类算法的用户用电行为分析方法，通过自动最优聚类方式，完成对用户用电数据的分类，从而挖掘出用户用电行为。采用阈值检测算法[14]，通过设置动态阈值，检测表计和对应台区电量数据的变化，该阈值依据稳态状态的变化而改变，以提高检测方法的抗干扰能力。阈值H表示为：
H=q+β（3）式中：q——当前同类用户用电量均值;
β——当前噪声水平。
当H高于一定值时，则判定为异常行为并监测评估窃电行为。特别是对用电大户偷窃电行为，本方法评估窃电行为精度较高。
4）评估模块
评估模块如图2所示，该模块基于分类器模块，对综合线损及各成因分类，结合台区总线损值，评估分类合理性，解决不同分类模块输出结果的矛盾与冲突，在此基础上进行线损综合的评估，最终确立台区线损分类情况，并对各线损分类器进行反馈调节，提高分类器分类精度和合理性。
本文通过随机森林[15]构建线损异常之间的关联关系模型，分析线损异常对线损的重要性，定位关键线损，实现台区快速降损。如图3所示，首先使用Bootstrap方法采样构建n个决策树模型，每个决策树模型中，参与模型训练的只有一部分数据，另一部分数据就被称为带外数据（OBB），将这部分带外数据作为该决策树模型的测试集，模型测试的结果与真实值的误差就称为带外数据误差，记为errOBB1。然后随机向OOB数据的线损异常添加“噪声”，模型再次测试的结果与真实值的误差记为errOBB2，那么线损异常的重要性VIM表示为
VIM=∑（errOBB2-errOBB1）/n（4）
VIM数值越大，表明该异常对线损越重要，需要优先治理。
3 案例分析
为验证本文所提出的方法的有效性，构建了基于Hadoop和Spark的大数据平台底层架构，架构采用B/S相结合的模式，按照数据访问层、应用逻辑层和前端展示层进行多层结构体系设计，采取面向对象技术进行应用组件开发。平台主要分为前端和后端，前端主要由HTML、JavaScript等语言组成，平台后端主要业务逻辑由Java编写实现。
依托搭建的系统，根据贵州省某供电局提供的用户用电数据、台区计量数据、设备状态信息，选取了某区域2015年12月到2016年10月的数据。涉及4条线路，53个台区共计2516个用户。首先进行数据预处理，对2516户计量用户数据中心离群值进行剔除，对于缺失的数据，采用均值替换法，补全缺失的数据，保证数据完整性与合理性。
随后采用最优聚类方法，分别用余弦相似度和欧氏距离作为聚类的距离指标，得到聚类中心为4和初始聚类中心点，随后采用k均值快速聚类，如图4所示，得到4类特征用户，分别为居民、商城、企业、学校特征的用户。
用户数据进行线损行为分析，得到各线损构成如图5所示，可以发现，窃电损耗和通信线损为主要线损，其他线损主要由三相不平衡、功率因素超限、过载、重载、轻载等因素构成。
台区线损异常进行关联关系分析与评估，得到线损异常重要性分布如图6所示。可以发现，在所有线损因素当中，通信异常和窃电损耗对线损重要性最大，导致的线损损失最为严重，应该重点治理，其他因素如三相不平衡、功率因素超限、过载、重载、轻载等影响较小，可以延后处理。
4 结束语
本文采用大数据聚类、挖掘和关联分析等算法，针对计量自动化系统采集的数据，通过对站、线、变、户基础数据进行分析，从理论线损、通信线损和窃电损耗等方面出发，构建了配电网线路损耗和台区损耗分析与定位方法，并基于大数据平台构建方法，搭建了线损异常精确定位的计量自动化运维平台。通过对贵州省某地区的数据进行分析，验证了文章所提出的线损分析与定位方法，能实现配电网线损异常的溯源和精确定位。
参考文献
[1]CHATTERJEE S，ARCHANA V，SURESH K，et al.Detection of non-technical losses using advanced meteringinfrastructure and deep recurrent neural networks[C]//IEEEIntemati-A Conference on Environment and ElectricalEngineering，2017.
[2]杨柳，罗璇，肖宝辉，等.配电网线损在线监测系统与计算分析研究[J].自动化与仪器仪表，2019（1）：25-28.
[3]杨悦辉.计量自动化系统在计量管理工作中的应用[J].计量与测试技术，2013（4）：16-37.
[4]刘飞轮.供电企业电力营销中的电能计量自动化系统应用分析[J].硅谷，2013，6（20）：95，91.
[5]汪司珂，汪应春，郭雨，等.同期线损故障排查关键技术研究与应用[J].仪表技术，2017（12）：11-14.
[6]LI H，LUNG X，LU R，et al.EPPDR：An efficient privacy-preserving demand response scheme with adaptive keyevolution in smart grid[J].IEEE Transactions on Parallel andDistributed Systems，2014，25（8）：2053-2064.
[7]徐茹枝，王宇飞.粒子群优化的支持向量回归机计算配电网理论线损方法[J].电力自动化设备2012（5）：86-89.
[8]HUANG S，VVU Q，CHENG L，et al.Optimal reconfiguration-based dynamic tariff for congestion management and line lossreduction in distribution networks[J].IEEE Transactions onSmart Grid，2016，7（3）：1295-1303.
[9]高志芳，鄒香香，汪棋.智能计量监控在反窃电工作中的应用[J].决策与信息，2014（36）：181.
[10]NOURAI A，KOGAN V I，SCHAFER C M.Load levelingreduces t&d line losses[J].IEEE Transactions on PowerDelivery，2008，23（4）：2168-2173.
[11]DANGAR B，JOSHI S K.Notice of violation of IEEEpublication principles electricity theft detection techniques formetered power consumer in GUVNL，GUJARAT，INDIA[C]//Clemson University Power Systems Conference（PSC），2015
[12]康宁宁，李川，曾虎，等.采用FCM聚类与改进SVR模型的窃电行为检测[J].电子测量与仪器学报，2017，31（12）：2023-2029.
[13]何喜玲，韩婷，杜佳，等.变电所电量对比系统分析[J].现代电子技术，2016，39（12）：41-44，47.
[14]翟金凤，孙立博，鲁凯，等.基于抽样和两级CBF的长流识别算法[J].中国测试，2018，44（7）：105-109.
[15]刘耀杰，刘独玉.基于不平衡数据集的改进随机森林算法研究[J].计算机技术与发展，2019（6）：1-7.
（编辑：商丹丹）
