课题组周啸副教授以第一作者身份在Water Research期刊发表论文《Network Embedding: The Bridge Between Water Distribution Network Hydraulics and Machine Learning》

合作作者:

  • Shuyi Guo (Co-corresponding Author), Tongji University.
  • Kunlun Xin, Tongji University.
  • Zhenheng Tang, Hong Kong Baptist University.
  • Xiaowen Chu, The Hong Kong University of Science and Technology (Guangzhou).
  • Guangtao Fu (Co-corresponding Author), University of Exeter.

成果简介

近日,合肥工业大学周啸副教授、同济大学郭姝艺、信昆仑教授和英国Exeter大学Guangtao Fu教授等合作在Water Research上发表了题为“Network Embedding: The Bridge Between Water Distribution Network Hydraulics and Machine Learning”的研究论文(DOI: 10.1016/j.watres.2024.123011)。

研究针对供水管网(WDN)中水力特征难以被机器学习方法有效利用的问题,开发了一种创新的供水管网嵌入(WDNE)模型。该模型结合深度自编码器技术(SDNE)进行管网结构特征的嵌入,并使用K-竞争自编码器(KATE)实现管网节点静态和动态特征(属性)的嵌入,成功将管网水力关系和节点特征转换为更加适合机器学习处理的向量形式。这使得下游任务中的机器学习方法能够充分理解和利用WDN数据中蕴含的复杂水力特征,从而减少对大量训练数据的需求。该模型使得机器学习方法更加轻量化,并拓宽了WDN中机器学习方法可应用的范围。研究表明,WDNE模型在供水管网爆管定位和节点分组任务中均有效提升了机器学习方法的性能。作为促进复杂WDN数据与机器学习方法高效融合的桥梁,该模型有望在更加广泛的水系统中发挥重要作用。

全文速览

针对目前供水管网中的水力特征难以被有效应用于机器学习方法的问题,研究提出了WDNE模型,将复杂的管网结构关系和节点特征(属性)转换成适合机器学习处理的向量形式。该模型强调了供水管网结构与节点动态特征信息的融合,通过使用深度自编码器技术(SDNE)和K-竞争自编码器(KATE)进行嵌入,有效地实现了数据的特征提取,方便与下游机器学习任务连接,提高了机器学习方法在处理WDN问题时的性能。爆管定位任务中,WDNE模型与支持向量机的结合使用,在训练数据较少且算法更轻量化的情况下,表现优于以往研究。节点分组任务中,WDNE模型使聚类算法能够有效利用供水管网的结构信息,展现了其扩展机器学习方法可解决问题范围的潜力。该研究为基于机器学习的WDN运行管理提供了重要支持,展示了将嵌入技术与复杂水力数据结合的广阔应用前景。

引言

WDN运行管理中依赖的水力模型和基础机器学习技术通常面临着如难以处理数据密集型任务、数据利用率低、无法有效捕捉复杂水力特征等限制。网络嵌入方法为更好地连接水力数据与机器学习方法提供了新思路。研究提出的WDNE模型通过将拓扑关系及节点静态、动态特征转换为适用于机器学习处理的向量形式,使机器学习方法能够充分考虑管网静态和动态的物理特性,有效提高了机器学习中数据的利用效率和模型的预测准确性。与WDNE结合的机器学习模型在爆管定位和节点分组等任务中展现出了优越的性能。

图文导读

模型框架

Fig. 1. The framework of WDNE.
Fig. 1. The framework of WDNE.

为最大程度地保留管网拓扑结构和节点的特征信息,采用了两步嵌入框架。首先通过SDNE进行结构嵌入,重点捕捉节点间的水力联系;其次利用KATE进行节点静态及动态特征嵌入,使用第一步的结构嵌入作为约束,以增强特征表示的准确性及一致性。最后,综合结构及节点特征嵌入,形成同时保留拓扑结构特征和节点特征的嵌入向量。

管网结构嵌入可视化

Fig. 2. (a) The original structure of the example WDN (M town); (b) The visualization of structural relationships created by WDNE.
Fig. 2. (a) The original structure of the example WDN (M town); (b) The visualization of structural relationships created by WDNE.

图2展示了WDNE模型处理供水管网结构信息的能力。示例WDN(M镇)的原始结构如图2(a)所示。WDNE处理后,该WDN的高维嵌入向量可以利用主成分分析降维至二维空间,并可视化于图2(b)中。管网原始结构(图2(a))与嵌入后的可视化图形(图2(b))展现出相似的结构关系,即在原始结构中相互连接或位置相近的节点,在嵌入空间中也表现为聚集,展现出嵌入后向量与原始结构关系的紧密性。研究表明,WDNE模型在缺少有效地理位置信息的情况下仍然能够有效捕捉管网拓扑结构特征,而这通常是基础机器学习方法难以充分实现的。

爆管定位

Fig. 3. Detailed comparison of burst localization accuracy on each pipe using (a) pressure measurements and (b) node embeddings of the sensors.
Fig. 3. Detailed comparison of burst localization accuracy on each pipe using (a) pressure measurements and (b) node embeddings of the sensors.

图3(a)展示了在示例管网中仅使用压力测量数据进行爆管定位的结果,整体准确率为50.3%。图3(b)则展示了使用WDNE生成的节点嵌入数据进行爆管定位的结果,整体准确率提升至62.8%。WDNE模型生成的节点嵌入数据不仅捕获了节点间复杂的水力关系,同时有效捕捉了节点动态特征(本例中为压力测量值)间的非线性关系,使得机器学习模型(支持向量机等)在训练样本较少的情况下,仍然能够实现更准确的爆管定位,展示了WDNE模型提升机器学习方法分析、理解供水管网数据能力的潜力。

节点分组

Fig. 4. (a) 17 areas with different demand patterns; (b) node grouping results using node embeddings; (c) node grouping results using original data
Fig. 4. (a) 17 areas with different demand patterns; (b) node grouping results using node embeddings; (c) node grouping results using original data

研究测试了WDNE模型仅使用节点特征进行节点分组的效果。如图4(a)所示,不同区域的节点被分配了不同的“真实需水模式”作为真实节点分组的参考依据。使用WDNE生成的节点嵌入数据进行分组,得到的调整兰德指数(ARI)为0.622,显示出与真实分组较高的一致性。相比之下,直接使用原始需水数据进行分组所得的ARI仅为0.492,说明了在仅使用节点特征的情况下,WDNE模型仍然能够提高节点分组的准确性和可靠性。

Fig. 5. (a) The distribution of original WDN pressures. (b-d) The grouping results using (b) concatenated data, (c) pressure data, and (d) structural embeddings, respectively.
Fig. 5. (a) The distribution of original WDN pressures. (b-d) The grouping results using (b) concatenated data, (c) pressure data, and (d) structural embeddings, respectively.

研究进一步测试了WDNE综合管网结构特征与节点特征(压力测量数据)进行嵌入后的分组效果。结果表明,结构嵌入向量与节点特征嵌入向量的串联使用(concatenated data)能够有效减少管网压力变化带来的分组误差,并且优化了分组内部的连通性问题,使分组更加符合实际供水管网情况,提高了分组的整体效果。

小结

该工作报道了一种创新的网络嵌入模型WDNE,利用两步嵌入自编码器,将WDN中的水力关系和节点特征(属性)转换为向量形式,使复杂水力特征能够更加高效地被下游任务中的机器学习方法所利用。WDNE模型的设计为高效连接复杂水力数据与机器学习方法提供了新的可行思路,该模型拥有在应用场景中提升机器学习方法性能、拓宽机器学习方法应用范围的潜力。

该工作的主要贡献在于:

  1. 通过融合管网结构和节点特征,WDNE模型使得下游任务中的机器学习方法更加轻量化,并有效提升了机器学习方法处理WDN问题时的表现。
  2. WDNE模型能够处理多种类型的节点特征,包括静态和动态的属性,使其在更加广泛的WDN问题中显示出较高的适用性。
  3. 在具体应用场景中,WDNE模型不仅提高了爆管定位的准确性,还使得节点分组更加合理准确,展示了WDNE模型解决WDN相关问题的能力。

作者简介

周啸 博士,副教授、硕士生导师,现任职于合肥工业大学土木与水利工程学院。主要从事供水管网漏损控制、优化设计、智能调度等方面研究。以第一作者或者通讯作者身份在Water Research及Water Resources Research期刊发表SCI论文8篇。主持国家自然科学基金,青年基金项目、面上项目、中国博士后科学基金等项目。获清华大学“水木学者”、合肥工业大学“黄山学者学术骨干”等人才计划支持。

Guangtao Fu 英国埃克塞特大学(University of Exeter)教授,博士生导师,国际水协会士,艾伦图灵研究所研究员。主要从事开发和应用新的计算机模型、数据分析和人工智能工具,以应对城市水系统基础设施的挑战,提高其韧性及可持续性。研究涉及水资源管理、管网泄漏、洪水风险和韧性、污水溢流、绿色基础设施、城市污水管理等方面。以第一作者或者通讯作者身份发表SCI论文200余篇,Google scholar H指数54,总被引次数超过11000次。主持英国皇家协会工业计划、2020欧盟地平线计划等项目。