新浪微博腾讯微博微信

地表水自动监测系统数据传输规范

2024-10-24 16:06:11  来源: 河南新媒网  作者:闻新
发表评论:

在水资源日益成为经济社会发展重要支撑的今天,水质监测作为保障水资源安全与生态环境健康的关键环节,其重要性不言而喻。随着工业化、城市化进程的加速,地表水体面临着前所未有的污染压力,从工业废水排放到农业面源污染,再到生活污水直排,种种因素交织在一起,对水质安全构成了严峻挑战。为有效应对这一挑战,确保人民群众饮用水安全及生态环境可持续发展,广东省作为中国经济社会发展的前沿阵地,率先行动,不断强化水质监测体系建设,提升环境监测能力,以期通过科技手段实现对地表水质的精准、高效监管。

《地表水自动监测系统数据传输规范》(DB44/T 2028-2017)是2017年10月23日实施的一项中华人民共和国广东省地方标准,归口于广东省生态环境厅。

本标准适用于广东省地表水自动监测站和数据监控平台之间的数据交换传输。本标准规定了地表水自动监测系统的系统结构、数据传输过程和系统的数据格式及代码定义,本标准不限制系统扩展其他的信息内容,在扩展内容时不得与本标准中所使用或保留的控制命令相冲突。

中文名

地表水自动监测系统数据传输规范

外文名

Specification for Data Transmission of Surface Water Automatic Monitoring System [1]

中国标准分类号

N56 

国际标准分类号

13.060.99 

技术归口

广东省环境保护厅 

批准发布部门

广东省质量技术监督局

行业分类

水利、环境和公共设施管理业 

标准类别

方法标准

发布单位

广东省环境保护厅

发布时间

2017年7月23日

实施时间

2017年10月23日

标准号

DB44/T 2028-2017 

备案号

56270-2017 

起草单位

本标准主要起草单位:广东省环境监测中心。

本标准参与起草单位:力合科技(湖南)股份有限公司、广州京诚检测技术有限公司。 [3]

主要起草人

本标准主要起草人:黎如昊、武军贤、黄云生、吕小明、向运荣、肖文、鲁言波、郭庆荣、张苒、蒙良庆、郭峰、瞿强、王强、周纯、陈斐、李晓芳、陈婷婷、刘泽铿。 [3]

项目背景

1.1. 任务来源

为加强对广东省地表水自动监测系统的监督管理,全面提升自动化监控水平,提供地表水自动监测技术可持续发展的机制,保障广东省地表水自动监测系统数据采集和传输流程的质量,加快推进省级、市级、县级环境监测中心数据的共享,以更好地适应新形势下对环境监测的更高要求,编制符合广东省特色、科学实用的地表水在线自动监测系统数据传输标准,广东省环保厅特向省质监局提交了《广东省地方标准制修订计划项目任务书》,项目名称是《广东省地表水自动监测系统数据传输规范》。

标准归口管理单位为广东省环境保护厅。

1.2. 工作过程

《地表水自动监测系统数据传输规范》(以下简称《规范》)是地表水自动监测系统的重要组成部分,从最初的技术雏形、实践验证、迭代修改到最终形成科学完整的技术方案并定稿,经历了以下的工作过程:

1.2.1. 编制《广东省水质自动监测站数据实时报送技术指南》

2011年6月,为全面贯彻落实《珠三角环境保护一体化规划》对珠三角环境监测一体化的要求,实现强化流域统筹、齐防共治跨界水污染的目标,省环保厅指定由广东省环境监测中心承担全省地表水自动监测系统的数据联网工作。在此期间,广东省环境监测中心负责编制《广东省水质自动站数据实时联网工作方案》和《广东省水质自动监测站数据实时报送技术指南》,其中,《广东省水质自动监测站数据实时报送技术指南》是《地表水自动监测系统数据传输规范》初期研究阶段的工作成果,为编制广东省地方标准《地表水自动监测系统数据传输规范》奠定坚实基础。

1.2.2. 开展水站数据传输的调研和资料搜集工作

2011年至2012年期间,广东省环境监测中心组织监测人员对江苏省、浙江省、山东省、河南省和福建省等省开展调研工作,进行了实地考察,搜集技术资料,并展开座谈,互相交流学习。此行深入了解了当前水站数据传输普遍存在的问题。国内各公司和各水站代维商都推出了自己的数据传输系统,并相继制定了一系列的数据传输协议,但缺乏统一的地表水自动监测系统数据传输规范。

1.2.3. 建立数据传输标准方法,开发相应的数据传输软件系统

2011年至2012年期间,广东省环境监测中心和力合科技(湖南)股份有限公司组织相关监测人员,就国内研究主流的数据传输技术进行了专题的、深入的研究,并综合考虑数据传输可靠性、安全性,以及与国家相关标准,包括国家标准《HJ/T 212-2005HJ 污染源在线自动监控(监测)系统数据传输标准》的衔接等问题的基础上,建立数据传输标准方法,通过优化数据通讯流程和应答机制,并融合地表水自动监测的业务内容,同步在水站端和平台端开发相应的数据传输软件系统。

1.2.4. 依托项目,完善方法并形成《规范》

广东省环境监测中心依托广东省专项资金,环境监管能力建设项目《潮州赤风等4个水站更新改造及水质自动监测实时联网平台建设》,搭建了广东省地表水水质自动监测实时联网预警监控平台(以下简称“监控平台”),在前期工作的基础上,制订了《规范》初稿,实现了广东省34个省建水站长期稳定高效的实时数据联网。地方建水站和科学机构的移动监测点也能迅速准确地把数据传送到监控平台。截止到2016年7月,联入监控平台的国家建和地方建的水站合计50个,囊括了广东省境内全部国家建和地方建的地表水自动监测站,此外,广州中科院沈自所分所的一个移动研究点也通过《规范》联入监控平台。

1.2.5. 通过 《规范》实现全省水站数据实时联网

从2012年至今,完善水站的状态在线信息和仪器日志等技术,不断修改平台端-水站端双方的数据标识和质控数据录入的技术方案,并升级平台端和水站端的软件服务。经过多年努力,目前广东省地表水自动监控平台已建立一套完善的质量控制在线溯源机制,每个监测数据都能对其质控溯源,准确性和可靠性得到了保障。这套机制的技术规范不断修正并补充写进《规范》,使规范内容日臻完善。《规范》很好地串联了平台端和水站端各自的质控工作,实现了两者工作的对接、同步和统一。

1.2.6. 建立质量控制在线溯源机制,补充完善《规范》

对梅州长沙、吴川小东江等两个水站进行智能化改造。改造的内容包括仪器接口技术开发与监测数据实时上传、现场自动标样核查功能和质控任务远程控制等,并对其可行性、有关性能的稳定性实施了严格的跟踪管理。此项工作完成后,梅州长沙、吴川小东江两个水站的QA/QC工作实现了网络化和自动化,监控平台能通过《规范》高效地对两个水站开展远程质量管理工作,印证了广东省地表水自动监测系统数据传输规范对地表水自动监测的远程控制、在线自动质控等工作的有力支撑。

必要性分析

2.1. 顺应新历史时期经济社会快速发展的趋势

随着世界性的信息科学技术的讯猛发展,大数据在具体实践应用的范围将更为广泛,数据传输将成为助推经济社会快速发展的重要性环节。人的生活方式、思想观念也因此发生重要性的变化,对关系到身体健康的水环境质量安全保障的相关信息的关注度将越来越高,这无疑对水环境监督管理和相关信息的提供提出了前所未有的高要求。同时,广东省是国家级经济大省之一,是国家全面实施对外开放政策的南端门户,境内水域面积相对较为宽广,河网众多、交错纵横,水环境保护监督管理任务既复杂且繁重。

地表水自动监测系统是水环境保护监督管理的有机组成部分,是提升水环境保护监督管理整体水平、顺应外在经济社会快速发展大势的重要性基础。制订和实施《规范》必将对保障相应的数据传输质量、提升水环境保护监督管理整体能力、协调好经济社会快速发展与自然环境大系统的内在关系、增强经济社会系统整体发展内在动力、保障水环境质量安全、促进经济社会持续、快速、健康发展起着重要而积极的作用,现实意义重大,历史意义深远。

2.2. 地表水自动监测系统标准化建设的需要

地表水自动监测系统的标准化建设不仅包括水站和数据监控平台建设,还包括数据采集和传输系统建设 。目前,广东省缺乏统一的地表水自动监测系统数据传输规范,各公司和各水站代维商都推出了自己的数据传输系统并相继制定了一系列的数据传输协议,但这些协议都是各公司和各代维商为开发产品而专门设计的,协议之间互不兼容,严重影响了跨平台跨商家的系统构建。环境保护监测部门对通用的数据传输协议的需求越来越迫切。 因此,很有必要通过《规范》的制定,引导、纠正各公司和各代维商各自为政的行为,整合优化地表水自动监测系统内在资源,以实现系统整体质量保障 、内在资源共享、运作性能稳定和高效,以及对外服务质量的提高的基本目标。

2.3. 地表水自动监测系统专业性的需要

环境自动监测系统包括空气自动监测、地表水自动监测、污染源在线监测和噪声自动监测等。本标准制订前,国家尚未出台关于地表水自动监测系统数据传输的标准,而是按照空气自动监测、地表水自动监测和污染源在线监测的通用数据传输标准进行具体的操作。地表水自动监测系统的监测项目和频率、仪器质控方法,采样和预处理技术、系统结构及工作方式,均与其他自动监测系统存在着巨大的的差异,这些差异充分反映了地表水自动监测系统的专业性 、复杂性和特殊性,因此,很有必要为地表水自动监测系统单独量身订造一套有针对性、可靠而稳定的数据传输规范以保障数据传输控制通道的畅通和系统的正常运行。

2.4. 广东省水站数据联网的需要

广东省水站数据联网是全省水环境质量监测一体化和建立先进的水质监测预警体系的基础。水站数据联网的质量保障,必然要通过建立统一数据传输标准才能得以实现。

目前,由于缺乏统一的数据传输规范,各地表水自动监测系统数据互通性较为薄弱,各级行政区域在水自动监测数据共享上存在极大的障碍,对广东省环境监测一体化的发展基础带来带来较大的影响。因此,很有必要制订广东省地方标准《 地表水自动监测系统数据传输规范》,指导地级市及以下环境管理部门和水站运维商按照统一的传输方式和数据格式把数据上传到省监控平台,以保障全省数据联网工作的顺利开展。

标准编制的原则

3.1. 普遍性原则

当前网络通讯技术更新换代比较快,各代维商之间的技术路线不一样,不同代维商负责的水站的硬件设备和软件系统配置均不相同。

针对上述情况,规范应能跨平台,对不同水站集成系统都能快速适应和移植,覆盖地表水自动监测系统的所有监测业务,并能适应各种数据传输网络环境。

3.2. 专业性原则

地表水自动监测系统独特的结构原理、运行方式和监测仪器的运维方法都表现出与其他环境自动监测系统巨大的差异性。根据这一特点,规范制订应充分融合地表水自动监测的业务内容,并提出有针对性的措施。

3.3. 桥梁原则

数据传输规范并不承担平台端和水站端自身的技术研发,但作为平台端和水站端沟通的语言和桥梁,规范不能把两者割裂考虑,而应充分考虑双方的运行特点、内需和联系,实现平台端和水站端的联动和协调发展。

3.4. 弹性原则

地表水自动监测系统数据传输规范的编制应遵循弹性原则,针对监测业务、监测项目等的新增与变更,提供良好的扩充性。以确保本规范的扩展,对原有数据传输和反控等工作不造成任何影响。

3.5. 基准原则

地表水自动监测数据传输规范的监测项目编码应以国家标准《HJ 525-2009水污染物名称代码》为基础,在此基础上进行适当扩展。

通信协议的选择

3.1 通讯协议的要求

3.1.1 实时性和可靠性的要求

水站具有连续监测、实时在线等特性,同时广东省地表水自动系统的水站数量每年都在增长,为了保障平台能同步接收、处理所有水站的实时数据、提高网络系统的性能,数据传输规范的传输速度和传输效率起着至关重要的作用。制订合适的数据传输协议,要考虑系统传输数据的复杂程度和数据量,不断改进和优化其实时性能,减小协议对系统的开销,才能满足地表水自动监测系统数据实时传输的要求。

3.1.2 远程控制的要求

水站普遍分布在交通不便、偏远的位置。为完成水站质量控制的要求,平台应能通过数据传输规范找到水站,并对其实施远程控制,主要工作内容包括三部分,第一部分是远程对水站系统的运行过程进行监视和干预,第二部分是监视水站监测仪器的运行状态、远程仪器调试和故障诊断。第三部分是平台向水站发送质控命令,让水站完成常规质控任务。

3.1.3 通用性的要求

广东省水站建设和运维分别由数个代维商负责。因各代维商之间的技术路线不一样,不同代维商负责的水站的硬件设备和软件系统配置均不相同,其数据处理和传输能力也因地而异。因此,数据传输规范的设计不能好高骛远,制订不切实际的数据传输协议只能让水站被迫通过硬件和软件的改造去适应,增大开发成本。广东省数据传输规范应该具有广泛的可实现性,能提高代维商和水站管理方的工作效率和满意度。

3.2 常用的数据传输协议比较

文件传输协议(FTP)发布的时间比较早(1985年),属于逐步要被淘汰的传输协议。FTP传输效率低,由于数据格式是文本文件,数据解析的系统开销大,不容易实现平台对水站的反向控制,不适宜用在地表水自动监测系统的数据传输。

基于XML、JSON的数据通讯协议主要应用在WEB应用程序,适合服务器之间的数据通讯,数据封装和解析的系统开销大,需要水站具备较高的硬件配置和计算能力,同时也不容易实现平台对水站的反向控制,因此同样不适合应用在地表水自动监测系统的数据传输。

《HJ/T212-2005污染源在线自动监控(监测)系统数据传输标准》(以下简称为HJ/T212-2005)是基于TCP/IP应用层的自定义通讯协议,精确地定义了上位机和现场机通信控制信息和解释信息,有清晰明确的字段定义, 又有合理规范的格式,容易实现上位机到现场机的反向控制,易管理、拓展性强、复用性高,通过优化和拓展后适合用在广东省地表水自动监测系统中。本技术思路也在广东省地表水自动监测系统数据联网工作中得到验证。

与HJ/T 212-2005的异同

(一)相同点:

(1)广东省地方标准《地表水自动监测系统数据传输规范》的通讯包采用了HJ/T212-2005规定的格式,两者通信包的数据结构格式一致,均由包头、数据段长度、数据段、CRC校验比和包尾组成。

(2)两者CRC校验相同。

(二)不同点:

(1)HJ/T212-2005定义的每个包长度为1024,广东省地方标准《地表水自动监测系统数据传输规范》去掉了这个限制,方便扩展。

(2)数据段的长度不一样,广东省地方标准《地表水自动监测系统数据传输规范》能传送更复杂的数据。

(3)去掉了拆包模式,即一个包只用一条指令发送,不需要进行拆包。

(4)在保证通信握手安全的前提下,对应答机制进行了优化,详见《地表水自动监测系统数据传输规范》内容。

(5)不再采用基于非TCP/IP协议的传输网络。

(6)按照地表水自动监测系统的业务内容,全新定义了传输规范的术语。

(7)按照地表水自动监测系统的业务内容,修改和拓展了数据区的字段,规定了其使用方法。

(8)对各种监测设备的采样方法、分析周期和监测频次进行了细致划分和归类,提出周期数据的概念,并在此基础上定义地表水自动监测系统的监测数据类型。

(9)按《HJ 525-2009水污染物名称代码》的编码原则对监测项目编码,并规范统一了计量单位。

(10)分析研究状态信息、日志、数据标识和在线质控数据的形成机制,对其详细定义及全新分类,使其符合质量控制在线溯源机制的工作要求。

命令编号

命令编号规定了水站和平台所有交换指令的格式与含义,能实现系统互联、数据传输、远程控制、水站状态采集等功能。

(1)通讯初始化命令

水站需主动向平台发出登陆请求,登陆成功后需每2分钟发一次心跳检测包,以保障数据传输的畅通。

(2)平台数据采集及水站主动上报数据命令

包括水站主动往平台发送数据的命令,及在特殊情况下平台向水站发出采集数据的命令。

(3)反控命令

平台向水站发送反控命令,包括紧急监测、质控任务下达等,水站接收并解析反控命令,根据当前工作情况决定是否执行操作。如执行操作应向平台反馈执行结果。

(4)状态命令

平台向水站发送状态命令,了解水站的实时工作状态,实现远程诊断水站是否正常运行。

(5)模式命令

平台可通过模式命令远程设置水站的工作模式,包括监测任务和质控任务的测试时间、测试周期、优先级等。

监测项目代码

(1)监测项目代码优先采用国家标准《HJ 525-2009水污染物名称代码》的水污染物代码表,对于未列出的监测污染物或污染指标,可依据《HJ 525-2009水污染物名称代码》的分类原则对其进行归类,在其相应类别中已有编码的基础上顺延赋码。

(2)本规范统一了监测项目的计量单位。 

质量控制在线溯源机制

面对广东省地表水自动监测系统快速增长的海量数据,数据质量如何保障至关重要,将影响监测数据的权威性和可用性。通过对系统整体考虑和关键影响因素的差别设计,逐一解决在线质量控制措施、人工质量控制措施、系统及仪器的运行原理和工作流程和外部环境影响等因素带来的问题,形成实时化、动态化、可扩展的质量控制在线溯源机制,它的主要要素包括状态信息、日志、数据标识和在线质控数据。

4.1 状态信息

状态信息包括了系统和仪器的状态信息,它是地表水自动监测系统远程质控自动化、实时化和可视化的基础。通过阅读状态信息,可获取系统和仪器工作流程的实时工作步骤信息,并能判断系统和仪器的状态和运行情况。

系统状态信息一般包括:空闲;取水;排水;清洗;无液位;测试等。

仪器状态信息包括:空闲;测试;标样核查;加标回收;故障等。

4.2 日志

(一)日志是系统和仪器工作的历史记录。与状态信息描述实时状态不同,日志重现系统和仪器的历史状态和工作过程,实现地表水自动监测系统基础层工作过程的追溯。

(二)只规定了日志的远程提取命令。不同系统集成商或仪器厂家的日志格式及内容可自行制订。

4.3 数据标识

(一)数据标识直接反映了环境监测数据的最终状态,是基站端和平台端通过自动控制或人工操作等方式,完成系统维护、质量控制、实验评估、数据审核等一系列工作后的综合成果。从监测结果、质量控制工作、系统及仪器监测状态及数据标识来源等方面着手,把数据标识分为以下四类:

(1)监测数据状态标识

监测数据状态标识反映了计算机或人工通过监测数据本身作出的初步判断。如超出仪器上下限,数据统计不足、监测周期仪器完成监测、平台端数据审核后删除数据等。

(2)质控任务标识

质控任务标识记录了地表水自动监测系统所采取的质量控制措施,包括系统对水样分析过程的每一环节进行控制,主要有定期校准、空白试验、标样核查、加标回收和校准曲线控制等工作。

(3)基站系统及仪器故障标识

基站系统及仪器故障标识包括监测系统及仪器的故障以及外界影响因素,主要包括系统故障、仪器故障、系统及仪器对水样分析过程的影响因素等。

(4)来源标识

来源标识反映了数据标识的产生来源,包括平台端的控制命令和操作、基站的控制命令和基站人工数据审核等。

(二)数据标识可根据需要,按照分类的定义进行扩展,这里不做规定。

4.4 在线质控数据

地表水自动监测系统的质控任务通常除了具备满足实验室常规质控方法的基本要求外,还有任务密度大、在线要求高和自动人工混合等特点,需细化其执行方法和质控数据类别。

4.4.1 执行方法

(1)在线质控

通过中心平台向基站发送质控反控命令或在基站预设质控任务的方式执行,反控命令的格式可见标准的4.4及附录D

(2)手工质控

通过现场人工做实验的方法执行,质控结果需在现场输入工控机,数据加上数据标识并实时上传到中心平台。

4.4.2 在线质控数据

(1)标样数据

系统进行空白试验和标准物质控制试验产生的仪器标样测试结果、标准物的量值和相对误差计算结果。

(2)加标回收数据

系统进行加标回收实验产生的仪器水样结果、标准物的量值和加标回收率。

(3)平行样数据

系统进行平行样实验产生的平行双样的仪器测试结果。 

标准目次

内容范围

本标准适用于广东省地表水自动监测站和数据监控平台之间的数据交换传输。

本标准规定了地表水自动监测系统的系统结构、数据传输过程和系统的数据格式及代码定义,本标准不限制系统扩展其他的信息内容,在扩展内容时不得与本标准中所使用或保留的控制命令相冲突。 

规范性引用文件

本标准内容引用了下列文件或其中的条款。凡是不注日期的引用文件,其最新版本适用于本标准。

GB 3838-2002 地表水环境质量标准

HJ 525-2009 水污染物名称代码

HJ 660-2013 环境监测信息传输技术规定

SL 651-2014 水文监测数据通信规约

HJ/T 212-2005 污染源在线自动监控(监测)系统数据传输标准

本标准实施建议

本规范考虑了广东省地表水自动监测系统软硬件的主流配置,规定了地表水自动监测系统数据传输的模型、通讯流程和应答机制,制订数据传输协议,并融合了地表水自动监测的监测方法、质量控制和反控等技术,制订详细的数据包报文格式、命令编号、监测项目代码和数据标识等。

按照本标准开发数据采集和传输系统时,可参考附录D的数据包示范。如要快速了解广东省地表水自动监控系统的质控溯源机制在本标准的应用,可参考本标准的范例:状态信息(附录D的D16)、日志(附录D的D7)、数据标识(附录C)和在线质控数据(附录D的D5、D6、D17)。

本标准不限制扩展其他的信息内容,在扩展内容时不得与本标准中所使用或保留的控制命令相冲突。

获奖记录

2024年4月23日,广东省人力资源和社会保障厅与广东省市场监督管理局印发了《关于表彰广东省标准化突出贡献奖获奖项目、单位和个人的决定》(粤人社发〔2024〕9号),广东省生态环境监测中心主导制定的《地表水自动监测系统数据传输规范》荣获广东省标准化突出贡献奖——标准  项目奖(三等奖)

广东省标准化突出贡献奖是经省委、省政府批准,首次由广东省人力资源和社会保障厅和广东省市场监督管理局共同开展的广东省标准化突出贡献奖评选活动。广东省标准化突出贡献奖下设标准项目奖、标准化组织奖、标准化成就奖和优秀青年奖。标准项目奖重点表彰有效支撑国家或广东省重大战略实施、促进技术创新或管理创新,并产生显著经济效益、社会效益、生态效益的项目,重点围绕制造业高质量发展、粤港澳大湾区建设、绿美广东工程等领域。标准项目奖设一、二、三等奖,表彰数量分别限额5个、10个、20 个。


网友评论 0条评论

所有评论