基于PostgreSQL的海量准实时数据服务平台访问方案
【摘要】 大数据服务平台在电网系统中具有重要的应用价值. 海量准实时数据平台作为电网重要数据中心, 存储了大量有价值的数据, 其存储的数据多为非结构化数据, 无法直接通过SQL语句获取. 为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能. 为此, 本文基于PostgresSQL Foreign Data Wrapper (Postgres_fdw)开发了SQL引擎. 通过分析PostgresSQL的功能特点以及已有UAPI接口的不足, 针对原有大数据平台框架, 采用分层策略, 基于Postgres_fdw开发了SQL引擎, 并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案, 以此实现数据平台运用SQL的方式获取底层海量平台数据的功能. 现场功能和性能测试, 验证了该引擎的有效性.
