( 3) 缺乏标准化卫星集成数据仓库和知识库,以及集数据集成、空间查询与知识发现为一体的卫星数据分析功能,不能满足为用户自动提取有用信息的应用服务。
1. 4 我国卫星应用现状及主要问题
在我国,卫星遥感信息已成为不可或缺的战略资源和经济资源,未来5 ~ 10 年自主遥感卫星数据将呈爆炸性增长,遥感卫星应用产业蕴藏着巨大的跨越式发展机遇[22]。我国国家重大专项项目“高分辨率对地观测系统”[23]把实施目标确定为全面提升我国自主获取高分辨率观测数据的能力,加快我国856 地球科学进展空间信息应用体系的建设,推动卫星及应用技术的跨越发展。然而,国内对地观测系统建立以及对地观测集成标准化建设的严重不足也直接影响了自主遥感卫星数据的开放利用,存在卫星数据“不能用、不好用、不会用、得不到”等现实问题[24],迫切需要对多源卫星和航空遥感数据、不同平台卫星遥感数据之间、卫星数据与地面观测数据之间进行整合,建立完整的卫星应用技术支撑体系。
针对对地观测的重大需求以及前沿科学问题,结合当今计算机科学与技术领域中大数据应用的最新技术,本文提出大数据环境下卫星对地观测数据集成系统建立与应用中亟待解决的关键技术。
2 卫星对地观测数据集成系统及其总体技术框架
2. 1 卫星对地观测数据集成系统的定义与内涵面临卫星对地面遥感所形成的地球空间海量信息流,对卫星图像数据、地面观测数据以及仿真模型等多源、异构、不同平台的数据进行有效集成,建立能反映地面参数时空变化与信息关联的卫星图像知识库,面向海量卫星数据开发集数据集成、空间查询与知识发现为一体的卫星大数据分析功能,并进行几何精度纠正和卫星数据质量评价,最终形成能使用户直接获取有价值信息的分布式高性能的卫星集成数据管理与归档云平台。
2. 2 基于大数据技术的系统总体技术框架
数据集成系统总体技术框架。卫星观测数据集成系统包括标准化卫星数据集成元数据管理、几何精度纠正和卫星数据质量评价、海量卫星遥感图像数据分析与知识发现、分布式高性能卫星图像数据管理与归档云平台这些基本功能。在系统建立过程中贯穿运用大数据技术体系( 包括大数据存储与管理、大数据计算模式、大数据分析与挖掘) ,其中关键实现技术包括大容量异构对地观测数据集成的语义技术、基于网格的遥感图像快速处理技术、卫星遥感大数据深度分析与地学知识发现技术、基于共享知识库的多数据中心协同处理及云平台技术。充分利用国际标准组织ISO/TC211,OGC 等一系列卫星数据国际标准计划以及国内标准,对它们进行扩展与集成,使得通过建立共同的标准和协议联接全球分布式网络化卫星遥感数据库,确保卫星数据与服务的兼容性和互用性,使所有的卫星遥感数据都可以通过网络实现规范化共享与应用。
3 大容量异构对地观测数据集成的语义技术
对卫星图像、地面观测数据、模型模拟结果等异构数据源数据以及不同数据归档系统之间数据进行有效集成,可建立如图2所示的标准化卫星数据集图1 卫星观测数据集成系统及其大数据技术应用的总体技术框架Fig. 1 Overall technical framework of satellite data integration system based on big data technologies第8 期谢榕等: 大数据环境下卫星对地观测数据集成系统的关键技术857图2 基于语义技术的大容量异构对地观测数据集成Fig. 2 Massive heterogeneous Earth observation data integration based on semantic technologies成元数据模型。基于时空间信息认知模式,通过语义技术,将卫星数据、地面观测数据及仿真模型相集成的通用元数据模型与图像元数据模型进行语义集成,实现对卫星元数据的高效管理。
3. 1 时空间信息认知模式
从时空间信息的认知机理出发,建立一种形式化数据结构方式来表达概念的内涵和外延以及概念与概念之间的不同层次的抽象关系,同时描述时空数据时间、空间概念的形成、时空概念的结构关系。
利用形式化的理论和方法,表达与描述卫星遥感时空数据分析过程中时间、空间概念的形成、时空概念的结构关系,反映遥感数据的时空特点,形成统一框架下“概念—关系”为中心[25] 的认知模式与语义模型。
3. 2 卫星遥感语义模型
地理定位信息是定义图像数据地理定位的重要信息,但这些信息在ISO 19115, 19115-2 中没有得到定义,而ISO 19130 仅支持地理定位和传感器特性。
因此,为了把图像数据运用于地理信息,并能有效地描述图像元数据,需要对ISO 元数据标准( ISO19115,19115-2 ) 进行扩展,并结合ISO 图像标准( ISO 19130) 中的地理定位信息和传感器特性。在ISO 19115, 19115-2 和19130 的基础上,开发卫星数据集成通用元数据模型以及图像元数据模型。通过定义元数据元素公共集、元数据的定义和内在的关联以及元数据的扩展,运用Protégé 工具对卫星数据的抽象结构和内容进行描述,并将不同来源的异构数据映射成一种规范化形式的本体数据类型,构建卫星遥感语义模型。
3. 3 高效卫星元数据管理
大容量异构卫星数据的集成,需要解决卫星数据目录功能复杂性问题,因此建立标准化卫星数据集成元数据模型,对卫星遥感、地面观测、仿真模型等异构数据源以及不同数据归档系统之间数据进行有效集成。一个完整的元数据模型可包含多个元数据包[26],包括主类定义、支撑类定义和描述图像的扩展类定义和特殊类定义。每个元数据包包含一个或多个元数据实体。元数据实体由一系列元数据元素组成。元数据元素可包括3 类成分,即核心元素、特殊类元素和扩展类元素。其中,核心元素定义每个数据集应该包含的元数据最小集; 扩展类元素则定义描述图像的扩展元数据; 特殊类元素包括专业元素和组织机构专用元素。图像元数据类包括元数据集信息、识别信息、数据质量信息、空间信息表示、参考系统信息、内容信息。 |