当前位置: > 论文中心 > 科技论文 >

大数据环境下卫星对地观测数据集成系统的关键技术

时间:2015-10-23 10:58 点击:
【论文摘要】建立卫星对地观测数据集成系统是遥感卫星数据信息资源有效管理与应用的重要手段。从我国对地观测重大需求以及前沿科学问题入手,提出大数据环境下卫星对地观测数据集成系统建立中亟待解决的关键技术,包括大容量异构对地观测数据集成的语义技术
  【论文摘要】建立卫星对地观测数据集成系统是遥感卫星数据信息资源有效管理与应用的重要手段。从我国对地观测重大需求以及前沿科学问题入手,提出大数据环境下卫星对地观测数据集成系统建立中亟待解决的关键技术,包括大容量异构对地观测数据集成的语义技术、基于网格的遥感图像快速处理技术、遥感大数据深度分析技术、多数据中心协同处理及云平台技术,为实现集成卫星图像、地面观测数据和模拟模型的元数据管理、几何精度纠正和卫星数据质量评价、海量卫星图像数据的空间分析与知识发现、分布式高性能卫星图像数据管理和归档等基本功能,为解决海量卫星数据分布式存储与计算、数据集成与互操作、空间数据分析与地学知识发现提供新思路、新技术与新方法。
  【论文关键词】卫星观测数据集成系统; 语义技术; 网格计算; 大数据深度分析; 云平台
  1 引言
  世界各国相继发射各类遥感卫星,全球对地观测高分时代到来,卫星遥感对地观测范围越来越广泛,覆盖水与能量循环、陆地、海洋等多方面[1],并由此呈现出“三高”特点,即高空间分辨率、高时间分辨率和高光谱分辨率[2]。在经济全球化和网络信息技术飞速发展的背景下,快速获取、高效处理和有效应用对地观测数据成为世界各国的共同需求[3]。面临卫星遥感对地面观测所形成的地球空间海量信息流,一方面如何对卫星图像、地面观测数据以及各种模拟模型等多源、异构、不同平台的数据进行有效集成,另一方面如何将其中未经加工的数据转变成可供用户直接利用的有价值信息[4,5],建立卫星对地观测数据集成系统正成为遥感卫星数据信息资源有效管理与应用的重要手段[6]。
  1. 1 对地观测基础科学问题
    在对地观测基础科学问题[2,7]中,卫星图像数据与地面观测数据的有效集成方法是其中主要问题之一。从认知科学来看,研究很大程度上沿着“信号—数据—信息—知识”的数字化信息化过程展开,具有显著的信息学基本特征。同时,从知识工程角度来看,对地观测活动从海量遥感数据的获取、存储、处理,到地学知识分析、发现、分发,也体现出信号传输—数据获取—信息处理—知识呈现”的数据处理生命周期。因此,除地球科学方法论以外,认知理论、信息学、知识工程方法论也对对地观测的研究与应用起着十分重要的指导意义与推进作用。
  1. 2 大数据下对地观测研究的技术难点和瓶颈大数据[8 ~ 11]的出现给对地观测研究带来了全新挑战、发展机遇和解决思路[12]。超大规模数据、海量数据、大数据可看作是三代数据管理技术的标签[13]。“超大规模”数据研究重点是数据模型、事务管理、索引技术与查询优化等方面。“海量数据”主要考虑各种非结构化数据有效管理、多数据源集成等问题。而“大数据”的技术难点和瓶颈[14, 15]归纳起来主要表现为以下3 个方面,需要研究更有效、更实用的大数据管理与分析技术。
  ( 1) 数据量的膨胀。遥感平台技术的进步使得获取的观测数据量大幅度增大。以ZY3 卫星为例,在轨工作期间每天获取的观测数据量可高达10 TB以上。同样,当前大量传感器部署在卫星、飞机等飞行平台上,未来10 年全球天、空、地部署的数百万计传感器每天获取的观测数据将超过10 PB,呈现出显著的大数据“4V”特征,即海量数据规模( Volume)、多样数据类型( Variety) 、动态数据体系( Velocity)和巨大数据价值( Value) 。从对地观测过程的信息学特征可以清晰地看到此领域大数据的发展趋势,需要解决对地观测数据量增大所带来的遥感大数据存储与处理问题[12]。
  ( 2) 数据深度分析需求的增长。遥感技术发展初期,专业人员通过目视判读对信息进行解译及修正。当观测数据量较小时,传统数据挖掘手段已能成功地解决一定地学知识的定量查询与分析以及单一内容应用服务,但它们不能满足日益增大的观测数据量和日益复杂的应用模式需求。在数据维度和规模不断增大、信息提取精度不断提高的情况下,层级深度与复杂性也随之增大。在大数据深度分析( Deep Analysis) 的挑战下,传统数据挖掘技术的扩展性遇到了前所未有的困难[16 ~ 18],对PB 级以上的大数据分析还需要研究新的方法[19],依赖于计算机处理的数据深度分析新模式的出现以及以数据为核心的知识发现方法来解决分析较大地理尺度上的复杂地学问题。
  ( 3) 多源数据的高度异构与分散自治。对地观测数据集成的最终目标是建立能使用户直接获取有价值信息的卫星集成数据管理与归档系统。信息化与网络化的飞速发展与深入应用,遍布全球的多个数据观测中心都积聚了巨大的海量数据,它们高度异构、分散自治和动态更新。集成系统的建设涉及到众多领域、众多部门,目前这些子系统、组件和服务被独立开发和部署,协调困难,难以实现卫星遥感信息资源在领域之间和部门之间的交流与共享。如何提供一个高效的数据管理与信息整合的途径或平台,支持分布式环境下这些大规模数据的逻辑关联表达、语义集成、协同综合管理以及共享归档成为迫切需要和亟待解决的难题。
  1. 3 国际卫星标准计划
  国际标准组织ISO/TC211,OGC( Open GIS Consortium)等正在制定一系列地理信息元数据、卫星图像相关的标准计划[20, 21]来有效地管理地理信息,如ISO 制定了19115 地理信息元数据( Geographic Information-Metadata) 、19115-2 地理信息元数据PartII: 影像和栅格数据的扩展( Metadata Extensions forImagery and Gridded Data) 、19130 地理信息影像与栅格数据的传感器数据模型( Sensor Data Model forImagery and Gridded Data) 、19139 地理信息元数据-XML 模式实现( Metadata-XML Schema Implementation)等; OGC 制定了Topic 15 图像使用服务( ImageExploitation Service) 、Topic 16 图像坐标转换服务( Image Coordinate Transformation Service) 以及地球影像( Earth Imagery Case) 等。然而这些标准并不能完全满足卫星数据集成系统开发的需要,具体表现在:
  ( 1) 卫星数据模型尚缺乏表达卫星图像数据的地理定位、地理参考等语义信息,特别是缺乏一个统一的卫星图像元数据模型来描述和集成卫星图像、地面观测和仿真模拟等数据。
  ( 2) 缺乏卫星影像与地面栅格之间的空间对应关系的定义,不能满足地面坐标转换的几何纠正服务功能和精度的要求。

   论文榜(www.zglwb.com),是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导,寻求投稿辅导代理,快速投稿辅导,投稿辅导格式指导等解决方案:省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。


栏目列表
联系方式
推荐内容
 
QQ在线咨询
投稿辅导热线:
189-6119-6312
微信号咨询:
18961196312