新型的IT基础架构.网络大数据对于系统,不 管是存储系统、传输系统还是计算系统都提出了很 多苛刻的要求,现有的数据中心技术很难满足网络 大数据的需求.因此,需要考虑对整个rr架构进行 革命性的重构.而存储能力的增长远远赶不上数据 的增长,因此设计最合理的分层存储架构,不仅满足 scale-up 式的可扩展性,而且还能满足scale-out式 的可扩展性,已成为rr系统的关键.在大数据时 代,rr系统需要从数据围着处理器转改变为处理能 力围着数据转,将计算推送给数据,而不是将数据推 送给计算.此外,网络大数据平台(包括计算平台、传 输平台、存储平台等)是网络大数据技术链条中的瓶 颈,特别是网络大数据的高速传输,需要革命性的新 技术. 数据的安全和隐私问题.数据有价值,有价值 就可能产生争夺和侵害.只要有数据,就必然存在安 全与隐私的问题.随着数据的增多,网络大数据面临 着重大的风险和威胁,需要遵守更多更合理的规定, 而传统的数据保护方法无法满足这一要求.因此,面 对网络大数据的安全与隐私保护,有大量的问题急 需得到解决,具体包括:数据计算伦理学、数据密码 学、分布式编程框架中的安全计算、远程数据计算的 可信任度、数据存储和日志管理的安全性、基于隐私 和商业利益保护的数据挖掘与分析、强制的访问控 制和安全通信、多粒度访问控制以及数据来源和数 据通道的可信等. 8总结 “人、机、物”三元世界融合的网络空间(Cyber space)中的网络大数据存在数据规模巨大、数据关 联复杂、数据状态演变等显著特征.其规模和复杂度 的增长远远超出了符合摩尔定律增长的机器处理和 计算能力.网络大数据带来了宝贵机遇,同时也存在 着巨大挑战.本文从网络大数据的复杂性、不确定性 和涌现性3个方面展开讨论,详细分析了这些特性 给网络大数据的深度分析和价值利用带来的影响. 本文梳理了网络大数据研究体系,从网络空间感知 与数据表示、网络大数据存储与管理体系、网络数据 挖掘和社会计算以及网络大数据平台系统与应用 4个方面回顾了相关领域的新近发展,探讨了网络 大数据研究方向和所面临的挑战,并展望了未来的 主要研究方向.总之,与传统研究工作相比,网络大 数据在各个层面的差异都非常显著.尽管目前已经 有一些探索性的研究工作,但是总体上来说,网络大 数据的研究还很年轻,尚有诸多问题亟待解决. 致谢本文的部分观点来自于香山科学会议第 424次学术讨论会以及中国计算机学会大数据专家 委员会针对大数据与网络大数据的深入讨论,本文 的撰写还得到了孙晓明、郭嘉丰、沈华伟、兰艳艳等 中国科学院计算技术研究所同事的大力支持,作者 对相关专家与学者一并表示衷心的感谢! |