搜索

当前位置: > 论文中心 > 计算机论文 >

基于Hadoop平台的Spark框架研究(3)

时间:2015-01-03 10:19 点击: 次
cd /usr/local/hadoop/etc/hadoop 编辑hadoop-env.sh（修改JAVA_HOME的配置） sudo gedit hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45 编辑yarn-env.sh，在底部增加 export JAVA_HOME=/usr/lib/jvm/j

　　cd /usr/local/hadoop/etc/hadoop

　　编辑hadoop-env.sh（修改JAVA_HOME的配置）

　　sudo gedit hadoop-env.sh

　　export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45

　　编辑yarn-env.sh，在底部增加

　　export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45

　　测试：数据含义：共计一百万条数据，每条数据左边是名字，右边是年龄。

　　8 总结

　　大数据的快速挖掘在Spark框架中是可以很方便地实现的，以廉价的内存资源获取高效的大数据处理速度是值得的。无可否认，Spark的应用将会快速地繁荣起来。

　　参考文献：

　　[1] Spark编程指南[EB/OL].http：//spark.apache.org/docs/latest/programming-guide.html，2013.

　　[2] 机器学习库[EB/OL].http：//blog.csdn.net/johnny_lee/article/details/25656343，2013.

　　[3] Graphx学习[EB/OL].http：//spark.apache.org/docs/latest/graphx-programming-guide.html，2012.

　　[4] 云计算的分类[EB/OL].http：//tech.qq.com/a/20101103/000074.htm，2010.

　　[5] 最近的spark文档[EB/OL].http：//spark.apache.org/docs/latest/，2014.

　　 论文榜（www.zglwb.com），是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导，寻求投稿辅导代理，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。

栏目列表
联系方式
推荐内容
热点内容
 
QQ在线咨询
投稿辅导热线:
189-6119-6312
微信号咨询:
18961196312
微信扫一扫
关注论文榜