Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群25
Java1234官方群25:838462530
     

GIT视频教程(结合github,码云)免费领取

SpringBoot打造全栈在线教育平台实战课程

SpringBoot打造企业级进销存

Java1234 VIP课程

领取微信扫码登录Java实现视频教程

Java1234至尊VIP(特价活动)
当前位置: 主页 > Java文档 > 大数据云计算 >

hadoop与spark环境搭建 PDF 下载


分享到:
时间:2020-08-01 08:55来源:未知 作者:小锋  侵权举报
hadoop与spark环境搭建 PDF 下载
失效链接处理
hadoop与spark环境搭建 PDF 下载


本站整理下载:
 
相关截图:
 
主要内容:

单机版的Spark可以满足对Spark的应用程序测试工作,对于初学者而言是非常有益的。安装单机版
Spark环境步骤如下。
1上传Spark安装包到software下
使用xftp工具进行上传
2 用oracle用户来登录xshell
修改Spark安装包-用sudo命令
第一次sudo时:
3 设置java_home
4 Spark的目录结构
We trust you have received the usual lecture from the local System Administrator. It usually boils down to these three things: #1) Respect the privacy of others. #2) Think before you type. #3) With great power comes great responsibility. [sudo] password for oracle: #解压Saprk sudo chown oracle:oracle spark-2.1.1-bin-hadoop2.7.tgz tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/modules/ #解压Java sudo chown oracle:oracle jdk-8u144-linux-x64.tar.gz tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/modules/ vim /etc/profile #JAVA_HOME export JAVA_HOME=/opt/modules/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin #使JAVA_HOME生效 source /etc/profile drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 bin drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 conf drwxr-xr-x. 5 oracle oracle 4096 4月 26 2017 data drwxr-xr-x. 4 oracle oracle 4096 4月 26 2017 examples
5运行Saprk案例
drwxr-xr-x. 2 oracle oracle 12288 4月 26 2017 jars -rw-r--r--. 1 oracle oracle 17811 4月 26 2017 LICENSE drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 licenses -rw-r--r--. 1 oracle oracle 24645 4月 26 2017 NOTICE drwxr-xr-x. 8 oracle oracle 4096 4月 26 2017 python drwxr-xr-x. 3 oracle oracle 4096 4月 26 2017 R -rw-r--r--. 1 oracle oracle 3817 4月 26 2017 README.md -rw-r--r--. 1 oracle oracle 128 4月 26 2017 RELEASE drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 sbin drwxr-xr-x. 2 oracle oracle 4096 4月 26 2017 yarn ./run-example SparkPi 2 #注意:找到Saprk命令的位置 其中2表示并行度 第一次执行结果 Pi is roughly 3.1415757078785393 第二次执行结果 Pi is roughly 3.146655733278666

 
 
------分隔线----------------------------
锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程