Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群25
Java1234官方群25:838462530
        

实战springboot+CAS单点登录课程(免费领取)

SpringBoot打造全栈在线教育平台实战课程

66套java实战课程无套路领取

Java1234 VIP课程

领取微信扫码登录Java实现视频教程

Java1234至尊VIP(特价活动)

大数据技术之高频面试题 PDF 下载


分享到:
时间:2020-12-27 18:38来源:http://www.java1234.com 作者:转载  侵权举报
大数据技术之高频面试题 PDF 下载
失效链接处理
大数据技术之高频面试题  PDF 下载


本站整理下载:
提取码:eox0 
 
 
相关截图:
 
主要内容:


1.1.2 Shell 常用工具及写过的脚本
1)awk、sed、cut、sort
2)用 Shell 写过哪些脚本
(1)集群启动,分发脚本
(2)数仓与 mysql 的导入导出
(3)数仓层级内部的导入
1.1.3 Shell 中提交了一个脚本,进程号已经不知道了,但是需要 kill
掉这个进程,怎么操作?
ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"
1.1.4 Shell 中单引号和双引号区别
1)在/home/atguigu/bin 创建一个 test.sh 文件
[[email protected] bin]$ vim test.sh 
在文件中添加如下内容
#!/bin/bash
do_date=$1
echo '$do_date'
echo "$do_date"
echo "'$do_date'"
echo '"$do_date"'
echo `date`
2)查看执行结果
[[email protected] bin]$ test.sh 2019-02-10
$do_date
2019-02-10
'2019-02-10'
"$do_date"
2019 年 05 月 02 日 星期四 21:02:08 CST
3)总结:
(1)单引号不取变量值
(2)双引号取变量值
(3)反引号`,执行引号中命令
(4)双引号内部嵌套单引号,取出变量值
(5)单引号内部嵌套双引号,不取出变量值
1 请求下载文件/user/atguigu/ss.avi
2 返回目标文件的元数据
NameNode
元数据
DataNode1 DataNode2 DataNode3 ss.avi
0-128m
200m
3 请求读数据blk_1
4 传输数据 7 blk_1
HDFS的读数据流程
/user/atguigu/ss.avi
{[blk_1,blk_2],[blk_1,blk_2],[blk_1,blk_2]}
7 blk_2
5 请求读数据blk_2
6 传输数据
7 blk_2 7 blk_1
7 blk_2
7 blk_1
客户端
Distributed 
FileSystem
FSDataInpu
tStream
HDFS
client
create
read
close
 尚硅谷大数据技术之高频面试题 
—————————————————————————————
14
1.2 Hadoop
1.2.1 Hadoop 常用端口号
hadoop2.x Hadoop3.x
访问 HDFS 端口 50070 9870
访问 MR 执行情况端口 8088 8088 
历史服务器 19888 19888 
客户端访问集群端口 9000 8020
1.2.2 Hadoop 配置文件以及简单的 Hadoop 集群搭建
(1)配置文件:
Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves
Hadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers
(2)简单的集群搭建过程:
JDK 安装
配置 SSH 免密登录
配置 hadoop 核心文件:
格式化 namenode


 

------分隔线----------------------------
锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程