Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群25
Java1234官方群25:838462530
        

springcloud分布式电商秒杀实战课程

实战RabbitMQ消息队列课程(免费领取)

毕设代做包查重包过联系人QQ:1982956321毕设大神 毕设代做包查重包过

66套java实战课程无套路领取

Java1234 VIP课程

领取微信扫码登录Java实现视频教程

Java1234至尊VIP(特价活动)

hadoop面试题 PDF 下载


分享到:
时间:2021-03-17 10:08来源:http://www.java1234.com 作者:转载  侵权举报
hadoop面试题 PDF 下载
失效链接处理
hadoop面试题 PDF 下载


本站整理下载:
提取码:b90p 
 
 
相关截图:
 
主要内容:


1.0简要描述如何安装配置apache的一个开源hadoop,只描述即可,无需列出具体步骤,列出具体步骤更好。
答:第一题:1使用root账户登录
2 修改IP
3 修改host主机名
4 配置SSH免密码登录
5 关闭防火墙
6  安装JDK
6 解压hadoop安装包
7 配置hadoop的核心文件 hadoop-env.sh,core-site.xml , mapred-site.xml , hdfs-site.xml
8 配置hadoop环境变量
9 格式化 hadoop namenode-format
10 启动节点 start-all.sh
 
2.0 请列出正常的hadoop集群中hadoop都分别需要启动 哪些进程,他们的作用分别都是什么,请尽量列的详细一些。
答:namenode:负责管理hdfs中文件块的元数据,响应客户端请求,管理datanode上文件block的均衡,维持副本数量
Secondname:主要负责做checkpoint操作;也可以做冷备,对一定范围内数据做快照性备份。
Datanode:存储数据块,负责客户端对数据块的io请求
Jobtracker :管理任务,并将任务分配给 tasktracker。
Tasktracker: 执行JobTracker分配的任务。
 
Resourcemanager
Nodemanager
Journalnode
Zookeeper
Zkfc
 
 
 
3.0请写出以下的shell命令  
(1)杀死一个job
(2)删除hdfs上的 /tmp/aaa目录
(3)加入一个新的存储节点和删除一个节点需要执行的命令
答:(1)hadoop job –list   得到job的id,然后执 行 hadoop job  -kill  jobId就可以杀死一个指定jobId的job工作了。
(2)hadoop fs  -rmr  /tmp/aaa
(3)  增加一个新的节点在新的几点上执行 
Hadoop  daemon.sh  start  datanode 
Hadooop  daemon.sh  start   tasktracker/nodemanager
 
下线时,要在conf目录下的excludes文件中列出要下线的datanode机器主机名
然后在主节点中执行  hadoop   dfsadmin  -refreshnodes  下线一个datanode
删除一个节点的时候,只需要在主节点执行 
 hadoop mradmin  -refreshnodes  ---下线一个tasktracker/nodemanager
 
4.0请列出你所知道的hadoop调度器,并简要说明其工作方法
答:Fifo schedular :默认,先进先出的原则
Capacity schedular :计算能力调度器,选择占用最小、优先级高的先执行,依此类推。
Fair schedular:公平调度,所有的 job 具有相同的资源。
 
5.0请列出你在工作中使用过的开发mapreduce的语言
答:java,hive,(python,c++)hadoop streaming
 
6.0当前日志采样格式为
           a , b , c , d 
           b , b , f , e 
           a , a , c , f        
请你用最熟悉的语言编写mapreduce,计算第四列每个元素出现的个数

 

------分隔线----------------------------
锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程