Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

        
AI编程,程序员挑战年入30~100万高级指南 - 职业规划
SpringBoot+SpringSecurity+Vue权限系统高级实战课程        

IDEA永久激活

Java微信小程序电商实战课程(SpringBoot+VUe)

     

AI人工智能学习大礼包

     

PyCharm永久激活

66套java实战课程无套路领取

     

Cursor+Claude AI编程 1天快速上手视频教程

     
当前位置: 主页 > Java文档 > 大数据云计算 >

mapredurce配置 PDF 下载


时间:2021-05-08 09:25来源:http://www.java1234.com 作者:转载  侵权举报
mapredurce配置 PDF 下载
失效链接处理
mapredurce配置 PDF 下载


本站整理下载:
提取码:d1np 
 
 
相关截图:
 
主要内容:


第一步,编辑yarn-size文件
vi /hadoop/etc/hadoop/yarn-size.xml
 
内容:
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>testyarn</value> // yarn名称
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value> // resoucemanege名称
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>ip1</value> // resoucemanage主机地址
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>ip2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>ip1:8088</value>// resoucemanage web访问地址
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>ip2:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>ip1:2181,ip2:2181,ip3:2181</value> // zookeeper地址
</property>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
 
 
第二步,配置mapred-size.xml文件
<configuration>
    <property>
        <name>mapreduce.framework.name</name> // 使mapreduce在yarn环境中执行
        <value>yarn</value>
    </property>
</configuration>
 
第三步,将配置复制到其他hadoop机器中
第四步,启动
在任意一台namenode服务器启动start-yarn.sh
在每一台namenode服务器启动yarn-daemon.sh start resourcemanager


 

------分隔线----------------------------


锋哥推荐