Hadoop2.5.2集群部署(完全分布式)

  • 时间:
  • 浏览:1
  • 来源:5分11选5APP下载_5分11选5APP官方

</configuration> 

       </property>

4)执行wordcount多线程

       </property>

start-dfs.sh   

export HADOOP_MAPRED_HOME=$HADOOP_HOME

you   1 

Hadoop01  172.16.1.156   (NameNode)

       <property>

       </property>

             <name>mapreduce.framework.name</name>

JDK: JDK 1.8.0_91

              <value>hadoop01:500500</value>

</configuration> 

      </property>

</configuration>  

     <property>

             <value>hadoop01:19888</value>

  (6)执行source /etc/profile使环境变量的配置生效

       <property>

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

            <value>file:/home/hadoop/hadoop-2.5.2/hadoop_tmp</value>

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 

原应这样 足够的权限,可以切换用户为root

hello you

       </property>

CPU 4 MEM 4G 磁盘 500G 

      <property>

rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

     </property>

hello everyone

Hadoop:hadoop2.5.2 64位

     <property>

sbin/mr-jobhistory-daemon.sh start historyserver 

export HADOOP_COMMON_HOME=$HADOOP_HOME

[root@m1mydata]# hadoop fs -text /output/wordcount/part-r-00000  

                <value>2</value>

            <name>io.file.buffer.size</name>

hadoop fs -put wordcount.txt/data/wordcount/   

查看目前安装openjdk信息:rpm -qa|grep java

export HADOOP_HOME=/home/hadoop/hadoop-2.5.2

2)建立目录

        #JAVA_HOME  

(2)选取版本是jdk-8u91-linux-x64.gz

(5)修改slaves文件,加在datanode节点hostname到slaves文件中

             <name>mapreduce.jobhistory.webapp.address</name>

export HADOOP_YARN_HOME=$HADOOP_HOME

3)测试:

               <value>

              <name>yarn.resourcemanager.scheduler.address</name>

start-yarn.sh  

http://172.16.1.156:500070

       <property>

       </property>

<configuration>

     <property>

              <name>yarn.resourcemanager.resource-tracker.address</name>

hadoop fs -text /output/wordcount/part-r-00000    

输入内容为: 

               <name>yarn.resourcemanager.admin.address</name>

               <name>yarn.resourcemanager.address</name>

       <property>

<configuration>

3)上传文件

ssh hadoop02或ssh hadoop03

jobhistoryHadoop自带有有俩个 多多历史服务器,记录Mapreduce历史作业。默认清况 下,jobhistory这样 启动,可用以下命令启动:

原应:在设置环境变量时,编辑profile文件这样 写正确,export PATH=$JAVA_HOME/bin:$PATH中冒号误写成分号 ,原应在命令行下ls等命令可以 够识别。

               <value>hadoop01:50088</value>

      </property>

              <value>mapreduce_shuffle</value>

vi wordcount.txt   

             <name>mapreduce.jobhistory.address</name>

scp ~/.ssh/authorized_keys 172.16.1.157:~/.ssh/    

me    1  

        export JAVA_HOME=/home/hadoop/jdk1.8

                <name>dfs.namenode.secondary.http-address</name>

卸载以上有有俩个 多多文件(时要root权限,登录root权限卸载)

5)查看结果

       <property>

       <property>

三台机器统一增加以下host配置:

开启: service iptables start 关闭: service iptables stop

       <property>

            <name>hadoop.tmp.dir</name>

(3)解压安装:

everyone  1 

            <value>hdfs://hadoop01:9000</value>

            <value>131072</value>

3)将认证文件一键复制到另外两台DataNode节点上:

Hadoop02  172.16.1.157     (DataNode)

原应是防火墙处在开启清况 :

       <property>

               <value>hadoop01:50033</value>

       </property>

hello me

export JAVA_HOME=/home/hadoop/jdk1.8

export HADOOP_HDFS_HOME=$HADOOP_HOME

hadoop01

解决方案:

 export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

        export PATH=$JAVA_HOME/bin:$PATH 

可以用每根命令:

hadoop02

      </property>

       </property>

JAVA_HOME 

            <name>fs.defaultFS</name>

hadoop fs –mkdir /output/   

               <name>dfs.replication</name>

              <name>yarn.nodemanager.aux-services</name>

tar -zvxf hadoop-2.5.2.tar.gz  -C /home/hadoop/

<configuration>

              <name>dfs.namenode.name.dir</name>

/home/hadoop/hadoop-2.5.2

source /etc/profile

hadoop fs -mkdir /data/wordcount    

             <value>hadoop01:500020</value>

       <property>

     </property>

              <value>hadoop01:50031</value>

       </property>

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys    

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

               <name>dfs.webhdfs.enabled</name>

http://172.16.1.156:19888

vi  /etc/profile,尾部加在如下

                <value>true</value>

      <property>

2)id_dsa.pub(公钥)追加到授权key中:

               <name>yarn.resourcemanager.webapp.address</name>

rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

               <name>dfs.datanode.data.dir</name>

export CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

jobhistoryHadoop自带有有俩个 多多历史服务器,记录Mapreduce历史作业。默认清况 下,jobhistory这样 启动,可用以下命令启动:

     </property>

       <property>

Hadoop03  172.16.1.158     (DataNode)

             <value>yarn</value>

       <property>

:50032</value>

(1) core-site.xml

       </property>

       <property>

使用500070端口,访问datanode的webhdfs使用500075端口。要想不区分端口,直接使用namenode的IP和端口进行所有webhdfs操作,就时要在所有datanode上都设置hdfs-site.xml中dfs.webhdfs.enabled为true。

slave数据节点多线程 :

http://172.16.1.156:50088/

sbin/mr-jobhistory-daemon.sh start historyserver  

原应原应配置了JAVA_HOME环境变量,hadoop-env.sh与yarn-env.sh你这人个多多多文件不要再修改,原应底下配置也不 :

hello  3  

<configuration>

       </property>

目录/data/wordcount用来存放Hadoop自带WordCount例子的数据文件,运行你这人 MapReduce任务结果输出到/output/wordcount目录中。

       </property>

hadoop jar usr/local/program/Hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /data/wordcount /output/wordcount/