在windows上安装hadoop2.6.4

发表于 更新于 分类于

版本

组件 版本
hadoop 2.6.4
jdk 1.8

下载地址

hadoop

winutils github

JDK安装

略

hadoop安装配置

下载，解压到 D:\BIGDATA下

配置环境变量

变量名 值
HADOOP_HOME D:\BIGDATA\hadoop-2.6.4
HADOOP_CONF_DIR %HADOOP_HOME%/etc/hadoop
PATH 增加 %HADOOP_HOME%\bin

配置 hadoop-env.cmd

在 hadoop 目录下的 \etc\hadoop\hadoop-env.cmd 文件

修改为以下，注意路径中有空格要写成如下 Progra~1

set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_191

验证

1
2
3
4
C:\software\cmder_mini
λ hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:

配置 core-site.xml

路径%HADOOP_HOME%/etc/hadoop/core-site.xml

内容如下

1
2
3
4
5
6
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

配置 hdfs-site.xml

  • 首先要创建 data 目录

在 HADOOP_HOME下创建data 目录，再创建 data/datanode data/namenode两个目录

在 hadoop 目录下的 /etc/hadoop/hdfs-site.xml

修改为以下内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:///D:/BIGDATA/hadoop-2.6.4/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:///D:/BIGDATA/hadoop-2.6.4/data/datanode</value>
   </property>
</configuration>

配置 yarn-site.xml

在 hadoop 目录下的 /etc/hadoop/yarn-site.xml下

1
2
3
4
5
6
7
8
9
10
<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

替换bin目录

  1. 下载 winutils github 到本地，找到对应的版本

  2. 将 HADOOP_HOME 的 bin 目录删除

  3. 将 winutils-master 里对应版本的 bin 目录复制到 HADOOP_HOME下

格式化

执行以下命令(cmder 不行，要用cmd执行)

1
hdfs namenode –format

有以下输出

1
2
19/08/29 12:49:17 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1502620146-192.168.168.1-1567054157417
19/08/29 12:49:17 INFO common.Storage: Storage directory D:\BIGDATA\hadoop-2.6.4\data\namenode has been successfully formatted.

在 HADOOP_HOME下的 data/namenode 会生成一个目录

hadoop启动与关闭

启动

进入 HADOOP_HOME\sbin 目录

双击 start-all.cmd 即可(或在 cmd 中调用)

关闭

进入 HADOOP_HOME\sbin 目录

双击 stop-all.cmd 即可(或在 cmd 中调用)

一些网址

说明 网址
NameNode http://localhost:50070
ResourceManage http://localhost:8088
0%
隐藏