hadoop docker安装数据放哪里(Hadoop-利用Docker安装)

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(1)

Hadoop 集群安装

docker pull kiwenlau/hadoop:1.0

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(2)

下载启动脚本

git clone https://github.com/kiwenlau/hadoop-cluster-docker

创建网桥

由于 Hadoop 的 master 节点需要与 slave 节点通信,需要在各个主机节点配置节点 IP,为了不用每次启动都因为 IP 改变了而重新配置,在此配置一个 Hadoop 专用的网桥,配置之后各个容器的 IP 地址就能固定下来。

sudo docker network create --driver=bridge hadoop

下载完成后进入该目录

cd hadoop-cluster-docker/

编辑并运行 docker 的启动脚本

为了方便后续通过 Java API 访问 HDFS,需要修改脚本,添加一个端口映射,将容器的 9000 端口映射到本地的 9000 端口,我们需要在-p 8088:8088 下添加一行,如下图所示

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(3)

然后执行以下命令完成 docker 容器的启动

./start-container.sh

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(4)

随即会进入容器内的终端

在master容器内启动 hadoop

./start-hadoop.sh

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(5)

至此,hadoop 集群启动完成。

我们可以分别访问http://localhost:8088和http://localhost:50070/来访问 hadoop 集群的可视化界面

  • http://localhost:8088

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(6)

  • http://localhost:50070/

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(7)

查看 hadoop 使用情况

hadoop dfsadmin -report

hadoop docker安装数据放哪里(Hadoop-利用Docker安装)(8)

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。