hadoop docker安装数据放哪里(Hadoop-利用Docker安装)
Hadoop 集群安装
docker pull kiwenlau/hadoop:1.0
下载启动脚本
git clone https://github.com/kiwenlau/hadoop-cluster-docker
创建网桥由于 Hadoop 的 master 节点需要与 slave 节点通信,需要在各个主机节点配置节点 IP,为了不用每次启动都因为 IP 改变了而重新配置,在此配置一个 Hadoop 专用的网桥,配置之后各个容器的 IP 地址就能固定下来。
sudo docker network create --driver=bridge hadoop
cd hadoop-cluster-docker/
为了方便后续通过 Java API 访问 HDFS,需要修改脚本,添加一个端口映射,将容器的 9000 端口映射到本地的 9000 端口,我们需要在-p 8088:8088 下添加一行,如下图所示
然后执行以下命令完成 docker 容器的启动
./start-container.sh
随即会进入容器内的终端
在master容器内启动 hadoop
./start-hadoop.sh
至此,hadoop 集群启动完成。
我们可以分别访问http://localhost:8088和http://localhost:50070/来访问 hadoop 集群的可视化界面
- http://localhost:8088
- http://localhost:50070/
查看 hadoop 使用情况
hadoop dfsadmin -report
,
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。