微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

一键安装kafka,hadoop和spark集群

hadoop aide_941 14℃
在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。
1. 下载脚本和安装包

(1)安装脚本的码云链接
(2)安装包的百度云盘链接 文件提取码:ro9m
(3)tomcat安装包 文件提取码:a7bq


zookeeper-3.4.12.tar.gz
35M
2018-12-06 19:53

spark-2.3.0-bin-hadoop2.7.tgz
215.7M
2018-12-06 19:53


kafka_2.11-2.0.0 .tgz
53.2M
2018-12-06 19:53

jdk-8u162-linux-x64.tar.gz
181M
2018-12-06 19:53

hbase-2.0.0-bin.tar.gz
145.5M
2018-12-06 19:53

hadoop-2.7.6.tar.gz

 

2.选择一台电脑安装tomcat。

(1)解压 tomcat.tar.xz到/usr/local目录下

 

sudo tar -zxvf tomcat.tar.xz -C /usr/local
sudo cd /usr/local
sudo mv /usr/localtomcat8.x /usr/local/tomcat  #重命名

(2)创建soft文件夹

 

sudo mkdir /usr/local/tomcat/webapps/ROOT/soft

(3)将所有安装包(jdk、kafka、zookeeper、hadoop、hbase、spark)移到soft目录下

 

mv xxxxx /usr/local/tomcat/webapps/ROOT/soft

(4)启动tomcat

 

cd /usr/local/tomcat
sudo ./bin/startup.sh

(5)验证安装。启动后,浏览器访问 http://localhost:8080/soft/xxxx 应该可以下载安装包

  1. 准备3台或者3台以上服务器安装Kafka集群

(1)为所有服务器设置root用户密码,安装ssh,配置ssh允许root用户登陆。
(2)修改脚本的SERVERS和SOFT_URL
(3)运行脚本(会提示输入ssh的root用户登陆密码)

 

bash boot_zookeeper_kafka.sh
  1. 准备3台或者3台以上服务器安装Hadoop集群

(1)为所有服务器设置root用户密码,安装ssh,配置ssh允许root用户登陆。
(2)修改脚本的MASTER、SLAVES和SOFT_URL
(3)运行脚本(会提示输入ssh的root用户登陆密码)

 

bash boot_hadoop_hbase_spark.sh

由于shell也是刚学,如果遇到某些BUG,希望可以回复我,作者会尽量完善脚本。

最后,请允许我打波广告,作者开了一个公众号【大数据学堂】,专门分享一些与大数据和人工智能等相关学习资料和面试经验,欢迎您来一起交流学习。

转载请注明:SuperIT » 一键安装kafka,hadoop和spark集群

喜欢 (0)or分享 (0)