在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。
1. 下载脚本和安装包
(1)安装脚本的码云链接
(2)安装包的百度云盘链接 文件提取码:ro9m
(3)tomcat安装包 文件提取码:a7bq
zookeeper-3.4.12.tar.gz
35M
2018-12-06 19:53
spark-2.3.0-bin-hadoop2.7.tgz
215.7M
2018-12-06 19:53
kafka_2.11-2.0.0 .tgz
53.2M
2018-12-06 19:53
jdk-8u162-linux-x64.tar.gz
181M
2018-12-06 19:53
hbase-2.0.0-bin.tar.gz
145.5M
2018-12-06 19:53
hadoop-2.7.6.tar.gz
2.选择一台电脑安装tomcat。
(1)解压 tomcat.tar.xz到/usr/local目录下
sudo tar -zxvf tomcat.tar.xz -C /usr/local
sudo cd /usr/local
sudo mv /usr/localtomcat8.x /usr/local/tomcat #重命名
(2)创建soft文件夹
sudo mkdir /usr/local/tomcat/webapps/ROOT/soft
(3)将所有安装包(jdk、kafka、zookeeper、hadoop、hbase、spark)移到soft目录下
mv xxxxx /usr/local/tomcat/webapps/ROOT/soft
(4)启动tomcat
cd /usr/local/tomcat
sudo ./bin/startup.sh
(5)验证安装。启动后,浏览器访问 http://localhost:8080/soft/xxxx 应该可以下载安装包
-
准备3台或者3台以上服务器安装Kafka集群
(1)为所有服务器设置root用户密码,安装ssh,配置ssh允许root用户登陆。
(2)修改脚本的SERVERS和SOFT_URL
(3)运行脚本(会提示输入ssh的root用户登陆密码)
bash boot_zookeeper_kafka.sh
-
准备3台或者3台以上服务器安装Hadoop集群
(1)为所有服务器设置root用户密码,安装ssh,配置ssh允许root用户登陆。
(2)修改脚本的MASTER、SLAVES和SOFT_URL
(3)运行脚本(会提示输入ssh的root用户登陆密码)
bash boot_hadoop_hbase_spark.sh
由于shell也是刚学,如果遇到某些BUG,希望可以回复我,作者会尽量完善脚本。
最后,请允许我打波广告,作者开了一个公众号【大数据学堂】,专门分享一些与大数据和人工智能等相关学习资料和面试经验,欢迎您来一起交流学习。
转载请注明:SuperIT » 一键安装kafka,hadoop和spark集群