标签：Spark

最简单的spark实例

hadoop-node web-ui: http://192.168.1.10:50070/ spark web-ui: http://192.168.1.10:8080/ spark的url: http://192.168.1.10:7077 1.创建一个scala项...

4年前 (2021-01-28) 14℃

这篇介绍是我看到过最详尽的，讲到很多Spark基本原理和对比Hadoop的优势，推荐必读。 1、【使用 SparkSQL 分析纽约市犯罪数据】 2、【Kmeans聚类算法评估足球比赛】 3、【使用决策树算法预测森林植被】 4、【Spark 机器学习之电影推荐系统...

4年前 (2020-12-29) 8℃

在项目中，需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了，真的要吐了，所以决心写一个部署脚本，避免重复劳动。 1. 下载脚本和安装包（1）安装脚本的码云链接（2）安装包的百度云盘链接文件提...

5年前 (2020-03-27) 14℃

大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置） 2019年01月02日 13:10:12 原来浙小商啊阅读数：855 https://blog.csdn.net/pig2guang/ar...

6年前 (2019-04-15) 73℃