分类：大数据

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化置顶 2017年11月08日 07:38:41 iframework...

6年前 (2019-05-03) 43℃

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统 https://blog.csdn.net/linge1995/article/details/81326146 2018年08月01日 13:39:10 linge1995...

6年前 (2019-05-03) 33℃

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+… HDFS: 存储系统 MapReduce：计算系统 Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架 Pi...

6年前 (2019-05-03) 24℃

Flume实战之Taildir

Flume实战之Taildir 2019年01月22日 13:38:00 weixin_33675507 阅读数：72 1、背景将data路径下所有日志文件通过Flume采集到HDFS上五分钟一个目录，一分钟形成一个文件 2、技术选型 flume...

6年前 (2019-05-01) 39℃

Flume内置channel,source,sink三组件介绍

导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件Source,有哪两种方式？ 5.Channel有几种方式？ 6.Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？看了一下Flume中央日志系统（版本号：1.3....

6年前 (2019-05-01) 34℃

Kafka+Storm+HDFS整合实践

Kafka+Storm+HDFS整合实践 2014-10-21 19:24:19 Yanjun 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用...

6年前 (2019-05-01) 32℃

flume-ng命令

flume-ng命令 2018年05月31日 10:20:14 Jay7925417 阅读数：982 flume-ng命令帮助： [root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help Usa...

6年前 (2019-05-01) 36℃

Flume 日志收集、使用Flume收集日志到HDFS

6年前 (2019-05-01) 35℃

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs）

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs） 2017年11月30日 15:51:25 lsr40 阅读数：4768 首先，本人菜鸡一个，只是分享点东西出来，怕自己忘了，也给各位大佬填填坑当当垫背的！事情是这样的：测试： ...

6年前 (2019-04-30) 25℃

Flume Taildir Source监听实时追加内容的文件

6年前 (2019-04-30) 39℃

flume采集到HDFS

一、flume采集到HDFS 1、flume安装准备 jdk1.8安装： https://www.cnblogs.com/zeze/p/5902124.html java -version 2、flume安装下载 wget http://mirrors.tuna.tsing...

6年前 (2019-04-30) 23℃

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明 Flume lxw1234@qq.com 4年前 (2015-10-16) 27624℃ 1评论关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多...

6年前 (2019-04-30) 21℃

flume 启动，停止，重启脚本

flume 启动，停止，重启脚本 #!/bin/bash #echo "begin start flume..." #flume的安装根目录（根据自己情况，修改为自己的安装目录） path=/sysware/apache-flume-1.8.0-bin ...

6年前 (2019-04-30) 21℃

HDFS基本文件常用命令

为了每次执行Hadoop的时候，不必须要前者加上hadoop的安装的绝对路径，要做的事情就是将其安装路径加入到PATH中，这样就可以直接执行hadoop命令。如下： vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/h...

6年前 (2019-04-30) 21℃

Flume + kafka + HDFS构建日志采集系统

Flume + kafka + HDFS构建日志采集系统 2016年11月25日 22:13:56 iteye_19607 阅读数：741更多个人分类：架构 https://blog.csdn.net/iteye_19607/article/details/82...

6年前 (2019-04-30) 23℃

使用sqoop从mysql往hive中增量导数据shell脚本

使用sqoop从mysql往hive中增量导数据shell脚本 https://www.cnblogs.com/weiqiang-liu/p/3799927.html 一：sqoop增量导入的两种方式 Incremental import arguments: Ar...

6年前 (2019-04-29) 28℃

Flume采集到HDFS

Flume采集到HDFS 原创 Hadoop 作者：13545163656 时间：2018-08-09 22:30:02 544 0 一、需求：采集指定文件的内容到HDFS 技术选型：exec – memory – hdfs 1 2 ...

6年前 (2019-04-29) 23℃

Kafka学习笔记（二）：Partition分发策略

Kafka学习笔记（二）：Partition分发策略 kafka版本0.8.2.1 Java客户端版本0.9.0.0 为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partit...

6年前 (2019-04-28) 38℃

Kafka学习笔记（一）：概念介绍

Kafka学习笔记（一）：概念介绍 Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路...

6年前 (2019-04-28) 27℃

kafka在zookeeper上的节点信息和查看方式

kafka在zookeeper上的节点信息和查看方式 2018年06月03日 00:37:31 MakeGreatEffort 阅读数：4042 kafka在Zookeeper上的节点如下图：该图片盗自大牛的博客http://blog.csdn.net...

6年前 (2019-04-28) 22℃

zookeeper递归输出所有节点

zookeeper递归输出所有节点 2018年08月18日 09:55:11 ZJ18712852367 阅读数：730 标签： zookeeper递归在zk根目录下有a，zookeeper两个节点，在a下有孩子a1. [zk: s201:...

6年前 (2019-04-28) 26℃

Zookeeper命令行操作(常用命令；客户端连接；查看znode路径；创建节点；获取znode数据，查看节点内容，设置节点内容，删除节点；监听znode事件；telnet连接zookeeper)

Zookeeper命令行操作(常用命令；客户端连接；查看znode路径；创建节点；获取znode数据，查看节点内容，设置节点内容，删除节点；监听znode事件；telnet连接zookeeper) 2017年01月05日 01:24:48 toto1297488504 ...

6年前 (2019-04-28) 54℃

kafka manager使用教程

kafka manager使用教程 2017年05月04日 10:39:39 LzwGlory 阅读数：23475 1. 前言市面上主流的kafka监控工具有： Kafka Web Conslole Kafka Manager KafkaOffsetM...

6年前 (2019-04-27) 30℃

zookeeper集群的搭建以及hadoop ha的相关配置

zookeeper集群的搭建以及hadoop ha的相关配置 https://www.cnblogs.com/learn21cn/p/6184490.html 1、环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 maste...

6年前 (2019-04-27) 148℃

ElasticSearch(2)—SpringBoot整合ElasticSearch

ElasticSearch(2)—SpringBoot整合ElasticSearch SpringBoot整合ElasticSearch https://github.com/wsy120/elastic-demo 一、基于spring-boot-starter-d...

6年前 (2019-04-27) 32℃

使用SpringBoot+elasticsearch6.x搭建的es全文搜索微服务

使用SpringBoot+elasticsearch6.x搭建的es全文搜索微服务 LeeXian 关注 2018.02.10 15:38* 字数 338 阅读 8411评论 4喜欢 5 简述 SpringBoot+elasticsearch6.x搭建的es全文搜索微...

6年前 (2019-04-27) 20℃

Hadoop zookeeper高可用HA配置

Hadoop zookeeper高可用HA配置 2018年08月28日 13:21:30 iaMay_____ 阅读数：219 https://blog.csdn.net/iaMay_____/article/details/82145850 ** HDFS...

6年前 (2019-04-27) 31℃

使用ZooKeeper提供的原生Java API操作ZooKeeper节点

使用ZooKeeper提供的原生Java API操作ZooKeeper节点 ZeroOne01关注1人评论15739人阅读2018-04-26 22:21:37 建立客户端与zk服务端的连接我们先来创建一个普通的maven工程，然后在pom.xml文件中配置zook...

6年前 (2019-04-27) 30℃

Zookeeper入门看这篇就够了

Zookeeper入门看这篇就够了 2018年07月12日 14:48:06 java_66666 阅读数：15310 Zookeeper是什么官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要...

6年前 (2019-04-26) 30℃

ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作

ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作问题导读 1.ZooKeeper包含哪些常用命令？ 2.通过什么命令可以列出服务器 watch 的详细信息？ 3.ZooKeeper包含哪些操作？ 4.ZooKeeper如何创建zookeeper？ ...

6年前 (2019-04-26) 31℃