最新发布第23页

SuperIT专业IT技术社区之后端大数据与Devops

flume的配置详解

Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。它有一个基于流数据的简单而灵活的体系结构。它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的...

6年前 (2019-05-03) 25℃

spark

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK）

大数据架构入门总结（Flume + Kafka + ZooKeeper + Spark Streaming + Drools + ELK） 2017年04月25日 19:05:34 神经质的盛宴阅读数：1608 这两天学习了Flume + Kafka +...

6年前 (2019-05-03) 31℃

spark

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）

基于Spark的电影推荐系统（包含爬虫项目、web网站、后台管理系统以及spark推荐系统）置顶 2018年04月19日 16:06:31 xl.zhang 阅读数：39786 标签：sparkssm项目爬虫python更多个人分类：【项目开发】所属专栏：大...

6年前 (2019-05-03) 25℃

sqoop

Sqoop学习之路（一）

Sqoop学习之路（一）讨论QQ：1586558083 目录一、概述二、工作机制三、安装 1、前提概述 2、软件下载 3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

6年前 (2019-05-03) 46℃

大数据

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化

大数据架构开发挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化置顶 2017年11月08日 07:38:41 iframework...

6年前 (2019-05-03) 43℃

spark

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统 https://blog.csdn.net/linge1995/article/details/81326146 2018年08月01日 13:39:10 linge1995...

6年前 (2019-05-03) 33℃

大数据

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+… HDFS: 存储系统 MapReduce：计算系统 Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架 Pi...

6年前 (2019-05-03) 24℃

架构

大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark

大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark 2015年11月26日 14:10:42 w_j_w2010 阅读数：3849 摘要 storm简介场景伴随着信息科技日新月异的发展，信息呈现出...

6年前 (2019-05-03) 24℃

Flume

Flume实战之Taildir

Flume实战之Taildir 2019年01月22日 13:38:00 weixin_33675507 阅读数：72 1、背景将data路径下所有日志文件通过Flume采集到HDFS上五分钟一个目录，一分钟形成一个文件 2、技术选型 flume...

6年前 (2019-05-01) 39℃

Flume

Flume内置channel,source,sink三组件介绍

导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件Source,有哪两种方式？ 5.Channel有几种方式？ 6.Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？看了一下Flume中央日志系统（版本号：1.3....

6年前 (2019-05-01) 34℃

storm

Kafka+Storm+HDFS整合实践

Kafka+Storm+HDFS整合实践 2014-10-21 19:24:19 Yanjun 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用...

6年前 (2019-05-01) 32℃

Flume

flume-ng命令

flume-ng命令 2018年05月31日 10:20:14 Jay7925417 阅读数：982 flume-ng命令帮助： [root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help Usa...

6年前 (2019-05-01) 36℃

Flume

Flume 日志收集、使用Flume收集日志到HDFS

6年前 (2019-05-01) 35℃

Flume

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs）

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs） 2017年11月30日 15:51:25 lsr40 阅读数：4768 首先，本人菜鸡一个，只是分享点东西出来，怕自己忘了，也给各位大佬填填坑当当垫背的！事情是这样的：测试： ...

6年前 (2019-04-30) 25℃

Flume

Flume Taildir Source监听实时追加内容的文件

6年前 (2019-04-30) 39℃

Flume

flume采集到HDFS

一、flume采集到HDFS 1、flume安装准备 jdk1.8安装： https://www.cnblogs.com/zeze/p/5902124.html java -version 2、flume安装下载 wget http://mirrors.tuna.tsing...

6年前 (2019-04-30) 23℃

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明 Flume lxw1234@qq.com 4年前 (2015-10-16) 27624℃ 1评论关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多...

6年前 (2019-04-30) 21℃

shell

shuf 随机选取txt文件特定行数

shuf 随机选取txt文件特定行数 2018年05月28日 16:00:44 Qidian213 阅读数：239 一，多个 txt 文件合并为一个txt 文件现有 neg_12.txt , part_12.txt , pos_12.txt ...

6年前 (2019-04-30) 38℃

Flume

flume 启动，停止，重启脚本

flume 启动，停止，重启脚本 #!/bin/bash #echo "begin start flume..." #flume的安装根目录（根据自己情况，修改为自己的安装目录） path=/sysware/apache-flume-1.8.0-bin ...

6年前 (2019-04-30) 21℃

hadoop

HDFS基本文件常用命令

为了每次执行Hadoop的时候，不必须要前者加上hadoop的安装的绝对路径，要做的事情就是将其安装路径加入到PATH中，这样就可以直接执行hadoop命令。如下： vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/h...

6年前 (2019-04-30) 21℃

Flume

Flume + kafka + HDFS构建日志采集系统

Flume + kafka + HDFS构建日志采集系统 2016年11月25日 22:13:56 iteye_19607 阅读数：741更多个人分类：架构 https://blog.csdn.net/iteye_19607/article/details/82...

6年前 (2019-04-30) 23℃

hive

使用sqoop从mysql往hive中增量导数据shell脚本

使用sqoop从mysql往hive中增量导数据shell脚本 https://www.cnblogs.com/weiqiang-liu/p/3799927.html 一：sqoop增量导入的两种方式 Incremental import arguments: Ar...

6年前 (2019-04-29) 28℃

Flume

Flume采集到HDFS

Flume采集到HDFS 原创 Hadoop 作者：13545163656 时间：2018-08-09 22:30:02 544 0 一、需求：采集指定文件的内容到HDFS 技术选型：exec – memory – hdfs 1 2 ...

6年前 (2019-04-29) 23℃

kafka

Kafka学习笔记（二）：Partition分发策略

Kafka学习笔记（二）：Partition分发策略 kafka版本0.8.2.1 Java客户端版本0.9.0.0 为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partit...

6年前 (2019-04-28) 38℃

kafka

Kafka学习笔记（一）：概念介绍

Kafka学习笔记（一）：概念介绍 Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路...

6年前 (2019-04-28) 27℃

未分类

Java多线程18：线程池

使用线程池与不使用线程池的差别先来看一下使用线程池与不使用线程池的差别，第一段代码是使用线程池的： public static void main(String[] args) { long startTime = System.currentTimeMill...

6年前 (2019-04-28) 31℃

kafka

kafka在zookeeper上的节点信息和查看方式

kafka在zookeeper上的节点信息和查看方式 2018年06月03日 00:37:31 MakeGreatEffort 阅读数：4042 kafka在Zookeeper上的节点如下图：该图片盗自大牛的博客http://blog.csdn.net...

6年前 (2019-04-28) 22℃

shell

java守护进程启动和关闭脚本

java守护进程启动和关闭脚本 2017年12月14日 19:08:48 褚金辉阅读数：2355 # 程序名称 PROJECT_NAME=route #程序路径 APP_HOME=$(dirname $(pwd))/$PROJECT_NAME ...

6年前 (2019-04-28) 25℃

linux

chattr +i锁定不能删除、添加 chattr –i解锁

chattr +i锁定不能删除、添加 chattr –i解锁参数 A：即Atime，告诉系统不要修改对这个文件的最后访问时间。 S：即Sync，一旦应用程序对这个文件执行了写操作，使系统立刻把修改的结果写到磁盘。 a：即Append Only，系统只允许在这个文件之后追加数据...

6年前 (2019-04-28) 24℃

linux

对文件锁定、解锁及查看文件锁定状态

6年前 (2019-04-28) 25℃