登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

最新发布 第22页

SuperIT专业IT技术社区之后端大数据与Devops

Flume

Flume内置channel,source,sink三组件介绍

Flume内置channel,source,sink三组件介绍
导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件Source,有哪两种方式？ 5.Channel有几种方式？ 6.Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？ 看了一下Flume中央日志系统（版本号：1.3....

6年前 (2019-05-01) 34℃

storm

Kafka+Storm+HDFS整合实践

Kafka+Storm+HDFS整合实践  2014-10-21 19:24:19    Yanjun 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用...

6年前 (2019-05-01) 32℃

Flume

flume-ng命令

flume-ng命令
flume-ng命令 2018年05月31日 10:20:14 Jay7925417 阅读数：982 flume-ng命令帮助： [root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help Usa...

6年前 (2019-05-01) 36℃

Flume

Flume 日志收集、使用Flume收集日志到HDFS

Flume 日志收集、使用Flume收集日志到HDFS
Flume 日志收集、使用Flume收集日志到HDFS 2017年12月02日 18:29:36 土豆拍死马铃薯 阅读数：2431 标签： Flume日志TomcatHDFS收集 更多 个人分类： 大数据  版权声明：本文为博主原创文章，未经博主允许不得...

6年前 (2019-05-01) 35℃

Flume

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs）

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs） 2017年11月30日 15:51:25 lsr40 阅读数：4768 首先，本人菜鸡一个，只是分享点东西出来，怕自己忘了，也给各位大佬填填坑当当垫背的！ 事情是这样的： 测试： ...

6年前 (2019-04-30) 25℃

Flume

Flume Taildir Source监听实时追加内容的文件

Flume Taildir Source监听实时追加内容的文件 2018年05月27日 21:38:49 wangpei1949 阅读数：2915  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wangp...

6年前 (2019-04-30) 39℃

Flume

flume采集到HDFS

一、flume采集到HDFS 1、flume安装准备 jdk1.8安装： https://www.cnblogs.com/zeze/p/5902124.html java -version 2、flume安装 下载 wget http://mirrors.tuna.tsing...

6年前 (2019-04-30) 23℃

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明  Flume  lxw1234@qq.com  4年前 (2015-10-16)  27624℃  1评论 关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多...

6年前 (2019-04-30) 21℃

shell

shuf 随机选取txt文件特定行数

shuf 随机选取txt文件特定行数 2018年05月28日 16:00:44 Qidian213 阅读数：239 一， 多个 txt 文件合并为一个txt 文件 现有 neg_12.txt  ,  part_12.txt   , pos_12.txt  ...

6年前 (2019-04-30) 38℃

Flume

flume 启动，停止，重启脚本

flume 启动，停止，重启脚本   #!/bin/bash #echo "begin start flume..." #flume的安装根目录（根据自己情况，修改为自己的安装目录） path=/sysware/apache-flume-1.8.0-bin ...

6年前 (2019-04-30) 21℃

hadoop

HDFS基本文件常用命令

为了每次执行Hadoop的时候，不必须要前者加上hadoop的安装的绝对路径，要做的事情就是将其安装路径加入到PATH中，这样就可以直接执行hadoop命令。 如下： vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/h...

6年前 (2019-04-30) 21℃

Flume

Flume + kafka + HDFS构建日志采集系统

Flume + kafka + HDFS构建日志采集系统 2016年11月25日 22:13:56 iteye_19607 阅读数：741更多 个人分类： 架构 https://blog.csdn.net/iteye_19607/article/details/82...

6年前 (2019-04-30) 23℃

Flume

Flume采集到HDFS

Flume采集到HDFS 原创 Hadoop 作者：13545163656 时间：2018-08-09 22:30:02  544  0 一、需求： 采集指定文件的内容到HDFS 技术选型：exec – memory – hdfs 1 2 ...

6年前 (2019-04-29) 23℃

kafka

Kafka学习笔记（二）：Partition分发策略

Kafka学习笔记（二）：Partition分发策略 kafka版本0.8.2.1 Java客户端版本0.9.0.0   为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partit...

6年前 (2019-04-28) 38℃

kafka

Kafka学习笔记（一）：概念介绍

Kafka学习笔记（一）：概念介绍 Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路...

6年前 (2019-04-28) 27℃

未分类

Java多线程18：线程池

使用线程池与不使用线程池的差别 先来看一下使用线程池与不使用线程池的差别，第一段代码是使用线程池的： public static void main(String[] args) { long startTime = System.currentTimeMill...

6年前 (2019-04-28) 31℃

kafka

kafka在zookeeper上的节点信息和查看方式

kafka在zookeeper上的节点信息和查看方式 2018年06月03日 00:37:31 MakeGreatEffort 阅读数：4042 kafka在Zookeeper上的节点如下图： 该图片盗自大牛的博客http://blog.csdn.net...

6年前 (2019-04-28) 22℃

shell

java守护进程启动和关闭脚本

java守护进程启动和关闭脚本 2017年12月14日 19:08:48 褚金辉 阅读数：2355 # 程序名称 PROJECT_NAME=route #程序路径 APP_HOME=$(dirname $(pwd))/$PROJECT_NAME ...

6年前 (2019-04-28) 25℃

linux

chattr +i锁定不能删除、添加 chattr –i解锁

chattr +i锁定不能删除、添加 chattr –i解锁 参数 A：即Atime，告诉系统不要修改对这个文件的最后访问时间。 S：即Sync，一旦应用程序对这个文件执行了写操作，使系统立刻把修改的结果写到磁盘。 a：即Append Only，系统只允许在这个文件之后追加数据...

6年前 (2019-04-28) 24℃

linux

对文件锁定、解锁及查看文件锁定状态

对文件锁定、解锁及查看文件锁定状态 2018年03月13日 17:57:49 天涯孤狼x 阅读数：602  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/The_lone_wolfs/article/det...

6年前 (2019-04-28) 25℃

linux

文件锁(lockf)

文件锁(lockf) 2012年07月20日 09:36:05 tonyxf121 阅读数：6902 应用场景 设置了一个每隔一小时执行的cron任务，但发现脚本执行时间大于1小时，所以在下一小时内会有两个该脚本在执行，为了避免这种情况，需要设置文件锁lo...

6年前 (2019-04-28) 25℃

zookeeper

zookeeper递归输出所有节点

zookeeper递归输出所有节点 2018年08月18日 09:55:11 ZJ18712852367 阅读数：730 标签： zookeeper递归 在zk根目录下有a，zookeeper两个节点，在a下有孩子a1. [zk: s201:...

6年前 (2019-04-28) 26℃

zookeeper

Zookeeper命令行操作(常用命令；客户端连接；查看znode路径；创建节点；获取znode数据，查看节点内容，设置节点内容，删除节点；监听znode事件；telnet连接zookeeper)

Zookeeper命令行操作(常用命令；客户端连接；查看znode路径；创建节点；获取znode数据，查看节点内容，设置节点内容，删除节点；监听znode事件；telnet连接zookeeper) 2017年01月05日 01:24:48 toto1297488504 ...

6年前 (2019-04-28) 54℃

docker

给运行中的docker容器添加新的端口

给运行中的docker容器添加新的端口 2018年09月05日 12:39:05 SoLucky2017 阅读数：2754更多 个人分类： linux shel https://blog.csdn.net/zuoshenglo/article/detai...

6年前 (2019-04-28) 28℃

kafka

kafka manager使用教程

kafka manager使用教程 2017年05月04日 10:39:39 LzwGlory 阅读数：23475 1. 前言 市面上主流的kafka监控工具有： Kafka Web Conslole Kafka Manager KafkaOffsetM...

6年前 (2019-04-27) 30℃

架构

java架构

看左侧菜单栏: https://www.cnblogs.com/qdhxhz/p/9521065.html 转载请注明：SuperIT » java架构...

6年前 (2019-04-27) 22℃