登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

最新发布 第22页

SuperIT专业IT技术社区之后端大数据与Devops

kafka

storm从kafka消息队列读取数据进行读写操作

storm从kafka消息队列读取数据进行读写操作 2019年01月02日 17:04:29 Go Big Or Go Home 阅读数：7290更多 所属专栏： Kafka  版权声明：“假装、是个有灵魂的程序员” —— Go Big Or Go Hom...

6年前 (2019-05-03) 42℃

日志采集

Flume+Elasticsearch搭建实时日志分析系统

Flume+Elasticsearch搭建实时日志分析系统
Flume+Elasticsearch搭建实时日志分析系统 置顶 2015年10月30日 15:06:27 qianshanding0708 阅读数：6843  版权声明：本文为博主原创文章，未经博主允许不得转载。博客地址：http://blog.csdn....

6年前 (2019-05-03) 24℃

日志采集

flume+kafka+storm整合实现实时计算小案例

flume+kafka+storm整合实现实时计算小案例
flume+kafka+storm整合实现实时计算小案例 2018年05月23日 10:39:21 little_strong13 阅读数：622     我们做数据分析的时候常常会遇到这样两个场景，一个是统计历史数据，这个就是要分析历史保存的日志。我们会使...

6年前 (2019-05-03) 45℃

nginx

WAF安全应用防火墙(nginx+lua)

WAF安全应用防火墙(nginx+lua) 2017年06月26日 09:58:47 幸福丶如此 阅读数：3704  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37886429/article/d...

6年前 (2019-05-03) 26℃

nginx

杂谈篇-用lua在nginx中实现一个WAF

杂谈篇-用lua在nginx中实现一个WAF
杂谈篇-用lua在nginx中实现一个WAF 2017年04月11日 09:41:02 sky彬 阅读数：426 几年前，开始在公众视野中不断爆发出应用的安全问题。当时想着应用运维能否也能在nginx中为应用做一层防护，基于该前提下，在Nginx中用Lua...

6年前 (2019-05-03) 42℃

nginx

使用nginx lua实现网站统计中的数据收集

使用nginx lua实现网站统计中的数据收集
使用nginx lua实现网站统计中的数据收集 2016年07月05日 15:42:11 Linux运维 阅读数：2688 导读 网站数据统计分析工具是各网站站长和运营人员经常使用的一种工具，常用的有 谷歌分析、百度统计和腾讯分析等等。所有这些统计...

6年前 (2019-05-03) 24℃

kafka

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来
假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。 说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

6年前 (2019-05-03) 36℃

kafka

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总
nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多 个人分类： 服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

6年前 (2019-05-03) 28℃

Flume

flume的配置详解

Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的...

6年前 (2019-05-03) 25℃

sqoop

Sqoop学习之路 （一）

Sqoop学习之路 （一）
Sqoop学习之路 （一） 讨论QQ：1586558083 目录 一、概述 二、工作机制 三、安装 1、前提概述 2、软件下载 3、安装步骤 四、Sqoop的基本命令 基本操作 示例 五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

6年前 (2019-05-03) 46℃

大数据

Hadoop，HBase，Storm，Spark到底是什么？

Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+… HDFS: 存储系统 MapReduce：计算系统 Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架 Pi...

6年前 (2019-05-03) 24℃

Flume

Flume实战之Taildir

Flume实战之Taildir
Flume实战之Taildir 2019年01月22日 13:38:00 weixin_33675507 阅读数：72 1、背景 将data路径下所有日志文件通过Flume采集到HDFS上 五分钟一个目录，一分钟形成一个文件 2、技术选型 flume...

6年前 (2019-05-01) 39℃

Flume

Flume内置channel,source,sink三组件介绍

Flume内置channel,source,sink三组件介绍
导读： 1.什么是channel？ 2.什么是source？ 3.什么是sink？ 4.直接读取文件Source,有哪两种方式？ 5.Channel有几种方式？ 6.Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？ 看了一下Flume中央日志系统（版本号：1.3....

6年前 (2019-05-01) 34℃

storm

Kafka+Storm+HDFS整合实践

Kafka+Storm+HDFS整合实践  2014-10-21 19:24:19    Yanjun 在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用...

6年前 (2019-05-01) 32℃

Flume

flume-ng命令

flume-ng命令
flume-ng命令 2018年05月31日 10:20:14 Jay7925417 阅读数：982 flume-ng命令帮助： [root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng help Usa...

6年前 (2019-05-01) 36℃

Flume

Flume 日志收集、使用Flume收集日志到HDFS

Flume 日志收集、使用Flume收集日志到HDFS
Flume 日志收集、使用Flume收集日志到HDFS 2017年12月02日 18:29:36 土豆拍死马铃薯 阅读数：2431 标签： Flume日志TomcatHDFS收集 更多 个人分类： 大数据  版权声明：本文为博主原创文章，未经博主允许不得...

6年前 (2019-05-01) 35℃

Flume

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs）

Flume的hdfsSink的roll参数不生效的原因（日志上传hdfs） 2017年11月30日 15:51:25 lsr40 阅读数：4768 首先，本人菜鸡一个，只是分享点东西出来，怕自己忘了，也给各位大佬填填坑当当垫背的！ 事情是这样的： 测试： ...

6年前 (2019-04-30) 25℃

Flume

Flume Taildir Source监听实时追加内容的文件

Flume Taildir Source监听实时追加内容的文件 2018年05月27日 21:38:49 wangpei1949 阅读数：2915  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wangp...

6年前 (2019-04-30) 39℃

Flume

flume采集到HDFS

一、flume采集到HDFS 1、flume安装准备 jdk1.8安装： https://www.cnblogs.com/zeze/p/5902124.html java -version 2、flume安装 下载 wget http://mirrors.tuna.tsing...

6年前 (2019-04-30) 23℃

Flume

Flume中的HDFS Sink配置参数说明

Flume中的HDFS Sink配置参数说明  Flume  lxw1234@qq.com  4年前 (2015-10-16)  27624℃  1评论 关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多...

6年前 (2019-04-30) 21℃

shell

shuf 随机选取txt文件特定行数

shuf 随机选取txt文件特定行数 2018年05月28日 16:00:44 Qidian213 阅读数：239 一， 多个 txt 文件合并为一个txt 文件 现有 neg_12.txt  ,  part_12.txt   , pos_12.txt  ...

6年前 (2019-04-30) 38℃