登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

 分类：大数据

Kafka java api-生产者代码、高性能吞吐

Kafka java api-生产者代码、高性能吞吐
Kafka java api-生产者代码、高性能吞吐 前面做过命令行让生产者发送消息，现在使用java api来进行消息的生产，以及解释kafka高性能是如何实现（来源于学习资料）。 使用shell创建topic和发送消息如下： #参数：zookeeper连接地址和端口号，副本数...

6年前 (2019-03-26) 30℃

kafka监控topic消费

kafka监控topic消费 2018年01月11日 17:52:33 老蔡Code 阅读数：3565 一、KafkaOffsetMonitor监控 安装 1.wget https://github.com/quantifind/KafkaOffsetMonitor/releas...

6年前 (2019-03-26) 23℃

要求1

基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。 hadoop mapreduce hdfs yarn：hadoop： Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。 大数据存储阶段：hbase...

6年前 (2019-03-25) 21℃

kafka落地端技术

flume rsyslog spark flink logstash filebeat python client php client java client Go client C/C++ client Lua client Storm/JStorm others 转载请注明...

6年前 (2019-03-25) 24℃

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 1. 查看某个topic各个分区的位置： bin/kafka-topics.sh –topic test1349 –describe R...

6年前 (2019-03-24) 24℃

Kafka 集群搭建 for mac

Kafka 集群搭建 for mac 2018年12月06日 20:35:25 oumuv 阅读数：102 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/oumuv/article/details/84862089 环境要求 ...

6年前 (2019-03-24) 25℃

docker-compose安装kafka集群和kafka-manager管理界面

docker-compose安装kafka集群和kafka-manager管理界面 2018年05月25日 10:04:17 TBC_博客 阅读数：4106 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_31908...

6年前 (2019-03-24) 40℃

Docker每次启动容器，IP及hosts指定

Docker每次启动容器，IP及hosts指定 2018年05月30日 12:41:40 淡淡的倔强 阅读数：20300 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012834750/article/details/805...

6年前 (2019-03-24) 183℃

Kafka系列(二)特性和常用命令

Kafka系列(二)特性和常用命令 Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replic...

6年前 (2019-03-24) 22℃

Kafka的message存储数据结构

Kafka的message存储数据结构   Message存储：     Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。     每个Segment存储多个Message，Message的offset决定存储位...

6年前 (2019-03-24) 42℃

Kafka在zookeeper里面的存储结构详解

Kafka在zookeeper里面的存储结构详解 2018年09月03日 16:06:13 u010020099 阅读数：374 当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息。 一、zookeeper存储结构总图 1.根...

6年前 (2019-03-24) 19℃

Docker安装Zookeeper并进行操作

Docker安装Zookeeper并进行操作 2018年07月02日 17:01:12 Radom7 阅读数：10372 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_26641781/article/details/80...

6年前 (2019-03-24) 33℃

kafka manager的安装和使用

kafka系列二、kafka manager的安装和使用 目录 1. Yahoo kafka manager介绍 2. 环境信息 4. 安装sbt0.13.9 5. 构建kafka manager包 1、下载项目包 2、解压、编译 3、安装 6、启动服务 7、编写服务启动脚本 八...

6年前 (2019-03-24) 27℃

Kafka中Replicas复制备份机制

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指...

6年前 (2019-03-24) 23℃

Kafka系列(一)安装和配置说明

Kafka系列(一)安装和配置说明 单机模式 修改kafak安装文件中 …/kafka_2.9.2-0.8.1.1/config 下面的server.properties 配置文件 1、broker.id=0 [默认不用修改,该值在集群中需要唯一] 2、log.d...

6年前 (2019-03-24) 29℃

zookeeper 和 kafka 集群搭建

zookeeper 和 kafka 集群搭建 2017年03月30日 17:35:08 my_bai 阅读数：25064 Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews...

6年前 (2019-03-22) 25℃

我们需要您

“我们需要您： 1、根据公司业务发展特点，跟踪研究相关技术发展方向，了解掌握各类技术架构； 2、参与技术架构设计、重构、优化，根据业务规划及技术规划制定应用架构方案； 3、根据各项目需要，与客户互动获得深入的业务需求，分析客户的需求和约束条件，建立业务模型并确定合适的...

6年前 (2019-03-22) 26℃

zookeeper的可视化web界面

zookeeper的可视化web界面 转载一篇我心中大神有关zookeeper WEB的文章 以前写过一篇zookeeper集群搭建的文章《烂泥：zookeeper集群搭建》，最近在使用activemq集群过程中碰到了一些有关zookeeper的问题，想通过ui查看zookee...

6年前 (2019-03-22) 28℃

密码保护：大数据职位要求

基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。 hadoop mapreduce hdfs yarn：hadoop： Hadoop 概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。 大数据存储阶段：hbase...

6年前 (2019-03-22) 291℃

密码保护：(非常重要)kafa集群安装

#1–固定ip情况,ip不能变,一台机子上模拟# docker run -d –name zookeeper -p 2181:2181 -t wurstmeister/zookeeper:3.4.6 docker run -d –name k...

6年前 (2019-03-21) 386℃

密码保护：在Docker环境下部署Kafka

在Docker环境下部署Kafka 2017年02月09日 14:50:21 snowcity1231 阅读数：23447 1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurs...

6年前 (2019-03-21) 340℃

安装kafka

安装kafka 2018年06月02日 15:05:55 lbl2018 阅读数：1497 参考官网教程：http://kafka.apache.org/quickstart 1. 从官网上获取下载地址并下载 wget http://mirrors.hust.edu.cn/apa...

6年前 (2019-03-21) 24℃

密码保护：docker 安装kafka(快速)

docker 安装kafka(快速) docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 启动镜像 docker run -d –name zookeeper –publish...

6年前 (2019-03-21) 334℃

密码保护：如何使用Docker内的kafka服务

如何使用Docker内的kafka服务 2019年01月01日 14:20:13 博陵精骑 阅读数：29053 标签： docker kafka 更多 个人分类： Docker实战 消息中间件 所属专栏： Dock实战系列 版权声明：欢迎转载，请注明出处，谢谢。 https:/...

6年前 (2019-03-21) 420℃

密码保护：使用docker安装kafka

使用docker安装kafka 2018年06月02日 15:17:00 lbl2018 阅读数：10024 参考：https://blog.csdn.net/snowcity1231/article/details/54946857 1. 启动zookeeper容器 docke...

6年前 (2019-03-21) 327℃

密码保护：大数据链接

elk 还是efk? https://www.csdn.net/gather_2d/MtTaYgysMDIyOS1ibG9n.html EFK日志监控系统最佳实践，已在生产环境验证过(ELK日志监控系统升级版) https://blog.csdn.net/cgs666/artic...

6年前 (2019-03-17) 695℃