微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

最新发布 第11页

SuperIT专业IT技术社区之后端大数据与Devops

spark

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

5年前 (2020-05-08) 16℃

spark

SparkSQL读取HBase数据,通过自定义外部数据源

关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里...

5年前 (2020-05-08) 11℃

docker

Docker swarm部署微服务及利用portainer管理集群

Docker swarm部署微服务及利用portainer管理集群
1.微服务部署 在前面部署的集群上部署服务,以前通过docker run可以部署一个容器,通过docker-compose文件可以编排一组容器,现在可以利用docker service在swarm集群中通过服务下发任务到节点的方式部署容器副本集,甚至可以利用docker-com...

5年前 (2020-05-08) 10℃

docker

10_docker集群管理工具portainer

10_docker集群管理工具portainer 环境搭建 master:172.18.148.169 slave1:172.18.148.168 安装docker 1.13.1 参考文档安装:在特定环境中安装指定版本的Docker ubuntu14.04 修...

5年前 (2020-05-08) 49℃

docker

portainer 管理 docker swarm集群

Portainer提供可视化界面来管理docker swarm 集群。 portainer 是 C/S 架构,由 管理端 portainer 镜像 与 代理 agent 组成,在 swarm 的manager 节点部署 portainer管理端,所有节点部署 agent 1...

5年前 (2020-05-08) 9℃

storm

Docker Storm开发环境搭建 

Docker Storm开发环境搭建 
  Pasenger 发布于 2017/11/05 19:25 1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper ...

5年前 (2020-05-08) 11℃

storm

阿里云Docker集群轻松部署Apache Storm(推荐)

阿里云Docker集群轻松部署Apache Storm(推荐)
Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署,The Joy Of Deploying Apache Storm On Doc...

5年前 (2020-05-08) 9℃

storm

docker快速部署storm集群

Storm的部署虽然不是特别麻烦,但是在生产环境中,为了提高部署效率,方便管理维护,使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目,一个配置好了storm与mono环境的Docker镜像编排:storm-mono-docker。 这个项目得益于http...

5年前 (2020-05-08) 14℃

storm

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有...

5年前 (2020-05-07) 12℃

linux

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)
至此系统安装好了, 开机回到windows系统,打开EasyBCD,设置系统引导,这里说明windows引导ubuntu的方法。 添加新条目–>Linux/BSD,类型选GRUB2,名称随便填,驱动器选择刚才新建名为/boot的分区。大概190M(刚才分的200M,可能还有...

5年前 (2020-04-27) 10℃

linux

Linux 可视化桌面远程连接

原创itdaima 最后发布于2019-03-18 15:39:14 阅读数 5097 收藏 展开 Linux (一)防止系统文件修改导致DNS清空 chattr +i /etc/resolv.conf (二)安装vnc yum install -y tigervnc tiger...

5年前 (2020-04-27) 8℃

链接

互联网架构师之路

https://zhuanlan.zhihu.com/c_1154338539314573312 转载请注明:SuperIT » 互联网架构师之路...

5年前 (2020-04-21) 10℃

高并发

高并发系统下的缓存解决方案

高并发系统下的缓存解决方案
公号:互联网架构师之路 什么样的数据适合做缓存? 缓存和DB数据一致性在之前已讲过,详细可参考下面阅读推荐《如何保障mysql和redis之间的数据一致性》,我们这里讲一讲缓存穿透、缓存雪崩和击穿的三种场景解决方案。 缓存穿透 缓存穿透是...

5年前 (2020-04-21) 10℃

高并发

利用Redis锁解决高并发问题(OK)

PHP   这里我们主要利用Redis的setnx的命令来处理高并发。 setnx 有两个参数。第一个参数表示键。第二个参数表示值。如果当前键不存在,那么会插入当前键,将第二个参数做为值。返回 1。如果当前键存在,那么会返回0。 创建库存表 CREATE TA...

5年前 (2020-04-21) 12℃

git

git学习总结

git学习总结
总结了一点关于git的使用命令和遇到的问题,  文章中都是我用到过的命令, 一直在不断的添加, 最近一次修改: 2017-09-13 15:04:01 不对的地方欢迎指正 一、SVN与Git的最主要的区别? 说起git自然想到SVN,我刚接触到的版本控制工具是SVN,SVN...

5年前 (2020-04-20) 11℃

docker

docker搭建swarm集群管理工具partainer

管理端:192.168.1.10 客户端:192.168.1.11 安装社区版docker-ce 具体见另一篇文章 一.管理端设置 1.开启管理端端口 firewall-cmd –permanent –add-port=2376/tcp fir...

5年前 (2020-04-15) 12℃

docker

Centos下安装Docker集群管理工具Shipyard

Centos下安装Docker集群管理工具Shipyard
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 1 支持镜像管理、容器管理。 2 支持控制台命令 3 容器资源消耗监控 4 支持集群swarm,可以随意增加节点 5 支持控制用户管理权限,可以设置某个容...

5年前 (2020-04-15) 10℃

linux

rsync 守护进程模式

5.20笔记整理 rsync 守护进程模式 Rsync daemon (rsyncd) Daemon为守护进程,rsyncd运行在服务器端 服务器端操作: 1. 添加虚拟用户 [root@backup ~]# useradd -s /sbin/nologin...

5年前 (2020-03-27) 10℃

kafka

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群 简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器,在配置文件中,所有的容器通过service来定义,使用docker-compose启动,停止...

5年前 (2020-03-27) 11℃

hadoop

一键安装kafka,hadoop和spark集群

在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。 1. 下载脚本和安装包 (1)安装脚本的码云链接 (2)安装包的百度云盘链接 文件提...

5年前 (2020-03-27) 14℃

持续集成

利用docker快速搭建redmine

利用docker快速搭建redmine,redmine认证利用openldap,同时利用phpadminldap管理openldap。 前提安装如下软件 docker:17.12.0-ce docker-compose:1.18.0 详细如下: root@s:...

5年前 (2020-03-12) 11℃

随记

华为应用市场应用分类示例

为了方便开发者在上传应用的时候,能够更准确的定位应用的分类,以下是应用市场全部分类及其下级分类,供开发者参考: 一级分类 二级分类 三级分类 游戏 休闲益智 休闲 IO 益智 捕鱼 消除 音乐节奏 解谜 经营策略 塔防 古代战争 ...

5年前 (2020-03-05) 17℃

nginx

利用Let’s Encrypt免费生成和获取SSL证书文件

最近需要https这里看到一份不错的博客,收录一下!   Let’s Encrypt作为一个公共且免费SSL的项目逐渐被广大用户传播和使用,是由Mozilla、Cisco、Akamai、IdenTrust、EFF等组织人员发起,主要的目的也是为了推进网站从H...

5年前 (2020-02-26) 17℃