微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

最新发布 第10页

SuperIT专业IT技术社区之后端大数据与Devops

jenkins

Gitlab+Jenkins学习之路(十四)之自动化脚本部署实践

Gitlab+Jenkins学习之路(十四)之自动化脚本部署实践
Gitlab+Jenkins学习之路(十四)之自动化脚本部署实践 目录 一、环境说明和准备 1、环境说明 2、服务器准备工作 (1)发布机前期准备 a.增加普通用户并配置密码 b.创建部署需要的目录并初始化git目录 c.创建配置文件config.php d.配置...

5年前 (2020-05-17) 8℃

shell

shell 上线脚本(跳板机部署版)

  为了跳板机部署上线脚本写了公司生产上线脚本,供大家参考。上线脚本分为三个脚本组合,详细使用如例子 : 1.1 第一步 上传上线所需要 部署文件   提示:不管是使用XSHELL 还是 rz 将文件 上传,有旧文件需要删除 –rw–...

5年前 (2020-05-17) 10℃

jenkins

Gitlab+Jenkins学习之路(十)之Jenkins按角色授权和Pipeline

一、Jenkins按角色授权 当一个公司的开发分为多个组别,或者是多个项目等等。用于公司内部测试,让开发人员自行构建测试,此时不可能让所有的开发都在公用一个构建,这样变得很混乱,为了解决这一问题,jenkins也提供了角色授权的机制。每个开发有着对应的账号和权限,可以...

5年前 (2020-05-17) 8℃

nginx

Nginx的集群和负载均衡

Nginx的集群和负载均衡
撸了今年阿里、腾讯和美团的面试,我有一个重要发现…….>> Nginx的集群和负载均衡 负载均衡配置案例1 设置上游服务器: # 设置上游服务器: upstream imgserver{ #weight权重 maxfails错误次数 fail...

5年前 (2020-05-17) 9℃

kibana

kibana操作

一、查询和查看。 #1.查询所有的数据 GET _search { “query”: { “match_all”:{} } } #2. 查看ES集群的健康状态 GET _cat/health # 查看详细信息 GET _cat/he...

5年前 (2020-05-14) 10℃

spark

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

5年前 (2020-05-08) 16℃

spark

SparkSQL读取HBase数据,通过自定义外部数据源

关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里...

5年前 (2020-05-08) 11℃

docker

Docker swarm部署微服务及利用portainer管理集群

Docker swarm部署微服务及利用portainer管理集群
1.微服务部署 在前面部署的集群上部署服务,以前通过docker run可以部署一个容器,通过docker-compose文件可以编排一组容器,现在可以利用docker service在swarm集群中通过服务下发任务到节点的方式部署容器副本集,甚至可以利用docker-com...

5年前 (2020-05-08) 10℃

docker

10_docker集群管理工具portainer

10_docker集群管理工具portainer 环境搭建 master:172.18.148.169 slave1:172.18.148.168 安装docker 1.13.1 参考文档安装:在特定环境中安装指定版本的Docker ubuntu14.04 修...

5年前 (2020-05-08) 48℃

docker

portainer 管理 docker swarm集群

Portainer提供可视化界面来管理docker swarm 集群。 portainer 是 C/S 架构,由 管理端 portainer 镜像 与 代理 agent 组成,在 swarm 的manager 节点部署 portainer管理端,所有节点部署 agent 1...

5年前 (2020-05-08) 9℃

storm

Docker Storm开发环境搭建 

Docker Storm开发环境搭建 
  Pasenger 发布于 2017/11/05 19:25 1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper ...

5年前 (2020-05-08) 11℃

storm

阿里云Docker集群轻松部署Apache Storm(推荐)

阿里云Docker集群轻松部署Apache Storm(推荐)
Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署,The Joy Of Deploying Apache Storm On Doc...

5年前 (2020-05-08) 9℃

storm

docker快速部署storm集群

Storm的部署虽然不是特别麻烦,但是在生产环境中,为了提高部署效率,方便管理维护,使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目,一个配置好了storm与mono环境的Docker镜像编排:storm-mono-docker。 这个项目得益于http...

5年前 (2020-05-08) 14℃

storm

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有...

5年前 (2020-05-07) 12℃

linux

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)
至此系统安装好了, 开机回到windows系统,打开EasyBCD,设置系统引导,这里说明windows引导ubuntu的方法。 添加新条目–>Linux/BSD,类型选GRUB2,名称随便填,驱动器选择刚才新建名为/boot的分区。大概190M(刚才分的200M,可能还有...

5年前 (2020-04-27) 10℃

linux

Linux 可视化桌面远程连接

原创itdaima 最后发布于2019-03-18 15:39:14 阅读数 5097 收藏 展开 Linux (一)防止系统文件修改导致DNS清空 chattr +i /etc/resolv.conf (二)安装vnc yum install -y tigervnc tiger...

5年前 (2020-04-27) 8℃

链接

互联网架构师之路

https://zhuanlan.zhihu.com/c_1154338539314573312 转载请注明:SuperIT » 互联网架构师之路...

5年前 (2020-04-21) 10℃

高并发

高并发系统下的缓存解决方案

高并发系统下的缓存解决方案
公号:互联网架构师之路 什么样的数据适合做缓存? 缓存和DB数据一致性在之前已讲过,详细可参考下面阅读推荐《如何保障mysql和redis之间的数据一致性》,我们这里讲一讲缓存穿透、缓存雪崩和击穿的三种场景解决方案。 缓存穿透 缓存穿透是...

5年前 (2020-04-21) 10℃

高并发

利用Redis锁解决高并发问题(OK)

PHP   这里我们主要利用Redis的setnx的命令来处理高并发。 setnx 有两个参数。第一个参数表示键。第二个参数表示值。如果当前键不存在,那么会插入当前键,将第二个参数做为值。返回 1。如果当前键存在,那么会返回0。 创建库存表 CREATE TA...

5年前 (2020-04-21) 12℃

git

git学习总结

git学习总结
总结了一点关于git的使用命令和遇到的问题,  文章中都是我用到过的命令, 一直在不断的添加, 最近一次修改: 2017-09-13 15:04:01 不对的地方欢迎指正 一、SVN与Git的最主要的区别? 说起git自然想到SVN,我刚接触到的版本控制工具是SVN,SVN...

5年前 (2020-04-20) 11℃

docker

docker搭建swarm集群管理工具partainer

管理端:192.168.1.10 客户端:192.168.1.11 安装社区版docker-ce 具体见另一篇文章 一.管理端设置 1.开启管理端端口 firewall-cmd –permanent –add-port=2376/tcp fir...

5年前 (2020-04-15) 12℃

docker

Centos下安装Docker集群管理工具Shipyard

Centos下安装Docker集群管理工具Shipyard
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 1 支持镜像管理、容器管理。 2 支持控制台命令 3 容器资源消耗监控 4 支持集群swarm,可以随意增加节点 5 支持控制用户管理权限,可以设置某个容...

5年前 (2020-04-15) 10℃

linux

rsync 守护进程模式

5.20笔记整理 rsync 守护进程模式 Rsync daemon (rsyncd) Daemon为守护进程,rsyncd运行在服务器端 服务器端操作: 1. 添加虚拟用户 [root@backup ~]# useradd -s /sbin/nologin...

5年前 (2020-03-27) 10℃