SuperIT 专业IT技术社区之后端大数据与Devops

jenkins + pipeline构建自动化部署

一、引言 Jenkins 2.x的精髓是Pipeline as Code，那为什么要用Pipeline呢？jenkins1.0也能实现自动化构建，但Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里，将原本独立运行于单个或者多个节点的任务...

5年前 (2020-05-17) 9℃

ansible

Ansible详解（一）基础安装和配置

Ansible详解（一）基础安装和配置作者: 51reboot | 来源:发表于2018-06-25 11:19 被阅读5次 Ansible详解（一）基础安装和配置 [ansible] ansible的安装，配置和使用 Ansible安装配置和基本使用 Ansible...

5年前 (2020-05-17) 8℃

Gitlab+Jenkins学习之路（十四）之自动化脚本部署实践

Gitlab+Jenkins学习之路（十四）之自动化脚本部署实践目录一、环境说明和准备 1、环境说明 2、服务器准备工作（1）发布机前期准备 a.增加普通用户并配置密码 b.创建部署需要的目录并初始化git目录 c.创建配置文件config.php d.配置...

5年前 (2020-05-17) 8℃

shell

shell 上线脚本（跳板机部署版）

为了跳板机部署上线脚本写了公司生产上线脚本，供大家参考。上线脚本分为三个脚本组合，详细使用如例子： 1.1 第一步上传上线所需要部署文件提示：不管是使用XSHELL 还是 rz 将文件上传,有旧文件需要删除 –rw–...

5年前 (2020-05-17) 10℃

Gitlab+Jenkins学习之路（十）之Jenkins按角色授权和Pipeline

一、Jenkins按角色授权当一个公司的开发分为多个组别，或者是多个项目等等。用于公司内部测试，让开发人员自行构建测试，此时不可能让所有的开发都在公用一个构建，这样变得很混乱，为了解决这一问题，jenkins也提供了角色授权的机制。每个开发有着对应的账号和权限，可以...

5年前 (2020-05-17) 8℃

Gitlab+Jenkins学习之路（九）之Jenkins的远程管理和集群

一、Jenkins的远程管理 Jenkins的远程管理方式包含： Shell ssh SSH Plugin ansible、saltstack （1）Shell ssh 在项目构建时，jenkins使用了Execute Shell直接对远程主机操作，同步了代码到主...

5年前 (2020-05-17) 9℃

nginx

Nginx的集群和负载均衡

撸了今年阿里、腾讯和美团的面试，我有一个重要发现…….>> Nginx的集群和负载均衡负载均衡配置案例1 设置上游服务器: # 设置上游服务器: upstream imgserver{ #weight权重 maxfails错误次数 fail...

5年前 (2020-05-17) 9℃

kibana

kibana操作

一、查询和查看。 #1.查询所有的数据 GET _search { “query”: { “match_all”:{} } } #2. 查看ES集群的健康状态 GET _cat/health # 查看详细信息 GET _cat/he...

5年前 (2020-05-14) 10℃

ansible

ansible简介及 CentOS7 安装ansible （rpm）及安装ansible插件ansible-cmdb 实现cmdb功能

ansible简介及 CentOS7 安装ansible （rpm）及安装ansible插件ansible-cmdb 实现cmdb功能 wudinaniya 2019-08-10 00:53:27 1575 收藏展开一 ansible 简介 Ansible 是新出现的自动...

5年前 (2020-05-12) 9℃

spark

SparkSQL读取HBase数据

关键字： Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）. 本...

5年前 (2020-05-08) 16℃

spark

SparkSQL读取HBase数据，通过自定义外部数据源

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里...

5年前 (2020-05-08) 11℃

Docker swarm部署微服务及利用portainer管理集群

1.微服务部署在前面部署的集群上部署服务，以前通过docker run可以部署一个容器，通过docker-compose文件可以编排一组容器，现在可以利用docker service在swarm集群中通过服务下发任务到节点的方式部署容器副本集，甚至可以利用docker-com...

5年前 (2020-05-08) 10℃

10_docker集群管理工具portainer

10_docker集群管理工具portainer 环境搭建 master:172.18.148.169 slave1:172.18.148.168 安装docker 1.13.1 参考文档安装：在特定环境中安装指定版本的Docker ubuntu14.04 修...

5年前 (2020-05-08) 48℃

portainer 管理 docker swarm集群

Portainer提供可视化界面来管理docker swarm 集群。 portainer 是 C/S 架构，由管理端 portainer 镜像与代理 agent 组成，在 swarm 的manager 节点部署 portainer管理端，所有节点部署 agent 1...

5年前 (2020-05-08) 9℃

Docker Storm开发环境搭建

Pasenger 发布于 2017/11/05 19:25 1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper ...

5年前 (2020-05-08) 11℃

阿里云Docker集群轻松部署Apache Storm(推荐)

Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署，The Joy Of Deploying Apache Storm On Doc...

5年前 (2020-05-08) 9℃

docker快速部署storm集群

Storm的部署虽然不是特别麻烦，但是在生产环境中，为了提高部署效率，方便管理维护，使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目，一个配置好了storm与mono环境的Docker镜像编排：storm-mono-docker。这个项目得益于http...

5年前 (2020-05-08) 14℃

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维，以及架构理念，比如Storm，Hive，Spark，ZooKeeper，HBase，Elasticsearch，等等 storm，在做热数据这块，如果要做复杂的热数据的统计和分析，亿流量，高并发的场景下，最合适的技术就是storm，没有...

5年前 (2020-05-07) 12℃

安装centos后无法引导启动windows7的解决方法(非常重要)

在电脑Windows7系统上安装Centos7，安装后找不到Windows7引导菜单。原因：因为CentOS 7已采用新式的grub2系统，所以需要进入/boot/grub2目录后使用vi编辑grub.cfg文件。解决方法一：修改Centos 7的Gr...

5年前 (2020-04-27) 12℃

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)

至此系统安装好了，开机回到windows系统，打开EasyBCD，设置系统引导，这里说明windows引导ubuntu的方法。添加新条目–>Linux/BSD，类型选GRUB2，名称随便填，驱动器选择刚才新建名为/boot的分区。大概190M（刚才分的200M，可能还有...

5年前 (2020-04-27) 10℃

Linux 可视化桌面远程连接

原创itdaima 最后发布于2019-03-18 15:39:14 阅读数 5097 收藏展开 Linux （一）防止系统文件修改导致DNS清空 chattr +i /etc/resolv.conf （二）安装vnc yum install -y tigervnc tiger...

5年前 (2020-04-27) 8℃

U盘安装或双系统安装特别注意事项 centos7U盘安装卡在 starting dracut initqueue hook(非常非常重要)

安装CentOS7出现starting dracut initqueue hook /#……time解决办法当选择install CentOS7以后一会就会出现错误。报错 U盘安装centos7启动过程中出现： 1 2 3 [ok] ...

5年前 (2020-04-27) 11℃

链接

互联网架构师之路

https://zhuanlan.zhihu.com/c_1154338539314573312 转载请注明：SuperIT » 互联网架构师之路...

5年前 (2020-04-21) 10℃

高并发下缓存和数据库一致性问题（更新淘汰缓存不得不注意的细节）

原创ZLHZHJ 最后发布于2018-05-03 12:02:39 阅读数 8216 收藏展开缓存和数据库一致性问题本文讨论的背景是，cache如memcache，redia等缓存来缓存数据库读取出来的数据，以提高读性能，如何处理缓存里的数据和数据库数据的一致性是本文讨论的...

5年前 (2020-04-21) 10℃

高并发系统下的缓存解决方案

公号：互联网架构师之路什么样的数据适合做缓存？缓存和DB数据一致性在之前已讲过，详细可参考下面阅读推荐《如何保障mysql和redis之间的数据一致性》，我们这里讲一讲缓存穿透、缓存雪崩和击穿的三种场景解决方案。缓存穿透缓存穿透是...

5年前 (2020-04-21) 10℃

PHP+redis乐观锁防止高并发超卖,秒杀

<?php $error_level = error_reporting(0); $con = new mysqli('localhost','root','root','test'); if(!$con){ echo "数据库连接失败"; }...

5年前 (2020-04-21) 11℃

利用Redis锁解决高并发问题(OK)

PHP 这里我们主要利用Redis的setnx的命令来处理高并发。 setnx 有两个参数。第一个参数表示键。第二个参数表示值。如果当前键不存在，那么会插入当前键，将第二个参数做为值。返回 1。如果当前键存在，那么会返回0。创建库存表 CREATE TA...

5年前 (2020-04-21) 12℃

git

git学习总结

总结了一点关于git的使用命令和遇到的问题, 文章中都是我用到过的命令, 一直在不断的添加, 最近一次修改: 2017-09-13 15:04:01 不对的地方欢迎指正一、SVN与Git的最主要的区别？说起git自然想到SVN，我刚接触到的版本控制工具是SVN，SVN...

5年前 (2020-04-20) 11℃