登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

高并发及其处理方法

高并发 aide_941 9℃

1.什么是高并发

高并发是实用技术手段是系统可以并行处理很多请求。

2.常见的高并发处理方法

缓存处理（Redis，Memcached等）

硬件升级（调整服务器CPU，带宽，处理器）

负载均衡（Nginx，Spring Cloud的注册中心等）

性能优调（Mysql，Nginx，Tomcat）

代码处理（设置策略，IP账号限制，验证码处理）

3.QPS（Query Per Second，每秒处理请求数）计算公式

QPS（TPS）= 并发数/平均响应时间

举个栗子：我们假设处理一个业务请求平均响应时间为100ms（0.1秒），同时，系统内有20台Apache的Web服务器，配置MaxClients为500个（表示Apache的最大连接数目）。

20*500/0.1 = 100000 （10万QPS）

4.怎么处理高并发(常见高并发的类型)

第一种：syn洪水攻击

什么是洪水攻击？

攻击者恶意访问让你的服务器资源耗尽，无法提供正常的服务，间接地拒绝。

怎么应对或处理洪水攻击？

情景一：黑客恶意攻击频繁使用假IP进行访问；

方法一：运用sysctl命令进行配置，针对SYN洪水攻击的防御措施.

方法二：利用安全狗，360安全卫士等杀毒软件，（软件有针对处理洪水攻击的策略）

情景二：用户频繁登录

方法一：代码优化处理，限制统一IP或统一账号，每秒访问次数，添加验证码策略，访问更新验证码加长用户操作时间。

第二种：硬件配置过低

情景一：CPU长期达到90%以上（升级CPU处理器）

情景二：CPU长期在40%左右带宽达到100%使用率。（升级带宽）

情景三：CPU与带宽正常物理内存处于占满状态。（升级物理内存）

第三种：SQL语句查询频繁，重复查询或SQL语句问题，导致接口处理时间过慢。

情景一：针对大量数据，sql语句过于简单，查询条件过少;

举个例子：一个数据库中有表为activityTable 我想查询用户在什么时间领取到什么产品；查询语句为

  1. SELECT * FROM activityTable where user = “小红”；
  2. // 处理少量数据时可能没什么问题，但是处理大量数据时他就会发生查询处理时间过长等问题。
  3. // 正确处理sql应该为加索引等优化
  4. create index index_name on activityTable(phone) ;
  5. select user from activityTable where phone = 123456;

序号ID 用户名User ， 活动 activity，手机号 phone，产品 product ，领取时间 updatetime。

情景二：查询sql过多，导致接口处理时间过长，用户操作界面处于等待；

方法一：利用缓存处理（Redis，Memcached等）将查询数据缓存到Redis数据库中，（Nosql数据库处理时间小于Mysql处                          理时间）

方法二：加大服务器硬件，调整CPU，带宽，处理器等（不推荐，有钱除外。）

第四种：用户量过大，CPU，处理器，带宽正常，但是仍旧过卡。

情景一：Apache的Web服务器只有运行一个时

方法一：性能优调（Mysql，Nginx，Tomcat）负载均衡处理

mysql的myini文件优化

mysql的my.cof文件优

Tomcat性能优化

Nginx的nginx.conf文件配置

  1. #定义Nginx运行的用户和用户组
  2. user www www;
  3. #
  4. #nginx进程数,建议设置为等于CPU总核心数.
  5. worker_processes 8;
  6. #
  7. #全局错误日志定义类型,[ debug | info | notice | warn | error | crit ]
  8. error_log /var/log/nginx/error.log info;
  9. #
  10. #进程文件
  11. pid /var/run/nginx.pid;
  12. #
  13. #一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除,但是nginx分配请求并不均匀,所以建议与ulimit -n的值保持一致.
  14. worker_rlimit_nofile 65535;
  15. #
  16. #工作模式与连接数上限
  17. events
  18. {
  19. #参考事件模型,use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型,如果跑在FreeBSD上面,就用kqueue模型.
  20. use epoll;
  21. #单个进程最大连接数（最大连接数=连接数*进程数）
  22. worker_connections 65535;
  23. }
  24. #
  25. #设定http服务器
  26. http
  27. {
  28. include mime.types; #文件扩展名与文件类型映射表
  29. default_type application/octet-stream; #默认文件类型
  30. #charset utf-8; #默认编码
  31. server_names_hash_bucket_size 128; #服务器名字的hash表大小
  32. client_header_buffer_size 32k; #上传文件大小限制
  33. large_client_header_buffers 4 64k; #设定请求缓
  34. client_max_body_size 8m; #设定请求缓
  36. # 开启目录列表访问,合适下载服务器,默认关闭.
  37. autoindex on; # 显示目录
  38. autoindex_exact_size on; # 显示文件大小 默认为on,显示出文件的确切大小,单位是bytes 改为off后,显示出文件的大概大小,单位是kB或者MB或者GB
  39. autoindex_localtime on; # 显示文件时间 默认为off,显示的文件时间为GMT时间 改为on后,显示的文件时间为文件的服务器时间
  41. sendfile on; # 开启高效文件传输模式,sendfile指令指定nginx是否调用sendfile函数来输出文件,对于普通应用设为 on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络I/O处理速度,降低系统的负载.注意：如果图片显示不正常把这个改成off.
  42. tcp_nopush on; # 防止网络阻塞
  43. tcp_nodelay on; # 防止网络阻塞
  45. keepalive_timeout 120; # (单位s)设置客户端连接保持活动的超时时间,在超过这个时间后服务器会关闭该链接
  47. # FastCGI相关参数是为了改善网站的性能：减少资源占用,提高访问速度.下面参数看字面意思都能理解.
  48. fastcgi_connect_timeout 300;
  49. fastcgi_send_timeout 300;
  50. fastcgi_read_timeout 300;
  51. fastcgi_buffer_size 64k;
  52. fastcgi_buffers 4 64k;
  53. fastcgi_busy_buffers_size 128k;
  54. fastcgi_temp_file_write_size 128k;
  56. # gzip模块设置
  57. gzip on; #开启gzip压缩输出
  58. gzip_min_length 1k; #允许压缩的页面的最小字节数,页面字节数从header偷得content-length中获取.默认是0,不管页面多大都进行压缩.建议设置成大于1k的字节数,小于1k可能会越压越大
  59. gzip_buffers 4 16k; #表示申请4个单位为16k的内存作为压缩结果流缓存,默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果
  60. gzip_http_version 1.1; #压缩版本（默认1.1,目前大部分浏览器已经支持gzip解压.前端如果是squid2.5请使用1.0）
  61. gzip_comp_level 2; #压缩等级.1压缩比最小,处理速度快.9压缩比最大,比较消耗cpu资源,处理速度最慢,但是因为压缩比最大,所以包最小,传输速度快
  62. gzip_types text/plain application/x-javascript text/css application/xml;
  63. #压缩类型,默认就已经包含text/html,所以下面就不用再写了,写上去也不会有问题,但是会有一个warn.
  64. gzip_vary on;#选项可以让前端的缓存服务器缓存经过gzip压缩的页面.例如:用squid缓存经过nginx压缩的数据
  66. #开启限制IP连接数的时候需要使用
  67. #limit_zone crawler $binary_remote_addr 10m;
  69. ##upstream的负载均衡,四种调度算法(下例主讲)##
  71. #虚拟主机的配置
  72. server
  73. {
  74. # 监听端口
  75. listen 80;
  76. # 域名可以有多个,用空格隔开
  77. server_name ably.com;
  78. # HTTP 自动跳转 HTTPS
  79. rewrite ^(.*) https://$server_name$1 permanent;
  80. }
  82. server
  83. {
  84. # 监听端口 HTTPS
  85. listen 443 ssl;
  86. server_name ably.com;
  88. # 配置域名证书
  89. ssl_certificate C:WebServerCertscertificate.crt;
  90. ssl_certificate_key C:WebServerCertsprivate.key;
  91. ssl_session_cache shared:SSL:1m;
  92. ssl_session_timeout 5m;
  93. ssl_protocols SSLv2 SSLv3 TLSv1;
  94. ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
  95. ssl_prefer_server_ciphers on;
  97. index index.html index.htm index.php;
  98. root /data/www/;
  99. location ~ .*.(php|php5)?$
  100. {
  101. fastcgi_pass 127.0.0.1:9000;
  102. fastcgi_index index.php;
  103. include fastcgi.conf;
  104. }
  106. # 配置地址拦截转发，解决跨域验证问题
  107. location /oauth/{
  108. proxy_pass https://localhost:13580/oauth/;
  109. proxy_set_header HOST $host;
  110. proxy_set_header X-Real-IP $remote_addr;
  111. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  112. }
  114. # 图片缓存时间设置
  115. location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ {
  116. expires 10d;
  117. }
  119. # JS和CSS缓存时间设置
  120. location ~ .*.(js|css)?$ {
  121. expires 1h;
  122. }
  124. # 日志格式设定
  125. log_format access ‘$remote_addr – $remote_user [$time_local] “$request” ‘
  126. ‘$status $body_bytes_sent “$http_referer” ‘
  127. ‘”$http_user_agent” $http_x_forwarded_for‘;
  128. # 定义本虚拟主机的访问日志
  129. access_log /var/log/nginx/access.log access;
  131. # 设定查看Nginx状态的地址.StubStatus模块能够获取Nginx自上次启动以来的工作状态，此模块非核心模块，需要在Nginx编译安装时手工指定才能使用
  132. location /NginxStatus {
  133. stub_status on;
  134. access_log on;
  135. auth_basic “NginxStatus”;
  136. auth_basic_user_file conf/htpasswd;
  137. #htpasswd文件的内容可以用apache提供的htpasswd工具来产生.
  138. }
  139. }
  140. }

 

 

 

 

转载请注明：SuperIT » 高并发及其处理方法

喜欢 (12)or分享 (0)