微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

Nginx limit模块限制并发数

nginx aide_941 7℃

http://hopestar.github.io/2013/06/08/nginx-limit-moule-note/

nginx 限制ip并发数,nginx限制IP连接数的范例参考:

如何Nginx限制同一个ip的连接数,限制并发数目:

1.添加limit_zone和limit_req_zone 这个变量只能在http使用 :

vi /export/servers/nginx/conf/nginx.conf 
limit_zone one $binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;

2.添加limit_conn 和limit_req 这个变量可以在http, server, location使用 我是限制nginx上的所有服务,所以添加到http里面 (如果你需要限制部分服务,可在nginx/conf/domains里面选择相应的server或者location添加上便可)

vi /export/servers/nginx/conf/nginx.conf 

limit_zone one $binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;
limit_conn one 10;
limit_req zone=req_one burst=120;

参数详解(数值按具体需要和服务器承载能力设置,):

limit_zone,定义一个存储session状态的容器。这个示例中定义了一个20m的容器,按照32bytes/session,可以处理640000个session。以IP为Key键值存储,是针对每个变量(这里指IP,即$binary_remote_addr)
limit_req_zone 与limit_zone类似。rate是请求频率. 每秒允许12个请求。
limit_conn  one 10 : 表示一个IP能发起10个并发连接数
limit_req: 与limit_req_zone对应。burst表示缓存住的请求数。

范例:

http
{
limit_zone one $binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;

limit_conn   one 10;
limit_req   zone=req_one burst=120;

server  {         listen 80;
        server_name     status.xxx.com ;

        location / {
                 stub_status            on;
                 access_log             off;
        }

}
}

3.重启nginx

/export/servers/nginx/sbin/nginx -s reload

Nginx限制流量/限制带宽 具体参考官方文档

关于limit_zone
关于limit_req

nginx白名单设置

以上配置会对所有的ip都进行限制,有些时候我们不希望对搜索引擎的蜘蛛或者某些自己的代理机过来的请求进行限制, 对于特定的白名单ip我们可以借助geo指令实现。

先在nginx的请求日志进行统计,查看那个ip的访问量比较大, 运行:

 cat access.log | grep "03/Jun" |awk '{print $1}'|sort |uniq -c|sort -nrk 1|head -n 10 #列出访问日志里面在6月3号这天前10个访问量最大的ip.

接下来就可以对这些IP进行分析了。看哪些需要进行白名单设置。

 http{
     geo $limited { # the variable created is $limited default 1; 127.0.0.1/32 0; 10.12.212.63 0;
    }

    map $limited $limit { 1 $binary_remote_addr; 0 "";
    }

    limit_zone one $binary_remote_addr 20m;
    limit_req_zone $limit zone=req_one:20m rate=20r/s;

    limit_conn   one 10;
    limit_req   zone=req_one burst=120;
}

上面两个需要用到map和geo模块,这是nginx自带的模块,有的运维喜欢把他们关闭,自己./sbin/nginx -V 留意一下。把配置的–whithout-XXX-module 去掉重新编译一下就可以了。 上面这段配置的意思是:

1.geo指令定义了一个白名单$limited变量,默认值为1,如果客户端ip在上面的范围内,$limited的值为0

2.使用map指令映射搜索引擎客户端的ip为空串,如果不是搜索引擎就显示本身真实的ip,这样搜索引擎ip就不能存到limit_req_zone内存session中,所以不会限制搜索引擎的ip访问

PS:

获取客户端的真实IP

顺带一提,为了获取客户端的真实IP。该模块需要安装read_ip模块,运维应该默认有安装。没有的话也可自行安装: 配置方式相当简单,重新编译 Nginx 加上 –with-http_realip_module 参数,如:

./configure --prefix=/opt/nginx --with-http_stub_status_module  --with-pcre=../pcre-6.6 --with-http_realip_module
make
make install 

在server中增加:

set_real_ip_from 192.168.1.0/24;
set_real_ip_from 192.168.2.1;
real_ip_header     [X-Real-IP|X-Forwarded-For];

需要说明的地方就是设置IP源的时候可以设置单个IP,也可以设置IP段,另外是使用X-Real-IP还是X-Forwarded-For,取决于前面的服务器有哪个头。

set_real_ip_from 设置的IP端可以让运维查看日志,看下你的请求是来自哪些ip段。

重新加载一下服务,差不多就OK了。

再查看日志的话,应该可以看到客户端的真实IP了。

注意:如果未安装该模块的话你的获取到的IP端可能是来自前端代理(如squid)的IP,结果就是多个用户被当成单个用户对待,导致应用不能响应。 参考:http://hi.baidu.com/thinkinginlamp/item/e2cf05263eb4d18e6e2cc3e6

再PS一下: 自测: 有条件的自己可以用ab或者webben自测一下。

未安装前压测的话,因为有大量请求,所以access.log会有大量日志,而error.log日志没有变化。

[root@qrwefsdf talk]# webbench  -c 30 -t 30 http://xxx.com  Webbench - Simple Web Benchmark 1.5 Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://xxx.com  30 clients, running 30 sec.
Speed=193468 pages/min, 1254317 bytes/sec.
Requests: 96734 susceed, 0 failed.

安装后会发现很多超出的请求会返回503,所以access.log日志变化不快,error.log有大量记录,提示limit_reque缓住了多少请求。

[root@qrwefsdf talk]# webbench  -c 30 -t 30 http://xxxx.com Webbench - Simple Web Benchmark 1.5 Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://xxx.com  30 clients, running 30 sec.
Speed=120 pages/min, 778 bytes/sec.
Requests: 60 susceed, 0 failed.

需要注意的是Nginx版本目前是 nginx version: openresty/1.9.3.2
已经不支持limit_zone配置,
改为如下模式
http{
limit_conn_zone $binary_remote_addr zone=one:20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=1r/s;
limit_conn one 1;
limit_req zone=req_one burst=1;

 

nginx限制ip请求次数 以及并发次数

     如何设置能限制某个IP某一时间段的访问次数是一个让人头疼的问题,特别面对恶意的ddos攻击的时候。其中CC攻击(Challenge Collapsar)是DDOS(分布式拒绝服务)的一种,也是一种常见的网站攻击方法,攻击者通过代理服务器或者肉鸡向向受害主机不停地发大量数据包,造成对方服务器资源耗尽,一直到宕机崩溃。cc攻击一般就是使用有限的ip数对服务器频繁发送数据来达到攻击的目的,nginx可以通过HttpLimitReqModul和HttpLimitZoneModule配置来限制ip在同一时间段的访问次数来防cc攻击。HttpLimitReqModul用来限制连单位时间内连接数的模块,使用limit_req_zone和limit_req指令配合使用来达到限制。一旦并发连接超过指定数量,就会返回503错误。HttpLimitConnModul用来限制单个ip的并发连接数,使用limit_zone和limit_conn指令这两个模块的区别前一个是对一段时间内的连接数限制,后者是对同一时刻的连接数限制。

 

HttpLimitReqModul 限制某一段时间内同一ip访问数实例

http{
    ...

    #定义一个名为allips的limit_req_zone用来存储session,大小是10M内存,
    #以$binary_remote_addr 为key,限制平均每秒的请求为20个,
    #1M能存储16000个状态,rete的值必须为整数,
    #如果限制两秒钟一个请求,可以设置成30r/m

    limit_req_zone $binary_remote_addr zone=allips:10m rate=20r/s;
    ...
    server{
        ...
        location {
            ...

            #限制每ip每秒不超过20个请求,漏桶数burst为5
            #brust的意思就是,如果第1秒、2,3,4秒请求为19个,
            #第5秒的请求为25个是被允许的。
            #但是如果你第1秒就25个请求,第2秒超过20的请求返回503错误。
            #nodelay,如果不设置该选项,严格使用平均速率限制请求数,
            #第1秒25个请求时,5个请求放到第2秒执行,
            #设置nodelay,25个请求将在第1秒执行。

            limit_req zone=allips burst=5 nodelay;
            ...
        }
        ...
    }
    ...
}

 

HttpLimitZoneModule 限制并发连接数实例

limit_zone只能定义在http作用域,limit_conn可以定义在http server location作用域

http{
    ...

    #定义一个名为one的limit_zone,大小10M内存来存储session,
    #以$binary_remote_addr 为key
    #nginx 1.18以后用limit_conn_zone替换了limit_conn
    #且只能放在http作用域
    limit_conn_zone   one  $binary_remote_addr  10m;  
    ...
    server{
        ...
        location {
            ...
           limit_conn one 20;          #连接数限制

           #带宽限制,对单个连接限数,如果一个ip两个连接,就是500x2k
           limit_rate 500k;            

            ...
        }
        ...
    }
    ...
}

 

nginx白名单设置

以上配置会对所有的ip都进行限制,有些时候我们不希望对搜索引擎的蜘蛛或者自己测试ip进行限制,
对于特定的白名单ip我们可以借助geo指令实现。
1.

http{
     geo $limited{
        default 1;
        #google 
        64.233.160.0/19 0;
        65.52.0.0/14 0;
        66.102.0.0/20 0;
        66.249.64.0/19 0;
        72.14.192.0/18 0;
        74.125.0.0/16 0;
        209.85.128.0/17 0;
        216.239.32.0/19 0;
        #M$
        64.4.0.0/18 0;
        157.60.0.0/16 0;
        157.54.0.0/15 0;
        157.56.0.0/14 0;
        207.46.0.0/16 0;
        207.68.192.0/20 0;
        207.68.128.0/18 0;
        #yahoo
        8.12.144.0/24 0;
        66.196.64.0/18 0;
        66.228.160.0/19 0;
        67.195.0.0/16 0;
        74.6.0.0/16 0;
        68.142.192.0/18 0;
        72.30.0.0/16 0;
        209.191.64.0/18 0;
        #My IPs
        127.0.0.1/32 0;
        123.456.0.0/28 0; #example for your server CIDR
    }

geo指令定义了一个白名单$limited变量,默认值为1,如果客户端ip在上面的范围内,$limited的值为0

2.使用map指令映射搜索引擎客户端的ip为空串,如果不是搜索引擎就显示本身真是的ip,这样搜索引擎ip就不能存到limit_req_zone内存session中,所以不会限制搜索引擎的ip访问

map $limited $limit {
1 $binary_remote_addr;
0 “”;
}

3.设置limit_req_zone和limit_req
limit_req_zone $limit zone=foo:1m rate=10r/m;

limit_req zone=foo burst=5;

最后我们使用ab压php-fpm的方式,对上面的方法效果实际测试下

例1:限制只允许一分钟内只允许一个ip访问60次配置,也就是平均每秒1次
首先我们准备一个php脚本放在根目录下$document_root
test.php

nginx配置增加limit_req_zone 和 limit_req

http{
    ...
    limit_req_zone $binary_remote_addr zone=allips:10m rate=60r/m;
    ...
    server{
        ...
        location {
            ...
            limit_req zone=allips;
            ...
        }
        ...
    }
    ...
}

ab -n 5 -c 1 http://www.weizhang.org/test.php

118.144.94.193 – – [22/Dec/2012:06:27:06 +0000] “GET /test.php HTTP/1.0” 200 11000 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:06:27:06 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:06:27:07 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:06:27:07 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:06:27:07 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”

未设置brust和nodelay可以看到该配置只允许每秒访问1次,超出的请求返回503错误

http{
    ...
    limit_req_zone $binary_remote_addr zone=allips:10m rate=60r/m;
    ...
    server{
        ...
        location {
            ...
            limit_req zone=allips burst=1 nodelay;
            ...
        }
        ...
    }
    ...
}

ab -n 5 -c 1 http://www.weizhang.org/test.php

118.144.94.193 – – [22/Dec/2012:07:01:00 +0000] “GET /test.php HTTP/1.0” 200 11000 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:07:01:00 +0000] “GET /test.php HTTP/1.0” 200 11000 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:07:01:01 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:07:01:01 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”
118.144.94.193 – – [22/Dec/2012:07:01:01 +0000] “GET /test.php HTTP/1.0” 503 537 “-” “ApacheBench/2.3”

设置brust=1和nodelay后允许第1秒处理两个请求。

转载请注明:SuperIT » Nginx limit模块限制并发数

喜欢 (0)or分享 (0)