nginx限制IP恶意调用短信接口处理方法

11685855
Your dream is like a flower. if you water it patiently, the flower will come out beautifully.
即使是最简单的梦想，用心浇灌，也能开出绚烂的花

一兆字节区域可以保持大约1万6064字节的状态。

那么 10M 就可以存储 16 万的 IP 统计信息, 这个对普通应用足够了，16 万每秒的 UV，已经超级厉害了。

如果 size 的大小如果设置小了, 例如设置成 1M，那么当一秒内的请求 IP 数超过 16000 的时候，超出的 IP 对应的用户看到的均为 503 Service Temporarily Unavailable 页面了。参考, 漏桶算法 Leaky Bucket。 同时，rate 的单位用 r/s 非常合适，如果换成按天，按小时计数，10M 的内存肯定不够用。

查看nginx日志，发现别有用心的人恶意调用API接口刷短信

30966487 115.213.229.38 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30963985 60.181.111.140 "-" [05/Jun/2018:14:37:29 +0800] 0.004 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.004 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30959954 220.190.18.25 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30966487 115.213.229.38 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30963985 60.181.111.140 "-" [05/Jun/2018:14:37:29 +0800] 0.004 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.004 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30959954 220.190.18.25 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30966487 115.213.229.38 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30963985 60.181.111.140 "-" [05/Jun/2018:14:37:29 +0800] 0.004 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.004 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
30959954 220.190.18.25 "-" [05/Jun/2018:14:37:29 +0800] 0.003 xxxxxx.com "POST /xxx/sendCheckCode HTTP/1.1" 401 200 46 xx.xx.xx.xx:0000 0.003 200 "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"

思考了几种方案，最终考虑使用ip黑名单的方式：

处理方法：

一、nginx黑名单方式：

过滤日志访问API接口的IP，统计每10分钟调用超过100次的IP，直接丢进nginx的访问黑名单

1、具体步骤：

编写shell脚本：

#!/bin/bash
##############################################################
# File Name: nginx_cutaccesslog.sh
# Version: V1.0
# Author: guoxiangfu
# EMail: guoxiangfu@dyrs.com.cn
# Created Time : 2022-03-11 15:36:26
# Description:
##############################################################
log_path=/www/wwwlog/www.92fuge.com.log
date=`date -d "10 min ago" +%Y%m%d-%H:%M:%S`
nginxpid=`cat ${log_path}/nginx.pid`
cd ${log_path}
#过滤access.log中正常访问API接口并在10分钟（下面是日志切割，再做个定时任务每10分钟执行一次，就可以实现了）内访问量最高的30个IP，取值如果此IP访问量大于100次，则把此IP放入黑名单
cat access.log | grep  sendCheckCode  | grep -v 403 | awk '{print }'|sort|uniq -c | sort -k1 -n | tail -30 | awk '{if(>100) print "deny "";"}' > ../conf/denyip.conf
#日志切割，做定时任务，每10分钟执行一次
mv ${log_path}/access.log ${log_path}/accesslog.bak/access_${date}.log
../sbin/nginx -s reload
#!/bin/bash
##############################################################
# File Name: nginx_cutaccesslog.sh
# Version: V1.0
# Author: guoxiangfu
# EMail: guoxiangfu@dyrs.com.cn
# Created Time : 2022-03-11 15:36:26
# Description:
##############################################################
log_path=/www/wwwlog/www.92fuge.com.log
date=`date -d "10 min ago" +%Y%m%d-%H:%M:%S`
nginxpid=`cat ${log_path}/nginx.pid`
cd ${log_path}
#过滤access.log中正常访问API接口并在10分钟（下面是日志切割，再做个定时任务每10分钟执行一次，就可以实现了）内访问量最高的30个IP，取值如果此IP访问量大于100次，则把此IP放入黑名单
cat access.log | grep  sendCheckCode  | grep -v 403 | awk '{print }'|sort|uniq -c | sort -k1 -n | tail -30 | awk '{if(>100) print "deny "";"}' > ../conf/denyip.conf
#日志切割，做定时任务，每10分钟执行一次
mv ${log_path}/access.log ${log_path}/accesslog.bak/access_${date}.log
../sbin/nginx -s reload
#!/bin/bash
##############################################################
# File Name: nginx_cutaccesslog.sh
# Version: V1.0
# Author: guoxiangfu
# EMail: guoxiangfu@dyrs.com.cn
# Created Time : 2022-03-11 15:36:26
# Description:
##############################################################
log_path=/www/wwwlog/www.92fuge.com.log
date=`date -d "10 min ago" +%Y%m%d-%H:%M:%S`
nginxpid=`cat ${log_path}/nginx.pid`
cd ${log_path}
#过滤access.log中正常访问API接口并在10分钟（下面是日志切割，再做个定时任务每10分钟执行一次，就可以实现了）内访问量最高的30个IP，取值如果此IP访问量大于100次，则把此IP放入黑名单
cat access.log | grep  sendCheckCode  | grep -v 403 | awk '{print }'|sort|uniq -c | sort -k1 -n | tail -30 | awk '{if(>100) print "deny "";"}' > ../conf/denyip.conf
#日志切割，做定时任务，每10分钟执行一次
mv ${log_path}/access.log ${log_path}/accesslog.bak/access_${date}.log
../sbin/nginx -s reload

可自己定义时间间隔和访问量，也可取消筛选访问量最高的30个，直接取值每10分钟访问接口超过100次的

其中：”grep -v 403″ 是把已经禁止访问的IP给过滤掉，只筛选正常访问的

2、修改nginx.conf
include       denyip.conf;
include       denyip.conf;
include       denyip.conf;
3、重新加载nginx生效
nginx -s   reload
nginx -s   reload
nginx -s   reload
4、添加计划任务：

crontab -e 添加

*/10 * * * * /bin/bash /shell/nginx_cutaccesslog.sh > /dev/null 2>&1
*/10 * * * * /bin/bash /shell/nginx_cutaccesslog.sh > /dev/null 2>&1
*/10 * * * * /bin/bash /shell/nginx_cutaccesslog.sh > /dev/null 2>&1
5、验证
[root@92fuge logs]# ll accesslog.bak/
-rw-r--r-- 1 root   root    2663901 Jun  5 15:10 access_20220311-15:00:01.log
-rw-r--r-- 1 root   root   13696947 Jun  5 15:20 access_20220311-15:10:01.log
-rw-r--r-- 1 root   root   13265509 Jun  5 15:30 access_20220311-15:20:01.log
-rw-r--r-- 1 root   root   13846297 Jun  5 15:40 access_20220311-15:30:01.log
[root@92fuge logs]# cat ../conf/denyip.conf 
…………
…………
deny 112.12.137.28;
deny 183.167.237.229;
deny 111.41.43.58;
deny 115.217.117.159;
deny 219.133.100.133;
deny 171.221.254.115;
deny 60.184.131.6;
…………
…………
[root@92fuge logs]# ll accesslog.bak/
-rw-r--r-- 1 root   root    2663901 Jun  5 15:10 access_20220311-15:00:01.log
-rw-r--r-- 1 root   root   13696947 Jun  5 15:20 access_20220311-15:10:01.log
-rw-r--r-- 1 root   root   13265509 Jun  5 15:30 access_20220311-15:20:01.log
-rw-r--r-- 1 root   root   13846297 Jun  5 15:40 access_20220311-15:30:01.log
[root@92fuge logs]# cat ../conf/denyip.conf 
…………
…………
deny 112.12.137.28;
deny 183.167.237.229;
deny 111.41.43.58;
deny 115.217.117.159;
deny 219.133.100.133;
deny 171.221.254.115;
deny 60.184.131.6;
…………
…………
[root@92fuge logs]# ll accesslog.bak/
-rw-r--r-- 1 root   root    2663901 Jun  5 15:10 access_20220311-15:00:01.log
-rw-r--r-- 1 root   root   13696947 Jun  5 15:20 access_20220311-15:10:01.log
-rw-r--r-- 1 root   root   13265509 Jun  5 15:30 access_20220311-15:20:01.log
-rw-r--r-- 1 root   root   13846297 Jun  5 15:40 access_20220311-15:30:01.log
[root@92fuge logs]# cat ../conf/denyip.conf 
…………
…………
deny 112.12.137.28;
deny 183.167.237.229;
deny 111.41.43.58;
deny 115.217.117.159;
deny 219.133.100.133;
deny 171.221.254.115;
deny 60.184.131.6;
…………
…………
6、再查看已经禁用IP的访问日志，则会返回403错误
[root@92fuge.com logs]# tail -f access.log | grep "60.184.131.6"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:34 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
[root@92fuge.com logs]# tail -f access.log | grep "60.184.131.6"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:34 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
[root@92fuge.com logs]# tail -f access.log | grep "60.184.131.6"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:34 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"
31268622 60.184.131.6 "-" [05/Jun/2018:15:47:35 +0800] 0.000 xxxxxx.com "POST /xxxxxx/sendCheckCode HTTP/1.1" 377 403 168 - - - "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" "https://xxxxxx/sendCheckCode"

二、限制IP请求数：

处理这种情况的方法还有一种是限制单 IP 单位时间的请求数，以及单 IP 的并发连接数
此方法没有实际运用，因为感觉这种方法会误杀正常的访问用户

1、写一下此方法的大概配置，http模块加入

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=8r/s;
    server {
        location /search/ {
            limit_req zone=one burst=5;
        }
http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=8r/s;
    server {
        location /search/ {
            limit_req zone=one burst=5;
        }
http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=8r/s;
    server {
        location /search/ {
            limit_req zone=one burst=5;
        }
如何估算 limit_req_zone size：

一兆字节区域可以保持大约1万6064字节的状态。
那么 10M 就可以存储 16 万的 IP 统计信息, 这个对普通应用足够了，16 万每秒的 UV，已经超级厉害了。
如果 size 的大小如果设置小了, 例如设置成 1M，那么当一秒内的请求 IP 数超过 16000 的时候，超出的 IP 对应的用户看到的均为 503 Service Temporarily Unavailable 页面了。参考, 漏桶算法 Leaky Bucket。 同时，rate 的单位用 r/s 非常合适，如果换成按天，按小时计数，10M 的内存肯定不够用。

如何估算 limit_req_zone rate：

首先需要知道的是，普通浏览器的同时并发数量。按照 Dropbox 技术博客里所谈到的，目前主流浏览器限制 AJAX 对同一个子域名的并发连接数是6个。IE 6，IE 7 是两个。
大多数浏览器每个主机名都有6个并发连接的限制。

------本页内容已结束，喜欢请分享------

感谢您的来访，获取更多精彩文章请收藏本站。

展开阅读全文
Happiness is not something you postpone for the future; it is something you design for the present.
幸福不应该留到未来品尝，幸福是你专门为当下的自己所准备的
© 版权声明
版权声明 1 本网站名称： 冨滒運維
2 本站永久网址：http://www.92fuge.com
3 本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请联系站长QQ945049914进行删除处理。
4 本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5 本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报
6 本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。
THE END
linux运维基础首页
喜欢就支持一下吧
点赞855赞赏 分享
Happiness is not something you postpone for the future; it is something you design for the present.
幸福不应该留到未来品尝，幸福是你专门为当下的自己所准备的
富哥社长的头像-我的运维技术站钻石会员
相关推荐
评论 共1条
头像
欢迎您留下宝贵的见解！
提交
头像

昵称

取消
昵称

请填写用户信息：

  • 昵称(必填)
  • 邮箱(必填)
 夸夸
夸夸
还有吗！没看够！
表情
[aoman][baiyan][bishi][bizui][cahan][ciya][dabing][daku][deyi][doge][fadai][fanu][fendou][ganga][guzhang][haixiu][hanxiao][zuohengheng][zhuakuang][zhouma][zhemo][zhayanjian][zaijian][yun][youhengheng][yiwen][yinxian][xu][xieyanxiao][xiaoku][xiaojiujie][xia][wunai][wozuimei][weixiao][weiqu][tuosai][tu][touxiao][tiaopi][shui][se][saorao][qiudale][qinqin][qiaoda][piezui][penxue][nanguo][liulei][liuhan][lenghan][leiben][kun][kuaikule][ku][koubi][kelian][keai][jingya][jingxi][jingkong][jie][huaixiao][haqian][aini][OK][qiang][quantou][shengli][woshou][gouyin][baoquan][aixin][bangbangtang][xiaoyanger][xigua][hexie][pijiu][lanqiu][juhua][hecai][haobang][caidao][baojin][chi][dan][kulou][shuai][shouqiang][yangtuo][youling]
代码

请输入代码：

确认
图片
    只看作者
    • 头像xuexi0
      大佬厉害了
      中国安徽宿州 电信2年前回复

当前时间

2022年-新年倒计时

-895 天 -22 时 -26 分 -6 秒
点击在线投稿 投稿邮箱：945049914@qq.com 交流 QQ：945049914