Nginx网站使用CDN之后禁止用户真实IP访问的方法

做过面向公网WEB运维的苦逼们肯定见识过各种恶意扫描、拉取、注入等图谋不轨行为吧?对于直接对外的WEB服务器,我们可以直接通过 iptables 、 Nginx 的deny指令或者是程序来ban掉这些恶意请求。

而对于套了一层 CDN 或代理的网站,这些方法可能就失效了。尤其是个人网站,可能就一台VPS,然后套一个免费的CDN就行走在互联网了。并不是每个CDN都能精准的拦截各种恶意请求的,更闹心的是很多CDN还不支持用户在CDN上添加BAN规则,比如腾讯云CDN。。。

因此,就有了本文的折腾分享。

一、真假难辨

如何禁止访问,我们先了解下常见的3种网站访问模式:

①、用户直接访问对外服务的普通网站

浏览器 --> DNS解析 --> WEB数据处理 --> 数据吐到浏览器渲染展示

 

②、用户访问使用了CDN的网站

浏览器 --> DNS解析 --> CDN节点 --> WEB数据处理 --> 数据吐到浏览器渲染展示

 

③、用户通过代理上网访问了我们的网站

浏览器 --> 代理上网 --> DNS解析 --> 上述2种模式均可能

对于第一种模式,我要禁止这个用户的访问很简单,可以直接通过 iptables 或者 Nginx的deny指令来禁止均可:

iptabels:

iptables -I INPUT -s 用户ip -j DROP

 

Nginx的deny指令:

语    法:     deny address | CIDR | unix: | all;

默认值:     —

配置段:     http, server, location, limit_except

顺   序:从上往下

Demo:

location / {

deny 用户IP或IP段;

}

但对于后面2种模式就无能为力了,因为iptables 和 deny 都只能针对直连IP,而后面2种模式中,WEB服务器直连IP是CDN节点或者代理服务器,此时使用 iptable 或 deny 就只能把 CDN节点 或代理IP给封了,可能误杀一大片正常用户了,而真正的罪魁祸首轻轻松松换一个代理IP又能继续请求了。

那该怎么办?

二、火眼金睛

如果长期关注张戈博客的朋友,应该还记得之前转载过一篇分享Nginx在CDN加速之后,获取用户真实IP做并发访问限制的方法。说明Nginx还是可以实实在在的拿到用户真实IP地址的,那么事情就好办了。

要拿到用户真实IP,只要在Nginx的http模块内加入如下配置:

那么,$clientRealIP 就是用户真实IP了,其实就是匹配了 $http_x_forwarded_for 的第一个值,具体原理前文也简单分享过:

其实,当一个 CDN 或者透明代理服务器把用户的请求转到后面服务器的时候,这个 CDN 服务器会在 Http 的头中加入一个记录

X-Forwarded-For :  用户IP, 代理服务器IP

如果中间经历了不止一个代理服务器,这个记录会是这样

X-Forwarded-For :  用户IP, 代理服务器1-IP, 代理服务器2-IP, 代理服务器3-IP, ….

可以看到经过好多层代理之后, 用户的真实IP 在第一个位置, 后面会跟一串中间代理服务器的IP地址,从这里取到用户真实的IP地址,针对这个 IP 地址做限制就可以了。

而且代码中还配合使用了 $remote_addr,因此$clientRealIP 还能兼容上文中第①种直接访问模式,不像 $http_x_forwarded_for 在直接访问模式中将会是空值!

所以,$clientRealIP 还能配置到 Nginx 日志格式中,替代传统的 $remote_addr 使用,推荐!

三、隔山打牛

既然已经拿到了真实IP,却不能使用 iptables 和 deny 指令,是否无力感油然而生?

哈哈,在强大的 Nginx 面前只要想得到,你就做得到!通过对 $clientRealIP 这个变量的判断,Nginx就能实现隔山打牛的目的,而且规则简单易懂:

把这个保存为 deny_ip.conf ,上传到 Nginx 的 conf 文件夹,然后在要生效的网站 server 模块中引入这个配置文件,并 Reload 重载 Nginx 即可生效:

如果再想添加其他要禁止的IP,只需要编辑这个文件,插入要禁止的IP,使用分隔符 | 隔开即可,记得每次修改都需要 reload 重载 Nginx才能生效。

四、奇淫巧计

为了更方便的添加和删除这些黑名单IP,昨晚熬夜写了一个小脚本,一键添加和删除,懒人有福了!

使用方法:

①、根据实际情况修改第9、10行 Nginx 二进制文件及其deny配置文件路径

②、然后将此脚本保存为 deny_ctrl.sh 上传到服务器任意目录,比如放到 /root

③、给脚本赋予可执行权限:chmod +x deny_ctrl.sh 即可使用

④、使用参数:

Usage: deny_ctrl.sh [OPTIONS]

OPTIONS:

-h | --help : 显示帮助信息

-a | --add : 添加一个黑名单IP, 例如: ./deny_ctrl.sh -a 192.168.1.1

-c | --create : 初始化创建一个禁止IP的配置文件,需要自行include 到需要的网站server模块

-d | --del : 删除一个黑名单IP,例如: ./deny_ctrl.sh -d 192.168.1.1

-s | --show : 显示当前已拉黑IP清单

初次使用,先执行  ./deny_ctrl.sh -c 创建一下 Nginx 相关配置文件:deny_ip.conf,默认内容如下:

8.8.8.8 是为了占位,规避为空的坑爹情况,实际使用中也请注意,必须要有一个IP占位,否则可能导致误杀哦!

生成这个文件之后,编辑网站对应的配置文件,比如 zhangge.net.conf

在 server {} 模块内部插入 include deny_ip.conf;  (注意有英文分号)即可

比如:

最后,使用nginx -s reload 重载nginx即可。

后面需要添加黑名单或删除黑名单都可以使用 deny_ctrl.sh 脚本来操作了!

Nginx网站使用CDN之后禁止用户真实IP访问的方法

最后,顺便说明一下,本文分享的方法仅作为使用CDN网站遇到恶意IP的一种手工拉黑方案。而自动化限制的方案可以参考博客之前的分享:

Nginx在CDN加速之后,获取用户真实IP做并发访问限制的方法

好了,本文分享到此,希望对你有所帮助。

发表评论

gravatar

:?::razz::sad::evil::!::smile::oops::grin::eek::shock::???::cool::lol::mad::twisted::roll::wink::idea::arrow::neutral::cry::mrgreen:

刷新评论

目前评论:47   其中:访客  38   博主  9

  1. 香港虚拟主机 3 来自天朝的朋友 谷歌浏览器 Windows 7 重庆市 电信

    怎么没多少人发现这篇文章呢?阅读量好少的样子,难道是博主更新太少了

    • 奋斗之路 1 来自天朝的朋友 谷歌浏览器 Windows 7 湖北省荆州市 电信

      浓缩才是精华!博主分享的都是精品啊。哈哈

  2. 小C博客 4 来自天朝的朋友 QQ浏览器 Windows 7 浙江省金华市 电信

    这个暂时不需要!!

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Windows 7 广东省广州市 电信

      :arrow: 不需要就不需要嘛,搞得这么强调语气干嘛呢?

  3. 律通律师软件 1 来自天朝的朋友 谷歌浏览器 Windows 7 福建省泉州市 电信

    学习了,还是挺有用处的。

  4. 柒月网络 1 来自天朝的朋友 谷歌浏览器 Windows 10 广东省广州市 电信

    好久没来看看了,这个不错;比较方便。

  5. 静松太极拳 3 来自天朝的朋友 谷歌浏览器 Windows 7 广西南宁市西乡塘区 电信

    网做大 可能要用到,收存先

  6. 静松太极拳 3 来自天朝的朋友 谷歌浏览器 Windows 7 广西南宁市西乡塘区 电信

    访了几十个博友 这里点评 网速好快啊 超爽

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Mac OS X 10_11_3 广东省深圳市 电信

      欢迎常来

  7. 好文推荐 4 来自天朝的朋友 谷歌浏览器 Windows 10 广东省广州市 联通

    张哥这边都是技术笔记啊

  8. test 0 来自天朝的朋友 谷歌浏览器 Windows 7 河南省郑州市 联通

    你好,博客内容真不错!

  9. 技术宅 4 来自天朝的朋友 火狐浏览器 Windows 7 江苏省南京市玄武区 畅艺网络服务中心(仙鹤门仙鹤茗苑)

    博主咋取消SSL了呢?

    • 张戈 [博主] 来自天朝的朋友 Safari浏览器  Android 5.1.1 Redmi Note 3 Build/LMY47V 广东省深圳市 电信

      收录不好,小人太多,CDN流量一天被恶意拉取了70GB

  10. 点思博客 2 来自天朝的朋友 QQ浏览器 Windows XP 山东省青岛市 联通

    博主不随便分享一但分享出来的都是干货啊!

  11. leejon 2 来自天朝的朋友 火狐浏览器 Windows 7 广西南宁市 电信

    测试了一下:
    1. bash deny_ctrl.sh -c
    deny_ctrl.sh: line 8: $’\r’: command not found
    deny_ctrl.sh: line 11: $’\r’: command not found
    deny_ctrl.sh: line 15: $’\r’: command not found
    deny_ctrl.sh: line 19: syntax error near unexpected token $'\r''
    'eny_ctrl.sh: line 19:
    show_help()
    2.手动添加后:
    [ ok ] Stopping Nginx Server…:.
    [….] Starting Nginx Server…:nginx: [emerg] unknown “clientrealip” variable
    . ok
    然后不久后nginx熄火,配置名deny_ip.conf,不知道哪里出问题。

    • 张戈 [博主] 来自天朝的朋友 Safari浏览器  Android 5.1.1 Redmi Note 3 Build/LMY47V 广东省深圳市 电信

      编码问题哦,别用记事本保存代码。
      需要用unix格式,建议使用vim编辑,回头我弄个下载安装吧,

  12. 洋洋洋博客 1 来自天朝的朋友 QQ浏览器 Windows 7 山东省 电信

    路过学习学习 支持作者 支持原创 支持博主 请大家关注一下我 洋洋洋博客 谢谢

  13. 雷霆网 0 来自天朝的朋友 Internet Explorer Windows 7 浙江省金华市 电信

    博主是腾讯运维工程师,网站运行2年,权重就如此之高,实在是大师级人物。

  14. 连衣裙 1 来自天朝的朋友 谷歌浏览器 Windows 7 北京市 星光数据中心IDC机房

    代码太多,看不懂,只能崇拜!!

  15. 寻金笔记 3 来自天朝的朋友 谷歌浏览器 Windows 7 广东省深圳市 电信

    学习一下,签到成功!签到时间:下午2:13:45,每日签到,生活更精彩哦~

  16. 一席博客 1 来自天朝的朋友 谷歌浏览器 Windows XP 河北省廊坊市 电信

    太专业 我是来留链接的 一席博客 寻友链呼唤 yixi.info

  17. 巴力迅猛龙 1 来自天朝的朋友 谷歌浏览器 Windows 7 浙江省温州市 电信

    谢谢分享 五一劳动节快了 欢迎回访

  18. 海猴子 1 来自天朝的朋友 谷歌浏览器 Windows 10 四川省成都市 电信

    为什么把https给停掉了啊?

  19. 海猴子 1 来自天朝的朋友 谷歌浏览器 Windows 10 四川省成都市 电信

    为什么把https给停掉了啊

  20. huipc 0 来自天朝的朋友 谷歌浏览器 Windows 7 湖北省黄冈市 电信

    学习一下,博主真心技术流呀~签到成功!签到时间:下午3:27:29,每日签到,生活更精彩哦~

  21. 洋洋洋博客 1 来自天朝的朋友 QQ浏览器 Windows 7 山东省 电信

    虽然看到的不太明白 只怪自己学艺不精 该努力了 支持博主 欢迎回访洋洋洋博客

  22. 孟子非博客 3 来自天朝的朋友 谷歌浏览器 Windows 7 广东省珠海市 电信

    签到成功!签到时间:下午10:42:15,每日签到,生活更精彩哦~

  23. 姥姥语录 1 来自天朝的朋友 谷歌浏览器 Windows 7 广西贵港市 电信

    喜欢你分享的文章 实在

  24. 刷百度手机下拉 2 来自天朝的朋友 谷歌浏览器 Windows XP 浙江省嘉兴市 电信

    这个niginx 用到的不多,不过还是要多多了解

  25. 威客网 1 来自天朝的朋友 谷歌浏览器 Windows 7 广西南宁市 联通

    学习一下

  26. wwek 1 来自天朝的朋友 谷歌浏览器 Windows 10 广西柳州市 广西视虎科技有限公司

    非常感谢`

  27. zym 0 来自天朝的朋友 谷歌浏览器 Windows 7 广东省广州市番禺区 电信

    很好!
    不过在删除IP的时候,deny_ctrl.sh -d 123.123.123.123 之后,会出现一个文件deny_ip.confe

  28. 成都卫校 3 来自天朝的朋友 QQ浏览器 Windows 7 四川省成都市 联通

    谢谢博主分享 不错的文章。

  29. 网上教育在线 1 来自天朝的朋友 谷歌浏览器 Windows 7 江西省 联通

    希望博主快点更新吧

  30. John_in_two 0 来自天朝的朋友 谷歌浏览器 Windows 7 北京市 方正宽带

    在nginx 那个模块 (http那个模块?) 加入配置。

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Windows 7 广东省广州市 电信

      把这个保存为 deny_ip.conf ,上传到 Nginx 的 conf 文件夹,然后在要生效的网站 server 模块中引入这个配置文件,并 Reload 重载 Nginx 即可生效:

      仔细看下文章

  31. 路人 1 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 联通

    看了博主之前的文章,受益匪浅。问个问题,为何不直接用HTTP_X_REAL_FORWARDED_FOR 这个来获取真实IP呢?HTTP_X_REAL_FORWARDED_FOR有弊端?另外我的思路是把你上篇教程里面改进了下,只限制特定UA下面的IP的并发数与连接数,把监测到的非法的访问都丢到503里面去,同时把503的日志单独生成,然后写个脚本每隔几分钟找出503日志里面重复出现的IP,同时自动生成黑名单,直接include到nginx.conf,这样黑名单里面的IP再次访问就直接拒绝。

    • 张戈 [博主] 来自天朝的朋友 Safari浏览器  Android 5.1.1 Redmi Note 3 Build/LMY47V 广东省 电信

      https://segmentfault.com/q/1010000002409659/a-1020000002409699
      我真没见过你说的这个头变量。。。百度了下就只有一个X-REAL-IP
      文章的方法也只适合少量黑名单,我试过,如果ip过多,nginx会报字符串太长的错误。

      • 路人 1 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 联通

        http://help.yunaq.com/faq/67/%E4%BD%BF%E7%94%A8%E7%9F%A5%E9%81%93%E5%88%9B%E5%AE%87%E4%BA%91%E5%AE%89%E5%85%A8%E5%90%8E%E5%A6%82%E4%BD%95%E8%8E%B7%E5%8F%96%E8%AE%BF%E5%AE%A2%E7%9C%9F%E5%AE%9Eip.html
        这里有说明几个变量的区别。

        • 张戈 [博主] 来自天朝的朋友 Safari浏览器  Android 5.1.1 Redmi Note 3 Build/LMY47V 广东省广州市 电信

          你这个是CDN自己定义的头部参数,不全部适用。

  32. 不落的太阳 1 来自天朝的朋友 火狐浏览器 Windows 7 辽宁省沈阳市 电信

    博主,你好,我是Nginx新手,想请教几个问题。
    1.$firstAddr这个是Nginx的内置变量吗?可以直接引用?~^(?P[0-9\.]+),?.*$ $firstAddr;这个表达式不是很理解
    2.map $http_x_forwarded_for $clientRealIp {
    “” $remote_addr;
    ~^(?P[0-9\.]+),?.*$ $firstAddr;
    }执行这段脚本需要给Nginx打额外的补丁吗?

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Windows 7 广东省广州市 电信

      新一点的版本都支持map指令了。

  33. kx 1 这家伙可能用了美佬的代理 火狐浏览器 Windows XP 美国 特拉华州dupont公司

    不能添加ip段

  34. kx 1 这家伙可能用了美佬的代理 火狐浏览器 Windows XP 美国 特拉华州dupont公司

    并不能添加ip段

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Windows 7 广东省广州市 电信

      只能模糊匹配前三段(192.169.1),无法识别完整的IP段

  35. 胡歌网摘 4 来自天朝的朋友 谷歌浏览器 Windows 7 江西省景德镇市 电信

    用百度cdn后,$clientRealIP还是获取到节点的ip

  36. ludou 2 来自天朝的朋友 谷歌浏览器  Mi-4c Build/LMY47V 海南省海口市 电信

    使用cdn后fail2ban还能正常使用吗?

加载中,请稍候...