1月16日 · 2025年
FastTTS：支持私有化部署和源阅读无缝对接的语音合成服务
760 11 0
8月17日 · 2022年
gRPC开发过程中遇到的问题记录
3118 39 4
8月3日 · 2022年
SQLAlchemy因密码含有@符号连接MySQL失败
3095 14 0
6月17日 · 2022年
Flyer：基于FastAPI的轻量级API开发框架
3756 6 0
3月18日 · 2022年
APISIX高级路由之301/302跳转配置
3532 10 0
3月1日 · 2022年
解决paramiko使用invoke_shell交互式命令超时问题
5364 6 1
2月25日 · 2022年
分享一个APISIX网关返回502的典型案例
2465 7 1
12月23日 · 2021年
解决百度搜索出现安全中心提醒
1865 27 4
12月12日 · 2021年
APISIX运维优化之解决长尾请求（耗时抖动）问题
3588 11 0
7月16日 · 2014年
替换WordPress默认搜索为百度站内搜索(知更鸟主题可照搬)
1732 6 58
9月11日 · 2014年
神马搜索推出开放平台，致力于移动互联网
1669 0 12
3月20日 · 2014年
搞毛线！测试iframe跨域自适应失败了！
3052 0 24
脚本编程阅读更多
最近实在太忙，没时间研究和折腾，所以也没有什么可以分享到博客的。果然，个人博客坚持原创太不不容易了。张戈博客上线2年多，从1天多更，到一天1更、一周一更，直到现在2星期可能有一更的节奏。。。好了，废话不说了。翻了翻在工作上的印象笔记，发现还是有一些存货可以分享的。挺久之前，组内新申请了一批开发测试机，需要部署环境。除了一些常见的软件要安装之外，还有一个我之前很少用到的Samba。... 由于电信宽带和谐了443端口，近期我花了不少时间折腾了下近半年都没瞅一眼的博客。经过一番折腾（详见前文），博客总算可以运行在家里的NAS上，整体部署方案如下：图1. 张戈博客部署架构图一、预缓存从上图可以看到，由于中间用于代理转发的腾讯云CDN和阿里云CDN都是没有缓存的，如果CloudFlare的缓存过期，将需要绕过多层链路回源获取网页内容，相比速度就会慢很多。所以，需... 最近一直在开发自动化运维发布平台，底层命令行、文件通道主要基于paramiko模块，使用过程中遇到各种各样的问题，本文主要用于收集问题及解决记录，以备后续使用。一、Error reading SSH protocol banner连接错误这个关键词，在百度、谷歌一搜一大把的提问，也有少部分给出了解决方案，但是最终都无法解决，我经过不断尝试和解读paramiko源码，终于搞定了这个问题，在此... ![]()
申明：以下内容大部分搜集于网络，由个人整理成更容易理解的简明教程！一、原理阐述在linux下可以用几个最基本的命令制作一个自解压的程序。其原理是：利用cat 命令可以将两个文件连起来（用>>追加也能达到同样效果），前一个文件是shell脚本，负责执行解压和安装；后一个文件是一个压缩包。把这两个文件通过cat连接成一个新的可执行文件，前面是解压程序,后面是压缩包，当你执行... 
博客前些时间分享过一次vps远程备份到七牛的工具，全傻瓜式交互操作，但也有一个很大的缺憾，那就是不够灵活，在无人干预的情况下，无法完成对多个站点的远程备份设置。这次博客搬家到vps后，张戈花了点时间完善了下，实现了多站点，多数据库的本地七天循环备份和同步备份至七牛云存储的脚本。一、类型说明①、七天循环备份受服务器空间制约，我们不可能在VPS上每天都备份一份新的网站数据，... 
张戈博客很久以前分享过一个CC攻击的防御脚本，写得不怎么样，不过被51CTO意外转载了。博客从此走上了经常被人拿来练手的不归之路。当然，还是有不少朋友在生产环境使用，并且会留言询问相关问题。根据这些问题的需求，我花了一些时间重新写了一个比较满意的轻量级CC攻击防御脚本，我给它取了一个比较形象的名字：CCKiller，译为CC终结者。一、功能申明分享之前我必须先申明... 
多年没写过批处理了，来新公司的第一个case却是需要写一个bat脚本，批量更新采集agent的配置文件，其中就涉及到远程IP的端口检测。本以为会和Linux一样可以简单判断：echo q|telnet -e \'q\' $ip $port && echo "$ip:port 通"||echo "$ip:port 不通"结果发现Windows下面telnet退出并没有执行... 最近新来的实习生小伙子在重构一个我入职时开发的老系统，这个系统之前用的是Python twisted框架开发的，这次重构希望可以换到FastAPI，也就是我上一篇文章分享的Flyer开发框架。小伙子很给力，花了几天自学了下FastAPI和Flyer就开始开发了，结果用Flyer框架的时候，连接MySQL报错如下：sqlalchemy.exc.OperationalError: (... ![]()
今天上午，同事叫我帮他看下他正在写的脚本到底哪里出了问题，执行总是达不到预期功能。于是ssh连过去看能否发现问题，经过多次Debug定位与排除，问题终于得到解决。 同事在网上down了一个脚本菜单模板，想把我们已经存在的功能脚本整合到一起，做成多功能的Linux运维工具。目前已经添加了挺多功能，而早上才添加的一个抓取高占用CPU的Java线程功能时出现了无法出现交互界面的问题...
6月25日 · 2016年
巧用echo命令解决Samba批量添加用户难题
6143 35 19
2月8日 · 2020年
网站预缓存工具，提升网站整体加载速度
6803 73 0
6月16日 · 2017年
Python远程控制模块paramiko遇到的问题及解决记录
5933 32 17
12月23日 · 2013年
Shell下制作自解压安装包,实现脚本的简单加密
5650 5 1
8月31日 · 2014年
Linux/vps本地七天循环备份和七牛远程备份脚本
10546 14 45
9月28日 · 2015年
CCKiller：Linux轻量级CC攻击防御工具，秒级检查、自动拉黑和释放
21652 228 259
7月1日 · 2015年
Windows下bat批处理脚本使用telnet批量检测远程端口小记
12272 23 21
8月3日 · 2022年
SQLAlchemy因密码含有@符号连接MySQL失败
3095 14 0
2月26日 · 2014年
菜单式Shell运维脚本调试小记
3774 10 7
操作系统阅读更多
如果硬盘可能会出现锁死或坏道的故障，会造成SHELL命令的失效，包括 reboot，powoff,，shutdown，用正常的命令是没法完成重启的。执行这些命令，会出现如下IO报错：# rebootbash: /sbin/reboot: Input/output error# shurdown -r nowbash: /sbin/shutdown: Input/output... ![]()
这几天温习下Linux基础知识，基础里面较为薄弱的知识点我会在这里记录一下，以便回头查看Linux下的文件除了权限属性，还有一些隐藏属性，必须使用lsattr来显示，如下所示：[root@localhost ~]# lsattr test ------------- test结果中第一列是13个短横杆，其中每一个横杆都是一个属性，如果当前位置上设置了该属性就会显示相... 概述：网络管理是基础运维中一个很重要的工作，在看似平静的网络运行中，其实暗流汹涌，要保证业务系统稳定运行，网络运维者必须要了解网络的流量状态、各个网段的使用情形，带宽的利用率、网络是否存在瓶颈等，同时，当网络发生故障时，必须能够及时发现问题，迅速定位问题，进而解决问题，这就需要一些网络监测工具的辅助，本节将介绍一款小巧但功能很强大的网络实时流量监测工具iftop。一、iftop概述ifto... 
今天第一天上班，发现新公司也是用的最熟悉的SecureCRT终端。领到自己的办公电脑后，第一件事就是下载并安装了SecureCRT 7.1。并设置了以前最喜欢的配色（下文会有介绍）。公司的web软件用的是rensin，以前还真没怎么接触过，仔细拜读了前辈写的超级精简的一套部署教程，发现完全可以写一个懒人脚本一键搞定，于是动手写脚本，顺便进一步熟悉下resin。写了一半发现以前熟悉的... 本文记录2种因 /etc/mtab 文件异常导致 df 命令显示异常、分区丢失问题的解决过程，以备后用。一、根目录丢失前些日子，同事在RTX群里问大家，有台服务器执行 df -h 看不到根目录，该如何解决？[root@10.207.126.12:~]# df -hFilesystem Size Used Avail Use% Mounted onudev... 
公司推Win7了，作为IT部门，铁定是先行测试的小白鼠。于是先给我们安装了Win7工作环境。一直以来，除了服务器，普通办公PC的管理员都是被桌面运维部收管的，其他IT部门使用的都是普通AD账号。对于我这样喜欢折腾测试软件的人来说，没有管理员权限是很痛苦的一件事情！还未推广Win7时，我就用了这个获取System权限的办法，变相的取得管理员权限，而网域监测系统却不会报警。废话不多说，直接上菜... 本系列文章一共三篇，分别为《脚本编程与Linux命令》、《接入层与网络基础》和《 MySQL 与 SQL 优化》，由腾讯高级工程师 luaruan(阮永顺) 原创、张戈博客整理分享，如有勘误请在博客留言。希望对需要学习、面试Linux运维的同学有所帮助。$1 入参，空值时默认赋值技巧variable=${1:-"default value"} # 当未传参时，赋默认值。echo... 
今天突然发现项目更新脚本在拉代码的时候抛出了一个如下错误：svn: E155004: Working copy \'/home/svn/***/trunk/staticfiles\' locked.svn: E155004: \'/home/svn/***/trunk/staticfiles\' is already locked.svn: run \'svn cleanup\' to remov... 
用户发来反馈，使用部门Windows跳板机报错：The remote session was disconnected because there are no Remote Desktop License Servers available to provide a license.Please contact the server administrator，最后发现是微软RDP远程桌面套件的一个BUG，可通过安装微软补丁或修改注册表来解决，本文简单记录分享下解决过程...... 本文列出了10个基础的每个Linux用户都应该知道的网络和监控命令。网络和监控命令类似于这些： hostname, ping, ifconfig, iwconfig, netstat, nslookup, traceroute, finger, telnet, ethtool 用于查看linux服务器ip地址，管理服务器网络配置，通过 telnet 和ethernet建立与linux之间的网络链接...
11月4日 · 2014年
硬盘故障时如何强制关机：Input/output error
6938 15 42
1月14日 · 2014年
Linux基础知识之文件隐藏属性
5747 9 0
9月29日 · 2014年
Linux网络实时流量监测工具iftop的安装使用
7975 14 1
6月16日 · 2014年
解决SecureCRT的vim中为下划线而无高亮问题，附最佳护眼配色方案。
11662 7 23
8月6日 · 2016年
Linux系统 df 命令显示异常、分区丢失问题解决
12962 27 21
3月10日 · 2014年
Windows 7下获取System权限
1831 2 0
10月26日 · 2018年
Linux运维基础技能： 脚本编程与Linux命令
4518 15 16
12月21日 · 2014年
[svn: E155004]svn update报database is locked错误的解决办法
2342 12 20
4月6日 · 2017年
远程桌面报错解决：No Remote Desktop License Servers Available
9684 25 26
3月24日 · 2014年
Linux：10个实用的网络和监控命令
4362 8 13
WEB应用阅读更多
昨天在公司微信群，CTO分享了这个消息，对运维来说以后基于TCP协议的后端业务的高可用又多了一个新的选择，实在是棒极了！一直以来，Nginx 并不支持tcp协议，所以后台的一些基于TCP的业务就只能通过其他高可用负载软件来完成了，比如Haproxy。这算是一个nginx比较明显的缺憾。不过，在1.90发布后这个认知将得到改写：2015-04-28ngin... 
最近我在负责一个统一接入层的建设项目，涉及到Haproxy和ospf的运维部署，本文分享一下我在部署Haproxy之后整理的运维部署规范，并实现了Haproxy的多配置文件管理方案。一、部署安装1、下载源码包最新stable版本下载地址：http://www.haproxy.org/download/1.7/src/haproxy-1.7.9.tar.gz2、编译安装tar z... 最近一直在帮一个购买了张戈博客付费服务的朋友做网站防护，为了简单抵挡一下竞争对手的DDoS攻击，他给网站开启了Incapsula的免费CDN服务。开启CDN之后，我之前给他写的Shell防护脚本也就宣告无效了，因为不管是正常访问还是攻击访问，脚本拿到的IP都是CDN节点的，而我不可能把CDN的节点IP也给禁用了，那就都不能访问了。为了解决这个窘迫，我想到了以前看过的Nginx访问限... 
这是我上一家公司的案例总结，发现躺在草稿箱好几个月了，今天得空就整理发布一下。先说一下开发那边提来的2个case：①、同一个域名需要反向代理到前台和后台（不同机器和端口）；②、需要采用IP+端口的模式，嵌入到APP作为DNS污染后的备选方案。对于第①个问题，很好解决：通过区分二级目录来反代不同的节点即可，所以代码类似如下：server { li... 自从APISIX网关推广使用以来，在我们部门已经有很多生产业务接入使用。有一天被拉进了一个问题群，被告知APISIX网关性能有问题，整体表现还不如之前的ZUUL网关。纳尼？APISIX性能再怎么不济也不至于比ZUUL差吧？废话少说，直接上手弄了个串行请求对比测试了一下生产环境的APISIX网关和ZUUL网关，结果大跌眼镜！正常情况下，APISIX的耗时都优于ZUUL网关，但是AP... 概述我们经常会听到“不会开发的运维不是个好运维”，确实在运维工作当中，娴熟的开发经验能让运维工作如鱼得水，事半功倍！高级的运维除了需要精通Shell脚本编程之外，最好还需要掌握一门高级语言，比如Python、Golang、PHP、Lua等。高级语言除了可以解决一些更复杂的运维场景，还可以帮助我们更好的理解业务，做好业务运维，毕竟知己知彼才能百战不殆。经常看到很多运维同学写接口通常... 
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）（最新补充：宜搜蜘蛛已被UC神马搜索收购！所以本文已去掉宜搜蜘蛛的禁封！==>相关文章)。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛... 
做过面向公网WEB运维的苦逼们肯定见识过各种恶意扫描、拉取、注入等图谋不轨行为吧？对于直接对外的WEB服务器，我们可以直接通过 iptables 、 Nginx 的deny指令或者是程序来ban掉这些恶意请求。而对于套了一层 CDN 或代理的网站，这些方法可能就失效了。尤其是个人网站，可能就一台VPS，然后套一个免费的CDN就行走在互联网了。并不是每个CDN都能精准的拦截各种恶意请求的，更... 
很多业务系统都用到了Haproxy这个高性能反向代理负载均衡器。在日常运维当中，Haproxy后端节点的上（接入）、下（剔除）线操作绝对是家常便饭，而且人工重启的时候经常有胆颤心惊的感觉。下面分享一种命令行操作Haproxy后端节点平滑上下线的技巧。一、新增配置Haproxy自带了一个非常实用的管理页面，我们可以在harpxoy.cfg新增如下配置，开启Haproxy监控管理页面功... ![]()
博客建站已过2个月了，大部分文章总是在记录博客的折腾史，估计大部分喜欢折腾的博主都有这样的时期吧！现在博客基本算是定型稳定，是时候写点与主题相关的博文了，否则，不知道的还以为我这是WP折腾博客呢！这几天，老大发新年任务了，把新技术的研究就交给了我，其中又一项就是Jboss的集群。说实话，对于Jboss，我真的谈不上熟练，因为长期都在管理Tomcat平台。揽到这个任务，我倒也非常高兴，终于可以... 
最近在折腾网站XSS漏洞修复的时候，当我把XSS漏洞和谐成功之后，360扫描送来了一个"彩蛋"： 本以为又是360误报，结果点击看了下，还真能打开PHPinfo：PHP彩蛋我也是第一次听说，貌似老一辈的程序员们都知道，因为PHP是由黑客语言发展而来，所以各方面都透露着放荡不羁的极客精神！一、如何触发PHP彩蛋？我们只要在运行PHP的服务器上，在域名后面输入... ![]()
上午共享的那个varnish安装手册，个人看了下，有点不知所云，好吧~看来还是先安装玩玩！苦逼公司服务器没法连外网，不能用什么wget或yum命令直接下载安装，每每看到别人博客贴出的在线安装代码时，总有一股羡慕嫉妒“恨”冒了出来。。。好吧，既然没法上外网，那只能麻烦点通过下载源码来编译安装了！Varnish 3.0.4下载地址： http://repo.varnish-cache....
4月29日 · 2015年
Nginx发布1.9.0版本，新增支持TCP代理和负载均衡的stream模块
1975 53 10
9月2日 · 2017年
Haproxy安装部署文档及多配置文件管理方案
4318 21 8
12月29日 · 2014年
Nginx在CDN加速之后，获取用户真实IP做并发访问限制的方法
18628 24 12
7月22日 · 2015年
Nginx通过二级目录（路径）映射不同的反向代理，规避IP+端口访问
7550 81 9
12月12日 · 2021年
APISIX运维优化之解决长尾请求（耗时抖动）问题
3588 11 0
6月17日 · 2022年
Flyer：基于FastAPI的轻量级API开发框架
3756 6 0
9月25日 · 2014年
服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站
4459 39 67
4月24日 · 2016年
Nginx网站使用CDN之后禁止用户真实IP访问的方法
14566 24 49
2月24日 · 2018年
Haproxy进阶管理：命令行控制后端节点上下线
1832 11 11
2月18日 · 2014年
LVS中采用Jboss作为RealServer的配置要点
1118 0 6
1月13日 · 2015年
PHP彩蛋还是漏洞？expose_php彩蛋的触发和屏蔽方法
5373 2 4
3月13日 · 2014年
HTTP加速器varnish安装小记(1)
4025 3 32
