全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

还是在今年5月份,百度就跳出来,宣布成为国内首个支持https的搜索引擎,结果呢?呵呵...

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

一、案例

①、抓取诊断

全站开启并强制https之后,在百度站长平台使用抓取诊断发现,其实百度并不会识别强制跳转的301状态,至少不会友好的反馈给用户:

抓取并没有出现跳转提示:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

其实,后台日志显示是正常的301跳转:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

②、真是打脸

2017年05月25日更新:偶尔进入站长平台看了一把,居然给我博客自动做了https认证,然后去百度搜索site了一把我的网站,基本已全部换成了https,看来百度对https的收录已全面展开!全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

百度发公告说,已全面支持https,并推荐各个网站开启https,得到优先展示,结果呢?

我们先百度site一下www.baidu.com,然后复制收录里面的链接:

http://www.baidu.com/link?url=f3Fbk5cL6W_Hz0jtf6JY991vn1teNTzZ1WBHaqnOmCO&wd=&eqid=aab2bf1f0009872d000000055687e679

然后用网页内容抓取工具看下百度收录自己的是什么:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

真是呵呵了,自己收录自己的也是http,说好的https呢?你5月份就发公告支持了,这大半年了自己对自己的收录都没更新过来,何况其他网站??

其实,要看百度对自己的收录是否是https还有一种更简单的方法:直接在百度搜索https://www.baidu.com即可:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

再次呵呵下。。。

③、配套设施缺憾

百度搜索确实是全站启用了https,可你的配套设施呢??搞了半天,也就是百度搜索支持了https,百度的其他产品几乎都不支持!

比如,做网站喜欢用到的百度分享,不支持https,还得自行处理【相关文章】;

比如,大部分网站的经济来源,百度广告不支持https,搞个蛋哟;

还好,百度统计还能凑合用下,不是那么一无是处。。。

二、正能量

国内各个搜索引擎都看了下,结果意外的发现搜狗居然已经正常收录我博客的https了:

全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?

其他基本都未收录,而国外的几个搜索引擎基本不用看,换https数日之后就全局替换成https收录了,而且目测给了更好的排名,比如谷歌、必应等。

百度一直以来都是蜗牛般的反应,真不知是技术不行还是故意设置的?百度的索引服务器再多能多过谷歌?全局刷新一下感觉如登天一般麻烦!

三、解决

吐槽了那么多,还是来说说如何缓解一下各种不支持的窘迫吧!

支持https的有:谷歌、必应、搜狗、百度(持怀疑态度)以及用户

不支持的有:    360、神马(宜搜)以及百度(有待验证)等

那我们全站强制https就行不通了,必须对这些来路做规则判断,然后针对性的跳转或不跳转才行。

只分享下Nginx的做法,其他就自行参考研究吧!

①、http和https不在同一个server模块的做法:

Ps:分别监听80和443端口是大部分网站的做法。

在监听80的server模块中添加如下规则:

②、http和https在同一个server模块的做法(注意修改实际域名):

最后,重载或重启nginx即可生效。

简单解释下:若不是百度、360或神马蜘蛛进行的http协议请求,将全部跳转到https。即强制https对360、百度、神马开了白名单模式,不强制跳转。规则是通用的,你可以把第一条规则中的UA标识换成任意不想强制跳转的请求源。

时间有限,就分享这么多了,希望各大搜索引擎尽快兼容https,希望百度搜索的联动反应能快点,而且不行就别再打肿脸充胖子,要对得起国内搜索第一的地位!


2016/01/05 内容补充:早上看到了WP酷的分享,才拍脑袋想起还有XP系统不支持SNI,导致网页无法打开,所以上述新增的规则可以改成如下代码:

场景①适用:

场景②适用:


2016/01/09 内容补充[推荐使用]突然想到,既然要兼容那些不支持的请求者,那么当请求到https时,是不是应该跳回http呢?

比如,使用XP系统访问到了http,我们可以不跳转到https,但我们全站都是改造成https的,所以页面内的链接都是https的,那他进一步还是不能访问!

所以,继续加规则,如果是特殊用户,则强制http访问:

①、http和https不在同一个server模块的做法:

Ps:分别监听80和443端口是大部分网站的做法。

在监听80的server模块中添加如下规则:

②、http和https在同一个server模块的做法(注意修改实际域名):

最后,重载或重启nginx即可生效。

发表评论

gravatar

:?::razz::sad::evil::!::smile::oops::grin::eek::shock::???::cool::lol::mad::twisted::roll::wink::idea::arrow::neutral::cry::mrgreen:

刷新评论

目前评论:38   其中:访客  34   博主  4

  1. aunsen 4 来自天朝的朋友 火狐浏览器 Windows 10 陕西省安康市旬阳县 联通

    OMG!真是杠上了!垃圾百毒!!!!!!!!!!!!!!!!!!!!!!!!!!!

  2. 李阳博客 2 来自天朝的朋友 谷歌浏览器 Windows 7 北京市 光环新网

    百度一向如此,只顾NIP却不管收录质量,广告类的网页收录蛮快的。
    Google收录最慢也是一天,心情好的时候几小时就收录了。所以如果Google进入中国,百度搜索必死无疑~
    不过360的搜索我个人比较看好,收录速度比百度快一点。

  3. 中国淋浴房著名品牌 1 来自天朝的朋友 谷歌浏览器 Windows 7 广东省佛山市 电信

    支持一下!

  4. 香港服务器 2 来自天朝的朋友 谷歌浏览器 Windows 7 重庆市 电信

    全站启用SSL之后,兼容不支持https抓取的搜索引擎,这个好像很多站长都需要给,可谓是干货

  5. 夏日博客 5 来自天朝的朋友 谷歌浏览器 Windows 7 北京市 电信通

    还是喜欢 http,不喜欢加个 s。

  6. themebetter 3 来自天朝的朋友 谷歌浏览器 Windows 8.1 河南省驻马店市 电信

    看来博主真是被百度坑了一把!

  7. AdOnCn 3 来自天朝的朋友 谷歌浏览器 Windows 7 广东省广州市 电信

    很好,感谢!

  8. Cyyzaid 0 来自天朝的朋友 谷歌浏览器  MI 4LTE Build/MRA58K 福建省三明市 电信

    VC云大法好2333 我和你是同一个vc云节点的(逃) 也就顺便来串个门 顺便问下 可以换个友链吗。https://cyyzaid.cn 我的小站2333

  9. 叶疯子博客 2 来自天朝的朋友 谷歌浏览器 Windows 7 广东省河源市 移动

    写得很有深度~~

  10. 微部落博客 4 来自天朝的朋友 谷歌浏览器 Windows 7 江苏省常州市 电信

    这个活儿真是折腾,感觉不想折腾了,百度也好,360也好,实在是坑

  11. 实用网址导航 5 来自天朝的朋友 搜狗浏览器 Windows 7 重庆市 电信

    那么多大网站都还没有搞,所以就没必要那么急着去折腾了,目前都还没有完全普及。

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Windows 7 广东省广州市 电信

      确实是这样,不过喜欢折腾的朋友可以先行,后面跟上的人就不用再走弯路。

  12. 每天签到赚10元 2 来自天朝的朋友 谷歌浏览器 Windows 7 河北省石家庄市 电信

    不错不错

  13. 叶疯子博客 2 来自天朝的朋友 谷歌浏览器 Windows 7 广东省河源市龙川县 移动

    路过~~瞧瞧~~

  14. 实用导航 5 来自天朝的朋友 重庆市 电信

    咦,我的评论没了。还有你回复评论时,邮箱会收到两份通知。

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Mac OS X 10_11_2 广东省深圳市 电信

      沙发就是你的评论,没丢啊。。。你这眼神。。。
      邮箱发2份现在应该没了吧。

  15. 包子 3 来自天朝的朋友 火狐浏览器 Windows 10 四川省成都市 电信

    博主,你那个文章小标题下划线怎么弄的??

  16. 瑾瑜 4 来自天朝的朋友 谷歌浏览器 Windows 10 安徽省合肥市 中国科学技术大学

    百度,磨磨唧唧惯了……

  17. MM186 0 来自天朝的朋友 火狐浏览器 Windows 7 四川省成都市 电信

    关于对百度的Https的吐槽,也说也了我的心声!!!
    百度分享、百度联盟、还有百度的链接推送(JS版的),都不支持https。。

  18. 网赚博客 1 来自天朝的朋友 谷歌浏览器 Windows 7 山东省聊城市 联通

    百度的算法比较复杂可能会慢些

  19. 午夜读书 1 来自天朝的朋友 谷歌浏览器 Windows 7 湖北省宜昌市 联通

    百度是故意的吧 我的网站上线一个月了只收录一个首页

  20. 西贝博客 2 来自天朝的朋友 Safari浏览器 Mac OS X 10_10_5 北京市 星光数据中心IDC机房

    最近发现很多都加密了

  21. IMwenlu 2 来自天朝的朋友 搜狗浏览器 Windows 7 湖南省益阳市 电信

    我用的php虚机,用了伪静态规则来跳转

  22. 小超 0 来自天朝的朋友 谷歌浏览器 Windows 7 海南省 电信

    不错,支持支持,为什么https://www.zhangge.net/不解析呢?是不是别有用意呀,求博主赐教

  23. 匿名 0 来自天朝的朋友 谷歌浏览器 Windows 8.1 广东省佛山市三水区 电信

    0签到成功!签到时间:上午11:56:51,每日签到,生活更精彩哦~

  24. 同盟源 5 来自天朝的朋友 谷歌浏览器 Windows 10 安徽省芜湖市 电信

    直接用UA判断跳转

  25. PolarBear 1 来自天朝的朋友 谷歌浏览器 Windows 10 黑龙江省绥化市 联通

    不错,收藏了,以后会有用的。

  26. 小超 4 来自天朝的朋友 谷歌浏览器 Windows 7 海南省三亚市 电信

    张戈博主,今天发现其实不是百度该打脸的并不是site:https://www.baidu.com,而是他根本就是完全匹配,不是查询路径,比方说http://www.baidu.com也是收录不到的,嘻嘻,有一个问题很好奇,现在百度已经支持https收录了,统计代码已经出来了,为什么要修改回http呀?

  27. biebb 2 来自天朝的朋友 谷歌浏览器 Windows 10 四川省成都市 电信

    下面是我的配置文件,帮看看哈

    • biebb 2 来自天朝的朋友 谷歌浏览器 Windows 10 四川省成都市 电信

      不好意思张戈,还是我个人的问题。。。帮忙把上面的评论删了吧,谢谢

  28. onlineage 0 来自天朝的朋友 谷歌浏览器 Windows 7 福建省龙岩市 (新罗区/武平县)电信

    全站ssl后 百度快照 302到原网页 智能摘要也抓不到图片了 啥情况

  29. 笑你马勒隔壁 1 来自天朝的朋友 谷歌浏览器 Windows 10 湖南省长沙市 联通

    请问,我今天花了一千多块在百度云加速开通了专业版的服务,目的就是为了一个一键实现HTTPS,就是来取个经,是不是掏钱了就什么都不用管了?

  30. 明月登楼 5 来自天朝的朋友 谷歌浏览器 Windows 10 河南省南阳市 电信

    从来没有指望SSL能给我带来多大的收录量提升!我纯粹就是为了折腾而折腾。如果不支持SSL那就无视!我不能永远跟落伍的在一个起跑线上!

  31. 涂红伟 0 来自天朝的朋友 火狐浏览器 Windows 10 浙江省杭州市 电信

    现在百度已经开始收录了https,我的博客启用https后强制 http 301重定向 https 目前已经有部分收录的链接更新为https,百度的响应确实和google bing比不了,那些在我启用https后几天内完成了大部分链接的更新,百度花了几个月才慢慢更新。

    • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Mac OS X 10_11_3 广东省深圳市 电信

      确实,刚去站长平台看了下,居然自动给我博客做了https认证,site已全部换成https了,看来已全面支持。

      • boke112导航 2 来自天朝的朋友 谷歌浏览器 Windows 7 广西南宁市 电信

        好像Robots工具暂不支持https站点,是不是说HTTPS站点就不需要使用Robots.txt了???

        • 张戈 [博主] 来自天朝的朋友 QQ浏览器 Windows 7 广东省广州市 电信

          应该只是测试工具不支持https,实际蜘蛛的抓取还是会先探测robots内容。

  32. haha233 0 来自天朝的朋友 谷歌浏览器 Windows 8.1 北京市 联通

    博主好,我们网站只有M站做了https,PC站没有做,但是现在百度收录的pc端链接却是https的链接,是百度抓取到M站就默认全部都做了https吗?

加载中,请稍候...