全站启用SSL之后,如何兼容不支持https抓取的搜索引擎?
还是在今年 5 月份,百度就跳出来,宣布成为国内首个支持 https 的搜索引擎,结果呢?呵呵...
一、案例
①、抓取诊断
全站开启并强制 https 之后,在百度站长平台使用抓取诊断发现,其实百度并不会识别强制跳转的 301 状态,至少不会友好的反馈给用户:
抓取并没有出现跳转提示:
其实,后台日志显示是正常的 301 跳转:
②、真是打脸
2017 年 05 月 25 日更新:偶尔进入站长平台看了一把,居然给我博客自动做了 https 认证,然后去百度搜索 site 了一把我的网站,基本已全部换成了 https,看来百度对 https 的收录已全面展开!
百度发公告说,已全面支持 https,并推荐各个网站开启 https,得到优先展示,结果呢?
我们先百度 site 一下 www.baidu.com,然后复制收录里面的链接:
http://www.baidu.com/link?url=f3Fbk5cL6W_Hz0jtf6JY991vn1teNTzZ1WBHaqnOmCO&wd=&eqid=aab2bf1f0009872d000000055687e679
然后用网页内容抓取工具看下百度收录自己的是什么:
真是呵呵了,自己收录自己的也是 http,说好的 https 呢?你 5 月份就发公告支持了,这大半年了自己对自己的收录都没更新过来,何况其他网站??
其实,要看百度对自己的收录是否是 https 还有一种更简单的方法:直接在百度搜索 https://www.baidu.com 即可:
再次呵呵下。。。
③、配套设施缺憾
百度搜索确实是全站启用了 https,可你的配套设施呢??搞了半天,也就是百度搜索支持了 https,百度的其他产品几乎都不支持!
比如,做网站喜欢用到的百度分享,不支持 https,还得自行处理【相关文章】;
比如,大部分网站的经济来源,百度广告不支持 https,搞个蛋哟;
还好,百度统计还能凑合用下,不是那么一无是处。。。
二、正能量
国内各个搜索引擎都看了下,结果意外的发现搜狗居然已经正常收录我博客的 https 了:
其他基本都未收录,而国外的几个搜索引擎基本不用看,换 https 数日之后就全局替换成 https 收录了,而且目测给了更好的排名,比如谷歌、必应等。
百度一直以来都是蜗牛般的反应,真不知是技术不行还是故意设置的?百度的索引服务器再多能多过谷歌?全局刷新一下感觉如登天一般麻烦!
三、解决
吐槽了那么多,还是来说说如何缓解一下各种不支持的窘迫吧!
支持 https 的有:谷歌、必应、搜狗、百度(持怀疑态度)以及用户 不支持的有: 360、神马(宜搜)以及百度(有待验证)等
那我们全站强制 https 就行不通了,必须对这些来路做规则判断,然后针对性的跳转或不跳转才行。
只分享下 Nginx 的做法,其他就自行参考研究吧!
①、http 和 https 不在同一个 server 模块的做法:
Ps:分别监听 80 和 443 端口是大部分网站的做法。
在监听 80 的 server 模块中添加如下规则:
server
{
listen 80;
server_name xxx.com;
root /data/xxx.com;
#在此新增如下规则:
#若UA不匹配百度、360、神马,则跳转到https(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "BaiduSpider|360Spider|YisouSpider") {
rewrite ^(.*)$ https://$host$1 permanent;
}
#其他略...
}
#监听443的server无需改动
server {
listen 443 ssl http2;
#其他略
②、http 和 https 在同一个 server 模块的做法(注意修改实际域名):
server
{
listen 80;
listen 443 ssl;
ssl_certificate /usr/local/nginx/ssl/zhangge.net.crt;
ssl_certificate_key /usr/local/nginx/ssl/zhangge.net.key;
ssl_session_timeout 5m;
ssl_protocols SSLv3 TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers HIGH:!ADH:!EXPORT56:RC4+RSA:+MEDIUM;
server_name zhangge.net;
#在此新增如下规则:
#如UA不匹配百度、360、神马,则设置变量为y(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "BaiduSpider|360Spider|YisouSpider") {
set $ssl "y";
}
#若请求协议是http,则继续将变量增量赋值es
if ($scheme = 'http' ) {
set $ssl "${ssl}es";
}
#若变量值为yes,即命中上述2个条件,则跳转到https
if ( $ssl = "yes" ) {
rewrite ^(.*)$ https://$host$1 permanent;
}
#以下略...
最后,重载或重启 nginx 即可生效。
简单解释下:若不是百度、360 或神马蜘蛛进行的 http 协议请求,将全部跳转到 https。即强制 https 对 360、百度、神马开了白名单模式,不强制跳转。规则是通用的,你可以把第一条规则中的 UA 标识换成任意不想强制跳转的请求源。
时间有限,就分享这么多了,希望各大搜索引擎尽快兼容 https,希望百度搜索的联动反应能快点,而且不行就别再打肿脸充胖子,要对得起国内搜索第一的地位!
2016/01/05 内容补充:早上看到了 WP 酷的分享,才拍脑袋想起还有 XP 系统不支持 SNI,导致网页无法打开,所以上述新增的规则可以改成如下代码:
场景①适用:
#若UA不匹配百度、360、神马,则跳转到https(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "Windows NT 5.1|Windows NT 5.2|BaiduSpider|360Spider|YisouSpider") {
rewrite ^(.*)$ https://$host$1 permanent;
}
场景②适用:
#如UA不匹配百度、360、神马,则设置变量为y(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "Windows NT 5.1|Windows NT 5.2|BaiduSpider|360Spider|YisouSpider") {
set $ssl "y";
}
#若请求协议是http,则继续将变量增量赋值es
if ($scheme = 'http' ) {
set $ssl "${ssl}es";
}
#若变量值为yes,即命中上述2个条件,则跳转到https
if ( $ssl = "yes" ) {
rewrite ^(.*)$ https://$host$1 permanent;
}
2016/01/09 内容补充[推荐使用]:突然想到,既然要兼容那些不支持的请求者,那么当请求到 https 时,是不是应该跳回 http 呢?
比如,使用 XP 系统访问到了 http,我们可以不跳转到 https,但我们全站都是改造成 https 的,所以页面内的链接都是 https 的,那他进一步还是不能访问!
所以,继续加规则,如果是特殊用户,则强制 http 访问:
①、http 和 https 不在同一个 server 模块的做法:
Ps:分别监听 80 和 443 端口是大部分网站的做法。
在监听 80 的 server 模块中添加如下规则:
server
{
listen 80;
server_name xxx.com;
root /data/xxx.com;
#在此新增如下规则:
#若UA不匹配百度、360、神马,则跳转到https(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "Windows NT 5.1|Windows NT 5.2|BaiduSpider|360Spider|YisouSpider") {
rewrite ^(.*)$ https://$host$1 permanent;
}
#其他略...
}
#监听443的server无需改动
server {
listen 443 ssl;
ssl_certificate /usr/local/nginx/ssl/zhangge.net.crt;
ssl_certificate_key /usr/local/nginx/ssl/zhangge.net.key;
ssl_session_timeout 5m;
ssl_protocols SSLv3 TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers HIGH:!ADH:!EXPORT56:RC4+RSA:+MEDIUM;
server_name zhangge.net;
#在此新增如下规则:
#若UA匹配到百度、360、神马、XP系统等不支持请求,则跳转到http(若需要加入更多,请以分隔符隔开)
if ($http_user_agent ~* "Windows NT 5.1|Windows NT 5.2|BaiduSpider|360Spider|YisouSpider") {
rewrite ^(.*)$ http://$host$1 permanent;
}
#其他略
②、http 和 https 在同一个 server 模块的做法(注意修改实际域名):
server
{
listen 80;
listen 443 ssl;
ssl_certificate /usr/local/nginx/ssl/zhangge.net.crt;
ssl_certificate_key /usr/local/nginx/ssl/zhangge.net.key;
ssl_session_timeout 5m;
ssl_protocols SSLv3 TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers HIGH:!ADH:!EXPORT56:RC4+RSA:+MEDIUM;
server_name zhangge.net;
#在此新增如下规则:
#如UA不匹配百度、360、神马,则设置变量为y(若需要加入更多,请以分隔符隔开)
if ($http_user_agent !~* "Windows NT 5.1|Windows NT 5.2|BaiduSpider|360Spider|YisouSpider") {
set $ssl "y";
}
#若请求协议是http,则继续将变量增量赋值es
if ($scheme = 'http' ) {
set $ssl "${ssl}es";
}
#若变量值为yes,即命中上述2个条件,则跳转到https
if ( $ssl = "yes" ) {
rewrite ^(.*)$ https://$host$1 permanent;
}
# ==================== 以下为新增内容 =======================
#若UA匹配到不支持https的请求,则设置变量为n:
if ($http_user_agent ~* "Windows NT 5.1|Windows NT 5.2|BaiduSpider|360Spider|YisouSpider") {
set $ssl "n";
}
if ($scheme = 'https' ) {
set $ssl "${ssl}o";
}
#若变量值为no,即命中上述2个条件,则跳转到http
if ( $ssl = "no" ) {
rewrite ^(.*)$ http://$host$1 permanent;
}
#以下略...
最后,重载或重启 nginx 即可生效。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- CentOS 7中搭建NFS文件共享存储服务的完整步骤
- PHP检测一个数组有没有定义的方法步骤
- Yii2.0框架模型多表关联查询示例
- Yii2.0框架模型添加/修改/删除数据操作示例
- thinkphp5.1框架容器与依赖注入实例分析
- 在CentOS VPS上通过SSH安装 MySQL的办法图解
- 详解PHP 7.4 中数组延展操作符语法知识点
- linux下安装boost库的完整步骤记录
- Python图像处理二值化方法实例汇总
- 利用Python实现斐波那契数列的方法实例
- Python如何实现大型数组运算(使用NumPy)
- 因str_replace导致的注入问题总结
- laravel框架中间件 except 和 only 的用法示例
- 浅析Python 多行匹配模式
- PHP命名空间定义与用法实例分析