你知道百度蜘蛛来过我们的网站吗?然后你可以使用网站日志来分析蜘蛛是否来过,并搜索那些页面,什么时候来过,以及如何使用蜘蛛日志分析的意义?
一、什么是网站日志?
网站日志是通过工具或Excel分析蜘蛛是否来过表格等类似工具,可以从工具中分析的网站日志查看。一般来说,我们都使用它ftp工具,网站日志均为空间商会给你提供下载地址。一般是在weblog在文件中,我们可以直接从网站上获取日志文件。网站日志每天生成一次,但对于网站大、网站内容多的,可以设置每小时生成一次。
二、如何分析网站日志
123.125.71.51 – –[22/Dec/2017:19:44:33 0800]“GET /seoxs/242.html HTTP/1.1” 200 7942 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; http://www.chengduseo.cn/search/spider.html)
以上代码是我从自己的空间下载的日志,现在和大家一起分析一下,具体意思如下:
111.206.221.110:访问IP
[22/Dec/2017:19:44:38 0800]:具体时间访问:
GET /seoxs/242.html HTTP/1.1:表示蜘蛛抓住这个链接http://www.chengduseo.cn/seoxs/242.html(GET表示服务器动作)
200:表示正常访问
7942:表示7942字节
后面的代码就是表示移动端系统,没什么意义,主要是知道蜘蛛抓取页面需要多长时间,Baiduspider这是百度蜘蛛的全名。
三、网站日志代码识别
200 – 服务器成功返回网页
404- 请求网页不存在
503 – 服务器暂时不可用
500 – 服务器错了
既然你知道如何分析网站日志,蜘蛛也抓取了相应的连接,所以抓取能包括吗?这只能说是一个多收录的机会。还有很多原因,比如文章内容抄袭太多,可以看我之前的文章(站内文章不收录的原因是什么?这只能说是一个多收录的机会。还有很多原因,比如文章抄袭太多,可以看我之前的文章(站内文章不收录的原因是什么?),相信你的文章质量会大大提高,也会促进收录!
我要优化(加QQ客服第一时间和你对接)
已有 1826 企业通过我们找到了合作项目