什么是搜索引擎和搜索引擎蜘蛛?
我在实操第一课讲搜索引擎的基本工作原理的时候,会告诉新人什么是搜索引擎,然后再讲什么是搜索引擎蜘蛛。所以,我们在这里再说一遍。主要类别如下:
1、根据国内外分
国内:百度、搜狗、360、神马(UC)、头条等。国外:谷歌、必应、雅虎、yandex等。
2.分为个人电脑和移动终端
个人电脑:谷歌,必应,雅虎,百度,搜狗,360
手机:神马,头条
个人电脑移动有:谷歌、必应、雅虎、百度、搜狗
当然,除了上面说的一般搜索引擎,唐山网站建设也有一些垂直搜索引擎。比如搜索图书馆的斗鼎网,搜索工作的专业朋友集等等。
什么是搜索引擎蜘蛛?
这里的[蜘蛛]不是现实生活中的蜘蛛。我们只是使用搜索引擎抓取每个网页的内容。我们称它为蜘蛛。
如何识别百度搜索引擎蜘蛛?
其实很多新SEO同学很少接触到搜索引擎蜘蛛,甚至百度蜘蛛也不一定会接触到。就算接触了,也不知道是不是。为什么?因为很多SEO新人没有分析网站日志,所以没看到。
如果你分析过网站日志,应该看过baiduspider。
目前百度UA(简称useragent)分为三种应用场景:移动、PC、小程序。这三个渠道UA如下:
移动UA:
Mozilla/5.0(Linux;u;Android 4 . 2 . 2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)版本/5.1MobileSafari/10600.6.3
(兼容;baiduspider/2.0;
http://www.baidu.com/search/spider.html)
或者
Mozilla/5.0(iPhone;CPUiPhoneOS9 _ 1 likemacosx)apple WebKit/601 . 1 . 46(KHTML,喜欢Gecko)版本/9.0 Mobile/13B143 Safari/601.1(兼容;baiduspider-render/2.0;http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0(兼容;baiduspider/2.0;
http://www.baidu.com/search/spider.html)
或者
Mozilla/5.0(兼容;baiduspider-render/2.0;
http://www.baidu.com/search/spider.html)
Widget UA:
Mozilla/5.0(iPhone;CPUiPhoneOS9 _ 1 likemacos X)apple WebKit/601 . 1 . 46(KHTML,喜欢Gecko)版本/9.0 Mobile/13B143 Safari/601.1(兼容;baiduspider-render/2.0;Smartapphttp://www.baidu.com/search/spider.html)
如果UA信息不正确,可以直接判断为不是百度搜索的蜘蛛。对于日志分析,可以在文末看到相关的推荐文章。
网站的HTTP状态码是什么意思?有哪些?
网站的HTTP状态码是一个3位数的代码,用来表示web服务器的超文本传输协议的响应状态。