百度爬虫是什么
百度爬虫(Baidu crawler)是一种网络机器人，可以按照一定的规则在各种网站上爬行，对访问过的网页、图片、视频等进行收集和排序。分类建立数据库，并呈现在搜索引擎上，让用户可以看到网页、图片、视频等。通过搜索特定的关键词。
一般来说，它可以访问、抓取和整理互联网上的各种内容，从而建立分类索引数据库，让用户通过搜索引擎百度在互联网上找到自己想要的信息。其主要工作是发现、抓取、保存、分析和参与网站。我们做的所有网站优化都是让爬虫抓取并收集网站。
一、爬行的原则
百度爬虫访问网页就像用户浏览浏览器一样。访问请求被发送到页面，然后服务器返回页面的HTML代码。将接收到的HTML代码输入搜索引擎的原始网页数据库。
二、如何爬行
为了提高百度爬虫的工作效率，一般采用多蜘蛛并行分布爬虫。分布式爬行分为深度优先和广度优先两种模式。深度学习优先：爬，直到没有找到链接。宽度优先：这个页面上的链接全部爬完之后，继续沿着第二个页面爬。
唐山快照优化
