首页 新闻资讯南山网站建设

南山网站建设


各搜索引擎蜘蛛介绍-南山网站建设

2018-08-11    223 次访问   

搜索引擎蜘蛛是搜索引擎的一个自动程序口它的作用是访问互联网上的网

页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站

的网页、图片、视频等内容。一般用法为“spider+URL”,后面的URL(网址)

是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服

务器的日志里是否有该URL,同时还能查看来的时间、频率等…

    (1)百度蜘蛛:可以根据服务器的负载能力调节访问密度,大大降低服务器

的服务压力。根据以往的经验百度蜘蛛通常会过度重复地抓取同样的页面,导致

其他页面无法被抓取到而不能被收录。这种情况可以采取robots协议的方法来

调节。百度蜘蛛的用法如下:

    B aiduspider+(+http://www.baidu.com/search/spider.htm)

    (2)谷歌蜘蛛:谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右

就派出“蜘蛛’’检索有更新或者有修改的网贞。与百度蜘蛛最大的不同点是谷歌

蜘蛛的爬取深度要比百度蜘蛛多一些。其用法如下:

    Mozilla/5 .O(compatible; Googlebot/2 .l;+http://www.goo gle.com/bot.html)

    (3)雅虎中国蜘蛛:如果某个网站在谷歌网站下没有很好的收录,在雅虎下

也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大,但平均的效率不是很高,相

应的搜索结果质量不高,其用法如下:

    Mozilla/5.0 (compatible; Yahoor SLurp China, htltp.//misc.yahoo.com.cn)’help.html)

    (4)雅虎英文蜘蛛:雅虎英文蜘蛛的用法与中文蜘蛛不同,其用法如下:

Mozilla/5.0 (compatible; Yahoo! SLurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

    (5)微软必应蜘蛛:必应与雅虎有着深度的合作关系,所以基本运行模式和

雅虎蜘蛛差不多,其用法如下:

    msnbot/l.l (+http://search.msn.com/msnbot,htm)

    (6)搜狗蜘蛛:搜狗蜘蛛的爬取速度比较快.抓取的数量比起速度来说稍微

少点。搜狗蜘蛛最大的特点是不抓取robot.text文件,其用法如下:

    Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07

    (7)搜搜蜘蛛:搜搜早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也

会收录0 201 1年搜搜已经宣布采用自己的独立搜索技术,但搜搜蜘蛛的特性和谷

歌蜘蛛的特点还是有着相似的地方,其用法如下:

    Sosospider+(+http://help.soso.com/webspider.htm)

(8)有道蜘蛛:和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能

将其收录。爬行原理也是通过链接之间的爬行,其用法如下:

    Mozilla/5.O(compatible, YodaoBot/l.0; http://www,yodao,com/hclp/wcbmaster/ spider/;)