佛山網站建設、佛山網站優化、佛山SEO 咨詢熱線:18923197528當前位置: 主頁 > 網絡推廣 > 百度推廣 >
推薦內容
聯系我們
電話咨詢:18923197528
E-mail:[email protected]
地址:佛山軟件產業園8棟6樓

baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測

作者/整理:易騰科技 來源:www.foshanseo.cn 2019-07-27

baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。佛山網站優化小編為你整理分享baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。

我們經常在網站日志中看到各種爬蟲抓取記錄,最常見的就是百度蜘蛛等搜索引擎,以百度為例,通常我們判斷是否是百度蜘蛛抓取看用戶代理字符串也就是User-Agent,但是User-Agent是可以模擬的,所以很多時候也會有虛假的模擬偽裝成百度蜘蛛來抓取,這時候我們就需要學會分辨真偽。

搜素引擎蜘蛛

首先是百度User-Agent代理字符串,百度官方公布的有如下User-Agent:

移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移動UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

需要注意的是百度新增了一個移動的User-Agent,和一個PC的User-Agent。我們知道了百度蜘蛛的User-Agent,如何正確識別和判斷某條抓取是否是真實的百度蜘蛛。

如何識別百度蜘蛛

1、首選我們需要通過關鍵詞找User-Agent中是否包含Baiduspider;

2、如果想區分移動和PC的蜘蛛的話,我們還需要在結果中再進行關鍵詞過濾,移動端的User-Agent包含:Android 、iPhone、Mobile等三個中至少一個。

3、通過上述操作我們可以分辨出哪些抓取是百度蜘蛛抓取,但并不能分辨真偽。

判斷百度蜘蛛真偽

1、驗證百度蜘蛛真偽我們一般使用的是DNS反查IP的方式來進行判斷,首選我們需要找到上述抓取記錄中蜘蛛的IP。

真百度蜘蛛

假百度蜘蛛

2、以windows操作系統為例,開始運行中輸入cmd 彈出窗口中輸入 nslookup (上述IP地址),判斷百度蜘蛛的真偽,真是百度蜘蛛結果中會返回以*.baidu.com 或*.baidu.jp 的格式命名hostname,如不包含則為假百度蜘蛛。

3、也可使用本站提供的在線百度蜘蛛真偽查詢工具,鏈接地址在本文頂部。

baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。佛山網站優化小編為你整理分享baiduspider,baiduspider也有真假,百度蜘蛛Baiduspider以及真偽檢測,如何正確識別百度蜘蛛Baiduspider以及真偽檢。