神馬Spider是神馬訪問互聯(lián)網(wǎng),自動化抓取網(wǎng)頁的程序。Spider抓取下網(wǎng)頁,建立索引,使用戶可通過搜索引擎搜索到互聯(lián)網(wǎng)上的資源。
2. 神馬Spider的user-agent及ip地址
user-agent,是http協(xié)議中的一個屬性,代表了終端的身份。神馬Spider的user-agent為:Yisouspider,因為歷史原因此user-agent名稱將會繼續(xù)使用。
神馬Spider的ip地址是一組ip池,會動態(tài)變,因此不在此列舉。
3. 神馬Spider的網(wǎng)站訪問頻率
神馬會根據(jù)網(wǎng)站的規(guī)模、服務(wù)能力、頁面質(zhì)量、更新速度等因素來決定對網(wǎng)站的訪問頻率。通常質(zhì)量高、網(wǎng)頁更新快的網(wǎng)站神馬spider訪問的頻率相對會高,以保證高質(zhì)、時效的能夠展現(xiàn)給用戶。
4. 神馬spider如何發(fā)現(xiàn)西部數(shù)碼頁
神馬spider發(fā)現(xiàn)西部數(shù)碼頁的方式有多種,最典型的是在已發(fā)現(xiàn)的網(wǎng)頁中分析超鏈關(guān)系,選取url并抓取,如此不斷拓展,盡可能多的抓取到有價值的網(wǎng)頁。另外,神馬會從dns服務(wù)商處獲取西部數(shù)碼站域名,能夠及時抓取到新建網(wǎng)站。
5. 關(guān)于robots協(xié)議
robots.txt是搜索引擎訪問網(wǎng)站是要訪問的第一個文件,以確定哪些網(wǎng)頁是允許或禁止抓取的。神馬搜索遵守互聯(lián)網(wǎng)robots協(xié)議,如您希望完全禁止神馬訪問或?qū)Σ糠帜夸浗乖L問,您可以通過robots.txt文件來設(shè)置內(nèi)容,限定神馬Spider的訪問權(quán)限。
robots.txt必須放在網(wǎng)站根目錄下,且文件名要小寫。
具體的寫法:
1) 完全禁止神馬Spider抓取:
User-agent: Yisouspider
Disallow: /
2) 禁止神馬spider抓取指定目錄
User-agent: Yisouspider
Disallow: /update
Disallow: /history
禁止抓取update、history目錄下網(wǎng)頁
6. 神馬Spider是否會造成帶寬負擔(dān)
神馬Spider有規(guī)范的抓取流程,同時也會考慮網(wǎng)站的忙閑時段來抓取,因此不會給網(wǎng)站造成帶寬負擔(dān)。
以上就是對神馬Spider是什么?神馬Spider介紹的全部介紹,如果你想了解更多seo知識,請關(guān)注西部數(shù)碼網(wǎng)。
?
西部數(shù)碼(west.cn)是經(jīng)工信部、ICANN、CNNIC認證的全球頂級域名注冊服務(wù)機構(gòu),是中國五星級域名注冊商!有超過2000萬個域名通過西部數(shù)碼注冊并管理,超過100萬個網(wǎng)站托管在西部數(shù)碼云服務(wù)器和虛擬主機。西部數(shù)碼支持數(shù)十個頂級域名的注冊與管理,支持批量查詢、批量注冊、批量解析、智能解析、批量過戶等便捷好用的功能,擁有非常好的使用體驗。
目前,西部數(shù)碼域名注冊正在特價,最低僅需1元!
更多詳情請見:http://ps-sw.cn/services/domain/
西部數(shù)碼域名搶注預(yù)定,支持搶注各類高價值老域名,支持“建站歷史、百度收錄、百度權(quán)重、歷史外鏈、百度評價、搜狗反鏈”等綜合檢索功能,共計26項!可快速精準(zhǔn)定位到您想要定位到的各類精品域名!同時,西部數(shù)碼域名搶注集成了全球多個搶注商(近200個搶注商,還將陸續(xù)增加),整理出13條搶注通道,從根本上提升了搶注成功率!
其中,1號通道,實測搶注成功率高達99% 。每天西部數(shù)碼預(yù)釋放功能還會釋放若干優(yōu)質(zhì)過期域名,可以直接搶注競拍。
趕緊預(yù)訂搶注心儀的優(yōu)質(zhì)域名吧:http://ps-sw.cn/booking/