十年技術(shù)深耕細(xì)作
為您提供各行業(yè)互聯(lián)網(wǎng)私人定制開發(fā)解決方案
免費咨詢熱線15890197308
為您提供各行業(yè)互聯(lián)網(wǎng)私人定制開發(fā)解決方案
如何正確識別Baiduspider移動ua
新版移動ua:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
PC ua:
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
之前通過“+http://www.baidu.com/search/spider.html”進行識別的網(wǎng)站請注意！您需要修改識別方式，新的正確的識別Baiduspider移動ua的方法如下：
1. 通過關(guān)鍵詞“Android”或者“Mobile”來進行識別，判斷為移動訪問或者抓取。
2. 通過關(guān)鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。
另外需要強調(diào)的是，對于robots封禁，如果封禁的agent是Baiduspider，會對PC和移動同時生效。即，無論是PC還是移動Baiduspider，都不會對封禁對象進行抓取。之所以要強調(diào)這一點，是發(fā)現(xiàn)有些代碼適配站點（同一個url，PC ua打開的時候是PC頁，移動ua打開的時候是移動頁），想通過設(shè)置robots的agent封禁達到只讓移動Baiduspider抓取的目的，但由于PC和移動Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。
百度蜘蛛對于站長來說可謂上賓，可是我們曾經(jīng)遇到站長這樣提問：我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的？其實站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：
1、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
2、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
3、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
即便很多站長知道了如何判斷百度蜘蛛，仍然會不斷地問“百度蜘蛛IP是多少”。我們理解站長的意思，是想將百度蜘蛛所在IP加入白名單，只準(zhǔn)白名單下IP對網(wǎng)站進行抓取，避免被采集等行為。
但我們不建議站長這樣做。雖然百度蜘蛛的確有一個IP池，真實IP在這個IP池內(nèi)切換，但是我們無法保證這個IP池整體不會發(fā)生變化。所以，我們建議站長勤看日志，發(fā)現(xiàn)惡意蜘蛛后放入黑名單，以保證百度的正常抓取。
同時，我們再次強調(diào)，通過IP來分辨百度蜘蛛的屬性是非常可笑的事情，所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來都不存在的。
robots是站點與spider溝通的重要渠道，站點通過robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。
robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
"<field>:<optional space><value><optionalspace>"
在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,詳細(xì)情況如下：
User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設(shè)為*，則對任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
Disallow:該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。
Allow:該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。
使用"*"and"$"：Baiduspider支持使用通配符"*"和"$"來模糊匹配url。
"*" 匹配0或多個任意字符
"$" 匹配行結(jié)束符。
最后需要說明的是：百度會嚴(yán)格遵守robots的相關(guān)協(xié)議，請注意區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無法生效。
上面說了那么多理論，有沒有簡單對照表格告訴我，怎樣的需求場景下應(yīng)該怎樣撰寫robots文件？有的：
除robots外其它禁止百度收錄的方法Meta robots標(biāo)簽是頁面head部分標(biāo)簽的一種，也是一種用于禁止搜索引擎索引頁面內(nèi)容的指令。目前百度僅支持nofollow和noarchive
nofollow：禁止搜索引擎跟蹤本頁面上的鏈接
如果您不想搜索引擎追蹤此網(wǎng)頁上的鏈接，且不傳遞鏈接的權(quán)重，請將此元標(biāo)記置入網(wǎng)頁的<HEAD> 部分：<meta name="robots" content="nofollow">
如果您不想百度追蹤某一條特定鏈接，百度還支持更精確的控制，請將此標(biāo)記直接寫在某條鏈接上：<a href="signin.php" rel="nofollow">signin</a>
要允許其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁的鏈接，請將此元標(biāo)記置入網(wǎng)頁的<HEAD> 部分：<meta name="Baiduspider" content="nofollow">
noarchive：禁止搜索引擎在搜索結(jié)果中顯示網(wǎng)頁快照
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標(biāo)記置入網(wǎng)頁的<HEAD>部分：<meta name="robots" content="noarchive">
要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標(biāo)記：<meta name="Baiduspider" content="noarchive">
注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，百度會繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。
對于百度搜索引擎來說，蜘蛛黑洞特指網(wǎng)站通過極低的成本制造出大量參數(shù)過多、內(nèi)容類同但url不同的動態(tài)URL ，就像一個無限循環(huán)的“黑洞“，將spider困住。spider浪費了大量資源抓取的卻是無效網(wǎng)頁。
如很多網(wǎng)站都有篩選功能，通過篩選功能產(chǎn)生的網(wǎng)頁經(jīng)常會被搜索引擎大量抓取，而這其中很大一部分是檢索價值低質(zhì)的頁面。如“500-1000之間價格的租房”，首先網(wǎng)站（包括現(xiàn)實中）上基本沒有相關(guān)資源，其次站內(nèi)用戶和搜索引擎用戶都沒有這種檢索習(xí)慣。這種網(wǎng)頁被搜索引擎大量抓取，只能是占用網(wǎng)站寶貴的抓取配額，那么該如何避免這種情況呢？
我們以北京美團網(wǎng)為例，看看美團網(wǎng)是如何利用robots巧妙避免這種蜘蛛黑洞的：
對于普通的篩選結(jié)果頁，使用了靜態(tài)鏈接，如：
http://bj.meituan.com/category/zizhucan/weigongcun
同樣是條件篩選結(jié)果頁，當(dāng)用戶選擇不同排序條件后，會生成帶有不同參數(shù)的動態(tài)鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數(shù)也都是不同的。如：http://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekhttp://bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
對于美團網(wǎng)來說，只讓搜索引擎抓取篩選結(jié)果頁就可以了，而各種帶參數(shù)的結(jié)果排序頁面則通過robots規(guī)則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規(guī)則：Disallow: /*?* ，即禁止搜索引擎訪問網(wǎng)站中所有的動態(tài)頁面。美團網(wǎng)恰是通過這種方式，對spider優(yōu)先展示高質(zhì)量頁面、屏蔽了低質(zhì)量頁面，為spider提供了更友好的網(wǎng)站結(jié)構(gòu)，避免了黑洞的形成。
禁止百度圖片搜索收錄某些圖片的方法目前百度圖片搜索也使用了與百度網(wǎng)頁搜索相同的spider，如果想禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或允許Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過設(shè)置robots實現(xiàn)：
禁止Baiduspider抓取網(wǎng)站上所有圖片 | User-agent: Baiduspider |
僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片 | User-agent: Baiduspider |
僅禁止Baiduspider抓取.jpg格式圖片 | User-agent: Baiduspider |
Html狀態(tài)碼也是網(wǎng)站與spider進行交流的渠道之一，會告訴spider網(wǎng)頁目前的狀態(tài)，spider再來決定下一步該怎么做——抓or不抓or下次再來看看。對于200狀態(tài)碼大家已經(jīng)很熟了，那么我們來介紹幾種常見的失效網(wǎng)頁使用的狀態(tài)碼：
【404】404返回碼的含義是“NOT FOUND”，百度會認(rèn)為網(wǎng)頁已經(jīng)失效，那么通常會從搜索結(jié)果中刪除，并且短期內(nèi)spider再次發(fā)現(xiàn)這條url也不會抓取。
【503】503返回碼的含義是“Service Unavailable”，百度會認(rèn)為該網(wǎng)頁臨時不可訪問，通常網(wǎng)站臨時關(guān)閉，帶寬有限等會產(chǎn)生這種情況。對于網(wǎng)頁返回503，百度spider不會把這條url直接刪除，短期內(nèi)會再訪問。屆時如果網(wǎng)頁已恢復(fù)，則正常抓??；如果繼續(xù)返回503，短期內(nèi)還會反復(fù)訪問幾次。但是如果網(wǎng)頁長期返回503，那么這個url仍會被百度認(rèn)為是失效鏈接，從搜索結(jié)果中刪除。
【301】301返回碼的含義是“Moved Permanently”，百度會認(rèn)為網(wǎng)頁當(dāng)前跳轉(zhuǎn)至新url。當(dāng)遇到站點遷移，域名更換、站點改版的情況時，推薦使用301返回碼，盡量減少改版帶來的流量損失。雖然百度spider現(xiàn)在對301跳轉(zhuǎn)的響應(yīng)周期較長，但我們還是推薦大家這么做。
一些網(wǎng)站把未建好的頁面放到線上，并且這些頁面在被百度抓取的時候返回碼是404，于是頁面被百度抓取后會被當(dāng)成死鏈直接刪除。但是這個頁面在第二天或者過幾天就會建好，并上線到網(wǎng)站內(nèi)展現(xiàn)出來，但是由于之前已經(jīng)被百度當(dāng)做死鏈刪除，所以要再次等這些鏈接被發(fā)現(xiàn)，然后抓取才能展現(xiàn)，這樣的操作最終會導(dǎo)致一些頁面在一段時間內(nèi)不會在百度出現(xiàn)。比如某個大型門戶網(wǎng)站爆出大量新聞時效性很強的專題未被百度及時收錄的問題，經(jīng)檢查驗證后發(fā)現(xiàn)就是因為頁面未建成就放置在線上，并返回404狀態(tài)碼，被百度當(dāng)成死鏈刪除，造成收錄和流量損失。
對于這樣的問題，建議網(wǎng)站使用503返回碼，這樣百度的抓取器接到503返回碼后，會在隔一段時間再去訪問這個地址，在您的頁面建好上線后，就又能被重新抓取，保證頁面及時被抓取和索引，避免未建好的內(nèi)容設(shè)為404后帶來不必要的收錄和流量損失。
其它建議和總結(jié)：
1、如果百度spider對您的站點抓取壓力過大，請盡量不要使用404，同樣建議返回503。這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果那個時間站點空閑，那它就會被成功抓取了
2、如果站點臨時關(guān)閉或者頁面暫未建好上線，當(dāng)網(wǎng)頁不能打開時以及沒有建好時，不要立即返回404，建議使用503狀態(tài)。503可以告知百度spider該頁面臨時不可訪問，請過段時間再重試。
在百度site站點時，遇到“連通率為0”說明Baiduspider在訪問站點時發(fā)現(xiàn)了問題，該問題非常嚴(yán)重，如果Baiduspider持續(xù)一天時間無法訪問有可能給站點帶來災(zāi)難性的損失。
一、何謂連通率
既然為率，那么就是一個統(tǒng)計相關(guān)概念。我們不妨可以這樣理解一個網(wǎng)站的連通率：百度蜘蛛在抓取網(wǎng)站頁面的時候計算的一個概率，比如它抓取某網(wǎng)站中的N個頁面，這N個頁面都能打開并被蜘蛛成功抓取，這樣的連通率就是N/N=100%，反之蜘蛛抓取N個頁面有M個頁面能成功抓取，連通率就是M/N
這里先說明幾個常識：
1、不是網(wǎng)站被某算法懲罰而導(dǎo)致連通率為0，也不是網(wǎng)站流量下降而導(dǎo)致連通率數(shù)值很低；
2、連通率代表著百度蜘蛛獲取網(wǎng)站數(shù)據(jù)的情況，如果連通率數(shù)值很低或為0，那么可能連維持網(wǎng)站的正常收錄等都成問題；
3、假如網(wǎng)站被判定連通不了，那么如果讓一個連通不了的站點在百度中獲取排名，就會大大影響搜索用戶的體驗，于是百度就會采取對該站點有效引流的索引清除操作，一些站長就會發(fā)現(xiàn)自己的網(wǎng)站索引量突然大幅度下降，甚至索引被短暫清0了，接著就是網(wǎng)站百度搜索流量大幅度下降，這種突發(fā)性的事件又會造成站長們的揣測，以為自己的網(wǎng)站被百度懲罰了，其實站長們先應(yīng)該注意的是站點的連通情況。
二、提取核心詞
上述概念中，我們需要注意的幾個詞有：”百度蜘蛛”； ”在抓取”； ”N個頁面”； ”M個頁面”； ”都能打開并被成功抓取”。
三、連通率很低或為0時
我們抓住上述5個提取出的核心詞進行分析。
（一）百度蜘蛛
1、謹(jǐn)防百度蜘蛛訪問被操控或禁止
（1）由于百度蜘蛛的抓取量等原因?qū)σ恍┓?wù)器造成壓力，而這些網(wǎng)絡(luò)商或網(wǎng)站運營方從某利益角度考慮，無意或有意的屏蔽百度蜘蛛，導(dǎo)致部分或全部百度蜘蛛ip獲取不到網(wǎng)站數(shù)據(jù)；
（2）一些網(wǎng)站運營方或網(wǎng)絡(luò)商對蜘蛛進行區(qū)別對待，比如國外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數(shù)據(jù)，移花接木的手段層出不窮，而這個過程很可能造成百度蜘蛛的異常行為或異常狀態(tài)返回；
所以我們首先要確保百度蜘蛛的訪問有沒有被操控或禁止。
2、預(yù)防措施
（1）完善聯(lián)系方式獲得百度站長工具消息提醒
雖然一些網(wǎng)站異常情況會收到百度站長工具消息提醒，然而我想告訴大家不是所有自己站點異常都可以寄希望于消息提醒的，自己心里要知道連發(fā)郵件都可能出現(xiàn)收不到的情況，更何況各種復(fù)雜的異常情況，因此不要出問題了只會問“為什么站長工具沒有給我發(fā)消息”。
（2）利用抓取異常和抓取頻次工具觀察抓取情況
↓抓取異常工具的網(wǎng)址異常情況
↓抓取頻次工具的抓取統(tǒng)計情況
↓每個工具頁面的右側(cè)下方都有使用說明，如下
（3）抓取診斷工具是重中之重
為了保證網(wǎng)站對百度蜘蛛的穩(wěn)定訪問性能，日常我們需要養(yǎng)成定期抓取診斷的習(xí)慣，另外抓取診斷不是說光看看狀態(tài)是否“抓取成功”就行了。有下面幾步進行：
第一步：下拉選擇分”pc”、 ”移動”進行抓取，”pc”意味著一般意義上的電腦端訪問診斷，”移動”則是如手機、平板等移動設(shè)備端訪問診斷；
第二步：網(wǎng)站主要的引流頁，如首頁、詳情頁、內(nèi)容頁、專題頁等都要進行抓取，另外可以重點幾個時間段（比如網(wǎng)站高峰時間段）每天定期進行測試；
第三步：抓取失敗了，點擊”抓取失敗”查看提示信息，如果自己沒有技術(shù)能力解決問題，可以跟空間商進行溝通，然后向工具提交報錯；
第四步：抓取成功后，也不能說就萬事大吉了，還要點擊”抓取成功”進去注意：提交網(wǎng)址、抓取網(wǎng)址、抓取UA、網(wǎng)站ip、下載時長、頭部信息（服務(wù)器返回狀態(tài)碼、gzip等相關(guān)信息）、網(wǎng)頁源碼是否都正常。
特別說明：有很多站長就光注意抓取成功，卻不知網(wǎng)站ip可能并非自己的實際ip，被網(wǎng)絡(luò)商搞到哪里去了都不知道，還可能每隔一段時間都變。當(dāng)發(fā)現(xiàn)ip有問題，及時跟網(wǎng)絡(luò)商溝通，并在網(wǎng)站ip旁點擊“報錯”按鈕，百度會更新網(wǎng)站ip，但是切記不要ip變化頻繁。此外當(dāng)然還可能出現(xiàn)實際抓取網(wǎng)址、頭部信息、網(wǎng)頁源碼等都不是自己本來設(shè)置的。
（二）在抓取
這是反映百度蜘蛛在抓取時的狀態(tài)，百度的工具顯示的數(shù)值肯定都是抓取后計算出來的數(shù)據(jù)，因此任何工具的連通率數(shù)據(jù)必定存在延遲性，另外這個計算過程也存在一定可能的錯誤，所以我們看到任何工具中關(guān)于連通率的數(shù)據(jù)，不要說“我網(wǎng)站用抓取診斷等工具檢查訪問情況都好好的，為什么連通率還是0”，因此除了上述建議的多抓取診斷測試外，自己可以加些監(jiān)控網(wǎng)站連接狀態(tài)的措施，筆者本人就曾經(jīng)接收了不少關(guān)于網(wǎng)站連接不通的提醒。這時我會及時跟網(wǎng)絡(luò)商溝通，然后及時用抓取診斷檢查蜘蛛的情況。
（三）N個頁面與M個頁面
這N、M個頁面，可能百度蜘蛛很湊巧就趕上高峰的時候或者一些假死頁面（執(zhí)行時間較長，超過蜘蛛的耐心），那么M這個數(shù)值就會很低，統(tǒng)計概率的東西大家都懂的，那么這時網(wǎng)站的連通率依舊很低或為0。因此若連通率為0，我們還可以知道自己應(yīng)該注意查看訪問日志，及時清理死鏈，或者并發(fā)連接數(shù)增大，或者增加內(nèi)存等等。
（四）都能打開并被成功抓取
這里主要注意DNS和空間的穩(wěn)定性。
1、DNS的問題
參考當(dāng)心 dns服務(wù)器不穩(wěn)導(dǎo)致站點被屏
提醒大家注意的是現(xiàn)在不少云類ns服務(wù)器，這個過程中由于處理機制問題，包括回源障礙等等，較容易造成這個問題。另外國內(nèi)大型服務(wù)商提供，比如你使用了dnspod，并不代表你的dns就應(yīng)該是ok的。有的站長存在著對大型服務(wù)商的錯誤認(rèn)識，如 “新網(wǎng)的dns就是不可靠的，我都用百度云加速”。我們要明白廉價的東西質(zhì)量都有一定局限性，所以需要自己檢查dns解析情況，具體上網(wǎng)找找相關(guān)資料或平臺，看看dns解析出的ip以及解析延遲情況等等。
2、空間的穩(wěn)定性
很多人都會用超級ping了，這個不多說了。但是我還要告訴大家有下面兩點需要注意：
A、不良的網(wǎng)絡(luò)商會對不同用戶ip進行不同處理，自己可以用vpn等工具觀察下不同地區(qū)ip段的網(wǎng)站訪問情況與返回內(nèi)容；
B、空間的資源不足，內(nèi)存、并發(fā)連接等等，當(dāng)訪問量很少的時候，自己察覺不出，需要提高訪問量，增加連接時間。因此使用一些監(jiān)控工具時，發(fā)現(xiàn)監(jiān)控工具訪問測試量巨大，或者被人刷流量時，你應(yīng)該慶幸，而不是著急拒絕，因為你可以了解到自己的空間承壓能力。
四、連通率問題處理完畢后
如果你的網(wǎng)站索引由于連通率而非懲罰原因被清理了，處理完畢問題，可以在抓取頻次工具中提交增加抓取頻次的請求，將抓取頻次增加到一定額度（建議自己查看工具中對抓取頻次的說明后再根據(jù)網(wǎng)站實際情況調(diào)整），然后增加自己的網(wǎng)站數(shù)據(jù)更新頻率與質(zhì)量，加強與百度的數(shù)據(jù)溝通（如url提交、sitemap等等），很快就能恢復(fù)。相關(guān)工具展示如下（每個工具頁面的右側(cè)下方都有相關(guān)說明鏈接，可以點擊去了解使用注意事項）：
1、抓取頻次中的頻次調(diào)整工具：
2、鏈接提交工具：
3、鏈接提交工具中的主動推送、sitemap、手動提交方式：
2015年5月25日，百度站長平臺發(fā)布公告，宣布全面放開對https站點的收錄，https站點不再需要做任何額外工作即可被百度抓收。采用了本文之前建議的https站點可以關(guān)閉http版，或者將http頁面跳轉(zhuǎn)到對應(yīng)的https頁面。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
百度搜索引擎目前不主動抓取https網(wǎng)頁，導(dǎo)致大部分https網(wǎng)頁無法收錄。但是如果網(wǎng)站一定要使用https加密協(xié)議的話該如何做到對百度搜索引擎友好呢。其實很簡單：
1，為需要被百度搜索引擎收錄的https頁面制作http可訪問版。
2，通過user-agent判斷來訪者，將Baiduspider定向到http頁面，普通用戶通過百度搜索引擎訪問該頁面時，通過301重定向至相應(yīng)的https頁面。如圖所示，上圖為百度收錄的http版本，下圖為用戶點擊后會自動跳入https版本。
3，http版本不是只為首頁制作，其它重要頁面也需要制作http版本，且互相鏈接，切不要出現(xiàn)這種情況：首頁http頁面上的鏈接依然鏈向https頁面，導(dǎo)致Baiduspider無法繼續(xù)抓取——我們曾經(jīng)遇到這種情況，導(dǎo)致整個網(wǎng)點我們只能收錄一個首頁。如下面這個做法就是錯誤的：http://www.abc.com/ 鏈向https://www.adc.com/bbs/
4，可以將部分不需要加密的內(nèi)容，如資訊等使用二級域名承載。比如支付寶站點，核心加密內(nèi)容放在https上，可以讓Baiduspider直接抓取的內(nèi)容都放置在二級域名上。
站點切換https不會對流量產(chǎn)生負(fù)面影響問：對于http和https，Baiduspider會不會區(qū)別對待？
答：不會區(qū)別對待。說得再全整專業(yè)一些：Baiduspider在對于http和https站點的調(diào)度和解析方面沒有任何區(qū)別。至于建索引庫，年初的時候百度進行過升級，目前對https站點也是全力支持的。
問：Baiduspider可以抓取https網(wǎng)站嗎？站點https以后應(yīng)該做些什么？
答：在抓取方面，Baiduspider完全支持https鏈接的抓取。站長需要注意的一點是要保證http鏈接到https鏈接良好的重定向（使用301或302），這樣百度可以做到無縫切換。另外可以使用鏈接提交工具提交https鏈接，盡快通知百度。
問：站點切換https以后，新產(chǎn)生的https頁面，百度會將其視為新頁面重新收錄？重新計算排名？
答：不是的，不涉及重新收錄的問題。
問：https以后可以使用改版工具向百度提交http與https的對應(yīng)關(guān)系嗎？
答：http站和https站會被百度視為同一個站點，不屬于改版，不適用改版工具。
問：https以后，排序有可能發(fā)生什么變化？
答：在rank方面，現(xiàn)在對兩種鏈接無區(qū)別對待，從安全性考慮，以后可能會優(yōu)待https的鏈接。
很多站點出于隱私的考慮不希望百度保留快照，網(wǎng)上也在討論如何禁止百度保留快照的方法。其實百度早已對此有過說明，但藏在一篇不起眼的文章中不引人注目，導(dǎo)致依然非常多的人不清楚該如何操作。上周恰好又有人問到這個問題，特意進行說明。
要防止所有搜索引擎顯示您網(wǎng)站的快照，請將此元標(biāo)記置入網(wǎng)頁的<HEAD>部分：<meta name="robots" content="noarchive">
要允許其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標(biāo)記：<meta name="Baiduspider" content="noarchive">
注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，并不會影響網(wǎng)頁建入索引，同時垃圾網(wǎng)頁也不可能依靠此手段逃避百度的判罰。
超達科技公眾號
超達商城小程序
咨詢熱線：15890197308技術(shù)售后：15890197308郵箱：80410245@qq.com
鄭州超達科技有限公司Copyright ? 2017~2020 All rights reserved.豫ICP備17044048號
網(wǎng)站建設(shè)，網(wǎng)站制作，軟件開發(fā)，APP開發(fā)，小程序開發(fā)首選鄭州超達科技，公司擁有超達建站全網(wǎng)營銷系統(tǒng)，是專業(yè)的網(wǎng)站建設(shè)、網(wǎng)站制作、軟件開發(fā)公司，超達建站包含PC網(wǎng)站、手機網(wǎng)站、微信網(wǎng)站，小程序，手機app，一鍵生成，各種終端全覆蓋，操作簡單，任意布局，無需代碼，自由拖拽! 超達科技是一家致力于為政府、企事業(yè)單位提供互聯(lián)網(wǎng)服務(wù)的創(chuàng)新型企業(yè)，集軟件定制開發(fā)、網(wǎng)站建設(shè)、網(wǎng)站優(yōu)化、網(wǎng)站營銷、網(wǎng)站運維、手機APP開發(fā)、微網(wǎng)站制作、系統(tǒng)集成、互聯(lián)網(wǎng)應(yīng)用服務(wù)為一體，為企事業(yè)單位提供全方位、多平臺一站式服務(wù)。
在線咨詢
電話咨詢
二維碼
