中國醫(yī)學(xué)科學(xué)院動研所/病原所/放射所、資源庫，中國專利中心
惠達(dá)衛(wèi)浴、阿菲金中國、恒瑞機(jī)電、華安鋼寶利
首都視聽協(xié)會、中節(jié)能清潔協(xié)會、中國汽車工業(yè)學(xué)會、環(huán)科學(xué)會
大家都知道大概是“百度有啊”上線之前，淘寶網(wǎng)為了避免百度惡意抓取，直接屏蔽了百度蜘蛛，也就是當(dāng)時鬧得沸沸揚揚的robots.txt協(xié)議 。
就算是現(xiàn)在打開淘寶的robots.txt協(xié)議，依然可以看到淘寶還在屏蔽百度的蜘蛛。
可是事實上真的如此么
事實證明淘寶的robots.txt文件根本對百度蜘蛛起不到任何作用。
小弟推測百度之所以這么做是因為百度考慮到戰(zhàn)略方向的問題，因為查詢了一下發(fā)現(xiàn)一些知名店鋪在百度的排名都很不錯。足以證明百度對淘寶這種店鋪的重要性。更加戲曲化的是天貓網(wǎng)（淘寶商城）也是使用robots.txt協(xié)議的。同樣屏蔽了百度蜘蛛。
還有一種可能就是淘寶網(wǎng)以及天貓網(wǎng)的權(quán)重太高了，導(dǎo)致了百度蜘蛛不遵循搜索引擎協(xié)議而進(jìn)行的抓取。不過對于這種事情可以聯(lián)想到前些日子，一淘網(wǎng)惡意抓取京東商城以及新蛋網(wǎng)等的商品數(shù)據(jù)，也是不遵循搜索引擎規(guī)則的。
直到現(xiàn)在京東商城等也在屏蔽一淘網(wǎng)的蜘蛛，
小編想說的是現(xiàn)在的搜索引擎為了自身利益而不遵循互聯(lián)網(wǎng)協(xié)議的規(guī)則，是值得反思的，呼吁這種互聯(lián)網(wǎng)大公司能在整個IT行業(yè)樹立標(biāo)榜。
本文章系尚品中國編輯原創(chuàng)或采編整理，如需轉(zhuǎn)載請注明來自尚品中國。以上內(nèi)容部分(包含圖片、文字)來源于網(wǎng)絡(luò)，如有侵權(quán)，請及時與本站聯(lián)系（010-60259772）。
聯(lián)系我們，免費獲取項目方案及報價，或只是聊一聊您的項目？ 在收到您的需求留言后我們將由專業(yè)人員于24小時內(nèi)與您取得聯(lián)系，請您保持電話暢通！
010-60259772
