代理加盟 2019全新代理計劃 賺錢+省錢雙管齊下,獨立平臺,豐厚利潤!

您現在的位置: 秀站網 > 站長學院 > SEO資訊 >

robots添加Sitemap鏈接位置

來源:未知 發布時間:2019-03-30熱度:我要評論
robots.txt聲明網站中哪些目錄不讓搜索引擎收錄, 執行順序從上到下 ,robots.txt寫法,添加sitemap鏈接,什么是robots協議對seo的影響。sitemap是谷歌創造出來的,搜索引擎會優先讀取sitemap.xml文件,如果沒有就逐個抓取URL。 基本語法 User-agent: 定義禁止搜索引擎...

       robots.txt聲明網站中哪些目錄不讓搜索引擎收錄,執行順序從上到下,robots.txt寫法,添加sitemap鏈接,什么是robots協議對seo的影響。sitemap是谷歌創造出來的,搜索引擎會優先讀取sitemap.xml文件,如果沒有就逐個抓取URL。

robots用法與sitemap鏈接位置

基本語法     

User-agent:定義禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。*號代表全部搜索引擎
Disallow:不允許收錄
Allow:允許收錄
#:注釋

全站屏蔽所有蜘蛛

      網站改版之前,為了避免蜘蛛抓取錯誤或臨時的鏈接,可以采用全站屏蔽蜘蛛的操作,在根目錄建立robots.txt,添加如下內容:

User-agent:*
Disallow:/

屏蔽某個目錄、文件

       案例:屏蔽所有蜘蛛抓取根目錄下的inc文件夾及里面的所有內容,根目錄下的wap目錄下的index.html文件。robots.txt文件添加如下內容:

User-agent:*
Disallow:/inc/
Disallow:/wap/index.html

屏蔽某個目錄,但抓取目錄下的文件或文件夾

①案例:屏蔽所有蜘蛛抓取根目錄下的wap文件夾,但抓取里面后綴名為html的文件

User-agent:*
Disallow:/wap/
Allow:/wap/*.html

       注意:上面的寫法,wap帶“/”代表根目錄下的wap目錄下的內容。并不會禁止比如根目錄下waptest的文件夾及文件夾所有內容。

②案例:禁止抓取根目錄下所有前面帶“wap”字符的文件夾及文件

User-agent:*
Disallow:/wap

       禁止了如:/wap/,/wap/12.html,/waptest/,/wapabc.html。

③案例:保護隱私文件夾或文件

       在別讓網站的robots成為最大的安全漏洞一文說到,禁止搜索引擎抓取某些私密文件夾的同時,也暴露了網站的目錄結構,猜出網站后臺管理系統、后臺等。

       比如:禁止抓取/include,就可以寫成如下,當然前提是你的根目錄里面沒有前面帶這些字符的文件夾或文件給蜘蛛抓取

User-agent:*
Disallow:/inc

屏蔽動態URL

       網站有些動態頁面可能會和靜態頁面相同,造成重復收錄。

①案例:用robots屏蔽動態URL

User-agent:*
Disallow:/*?*

②案例:僅允許訪問“.html”為后綴的URL

User-agent:*
Allow:.html$
Disallow:/

屏蔽死鏈接

       網站改版、刪除文章后,原來的URL如果已經被搜索引擎索引,出現404錯誤。一般的做法如下:

①查看網站日志,找出這些死鏈,用百度提交死鏈工具提交,慢慢的會刪除這些死鏈;

②如果這個鏈接已經更換,也可以用301跳轉到新的鏈接,301跳轉后原頁面和新頁面處理辦法;

③robots禁止蜘蛛抓取死鏈,寫法同上,最好帶完整路徑

User-agent:*
Disallow:http://www.vi586.com/web/22.html

屏蔽不參與排名的頁面鏈接

       比如會員中心、登陸界面、聯系我們等。這些雖然有實際用途,蜘蛛一樣會爬取這些頁面鏈接,這些頁面也會分權,因此為了集中權重,一些完全不參與排名的頁面應該用robots屏蔽。也可以在該頁面的</head>之前添加<meta>聲明,指向該頁面的鏈接加上nofollow標簽。

<meta name="robots" content="noindex,nofollow"/>
<a rel="nofollow" href="/member/login">登陸</a>

sitemap索引在robots.txt的位置

       sitamap索引的位置最好放在robots.txt的最下面,蜘蛛先遵循前面的原則,再按照網站地圖爬取。

Sitemap: http://www.vi586.com/sitemap.xml
Sitemap: http://www.vi586.com/sitemap.html

本文地址:http://www.xejrrv.tw/seo/1531.html

    責任編輯:秀站網

    發表評論

    評論列表(條)

      深圳风采手机投注