代理加盟 2019全新代理計劃 賺錢+省錢雙管齊下,獨立平臺,豐厚利潤!

您現在的位置: 秀站網 > 站長學院 > SEO資訊 >

別讓網站的robots成為最大的安全漏洞

來源:未知 發布時間:2019-03-31熱度:我要評論
你的網站信息安全嗎?樹大招風,一些公司往往再收到攻擊之后,才想起網站安全。網站注冊的個人信息能被黑客們輕易的拿下,對用戶造成的損失無法估量。沒有100%安全而完美的系統,黑客們樂此不彼的研究著這些網站的安全漏洞,總有一天會被攻破。 網站根目錄下的robots.t...

       你的網站信息安全嗎?樹大招風,一些公司往往再收到攻擊之后,才想起網站安全。網站注冊的個人信息能被黑客們輕易的拿下,對用戶造成的損失無法估量。沒有100%安全而完美的系統,黑客們樂此不彼的研究著這些網站的安全漏洞,總有一天會被攻破。

       網站根目錄下的robots.txt文件告訴搜索引擎的訪問范圍,使用方法很簡單,但是搜索引擎還是個人來說都是可以訪問的, 很多新人不知道這個文件的重要性,對于滲透測試人員或黑客,可以通過robots.txt文件發現敏感信息,比如猜測這是什么后臺用什么數據庫等,意味著自己的網站是真空上陣。

網站robots網絡信息安全盾牌

如何防止別人訪問呢?

       網上有人這么做:在IIS中,選中robots.txt,右鍵屬性里,選中重定向到URL,輸入任意一個非本站的URL路徑,勾選“上面準確的URL”以及“資源的永久重定向”,有點基礎的童鞋知道,訪問 http://域名/robots.txt 時,是自動跳轉到指定的那個非本站URL路徑。 這個方法在Apache環境中可以借助.htaccess達到這個重定向的目的。

       但是對于蜘蛛來說,這樣的跳轉意味著站內不存在這個文件,那蜘蛛就不會遵守這個規則,把能發現的URL都抓了。

       為防止別人利用robots文件泄露了網站的結構,做其他手腳,站長們是絞盡腦汁。不讓搜索引擎來抓這個文件,那就不遵從抓取范圍,都會放進索引庫,對不想讓搜索引擎建立索引的方法參考:頁面不讓搜索引擎建立索引。

實用的防護措施,推薦采用通配符(*)替換敏感文件或文件夾

      比如某個重要文件夾為admin,可以這樣寫robots

User-agent:
Disallow:/a*/

       意思是禁止所有搜索引擎索引根目錄下a開頭的目錄,一般的網站的比較通用的命名有admin,include,templets,plus等,這些都是重要的文件夾,可以修改文件名,但是其他關聯一并修改,否則系統會出錯。

用.htaccess禁止垃圾蜘蛛訪問

一搜YisouSpider   #無視robots規則
宜搜EasouSpider   #無視robots規則
易查   #無視robots規則
MSNmsnbot-media
有道youdao
必應bingbot

       當然你也要看流量來源,如果有,那就不要屏蔽,實在是少得很有每天很勤快的來訪的話,可以屏蔽。

robots屏蔽蜘蛛

User-agent: YisouSpider
Disallow: /
User-agent: EasouSpider
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: bingbot
Disallow: /

.htaccess屏蔽蜘蛛

SetEnvIfNoCase User-Agent "^Yisou" bad_bot
SetEnvIfNoCase User-Agent "^Easou" bad_bot
SetEnvIfNoCase User-Agent "^Youdao" bad_bot
SetEnvIfNoCase User-Agent "^msn" bad_bot
Deny from env=bad_bot 

       或者如下寫法,中間加就行了

RewriteCond %{HTTP_USER_AGENT} (jikeSpider|easouSpider|YisouSpider|bingbot|YoudaoBot|) [NC]

本文地址:http://www.xejrrv.tw/seo/1580.html

    責任編輯:秀站網

    發表評論

    評論列表(條)

      深圳风采手机投注