快捷搜索:  as  seo  test  as)+and+1=2+(  asA=0  1111  as aNd 8=8  長標題

robots寫法

  robots.txt是什么意思?

  robots.txt是搜索引擎中的一個協議,當你的網站有一些內容不想給蜘蛛爬取,那可以利用robots.txt來告訴蜘蛛不要去爬取這些頁面,不爬取這些頁面當然就不收錄了。

  robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

  robots.txt規則怎么寫

  新建一個txt文本,命名為robots.txt,比如說你不想給蜘蛛去爬你網站后臺這個文件夾,那就就這樣寫,該文件放在網站根目錄

  User-agent: *

  Disallow: /admin/

  解釋:

  User-agent: * 這個是代表所有搜索引擎

  Disallow: /admin/ 禁止爬取admin這個文件夾

  Disallow: / 代表根目錄所有

  Allow: / 代表允許 例子:比如說你禁止adc文件夾 但是你又想讓他收錄abc下的aa 寫法Allow: /abc/aa/*.html 收錄adc下的aa下的所有html

  如果你只想對百度有效,那就這樣寫。User-agent: Baiduspider 這樣只對百度有效,其它搜索引擎不受限制。

  搜索引擎蜘蛛的名字:Baiduspider 百度蜘蛛、Googlebot 谷歌蜘蛛、Bingbot 必應蜘蛛、360Spider 360蜘蛛、Sogouspider 搜狗蜘蛛

免責聲明:文章由網友發表或互聯網轉載,本站不能保證有準確性、有效性、實時性、完整性等。

您可能還會對下面的文章感興趣:

我要玩斗地主