网站小百科SEO标题模板对照表,Robots

在搜索引擎优化(SEO)的世界里,了解和正确使用Robots文件是至关重要的,Robots文件是网站的“规则书”,它告诉搜索引擎哪些页面可以抓取、哪些不能抓取,以及如何抓取,以下是一份详细的Robots标题模板对照表,帮助你更好地理解和应用Robots文件。

首页

  • index: 允许所有页面被抓取。
  • index,follow: 允许所有页面被抓取,并且跟随链接。
  • noindex: 禁止所有页面被抓取。
  • noindex,follow: 禁止所有页面被抓取,并且跟随链接。

分类页面

  • robots.txt:*: 允许所有页面被抓取,但是需要通过这个特定的Robots文件进行控制。
  • robots.txt:/category/[category]: 只允许特定类别的页面被抓取。
  • robots.txt:/category/[category]:*: 允许特定类别的所有页面被抓取。
  • robots.txt:/category/[category]:?: 允许特定类别的页面被抓取,但是需要通过查询参数来控制。

文章页面

  • robots.txt:/article/[article_id]: 只允许特定文章ID的页面被抓取。
  • robots.txt:/article/[article_id]:*: 允许特定文章ID的所有页面被抓取。
  • robots.txt:/article/[article_id]:?: 允许特定文章ID的页面被抓取,但是需要通过查询参数来控制。

产品页面

  • robots.txt:/product/[product_id]: 只允许特定产品ID的页面被抓取。
  • robots.txt:/product/[product_id]:*: 允许特定产品ID的所有页面被抓取。
  • robots.txt:/product/[product_id]:?: 允许特定产品ID的页面被抓取,但是需要通过查询参数来控制。

联系页面

  • robots.txt:/contact/[contact_id]: 只允许特定联系ID的页面被抓取。
  • robots.txt:/contact/[contact_id]:*: 允许特定联系ID的所有页面被抓取。
  • robots.txt:/contact/[contact_id]:?: 允许特定联系ID的页面被抓取,但是需要通过查询参数来控制。

其他特殊页面

  • robots.txt:/other/[other_page]: 只允许特定其他页面被抓取。
  • robots.txt:/other/[other_page]:*: 允许特定其他页面的所有页面被抓取。
  • robots.txt:/other/[other_page]:?: 允许特定其他页面的页面被抓取,但是需要通过查询参数来控制。

通用规则

  • Disallow: /: 禁止所有页面被抓取。
  • Disallow: /category/[category]: 禁止特定类别的页面被抓取。
  • Disallow: /article/[article_id]: 禁止特定文章ID的页面被抓取。
  • Disallow: /product/[product_id]: 禁止特定产品ID的页面被抓取。
  • Disallow: /contact/[contact_id]: 禁止特定联系ID的页面被抓取。
  • Disallow: /other/[other_page]: 禁止特定其他页面的页面被抓取。

就是一份详细的Robots标题模板对照表,希望对你有所帮助。

 
maolai
  • 本文由 maolai 发表于 2024年6月29日 19:57:09
  • 转载请务必保留本文链接:/603.html

发表评论