Использование метатегов для блокирования доступа к сайту

Стандарт метатега noindex описан на странице http://www.robotstxt.org/meta.html. Если у вас нет доступа к вашему серверу с правами администратора, этот способ позволяет управлять постраничным доступом к вашему сайту.
  • Чтобы запретить всем роботам индексировать страницы на вашем сайте, добавьте следующий метатег в раздел вашей страницы:
    <meta name="robots" content="noindex">
  • Чтобы запретить индексирование страницы на вашем сайте только роботам Google и разрешить ее индексирование другим роботам, добавьте метатег:
    <meta name="googlebot" content="noindex">
При наличии метатега noindex на странице, Google исключает всю страницу из результатов поиска, даже если на нее ссылаются другие страницы. Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.