robots.txt для Datalife Engine

В этой записи я расскажу о том, как сделать правильный robots.txt для своего сайта на Даталайф.

Откуда проблемы?
Имея кучу сайтов на DLE, сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), конечно же, Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента.
Вообще, причины вспомнить о robots.txt могут быть разными, к примеру, в этом заветном файле можно передать Sitemap Google’у и Яндексу не заходя в панель вебмастера.

Как сделать правильно?
Почитав и интернете форумы и официальные мануалы поисковиков и сравнивая прочитанное, можно сказать, что люди часто не читают руководств и ошибаются, к примеру, в robots.txt нет директивы“Allow” есть только“Disallow”
Для начала давайте выясним, чего мы хотим от нашего файла:
  1. Хорошая индексируемость нужных страниц ПС
  2. Отсутствие ненужных страниц в индексе ПС (всё равно вылетят из индекса)
  3. Задание заркала для Яндекса

Если хотите разобраться, тогда давайте по порядку. Это запретит индексировать всем поисковым роботам страницы для печати:
User-agent: *
Disallow: /*print

Уберём из индекса страницы без контента (они рано или поздно всё выпадут):
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

По вкусу, и в зависимости от уровня Вашей паранои можно добавить также:
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

Теперь любезно добавляем Sitemap для Поисковых систем. Вы наверняка прекрасно знаете, насколько он полезен для индексации Вашего сайта.
Идём в админку -> другие разделы -> в самом низу заходим в «Google Sitemap». Оставляем все настройки по умолчанию и жмём «создать/обновить». Сверху должна появиться надпись вида «25.01.2009 10:37 файл индекса для Google Sitemap был создан и доступен по адресу: http://my-dle-site.ru/sitemap.xml». Теперь даём знать о нём поисковикам:

Sitemap: http://my-dle-site.ru/sitemap.xml

И добавляем основное зеркало для Яндекса, чтобы не было недоразумений с его стороны) Идём по адресу: http://yandex.ru/yandsearch?serverurl=my-dle-site.ru
и смотрим, как проиндексирован Ваш сайт с www или без. Добавляем в robots.txt директиву вида:
User-agent: Yandex
Host: my-dle-site.ru

my-dle-site.ru, если сайт в индексе без www, и наоборот. Если сайт ещё не проиндексирован Яшей, то указывайте так, как Вам больше нравится видеть Ваш сайт.

Вот и всё. Правильный robots.txt для ДЛЕ будет выглядеть примерно так:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://my-dle-site.ru/sitemap.xml
User-agent: Yandex
Host: my-dle-site.ru

Потратив 5 минут на создание такого файла можно значительно облегчить себе/поисковикам жизнь/работу в дальнейшем.

Автор: SpYeR
  • +1
  • 25 января 2009, 12:39
  • inter

Комментарии (4)

RSS свернуть / развернуть
+
0
Хорошая статья.
avatar

Kripl

  • 25 января 2009, 12:53
+
0
на счет Disallow: /*print не согласен!Если, например, название статьи будет Fineprint 6.10, то она так же не будет индексироваться поисковыми системами!!!Я сделал следующим образом: Disallow: /*print:pageТаким образом, хоть яндекс и пишет при проверке валидности «Возможно, был использован недопустимый символ», версия для печати не будет индексироваться ПС, зато будут индексироваться другие статьи, которые содержат в своем названии слово print (ну и, разумеется, остальные страницы сайта xD)По поводу «Возможно, был использован недопустимый символ» — имхо, это потенциальное предупреждение — в результате, страницы сайта нормально индексируются роботом
avatar

cros1564

  • 13 июля 2009, 17:28
+
0
А если я не использую некоторые страницы на сайте (к примеру нет регистрации), как мне вообще убрать страницу регистрации? Или просто прописать в робост, что б её не индексировал и всё?
И по поводу: Host: my-dle-site.ru — это для индекса без www, а: Host: my-dle-www.site.ru — для индекса с www (я правельно записал?)
avatar

revived

  • 30 декабря 2011, 17:22
+
0
после выхода DLE 9.X

дата публикации/календарь выводится в виде ссылки, что способствует дублю страниц, их лучше закрыть в роботс.тхт, вида:


Disallow: /2011/
Disallow: /2012/
avatar

tuxo

  • 03 января 2012, 08:34

Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.