http://datalife-engine.net http://datalife-engine.net ru robot@datalife-engine.net (http://datalife-engine.net) robot@datalife-engine.net (http://datalife-engine.net) http://datalife-engine.net http://datalife-engine.net <![CDATA[Comments: robots.txt для Datalife Engine]]> http://datalife-engine.net/blog/hacks/36.html#comment4 http://datalife-engine.net/blog/hacks/36.html#comment4 Kripl Sun, 25 Jan 2009 12:53:06 +0300 comments <![CDATA[Comments: robots.txt для Datalife Engine]]> http://datalife-engine.net/blog/hacks/36.html#comment41 http://datalife-engine.net/blog/hacks/36.html#comment41 cros1564 Mon, 13 Jul 2009 17:28:05 +0400 comments <![CDATA[Comments: robots.txt для Datalife Engine]]> http://datalife-engine.net/blog/hacks/36.html#comment193 http://datalife-engine.net/blog/hacks/36.html#comment193 revived И по поводу: Host: my-dle-site.ru — это для индекса без www, а: Host: my-dle-www.site.ru — для индекса с www (я правельно записал?)]]> Fri, 30 Dec 2011 17:22:54 +0400 comments <![CDATA[Comments: robots.txt для Datalife Engine]]> http://datalife-engine.net/blog/hacks/36.html#comment194 http://datalife-engine.net/blog/hacks/36.html#comment194 tuxo
дата публикации/календарь выводится в виде ссылки, что способствует дублю страниц, их лучше закрыть в роботс.тхт, вида:


Disallow: /2011/
Disallow: /2012/
]]>
Tue, 03 Jan 2012 08:34:01 +0400 comments