robots.txt

scalemaster · 2010-06-23 23:56:55

Скажите что-нибудь по теме, в архиве бред какой-то, один нелепей другого...

artoodetoo · 2010-06-24 05:23:27

http://robotstxt.org.ru/robotsexclusion/guide

что именно интересует-то, какие файлы закрывать? это на усмотрение вебмастера

scalemaster · 2010-06-24 17:48:26

Ну, собственно, принцип мне известен. Для движка уже должен быть выработан какой-то стандартный robots, не пускающий поисковики на страницы с левыми данными и не допускающий дублирование контента...

Visman · 2010-07-02 13:39:37

scalemaster пишет:

Ну, собственно, принцип мне известен. Для движка уже должен быть выработан какой-то стандартный robots, не пускающий поисковики на страницы с левыми данными и не допускающий дублирование контента...

Ставь это

User-agent: *
Disallow: /a
Disallow: /d
Disallow: /c
Disallow: /e
Disallow: /j
Disallow: /l
Disallow: /m
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u

scalemaster · 2010-07-04 16:27:19

Visman,
Оно, конечно, спасибо за совет. Только почему-то сколько людей, столько и мнений. Единой системы нету. Как я уже писал в первом сообщении, поиском можно найти пару тем, вот там так же, сколько человек отписалось, столько и вариантов.

hcs · 2010-07-12 13:23:41

Потому что это на усмотрение веб-мастера.

Visman · 2010-11-28 08:26:00

Так, всем рекомендую в обязательном порядке в robots.txt включить строку
Disallow: /*pid=
Нагрузка от поисковиков сразу же значительно падает, так как после этого одну страницу форума они будут пробегать по возможности один раз, а не 25.
Сейчас я использую такой robots.txt:

User-agent: *
Disallow: /a
Disallow: /d
Disallow: /c
Disallow: /e
Disallow: /j
Disallow: /l
Disallow: /m
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u
Disallow: /*pid=

hcs · 2010-11-28 13:30:36

Что значит /a и тд (кроме /*pid=) ?

Visman · 2010-11-28 13:49:57

hcs пишет:

Что значит /a и тд (кроме /*pid=) ?

Первые буквы файлов и папок запрещенных к индексированию.

artoodetoo · 2010-11-28 19:09:04

роботу всё-равно, а вот самому было бы удобнее более полные имена видеть, imho

Terra · 2012-07-08 23:50:16

Извините если вопрос глупый, но у меня проблема. На форуме стоит таблица от уважаемого @Visman, но поисковик индексирует только названия тем, при этом игнорирует содержание. Т.е. текст "внутри" темы не индексируется. И собственно вопрос: так и должно быть или просто я криворукий и что-то не так сделал?

Visman · 2012-07-09 06:28:10

@Terra, нет, содержимое должно индексироваться.
Форум стоит на своем домене или в папке сайта?
Используется ли ЧПУ или стандартный урд вида ...viewtopic.php?id=3243?
Нет ли случайно на страницах тем метатэга <meta name="ROBOTS" content="NOINDEX, FOLLOW" />?

Terra · 2012-07-09 20:11:52

@Visman, Форум стоит на своем домене. УРЛ стандартный. На страницах тем нет этого тега. Возможно я начал рано паниковать, форум индексируется пока только яндексом, и начал индексироваться дней пять назад. Может, нужно время, чтобы робот начал индексировать "нутро" форума. В любом случае, спасибо, что помогли развеять сомнения по поводу robots.txt.

Terra · 2012-07-14 22:19:07

Выяснил в чем дело, мало-ли кому пригодится: переносил на свой новый форум свои темы с другого форума, и попал под яндексовский АГС. Т.е. фильтр увидел, что весь контент не оригинальный (хотя автор всех тем-я, но роботу конечно все равно) и отправил мой форум в бан. Вобщем сам виноват.

Редактировался Terra (2012-07-14 22:20:30)

Русское сообщество fluxbb

Объявление

#1 2010-06-23 23:56:55

robots.txt

#2 2010-06-24 05:23:27

Re: robots.txt

#3 2010-06-24 17:48:26

Re: robots.txt

#4 2010-07-02 13:39:37

Re: robots.txt

#5 2010-07-04 16:27:19

Re: robots.txt

#6 2010-07-12 13:23:41

Re: robots.txt

#7 2010-11-28 08:26:00

Re: robots.txt

#8 2010-11-28 13:30:36

Re: robots.txt

#9 2010-11-28 13:49:57

Re: robots.txt

#10 2010-11-28 19:09:04

Re: robots.txt

#11 2012-07-08 23:50:16

Re: robots.txt

#12 2012-07-09 06:28:10

Re: robots.txt

#13 2012-07-09 20:11:52

Re: robots.txt

#14 2012-07-14 22:19:07

Re: robots.txt

Подвал доски