Русское сообщество fluxbb

Xbons

Гость

Robost.txt для Punbb

Сейчас:

User-agent: *
Disallow: /cashe/
Disallow: /include/
Disallow: /lang/
Disallow: /style/
Disallow: /plugins/
Disallow: /profile
Disallow: /online
Disallow: /userlist
Disallow: /post
Disallow: /edit
Disallow: /moderate
Disallow: /search
Disallow: /register
Disallow: /misc
Disallow: /login
Disallow: /config
Disallow: /delete
Disallow: /admin
Host: forum.sait.ru

Вроде так. Или что-то упустил?

Редактировался Xbons (2006-10-20 17:33:28)

torg

Гость

Re: Robost.txt для Punbb

Зачем исключать форум из поисковика? Верно понимаю?

Xbons

Гость

Re: Robost.txt для Punbb

Нет, надо исключить лишь то, что не желательно для индексации(профили, поиск и т.п.)

Редактировался Xbons (2006-10-22 19:02:11)

SDTux

Гость

Re: Robost.txt для Punbb

Робот не проиндексирует профили и поиск, т.к. оно в мускуле лежит Да и вообще, нормальный робот индексирует только то, на что есть ссылки.

Xbons

Гость

Re: Robost.txt для Punbb

Робот не проиндексирует профили и поиск...

http://www.yandex.ru/yandsearch?serveru … unbb.ru%2F

SDTux

Гость

Re: Robost.txt для Punbb

И? Твой robots.txt никак не поможет, если ты хочешь, чтобы не индексировалось то, что может быть отображено при просмотре профиля, то нужно делать такой disallow:

Disallow: profile.php, search.php, userlist.php

дальше продолжишь

maximum

Гость

Re: Robost.txt для Punbb

Ну всяко не в таком виде, как ты написал.

У Xbons все правильно, только можно оставить десятую часть из всх запретов, ибо любой бот - гость, дальше сами думайте.

SDTux

Гость

Re: Robost.txt для Punbb

Ну всяко не в таком виде, как ты написал.

с чегой-то?

maximum

Гость

Re: Robost.txt для Punbb

Потому что ничего не запрещает.

SDTux

Гость

Re: Robost.txt для Punbb

maximum ??? Как раз запрещает - робот не попадет в разделы, где можно получить инфу, которую не хочется публиковать. Роботы не сканируют каталоги и т.п. - они ходят по ссылкам.

maximum

Гость

Re: Robost.txt для Punbb

Ещё раз повторяю - "твой пример стандарта исключений для robots.txt неправилен!".
Не надо меня учуть, лучше сам факи почитай.

SDTux

Гость

Re: Robost.txt для Punbb

Т.е., по-твоему, robots.txt следующего содержания ничего не запретит?

User-Agent: *
Disallow: profile.php
Disallow: search.php
Disallow: userlist.php

Извиняюсь, конечно, но советую тогда почитать факи и RFC тебе самому.

maximum

Гость

Re: Robost.txt для Punbb

Конечно, вот теперь ты понял как правильно писать. Правда Xbons тебя опередил.

SDTux

Гость

Re: Robost.txt для Punbb

maximum, я и раньше знал, просто перечислил что надо закрывать - не до синтаксиса было.

maximum

Гость

Re: Robost.txt для Punbb

Движок на некоторых страницах сам вставляет - <meta name="ROBOTS" content="NOINDEX, FOLLOW" />
Можно подправить, чтобы не прописывать ничего в robots.

coordinator

Гость

Re: Robost.txt для Punbb

Написал такой robots.txt

User-agent: *
Disallow: /cache/
Disallow: /calendar/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Disallow: /plugins/
Disallow: /style/
Disallow: /admin_bans.php
Disallow: /admin_categories.php
Disallow: /admin_censoring.php
Disallow: /admin_forums.php
Disallow: /admin_groups.php
Disallow: /admin_index.php
Disallow: /admin_loader.php
Disallow: /admin_maintenance.php
Disallow: /admin_options.php
Disallow: /admin_permissions.php
Disallow: /admin_prune.php
Disallow: /admin_ranks.php
Disallow: /admin_reports.php    
Disallow: /admin_users.php
Disallow: /delete.php
Disallow: /login.php
Disallow: /message_delete.php
Disallow: /message_send.php
Disallow: /moderate.php
Disallow: /moderatepoll.php
Disallow: /movepost.php
Disallow: /register.php
Disallow: /search.php
Disallow: /edit.php

Вопрос, а где проверить работу можно? Нашел ссылку на сервис, а он приказал долго жить.

maximum

Гость

Re: Robost.txt для Punbb

У вас на форуме боты наделены правами администратора? Тогда мы идём к вам.

Редактировался maximum (2008-02-08 23:09:10)

coordinator

Гость

Re: Robost.txt для Punbb

Конечно, проиндексировать они не смогут, т. к. доступа у них нет, но вот бессмысленное обращение к admin_index.php вполне возможно.

Visman

Гость

Re: Robost.txt для Punbb

Вот мой robots.txt

User-agent: *
Disallow: /admin_
Disallow: /delete
Disallow: /edit
Disallow: /er
Disallow: /extern
Disallow: /help
Disallow: /login
Disallow: /misc
Disallow: /message
Disallow: /search
Disallow: /post
Disallow: /viewprintable
Disallow: /profile
Disallow: /register
Disallow: /userlist
Disallow: /cache/
Disallow: /img/
Disallow: /include/
Disallow: /js/
Disallow: /lang/
Disallow: /plugins/
Disallow: /style/

maximum

Гость

Re: Robost.txt для Punbb

А вот мой:

User-agent: Yandex
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u
Host: wpforum.ru

User-agent: *
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u

А я, как посмотрю, вы всё жжёте и жжёте.

Редактировался maximum (2008-02-09 17:15:45)

coordinator

Гость

Re: Robost.txt для Punbb

maximum, а зачем для Yandex отдельно прописали? У вас есть зеркала форума или еще как?
Просветите.

maximum

Гость

Re: Robost.txt для Punbb

Да та же история что и с /s (search.php) - чтобы было.

Директива host страхует 301 редирект, а robots - мету, которая присутствует в register, login, search, post и др.

Пускай уж бот хавает robots, а не каждую страницу с целью поиска условий.

Редактировался hcs (2008-02-10 10:50:56)

bindstream

Гость

Re: Robost.txt для Punbb

maximum, а зачем для Yandex отдельно прописали? У вас есть зеркала форума или еще как?
Просветите.

webmasterstalk (или что-то вроде того) советуют прописывать Яндекс отдельно. Также фиксируют случаи чуть ли не комментов HTML типа "Яндекс, пожалуйста проиндексируй мой сайт!" и т.п.

Я считаю, что нужно использовать:

User-agent: *

и не заморачиваться. Все же не для поисковиков сайт делается... хотя, когда как.

maximum

Гость

Re: Robost.txt для Punbb

webmasterstalk (или что-то вроде того) советуют прописывать Яндекс отдельно.

Это касается только директивы host, чтобы другие боты не грузились не понятными для них вещами.

coordinator

Гость

Re: Robost.txt для Punbb

Robots.txt Checker

Мой robots.txt

User-agent: *
Disallow: /help
Disallow: /login
Disallow: /misc
Disallow: /profile
Disallow: /register
Disallow: /search
Disallow: /userlist