Быстрый лёгкий надёжный форумный движок
Вы не вошли.
Страницы 1
Тема закрыта
Сейчас:
User-agent: *
Disallow: /cashe/
Disallow: /include/
Disallow: /lang/
Disallow: /style/
Disallow: /plugins/
Disallow: /profile
Disallow: /online
Disallow: /userlist
Disallow: /post
Disallow: /edit
Disallow: /moderate
Disallow: /search
Disallow: /register
Disallow: /misc
Disallow: /login
Disallow: /config
Disallow: /delete
Disallow: /admin
Host: forum.sait.ru
Вроде так. Или что-то упустил?
Редактировался Xbons (2006-10-20 17:33:28)
Зачем исключать форум из поисковика? Верно понимаю?
Нет, надо исключить лишь то, что не желательно для индексации(профили, поиск и т.п.)
Редактировался Xbons (2006-10-22 19:02:11)
Робот не проиндексирует профили и поиск, т.к. оно в мускуле лежит Да и вообще, нормальный робот индексирует только то, на что есть ссылки.
Робот не проиндексирует профили и поиск...
И? Твой robots.txt никак не поможет, если ты хочешь, чтобы не индексировалось то, что может быть отображено при просмотре профиля, то нужно делать такой disallow:
Disallow: profile.php, search.php, userlist.php
дальше продолжишь
Ну всяко не в таком виде, как ты написал.
У Xbons все правильно, только можно оставить десятую часть из всх запретов, ибо любой бот - гость, дальше сами думайте.
Ну всяко не в таком виде, как ты написал.
с чегой-то?
Потому что ничего не запрещает.
maximum ??? Как раз запрещает - робот не попадет в разделы, где можно получить инфу, которую не хочется публиковать. Роботы не сканируют каталоги и т.п. - они ходят по ссылкам.
Ещё раз повторяю - "твой пример стандарта исключений для robots.txt неправилен!".
Не надо меня учуть, лучше сам факи почитай.
Т.е., по-твоему, robots.txt следующего содержания ничего не запретит?
User-Agent: *
Disallow: profile.php
Disallow: search.php
Disallow: userlist.php
Извиняюсь, конечно, но советую тогда почитать факи и RFC тебе самому.
Конечно, вот теперь ты понял как правильно писать. Правда Xbons тебя опередил.
maximum, я и раньше знал, просто перечислил что надо закрывать - не до синтаксиса было.
Движок на некоторых страницах сам вставляет - <meta name="ROBOTS" content="NOINDEX, FOLLOW" />
Можно подправить, чтобы не прописывать ничего в robots.
Написал такой robots.txt
User-agent: *
Disallow: /cache/
Disallow: /calendar/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Disallow: /plugins/
Disallow: /style/
Disallow: /admin_bans.php
Disallow: /admin_categories.php
Disallow: /admin_censoring.php
Disallow: /admin_forums.php
Disallow: /admin_groups.php
Disallow: /admin_index.php
Disallow: /admin_loader.php
Disallow: /admin_maintenance.php
Disallow: /admin_options.php
Disallow: /admin_permissions.php
Disallow: /admin_prune.php
Disallow: /admin_ranks.php
Disallow: /admin_reports.php
Disallow: /admin_users.php
Disallow: /delete.php
Disallow: /login.php
Disallow: /message_delete.php
Disallow: /message_send.php
Disallow: /moderate.php
Disallow: /moderatepoll.php
Disallow: /movepost.php
Disallow: /register.php
Disallow: /search.php
Disallow: /edit.php
Вопрос, а где проверить работу можно? Нашел ссылку на сервис, а он приказал долго жить.
У вас на форуме боты наделены правами администратора? Тогда мы идём к вам.
Редактировался maximum (2008-02-08 23:09:10)
Конечно, проиндексировать они не смогут, т. к. доступа у них нет, но вот бессмысленное обращение к admin_index.php вполне возможно.
Вот мой robots.txt
User-agent: *
Disallow: /admin_
Disallow: /delete
Disallow: /edit
Disallow: /er
Disallow: /extern
Disallow: /help
Disallow: /login
Disallow: /misc
Disallow: /message
Disallow: /search
Disallow: /post
Disallow: /viewprintable
Disallow: /profile
Disallow: /register
Disallow: /userlist
Disallow: /cache/
Disallow: /img/
Disallow: /include/
Disallow: /js/
Disallow: /lang/
Disallow: /plugins/
Disallow: /style/
А вот мой:
User-agent: Yandex
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u
Host: wpforum.ru
User-agent: *
Disallow: /p
Disallow: /r
Disallow: /s
Disallow: /u
А я, как посмотрю, вы всё жжёте и жжёте.
Редактировался maximum (2008-02-09 17:15:45)
maximum, а зачем для Yandex отдельно прописали? У вас есть зеркала форума или еще как?
Просветите.
Да та же история что и с /s (search.php) - чтобы было.
Директива host страхует 301 редирект, а robots - мету, которая присутствует в register, login, search, post и др.
Пускай уж бот хавает robots, а не каждую страницу с целью поиска условий.
Редактировался hcs (2008-02-10 10:50:56)
maximum, а зачем для Yandex отдельно прописали? У вас есть зеркала форума или еще как?
Просветите.
webmasterstalk (или что-то вроде того) советуют прописывать Яндекс отдельно. Также фиксируют случаи чуть ли не комментов HTML типа "Яндекс, пожалуйста проиндексируй мой сайт!" и т.п.
Я считаю, что нужно использовать:
User-agent: *
и не заморачиваться. Все же не для поисковиков сайт делается... хотя, когда как.
webmasterstalk (или что-то вроде того) советуют прописывать Яндекс отдельно.
Это касается только директивы host, чтобы другие боты не грузились не понятными для них вещами.
Мой robots.txt
User-agent: *
Disallow: /help
Disallow: /login
Disallow: /misc
Disallow: /profile
Disallow: /register
Disallow: /search
Disallow: /userlist
Страницы 1
Тема закрыта