Как отключить индексацию

wst · 2015-02-13 21:13:24

Всем привет!

Как отключить полностью индексацию что бы не попасть во всякие там https://archive.org/ гугл/яндекс кеши и пр. каталоги ?

Можно же как-то полностью запретить поисковым машинам/ботам индексировать сайт ?

Visman · 2015-02-14 07:16:24

@wst, можно. Закрой доступ к сайту гостям, тогда только залогинившиеся пользователи увидят содержимое форума.

wst · 2015-02-14 10:11:05

Но разве нельзя что-то прописать в robots.txt что бы поисковики обходили его стороной ?

Visman · 2015-02-14 10:19:17

@wst, нельзя. robots.txt это всего лишь твое пожелание и все, а поисковики могут его как исполнить, так и нет.
Вот, глянь хотя бы сюда https://fluxbb.qb7.ru/forum/viewtopic.php?id=3769 И это не только к мэйл.ру роботу относится.

wst · 2015-02-16 20:07:01

Хорошо, а если например захоститься с доменом 3 уровня ? Их вроде как не индексируют. Или если загнать форум под фильтры ?

Visman · 2015-02-16 20:19:16

@wst, все что видно неавторизированному пользователю будет проиндексировано! А может скоро поисковики будут авторизироваться на форумах/сайтах под видом людей и индексировать их так. Может уже так делают

У меня вопрос: зачем хочешь запретить индексацию?

wst · 2015-02-16 21:15:42

Как это зачем ? Боюсь вот таких вот сообщений:

"Искомый ресурс содержит информацию, распространение которой в Российской Федерации запрещено на основании Федерального закона 15.1 от 27 июля 2006 года №149-ФЗ Перейти на сайт единого реестра".

Как то так...

Visman · 2015-02-17 06:07:20

@wst, в таком случае только закрытие всего форума от просмотра гостей как я и сказал в первом своем посте в этой теме.
З.Ы. Не только поисковиков боятся надо, но и доброходов

wwput · 2015-02-18 01:40:09

Но разве нельзя что-то прописать в robots.txt что бы поисковики обходили его стороной

в robots.txt бесполезно, но можно запретить индексацию ненужным роботам через файл .htaccess.
Просто нужно задать соответ-щую директиву и ввести список неугодных тебе поисковых ботов.
Погугли, в сети найдешь решение.

Согласен с @Visman, больше следует опасаться "доброжелателей", чем ботов.

Visman · 2015-02-18 06:19:33

Тогда не только по UA блокировать через .htaccess, но и через ip диапозоны (в том числе и гос.структур ).

wst · 2015-02-18 20:30:09

Спасибо!

Подскажите ещё на счёт настройки .htaccess

Не силён в этом.

Мы пишем:

SetEnvIfNoCase User-Agent $ bad_bot
SetEnvIfNoCase User-Agent "bot" bad_bot
*далее перечисляем огромный список юзер агентов*

и в конце пишем ?

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

На этом всё ? Или что-то надо было прописывать в самом начале ?

wwput · 2015-02-19 00:29:50

wst пишет:

На этом всё ? Или что-то надо было прописывать в самом начале ?

В самом начале укажи, что ты будешь показывать поисковым ботам вместо твоего контента. По правилам надо отдавать ошибку 403 Forbidden («запрещено»)

Редактировался wwput (2015-02-19 00:30:57)

Visman · 2015-02-19 05:54:33

@wwput, разве при блокировке через Deny from не 403 ошибка выдается?

wwput · 2015-02-19 16:35:41

Visman пишет:

@wwput, разве при блокировке через Deny from не 403 ошибка выдается?

ну да, просто я имел в виду вот так

<Files 403.shtml>
order allow,deny
allow from all
</Files>

# Далее список юзерагентов которым мы запрещаем доступ
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent WebAlta bad_bot
SetEnvIfNoCase User-Agent "Yahoo! Slurp" bad_bot
#...

Order Allow,Deny
Allow from all
Deny from env=bad_bot

Редактировался wwput (2015-02-19 16:50:51)

wst · 2015-02-20 18:14:00

Так стоп! Какой из этих кодов правильный, как проверить работоспособность ?

Visman · 2015-02-20 19:15:25

@wst,

SetEnvIfNoCase User-Agent "bot" bad_bot
SetEnvIfNoCase User-Agent "spider" bad_bot
SetEnvIfNoCase User-Agent "crawler" bad_bot
SetEnvIfNoCase User-Agent "и т.д. и т.п." bad_bot
<Limit GET POST HEAD>
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</Limit>

а чтоб проверить в настройках своего браузера в юзер агент добавь слово bot

wst · 2015-02-20 20:39:36

Сделал всё как и написано, свободно захожу на сайт:

Активны: [Bot] Googlebot

Используемый User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Будут какие-то предложения, что не верно делаю ? Мб что-то с использованием файла .htaccess на самом хостинге ?

----------------------------------------------------------------------------------------------------------------------------------------

Всё, разобрался! Файл .htaccess должен лежать в корневом каталоге, у меня же он почему-то лежал по умолчанию в папке cache

Теперь всё работает, всем спасибо! Пока что добавил в блок 299 ботов, могу выложить список кому интересно, буду дополнять его со временем, и позже ещё блок по IP добавлю, ибо нефиг мониторить тут!

Редактировался wst (2015-02-20 20:48:07)

Visman · 2015-02-21 06:11:04

@wst, если ты удалил файл .htaccess из папки cache, то это очень большая ошибка! Он там не просто так лежал.
З.Ы. Почитай как правила прописанные в .htaccess распространяются по директориям сайта.

wst · 2015-02-21 09:44:51

Не удалил, а копировал, у меня теперь 2 файла .htaccess, один из них лежит в папке cache, другой в корне.

Visman · 2015-02-21 10:00:08

@wst, в папку cache скопируй файл .htaccess из оригинального движка форума.

wst · 2015-02-21 10:35:03

Получается в папке cache должен лежать чистый .htaccess без изменений ?

Visman · 2015-02-21 11:00:30

@wst, да. Тот который был в оригинальном движке.
Я же написал, что бы ты прочитал о том как .htaccess действует.

wst · 2016-05-30 23:16:50

Тему ап, заметил сегодня одну очень не хорошую весч

Активны:
[Bot] SkypeUriPreview Preview (2)

Как это убрать ? Я хочу запретить всяким там скайп превью сканить форум!

Visman · 2016-05-31 05:58:34

@wst, если сервер apache, то выше я давал пример блокировки по юзер агентам через .htaccess.

Русское сообщество fluxbb

Объявление

#1 2015-02-13 21:13:24

Как отключить индексацию

#2 2015-02-14 07:16:24

Re: Как отключить индексацию

#3 2015-02-14 10:11:05

Re: Как отключить индексацию

#4 2015-02-14 10:19:17

Re: Как отключить индексацию

#5 2015-02-16 20:07:01

Re: Как отключить индексацию

#6 2015-02-16 20:19:16

Re: Как отключить индексацию

#7 2015-02-16 21:15:42

Re: Как отключить индексацию

#8 2015-02-17 06:07:20

Re: Как отключить индексацию

#9 2015-02-18 01:40:09

Re: Как отключить индексацию

#10 2015-02-18 06:19:33

Re: Как отключить индексацию

#11 2015-02-18 20:30:09

Re: Как отключить индексацию

#12 2015-02-19 00:29:50

Re: Как отключить индексацию

#13 2015-02-19 05:54:33

Re: Как отключить индексацию

#14 2015-02-19 16:35:41

Re: Как отключить индексацию

#15 2015-02-20 18:14:00

Re: Как отключить индексацию

#16 2015-02-20 19:15:25

Re: Как отключить индексацию

#17 2015-02-20 20:39:36

Re: Как отключить индексацию

#18 2015-02-21 06:11:04

Re: Как отключить индексацию

#19 2015-02-21 09:44:51

Re: Как отключить индексацию

#20 2015-02-21 10:00:08

Re: Как отключить индексацию

#21 2015-02-21 10:35:03

Re: Как отключить индексацию

#22 2015-02-21 11:00:30

Re: Как отключить индексацию

#23 2016-05-30 23:16:50

Re: Как отключить индексацию

#24 2016-05-31 05:58:34

Re: Как отключить индексацию

Подвал доски