Помогите разобратся с ботами..

@DuDteg · Регистрация: 15.11.2005

Студворк — интернет-сервис помощи студентам

Значит так, держал сайты на виртуальном хосте и не знал бед.
Купил сервачок свой, настроил и залил сайтики. Поменял им NS и все заработало...
Но на 3 день пришли боты Гугла, Яндекса, Yahоo, WebAlta, msnbot, MJ12bot/v1.2.0(кто это?), GigaBot (а это кто?).

И нагенерили ТУЧУ трафа...

1. Почему они все пришли разом?
2. Ваще это нормально?
3. Может они пришли из-за смены IP?

@civhopd · 19.05.2007, 12:12

а роботс.тхт на что?

а раньше видимо их не замечали :)

@Звидо · 19.05.2007, 12:26

а роботс.тхт на что?

Вебальте роботс по барабану, а для MJ12bot/v1.2.0 и подобных тем более :)

Вот ещё топик про ботов

@DuDteg · 19.05.2007, 12:40 **[ТС]**

Народ, вы вопросы читали?
:)

@civhopd · 19.05.2007, 12:55

1. Почему они все пришли разом?
2. Ваще это нормально?
3. Может они пришли из-за смены IP?

1. совпадение
2. почему не нормально, если роботы приходят :)
3. они пришли проиндексить.

@DuDteg · 19.05.2007, 13:09 **[ТС]**

Сенкс.

А как отказать вебальте, яхе, маджейстику?

@civhopd · 19.05.2007, 13:23

Сенкс.

А как отказать вебальте, яхе, маджейстику?

запретить либо в роботсе, либо напрямую на серваке,
либо тут недавно в темах было - использовать клоакаинг под эти боты.

@DuDteg · 19.05.2007, 13:37 **[ТС]**

Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс...

@Звидо · 19.05.2007, 13:51

Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс...

что бы запретить боту идесксить,
то нужно в роботсе прописать так

User-agent: нужный вам бот
Disallow: /

@DuDteg · 19.05.2007, 14:05 **[ТС]**

А как узнать имя бота? Точней, что из имени бота которое в логах писать ...

И если нескольким ботам запретить, как остальным разрешить или это подразумевается?

@Rott · 20.05.2007, 14:20

А как узнать имя бота? Точней, что из имени бота которое в логах писать ...

И если нескольким ботам запретить, как остальным разрешить или это подразумевается?

User Agent: *
<список того, что делать> - для всех ботов
юзер агент: <как себя обзывает конкретный бот>
disallow: / - запрещает всё...
Экспериментировть советую начать с Яндекса :D Шутка :))

@Wemg · 20.05.2007, 14:34

Хе-хе :) Пишут, что Вебальте пофигу роботс и тут же советуют чего в этом роботсе писать
Названия роботов для robots.txt можно посмотреть здесь: http://robotstxt.org.ru/rurobots

А полностью их блокировать лучше запретом в .htaccess

Вот для WebAlta пример:
<div>Код</div><div>RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^WebAlta
RewriteRule ^.* - [F,L]</div>

Gigabot - паук от поисковика gigablast.com
MJ12bot - принадлежит majestic12.co.uk

@Rott · 24.05.2007, 14:48

Gigabot - паук от поисковика gigablast.com
MJ12bot - принадлежит majestic12.co.uk

И тот, и другой - расчитаны чисто на специфическую западную аудиторию и без контента с ориентацией на Запад полезны Вам однозначноне будут. Только трафик жрут :)

@DuDteg Регистрация: 15.11.2005 Сообщений: 184
	19.05.2007, 14:05 [ТС]	10
	А как узнать имя бота? Точней, что из имени бота которое в логах писать ... И если нескольким ботам запретить, как остальным разрешить или это подразумевается? 0

@DuDteg Регистрация: 15.11.2005 Сообщений: 184
		1
	Помогите разобратся с ботами.. 18.05.2007, 11:30. Показов 7685. Ответов 12 Метки нет (Все метки) Значит так, держал сайты на виртуальном хосте и не знал бед. Купил сервачок свой, настроил и залил сайтики. Поменял им NS и все заработало... Но на 3 день пришли боты Гугла, Яндекса, Yahоo, WebAlta, msnbot, MJ12bot/v1.2.0(кто это?), GigaBot (а это кто?). И нагенерили ТУЧУ трафа... 1. Почему они все пришли разом? 2. Ваще это нормально? 3. Может они пришли из-за смены IP? 0

@civhopd Регистрация: 04.01.2007 Сообщений: 295
	19.05.2007, 12:12	2
	а роботс.тхт на что? а раньше видимо их не замечали :) 0

@Звидо Регистрация: 05.02.2007 Сообщений: 1,381
	19.05.2007, 12:26	3
	а роботс.тхт на что? Вебальте роботс по барабану, а для MJ12bot/v1.2.0 и подобных тем более :) Вот ещё топик про ботов 0

@DuDteg Регистрация: 15.11.2005 Сообщений: 184
	19.05.2007, 12:40 [ТС]	4
	Народ, вы вопросы читали? :) 0

@civhopd Регистрация: 04.01.2007 Сообщений: 295
	19.05.2007, 12:55	5
	1. Почему они все пришли разом? 2. Ваще это нормально? 3. Может они пришли из-за смены IP? 1. совпадение 2. почему не нормально, если роботы приходят :) 3. они пришли проиндексить. 0

@DuDteg Регистрация: 15.11.2005 Сообщений: 184
	19.05.2007, 13:09 [ТС]	6
	Сенкс. А как отказать вебальте, яхе, маджейстику? 0

@civhopd Регистрация: 04.01.2007 Сообщений: 295
	19.05.2007, 13:23	7
	Сенкс. А как отказать вебальте, яхе, маджейстику? запретить либо в роботсе, либо напрямую на серваке, либо тут недавно в темах было - использовать клоакаинг под эти боты. 0

@DuDteg Регистрация: 15.11.2005 Сообщений: 184
	19.05.2007, 13:37 [ТС]	8
	Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс... 0

@Звидо Регистрация: 05.02.2007 Сообщений: 1,381
	19.05.2007, 13:51	9
	Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс... что бы запретить боту идесксить, то нужно в роботсе прописать так User-agent: нужный вам бот Disallow: / 0

@Rott Регистрация: 23.02.2006 Сообщений: 302
	20.05.2007, 14:20	11
	А как узнать имя бота? Точней, что из имени бота которое в логах писать ... И если нескольким ботам запретить, как остальным разрешить или это подразумевается? User Agent: * <список того, что делать> - для всех ботов юзер агент: <как себя обзывает конкретный бот> disallow: / - запрещает всё... Экспериментировть советую начать с Яндекса :D Шутка :)) 0

Опции темы

@Wemg Регистрация: 18.04.2007 Сообщений: 190
	20.05.2007, 14:34	12
	Хе-хе :) Пишут, что Вебальте пофигу роботс и тут же советуют чего в этом роботсе писать Названия роботов для robots.txt можно посмотреть здесь: http://robotstxt.org.ru/rurobots А полностью их блокировать лучше запретом в .htaccess Вот для WebAlta пример: <div>Код</div><div>RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^WebAlta RewriteRule ^.* - [F,L]</div> Gigabot - паук от поисковика gigablast.com MJ12bot - принадлежит majestic12.co.uk 0

@Rott Регистрация: 23.02.2006 Сообщений: 302
	24.05.2007, 14:48	13
	Gigabot - паук от поисковика gigablast.com MJ12bot - принадлежит majestic12.co.uk И тот, и другой - расчитаны чисто на специфическую западную аудиторию и без контента с ориентацией на Запад полезны Вам однозначноне будут. Только трафик жрут :) 0