Регистрация: 15.11.2005
Сообщений: 184
1

Помогите разобратся с ботами..

18.05.2007, 11:30. Показов 7685. Ответов 12
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Значит так, держал сайты на виртуальном хосте и не знал бед.
Купил сервачок свой, настроил и залил сайтики. Поменял им NS и все заработало...
Но на 3 день пришли боты Гугла, Яндекса, Yahоo, WebAlta, msnbot, MJ12bot/v1.2.0(кто это?), GigaBot (а это кто?).

И нагенерили ТУЧУ трафа...

1. Почему они все пришли разом?
2. Ваще это нормально?
3. Может они пришли из-за смены IP?
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
18.05.2007, 11:30
Ответы с готовыми решениями:

Помогите разобратся
Есть готовые html-страницы и зарегистрированный сайт который уже действует в интернете, причем...

помогите разобратся с терминологией
Сколько пользуюсь компом, но многих вещей не знаю. Стыдно, конечно, но узнать всеравно нужно,...

Помогите разобратся с Execute
Всем привет. разбираюсь с кодом на строчке видает ошибку retcode% = Execute (script$)...

Помогите разобратся плз.
Мне необходимо вывести все записи из запроса в форму, которые затем по нажатию кнопки перенесутся и...

12
Регистрация: 04.01.2007
Сообщений: 295
19.05.2007, 12:12 2
а роботс.тхт на что?

а раньше видимо их не замечали :)
0
Регистрация: 05.02.2007
Сообщений: 1,381
19.05.2007, 12:26 3
а роботс.тхт на что?
Вебальте роботс по барабану, а для MJ12bot/v1.2.0 и подобных тем более :)

Вот ещё топик про ботов
0
Регистрация: 15.11.2005
Сообщений: 184
19.05.2007, 12:40  [ТС] 4
Народ, вы вопросы читали?
:)
0
Регистрация: 04.01.2007
Сообщений: 295
19.05.2007, 12:55 5
1. Почему они все пришли разом?
2. Ваще это нормально?
3. Может они пришли из-за смены IP?
1. совпадение
2. почему не нормально, если роботы приходят :)
3. они пришли проиндексить.
0
Регистрация: 15.11.2005
Сообщений: 184
19.05.2007, 13:09  [ТС] 6
Сенкс.

А как отказать вебальте, яхе, маджейстику?
0
Регистрация: 04.01.2007
Сообщений: 295
19.05.2007, 13:23 7
Сенкс.

А как отказать вебальте, яхе, маджейстику?
запретить либо в роботсе, либо напрямую на серваке,
либо тут недавно в темах было - использовать клоакаинг под эти боты.
0
Регистрация: 15.11.2005
Сообщений: 184
19.05.2007, 13:37  [ТС] 8
Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс...
0
Регистрация: 05.02.2007
Сообщений: 1,381
19.05.2007, 13:51 9
Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс...
что бы запретить боту идесксить,
то нужно в роботсе прописать так

User-agent: нужный вам бот
Disallow: /
0
Регистрация: 15.11.2005
Сообщений: 184
19.05.2007, 14:05  [ТС] 10
А как узнать имя бота? Точней, что из имени бота которое в логах писать ...

И если нескольким ботам запретить, как остальным разрешить или это подразумевается?
0
Регистрация: 23.02.2006
Сообщений: 302
20.05.2007, 14:20 11
А как узнать имя бота? Точней, что из имени бота которое в логах писать ...

И если нескольким ботам запретить, как остальным разрешить или это подразумевается?
User Agent: *
<список того, что делать> - для всех ботов
юзер агент: <как себя обзывает конкретный бот>
disallow: / - запрещает всё...
Экспериментировть советую начать с Яндекса :D Шутка :))
0
Регистрация: 18.04.2007
Сообщений: 190
20.05.2007, 14:34 12
Хе-хе :) Пишут, что Вебальте пофигу роботс и тут же советуют чего в этом роботсе писать
Названия роботов для robots.txt можно посмотреть здесь: http://robotstxt.org.ru/rurobots

А полностью их блокировать лучше запретом в .htaccess

Вот для WebAlta пример:
<div>Код</div><div>RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^WebAlta
RewriteRule ^.* - [F,L]</div>

Gigabot - паук от поисковика gigablast.com
MJ12bot - принадлежит majestic12.co.uk
0
Регистрация: 23.02.2006
Сообщений: 302
24.05.2007, 14:48 13
Gigabot - паук от поисковика gigablast.com
MJ12bot - принадлежит majestic12.co.uk
И тот, и другой - расчитаны чисто на специфическую западную аудиторию и без контента с ориентацией на Запад полезны Вам однозначноне будут. Только трафик жрут :)
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
24.05.2007, 14:48
Помогаю со студенческими работами здесь

Помогите разобратся с #define
Доброго времени суток! Разбираюсь с понятием &quot;виртуальный порт&quot;, пришел к выводу что очень...

реестр ПоМогиТе разобратся
Пишу программу для зашиты пользователя с помощью добавления ключей в реестр. Пример: ...

Помогите разобратся с кодом.
Что нужно сюда дописать что бы этот код грамотно выдергивал то что мне нужно? &lt;? $content =...

Помогите разобратся win2003 + 1c 7.7
Добрый день! Есть win2003 на нем домен, SQL 2005, 1c 7.7. Проблема в том что 1С прекрасно работает...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
13
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2023, CyberForum.ru