Регистрация: 15.11.2005
Сообщений: 184
|
|
1 | |
Помогите разобратся с ботами..18.05.2007, 11:30. Показов 7685. Ответов 12
Метки нет Все метки)
(
Значит так, держал сайты на виртуальном хосте и не знал бед.
Купил сервачок свой, настроил и залил сайтики. Поменял им NS и все заработало... Но на 3 день пришли боты Гугла, Яндекса, Yahоo, WebAlta, msnbot, MJ12bot/v1.2.0(кто это?), GigaBot (а это кто?). И нагенерили ТУЧУ трафа... 1. Почему они все пришли разом? 2. Ваще это нормально? 3. Может они пришли из-за смены IP?
0
|
|
18.05.2007, 11:30 | |
Ответы с готовыми решениями:
12
Помогите разобратся помогите разобратся с терминологией Помогите разобратся с Execute Помогите разобратся плз. |
Регистрация: 04.01.2007
Сообщений: 295
|
|
19.05.2007, 12:12 | 2 |
а роботс.тхт на что?
а раньше видимо их не замечали :)
0
|
Регистрация: 05.02.2007
Сообщений: 1,381
|
|
19.05.2007, 12:26 | 3 |
Вот ещё топик про ботов
0
|
Регистрация: 15.11.2005
Сообщений: 184
|
|
19.05.2007, 12:40 [ТС] | 4 |
Народ, вы вопросы читали?
:)
0
|
Регистрация: 04.01.2007
Сообщений: 295
|
|
19.05.2007, 12:55 | 5 |
2. почему не нормально, если роботы приходят :) 3. они пришли проиндексить.
0
|
Регистрация: 15.11.2005
Сообщений: 184
|
|
19.05.2007, 13:09 [ТС] | 6 |
Сенкс.
А как отказать вебальте, яхе, маджейстику?
0
|
Регистрация: 04.01.2007
Сообщений: 295
|
|
19.05.2007, 13:23 | 7 |
либо тут недавно в темах было - использовать клоакаинг под эти боты.
0
|
Регистрация: 15.11.2005
Сообщений: 184
|
|
19.05.2007, 13:37 [ТС] | 8 |
Обучите как в роботсе запретить, и выше писали что вебальте плевать на роботс...
0
|
Регистрация: 05.02.2007
Сообщений: 1,381
|
|
19.05.2007, 13:51 | 9 |
то нужно в роботсе прописать так User-agent: нужный вам бот Disallow: /
0
|
Регистрация: 15.11.2005
Сообщений: 184
|
|
19.05.2007, 14:05 [ТС] | 10 |
А как узнать имя бота? Точней, что из имени бота которое в логах писать ...
И если нескольким ботам запретить, как остальным разрешить или это подразумевается?
0
|
Регистрация: 23.02.2006
Сообщений: 302
|
|
20.05.2007, 14:20 | 11 |
<список того, что делать> - для всех ботов юзер агент: <как себя обзывает конкретный бот> disallow: / - запрещает всё... Экспериментировть советую начать с Яндекса :D Шутка :))
0
|
Регистрация: 18.04.2007
Сообщений: 190
|
|
20.05.2007, 14:34 | 12 |
Хе-хе :) Пишут, что Вебальте пофигу роботс и тут же советуют чего в этом роботсе писать
Названия роботов для robots.txt можно посмотреть здесь: http://robotstxt.org.ru/rurobots А полностью их блокировать лучше запретом в .htaccess Вот для WebAlta пример: <div>Код</div><div>RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^WebAlta RewriteRule ^.* - [F,L]</div> Gigabot - паук от поисковика gigablast.com MJ12bot - принадлежит majestic12.co.uk
0
|
Регистрация: 23.02.2006
Сообщений: 302
|
|
24.05.2007, 14:48 | 13 |
0
|
24.05.2007, 14:48 | |
Помогаю со студенческими работами здесь
13
Помогите разобратся с #define реестр ПоМогиТе разобратся Помогите разобратся с кодом. Помогите разобратся win2003 + 1c 7.7 Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |