Скрипт для защиты от ботов Яндекса

07.05.2006, 18:38. **Показов** 13821. **Ответов** 20

Студворк — интернет-сервис помощи студентам

Мой провайдер уже два раза перегонял меня на более дорогой тарифный план только потому что злые боты Яндекса имеют свойтсво являться как раз тогда, когда сайт и так под приличной нагрузкой.
В этой связи вопрос: нет ли готового скрипта для запуска чрез CRON, чтобы он на время пиковой нагрузки (будни, c 16 до 22) так модифицировал Robots, чтобы боты Яндекса не лезли?

@Ekapichgo · 07.05.2006, 20:04

Может тебе хостера проще сменить?

Что это за хостер который не выдерживает бота яндекса до кучи.

@Nuc · 07.05.2006, 20:18

Ботов можно определять по названю. Посмотри в логах, как они определяются. Насчёт готового скрипта - не видел.

07.05.2006, 20:32

Может тебе хостера проще сменить?

Что это за хостер который не выдерживает бота яндекса до кучи.

Да нет, хостер хороший, просто сайт довольно большой (500 мег текстов), и юзеров все больше (уже 6000 в сутки). Да и Мамба ботов Яндекса боится (есть у этой CMS такое свойство).
Вот и проблема...

@dnelpe-ge · 07.05.2006, 20:46

Лучше уж посетителей с тих трафик больше ...

Типа "Вы пришли в неудобное для провайдера время ... приходите на эту страницу позже часов так с 1 до 4 ночи ... "
:D :D :D

Меняй прова АднАзнАчнА ...

@nopg · 07.05.2006, 21:00

2AlexK
меняйте прова, иначе если закроете бота Яндекса - лишитесь трафика, посетителей с поисковика, а зачем вам сайт без посетителей?

@umegc · 07.05.2006, 21:15

Мой провайдер уже два раза перегонял меня на более дорогой тарифный план только потому что злые боты Яндекса имеют свойтсво являться как раз тогда, когда сайт и так под приличной нагрузкой.
В этой связи вопрос: нет ли готового скрипта для запуска чрез CRON, чтобы он на время пиковой нагрузки (будни, c 16 до 22) так модифицировал Robots, чтобы боты Яндекса не лезли?

Сделать так можно. txt файл изменять скрптом, раз плюнуть, но то, что бот обидется и уйдёт от вас, это очень сильно повлияет на траф. Вам это надо? Прова нафиг!!!

@Spam · 07.05.2006, 21:29

Эге ж. Скрипт за 5 минут написать можно, а ботов потом ждать можно долго. Они ж не знают, что у сайта критические моменты и расписание приема.
Попробуй в роботс написать: "Мы работаем с хх до хх. Перерыв с хх до хх. Прием товара с хх до. Первый понедельник месяца - санитарный день. Администрация" :)

@Denamush · 07.05.2006, 21:43

у меня как-то тоже были проблемы с хостером. Кстати его название - Арбатек (пусть народ знает где бяка сидит). Эти редиски просто блокировали аккаунт, говорили что "у вас там перегрузка, разбирайтесь сами в чем причины и пишите нам, мы подумаем".

Короче сплошная канитель была. Смотрел по логам за период - из "необычного" только массовый заход ботов, пересекались например Яшка и Гугля (или еще кто).

Причем сайт (скрипты) я облегчил по максимуму (благо везде все самописное использую). Где мог - в статику загнал страницы. Ну и т.д.

Все это - косяки хостеров. Понавешают на 1 машину тучу аккаунтов, а потом верещат. Закрывать сайт от ботов - последнее дело. Меняйте хостера. Посмотрите в сторону Петерхоста. У них тарифчик есть - обещают не более 12 аккаунтов на машину вешать. Спецом для сильно посещаемых сайтов.

@cipkeuc · 07.05.2006, 21:57

Мой провайдер уже два раза перегонял меня на более дорогой тарифный план только потому что злые боты Яндекса имеют свойтсво являться как раз тогда, когда сайт и так под приличной нагрузкой.
В этой связи вопрос: нет ли готового скрипта для запуска чрез CRON, чтобы он на время пиковой нагрузки (будни, c 16 до 22) так модифицировал Robots, чтобы боты Яндекса не лезли?

Я свои домены на RBC вешаю - выдерживают трафик Alexa-100 000.
Да и никаках ограничений по объему трафика не предусмотрено.

@gegenap · 07.05.2006, 22:11

Эге ж. Скрипт за 5 минут написать можно, а ботов потом ждать можно долго. Они ж не знают, что у сайта критические моменты и расписание приема.
Попробуй в роботс написать: "Мы работаем с хх до хх. Перерыв с хх до хх. Прием товара с хх до. Первый понедельник месяца - санитарный день. Администрация" :)

:)) :)) Зачет.

@Civimlh Cam · 07.05.2006, 22:25

чтобы он на время пиковой нагрузки (будни, c 16 до 22) так модифицировал Robots, чтобы боты Яндекса не лезли?

Последствия таких действий могут оказаться, мягко говоря, плачевными.

@ClopTii · 07.05.2006, 22:40

Последствия таких действий могут оказаться, мягко говоря, плачевными.

Если праыильно роботс составить - то не каких проблем.

@Hiodu · 07.05.2006, 22:54

при таком трафе нужно хостера брать с анлимным бандвичем, ибо если 500 метров контента и >1к посетителей, то не трудно прикинуть что в месяц несколько гиг (если не десятков) бандвича уходит

@ClopTii · 07.05.2006, 23:08

Вообще скорее всего Ваш хостер оверселит слегка (по крайней мере закрадываються такие подозрения)

@Denamush · 07.05.2006, 23:22

при таком трафе нужно хостера брать с анлимным бандвичем, ибо если 500 метров контента и >1к посетителей, то не трудно прикинуть что в месяц несколько гиг (если не десятков) бандвича уходит

Я что-то давно не встречал хостеров с ограничениями по трафику.
К тому же, Вы явно невнимательно читали вопрос. Речь идет совсем не о лимитах на траф!

@Padpekkicc · 07.05.2006, 23:36

Я что-то давно не встречал хостеров с ограничениями по трафику.

Есть такие, http://www.hqost.net/ например. А скоро будет еще больше если траф подорожает.

@Denamush · 07.05.2006, 23:50

2 Rodriggess
Нет, я верю что они есть. Только нафига оно нужно? Реликты ...

А скоро будет еще больше если траф подорожает.

Ты знаешь, в некоторых случаях хостеру выгодно, чтобы с тебя траф шел исходящий. За траф платит потребитель - юзер. Но это уже оффтоп.

08.05.2006, 00:05

Эге ж. Скрипт за 5 минут написать можно, а ботов потом ждать можно долго. Они ж не знают, что у сайта критические моменты и расписание приема.
Попробуй в роботс написать: "Мы работаем с хх до хх. Перерыв с хх до хх. Прием товара с хх до. Первый понедельник месяца - санитарный день. Администрация" :)

У моего сайта PR5 и ТИЦ 1300, контент ежедневно дополняется, роботы на него по нескольку раз в день заглядывают. Неужели, если их пару раз отшить, Яндекс весь индекс на 25000 страниц снеcет и начнет индексацию сайта заново?
Как-то странно это...

@nopg · 08.05.2006, 00:19

мдя чего я только о Арбатеке не слышал... докатились... бегите от него. чем быстрее тем лучше.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

OtixG

	Скрипт для защиты от ботов Яндекса 07.05.2006, 18:38. Показов 13821. Ответов 20 Метки нет (Все метки) Мой провайдер уже два раза перегонял меня на более дорогой тарифный план только потому что злые боты Яндекса имеют свойтсво являться как раз тогда, когда сайт и так под приличной нагрузкой. В этой связи вопрос: нет ли готового скрипта для запуска чрез CRON, чтобы он на время пиковой нагрузки (будни, c 16 до 22) так модифицировал Robots, чтобы боты Яндекса не лезли?

@Ekapichgo Регистрация: 25.10.2005 Сообщений: 309
	07.05.2006, 20:04
	Может тебе хостера проще сменить? Что это за хостер который не выдерживает бота яндекса до кучи. 0

@Nuc Регистрация: 31.03.2006 Сообщений: 78
	07.05.2006, 20:18
	Ботов можно определять по названю. Посмотри в логах, как они определяются. Насчёт готового скрипта - не видел. 0

@dnelpe-ge Регистрация: 03.01.2006 Сообщений: 139
	07.05.2006, 20:46
	Лучше уж посетителей с тих трафик больше ... Типа "Вы пришли в неудобное для провайдера время ... приходите на эту страницу позже часов так с 1 до 4 ночи ... " :D :D :D Меняй прова АднАзнАчнА ... 0

@nopg Регистрация: 13.03.2005 Сообщений: 3,061
	07.05.2006, 21:00
	2AlexK меняйте прова, иначе если закроете бота Яндекса - лишитесь трафика, посетителей с поисковика, а зачем вам сайт без посетителей? 0

@Spam Регистрация: 29.12.2005 Сообщений: 313
	07.05.2006, 21:29
	Эге ж. Скрипт за 5 минут написать можно, а ботов потом ждать можно долго. Они ж не знают, что у сайта критические моменты и расписание приема. Попробуй в роботс написать: "Мы работаем с хх до хх. Перерыв с хх до хх. Прием товара с хх до. Первый понедельник месяца - санитарный день. Администрация" :) 0

@Denamush Регистрация: 12.04.2006 Сообщений: 613
	07.05.2006, 21:43
	у меня как-то тоже были проблемы с хостером. Кстати его название - Арбатек (пусть народ знает где бяка сидит). Эти редиски просто блокировали аккаунт, говорили что "у вас там перегрузка, разбирайтесь сами в чем причины и пишите нам, мы подумаем". Короче сплошная канитель была. Смотрел по логам за период - из "необычного" только массовый заход ботов, пересекались например Яшка и Гугля (или еще кто). Причем сайт (скрипты) я облегчил по максимуму (благо везде все самописное использую). Где мог - в статику загнал страницы. Ну и т.д. Все это - косяки хостеров. Понавешают на 1 машину тучу аккаунтов, а потом верещат. Закрывать сайт от ботов - последнее дело. Меняйте хостера. Посмотрите в сторону Петерхоста. У них тарифчик есть - обещают не более 12 аккаунтов на машину вешать. Спецом для сильно посещаемых сайтов. 0

@Hiodu Регистрация: 28.12.2005 Сообщений: 262
	07.05.2006, 22:54
	при таком трафе нужно хостера брать с анлимным бандвичем, ибо если 500 метров контента и >1к посетителей, то не трудно прикинуть что в месяц несколько гиг (если не десятков) бандвича уходит 0

@ClopTii Регистрация: 02.05.2006 Сообщений: 22
	07.05.2006, 23:08
	Вообще скорее всего Ваш хостер оверселит слегка (по крайней мере закрадываються такие подозрения) 0

@nopg Регистрация: 13.03.2005 Сообщений: 3,061
	08.05.2006, 00:19
	мдя чего я только о Арбатеке не слышал... докатились... бегите от него. чем быстрее тем лучше. 0