Сайт атакуют роботы... Нужны лекарства

@Alexey · Регистрация: 27.03.2012

Студворк — интернет-сервис помощи студентам

Сайты на ASP, IIS5, за последний месяц (awstats) двойное увеличение кол-ва хитов и трафика при той же посещаемости, что и месяц назад. Логи пока не анализировал. Интересуют стандартные тулы для убийства роботов

@pl · 13.02.2012, 17:58

Может просто поисковые боты стали чаще индексировать?

@Alexey · 13.02.2012, 18:15

сайты существуют давно, гуглем проиндексированы хорошо

возможно это левые поисковички, но по IP статистике не скажешь что бы был один некий IP адрес, с которого бы шел большой трафик

в любом случае мне нужны инструменты для блокирования таких "поисковиков"

@pl · 14.02.2012, 09:53

Наверное стоит проанализировать логи веб-сервера. Если это поисковые боты, то запретить их в файле robots.txt. Если левые боты или еще что, то они могут игнорировать любые стандартные способы. Придется ставить файервол, возможно ДО веб-сервера. В любом случае, трафик сразу не уменьшиться, только после того, как боты "отлипнут".

@pl · 14.02.2012, 09:55

Еще был у меня случай, когда на сервере лежала музыка, файлы были достаточно большими (порядка 50-200 Мб), их скачивали различными даунлоадерами, которые закачивают несколькими потоками. Входящий трафик возрос в разы, пришлось музыку убрать.

14.02.2012, 14:48

Сообщение от smalig

сайты существуют давно, гуглем проиндексированы хорошо

возможно это левые поисковички, но по IP статистике не скажешь что бы был один некий IP адрес, с которого бы шел большой трафик

в любом случае мне нужны инструменты для блокирования таких "поисковиков"

Статья опубликованная в журнале хакер.
http://www.xakep.ru/magazine/xa/081/066/1.asp
Прочитай может что-то пригодиться хотя описываеться Apache под никсами.

@Alexey · 14.02.2012, 14:50

[italic]Сайты на ASP, IIS5[/italic]

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .	SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@Alexey 0 / 1 / 3 Регистрация: 27.03.2012

	Сайт атакуют роботы... Нужны лекарства 13.02.2012, 17:46. Показов 1657. Ответов 6 Метки нет (Все метки) Сайты на ASP, IIS5, за последний месяц (awstats) двойное увеличение кол-ва хитов и трафика при той же посещаемости, что и месяц назад. Логи пока не анализировал. Интересуют стандартные тулы для убийства роботов 0

@pl 51 / 17 / 6 Регистрация: 18.05.2007 Сообщений: 1,322
	13.02.2012, 17:58
	Может просто поисковые боты стали чаще индексировать? 0

@Alexey 0 / 1 / 3 Регистрация: 27.03.2012
	13.02.2012, 18:15
	сайты существуют давно, гуглем проиндексированы хорошо возможно это левые поисковички, но по IP статистике не скажешь что бы был один некий IP адрес, с которого бы шел большой трафик в любом случае мне нужны инструменты для блокирования таких "поисковиков" 0

@pl 51 / 17 / 6 Регистрация: 18.05.2007 Сообщений: 1,322
	14.02.2012, 09:53
	Наверное стоит проанализировать логи веб-сервера. Если это поисковые боты, то запретить их в файле robots.txt. Если левые боты или еще что, то они могут игнорировать любые стандартные способы. Придется ставить файервол, возможно ДО веб-сервера. В любом случае, трафик сразу не уменьшиться, только после того, как боты "отлипнут". 0

@pl 51 / 17 / 6 Регистрация: 18.05.2007 Сообщений: 1,322
	14.02.2012, 09:55
	Еще был у меня случай, когда на сервере лежала музыка, файлы были достаточно большими (порядка 50-200 Мб), их скачивали различными даунлоадерами, которые закачивают несколькими потоками. Входящий трафик возрос в разы, пришлось музыку убрать. 0

@Alexey 0 / 1 / 3 Регистрация: 27.03.2012
	14.02.2012, 14:50
	[italic]Сайты на ASP, IIS5[/italic] 0