Защита от парсинга

@Vadik_es · 16.02.2014, 09:15. **Показов** 1903. **Ответов** 11

Студворк — интернет-сервис помощи студентам

Всем привет. Необходимо отделять поисковых роботов. Посоветуйте, как лучше реализовать такую защиту.

@t1m0n · 16.02.2014, 15:15

в robots.txt отключить, заблокировать доступ к папкам куда им не нужен доступ
фильтровать по User-agent

вообще подробней читайте, в поиске полно
robots-txt

@Vadik_es · 16.02.2014, 19:34 **[ТС]**

Сообщение от t1m0n

в robots.txt отключить, заблокировать доступ к папкам куда им не нужен доступ

Чушь. Мне необходима защита для открытых посетителям страниц. Открытых для посетителей и для поисковых машин. Сделать это элементарно. Можно просто устанавливать куку и увеличивать ее значение при каждом посещении новой страницы. Поисковые роботы куку не принимают. Но это соломоново решение. Я хочу посоветоваться у профессионалов. Не хочется потом переделывать скрипты, когда появится лучшее решение. Лучше сразу сделать хорошо.

Добавлено через 9 минут
да... к тому же кука не станет, если парсить через консоль Винды... например. Можно учитывать айпи посетителей, но это тоже непрактично, если айпи динамический или в скрипте есть возможность переключаться на различные прокси.

@Destank · 16.02.2014, 19:47

Вы, видимо, не прочитали про robots.txt

DrobyshevAlex · 16.02.2014, 19:49

Сообщение от Vadik_es

Сделать это элементарно.

Зачем же Вы задаёте вопрос, на форуме, раз это для Вас элементарно...

Я боюсь профессионалы побояться спорить с таким умным как Вы, а то вдруг Вы ещё круче слова знаете чем

Сообщение от Vadik_es

Чушь.

Сообщение от Destank

Вы, видимо, не прочитали про robots.txt

Дык зачем? это ж

Сообщение от Vadik_es

элементарно

@Vadik_es · 16.02.2014, 20:21 **[ТС]**

Сообщение от DrobyshevAlex

а то вдруг Вы ещё круче слова знаете чем

Я не вижу ответа. Иронизировать тоже элементарно. Вот ответить слабо. Или я не прав? Боишься, что твой ответ окажется несостоятельным? Ну если боишься - лучше не отвечай. Может пострадать репутация

DrobyshevAlex · 16.02.2014, 20:24

Вам ответили уже дважды.

@Vadik_es · 16.02.2014, 20:32 **[ТС]**

Сообщение от Destank

Вы, видимо, не прочитали про robots.txt

Возможно. Но зачем мне читать все эти инструкции? Послать прогуглить на форуме равносильно послать по-дальше. Если ты прочитал - поделись. У меня есть конкретный вопрос и хочется получить на него конкретный ответ. Как думаешь, зачем мне вообще было задавать здесь вопрос? Вот... именно потому, что хотел услышать лучший ответ, а не получать ссылки на инструкции или слышать обиженные отклики тех, кто меня посылает дальше Гугла.

Добавлено через 2 минуты
Пойду я лучше отсюда. Так и знал, что этим все закончится. Бочки братьев Карамазовых походу еще в цене.

DrobyshevAlex · 16.02.2014, 20:38

Сообщение от Vadik_es

Но зачем мне читать все эти инструкции?

ой, и правда, что то тебе чушь ответили, читать заставляют, как так можно...
Кстати, я поужинал сегодня, можете не ужинать сегодня...

Почему другие не задают таких вопросов? Потому что знают, что это есть в интернете, Вам лень искать?
Ок, Вам даже ссылку дали.
А просто взять, и скопипастить оттуда сюда текст, смысла нет, к тому же, если Вам читать лень там, то Вам читать будет лень и тут...

@Vadik_es · 22.02.2014, 05:59 **[ТС]**

Сообщение от DrobyshevAlex

А просто взять, и скопипастить оттуда сюда текст, смысла нет

Смысл есть в том, что не стоит изобретать велосипед, который изобрели до тебя уже другие.
Попробую объяснить свой вопрос более популярно. Я не собираюсь закрывать страницы ни для поисковых роботов, ни для посетителей. Хочу ограничить кол-во открываемых страниц с одного айпи адреса за определенный промежуток времени, но хочу, что бы эти ограничения не затрагивали роботов. В директивах файла robots.txt такой возможности нет, как бы вы не старались меня в этом убедить.

@OnYourLips · 22.02.2014, 12:25

Осталось определить критерии, по которым робот отличается от пользователя.
Только это невозможно, если робот не тупой.

@Vadik_es · 22.02.2014, 17:01 **[ТС]**

Сообщение от OnYourLips

Осталось определить критерии, по которым робот отличается от пользователя.

Это вызывает проблемы? Ну тогда смотри Определить присутствие поискового робота на сайте
Не лучший, конечно, ответ. Просто не хочу давать ссылки на другие форумы.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Vadik_es Заблокирован

	Защита от парсинга 16.02.2014, 09:15. Показов 1903. Ответов 11 Метки нет (Все метки) Всем привет. Необходимо отделять поисковых роботов. Посоветуйте, как лучше реализовать такую защиту. 0

@t1m0n 638 / 416 / 27 Регистрация: 03.11.2009 Сообщений: 1,855
	16.02.2014, 15:15
	в robots.txt отключить, заблокировать доступ к папкам куда им не нужен доступ фильтровать по User-agent вообще подробней читайте, в поиске полно robots-txt 1

@Destank 99 / 99 / 27 Регистрация: 26.01.2012 Сообщений: 342 Записей в блоге: 1
	16.02.2014, 19:47
	Вы, видимо, не прочитали про robots.txt 0

DrobyshevAlex 1178 / 1128 / 94 Регистрация: 31.05.2012 Сообщений: 3,060
	16.02.2014, 20:24
	Вам ответили уже дважды. 0

@OnYourLips 508 / 358 / 13 Регистрация: 12.03.2012 Сообщений: 1,896
	22.02.2014, 12:25
	Осталось определить критерии, по которым робот отличается от пользователя. Только это невозможно, если робот не тупой. 0