Заблокирован

Защита от парсинга

16.02.2014, 09:15. Показов 1948. Ответов 11
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет. Необходимо отделять поисковых роботов. Посоветуйте, как лучше реализовать такую защиту.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
16.02.2014, 09:15
Ответы с готовыми решениями:

Защита номера телефона от парсинга
Всем доброго дня! Хочу спросить у тех, кто делал всевозможные парсеры контента: возможно спрятать номера телефонов на сайте (список...

Защита от парсинга
Господа, понимаю, что тема избитая и рецепта нет, но может есть решение для конкретно моего случая. Буду признателен за помощь. Сайт...

Защита от парсинга сайта
Уважаемые форумчане. Такой вопрос. У меня парсят сайт, ежедневно и не один раз, а по мере наполнения контента. Первый вопрос, если я в...

11
 Аватар для t1m0n
638 / 416 / 27
Регистрация: 03.11.2009
Сообщений: 1,855
16.02.2014, 15:15
в robots.txt отключить, заблокировать доступ к папкам куда им не нужен доступ
фильтровать по User-agent

вообще подробней читайте, в поиске полно
robots-txt
1
Заблокирован
16.02.2014, 19:34  [ТС]
Цитата Сообщение от t1m0n Посмотреть сообщение
в robots.txt отключить, заблокировать доступ к папкам куда им не нужен доступ
Чушь. Мне необходима защита для открытых посетителям страниц. Открытых для посетителей и для поисковых машин. Сделать это элементарно. Можно просто устанавливать куку и увеличивать ее значение при каждом посещении новой страницы. Поисковые роботы куку не принимают. Но это соломоново решение. Я хочу посоветоваться у профессионалов. Не хочется потом переделывать скрипты, когда появится лучшее решение. Лучше сразу сделать хорошо.

Добавлено через 9 минут
да... к тому же кука не станет, если парсить через консоль Винды... например. Можно учитывать айпи посетителей, но это тоже непрактично, если айпи динамический или в скрипте есть возможность переключаться на различные прокси.
0
99 / 99 / 27
Регистрация: 26.01.2012
Сообщений: 342
Записей в блоге: 1
16.02.2014, 19:47
Вы, видимо, не прочитали про robots.txt
0
1178 / 1128 / 94
Регистрация: 31.05.2012
Сообщений: 3,060
16.02.2014, 19:49
Цитата Сообщение от Vadik_es Посмотреть сообщение
Сделать это элементарно.
Зачем же Вы задаёте вопрос, на форуме, раз это для Вас элементарно...

Я боюсь профессионалы побояться спорить с таким умным как Вы, а то вдруг Вы ещё круче слова знаете чем
Цитата Сообщение от Vadik_es Посмотреть сообщение
Чушь.
Цитата Сообщение от Destank Посмотреть сообщение
Вы, видимо, не прочитали про robots.txt
Дык зачем? это ж
Цитата Сообщение от Vadik_es Посмотреть сообщение
элементарно
1
Заблокирован
16.02.2014, 20:21  [ТС]
Цитата Сообщение от DrobyshevAlex Посмотреть сообщение
а то вдруг Вы ещё круче слова знаете чем
Я не вижу ответа. Иронизировать тоже элементарно. Вот ответить слабо. Или я не прав? Боишься, что твой ответ окажется несостоятельным? Ну если боишься - лучше не отвечай. Может пострадать репутация
0
1178 / 1128 / 94
Регистрация: 31.05.2012
Сообщений: 3,060
16.02.2014, 20:24
Вам ответили уже дважды.
0
Заблокирован
16.02.2014, 20:32  [ТС]
Цитата Сообщение от Destank Посмотреть сообщение
Вы, видимо, не прочитали про robots.txt
Возможно. Но зачем мне читать все эти инструкции? Послать прогуглить на форуме равносильно послать по-дальше. Если ты прочитал - поделись. У меня есть конкретный вопрос и хочется получить на него конкретный ответ. Как думаешь, зачем мне вообще было задавать здесь вопрос? Вот... именно потому, что хотел услышать лучший ответ, а не получать ссылки на инструкции или слышать обиженные отклики тех, кто меня посылает дальше Гугла.

Добавлено через 2 минуты
Пойду я лучше отсюда. Так и знал, что этим все закончится. Бочки братьев Карамазовых походу еще в цене.
0
1178 / 1128 / 94
Регистрация: 31.05.2012
Сообщений: 3,060
16.02.2014, 20:38
Цитата Сообщение от Vadik_es Посмотреть сообщение
Но зачем мне читать все эти инструкции?
ой, и правда, что то тебе чушь ответили, читать заставляют, как так можно...
Кстати, я поужинал сегодня, можете не ужинать сегодня...

Почему другие не задают таких вопросов? Потому что знают, что это есть в интернете, Вам лень искать?
Ок, Вам даже ссылку дали.
А просто взять, и скопипастить оттуда сюда текст, смысла нет, к тому же, если Вам читать лень там, то Вам читать будет лень и тут...
0
Заблокирован
22.02.2014, 05:59  [ТС]
Цитата Сообщение от DrobyshevAlex Посмотреть сообщение
А просто взять, и скопипастить оттуда сюда текст, смысла нет
Смысл есть в том, что не стоит изобретать велосипед, который изобрели до тебя уже другие.
Попробую объяснить свой вопрос более популярно. Я не собираюсь закрывать страницы ни для поисковых роботов, ни для посетителей. Хочу ограничить кол-во открываемых страниц с одного айпи адреса за определенный промежуток времени, но хочу, что бы эти ограничения не затрагивали роботов. В директивах файла robots.txt такой возможности нет, как бы вы не старались меня в этом убедить.
0
508 / 358 / 13
Регистрация: 12.03.2012
Сообщений: 1,896
22.02.2014, 12:25
Осталось определить критерии, по которым робот отличается от пользователя.
Только это невозможно, если робот не тупой.
0
Заблокирован
22.02.2014, 17:01  [ТС]
Цитата Сообщение от OnYourLips Посмотреть сообщение
Осталось определить критерии, по которым робот отличается от пользователя.
Это вызывает проблемы? Ну тогда смотри Определить присутствие поискового робота на сайте
Не лучший, конечно, ответ. Просто не хочу давать ссылки на другие форумы.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
22.02.2014, 17:01
Помогаю со студенческими работами здесь

Защита сайта от парсинга
доброго времени суток! хочу пропарсить сайт кинопоиск, но он перенаправляет меня на отдельную страницу со следующим сообщением: Если...

Защита от парсинга: прокрутка страницы
Делаю защиту от парсинга. Предложили такую идею: расположить на странице Js, который чекает активность юзера на странице. Вопросы такие: ...

Защита программы от НСД. Защита путем шифрования части программы на флеш-диске или флешке
Написать программу на любом известном Вам языке программирования. Программа должна выполнять функцию защиты программы от НСД. Защита...

Защита от неправильного ввода "Защита от дурака"
Ввести элементы массива размерностью N>100; Предусмотреть защиту на каждый ввод элемента массива N>100; При не правильном вводе,...

Оптимизация парсинга
Добрый день! Подскажите, пожалуйста, как можно оптимизировать данный код, парсинг. Вроде это можно сделать с помощью регулярных...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Опции темы

Новые блоги и статьи
Валидация и контроль данных табличной части документа перед записью
Maks 22.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru