|
Заблокирован
|
|
Защита от парсинга16.02.2014, 09:15. Показов 1948. Ответов 11
Метки нет (Все метки)
Всем привет. Необходимо отделять поисковых роботов. Посоветуйте, как лучше реализовать такую защиту.
0
|
|
| 16.02.2014, 09:15 | |
|
Ответы с готовыми решениями:
11
Защита номера телефона от парсинга Защита от парсинга Защита от парсинга сайта |
|
638 / 416 / 27
Регистрация: 03.11.2009
Сообщений: 1,855
|
|
| 16.02.2014, 15:15 | |
|
в robots.txt отключить, заблокировать доступ к папкам куда им не нужен доступ
фильтровать по User-agent вообще подробней читайте, в поиске полно robots-txt
1
|
|
|
Заблокирован
|
||
| 16.02.2014, 19:34 [ТС] | ||
|
Добавлено через 9 минут да... к тому же кука не станет, если парсить через консоль Винды... например. Можно учитывать айпи посетителей, но это тоже непрактично, если айпи динамический или в скрипте есть возможность переключаться на различные прокси.
0
|
||
|
1178 / 1128 / 94
Регистрация: 31.05.2012
Сообщений: 3,060
|
|||||
| 16.02.2014, 19:49 | |||||
|
Я боюсь профессионалы побояться спорить с таким умным как Вы, а то вдруг Вы ещё круче слова знаете чем
1
|
|||||
|
Заблокирован
|
||
| 16.02.2014, 20:21 [ТС] | ||
0
|
||
|
1178 / 1128 / 94
Регистрация: 31.05.2012
Сообщений: 3,060
|
|
| 16.02.2014, 20:24 | |
|
Вам ответили уже дважды.
0
|
|
|
Заблокирован
|
||
| 16.02.2014, 20:32 [ТС] | ||
|
Добавлено через 2 минуты Пойду я лучше отсюда. Так и знал, что этим все закончится. Бочки братьев Карамазовых походу еще в цене.
0
|
||
|
1178 / 1128 / 94
Регистрация: 31.05.2012
Сообщений: 3,060
|
||
| 16.02.2014, 20:38 | ||
|
Кстати, я поужинал сегодня, можете не ужинать сегодня... Почему другие не задают таких вопросов? Потому что знают, что это есть в интернете, Вам лень искать? Ок, Вам даже ссылку дали. А просто взять, и скопипастить оттуда сюда текст, смысла нет, к тому же, если Вам читать лень там, то Вам читать будет лень и тут...
0
|
||
|
Заблокирован
|
||
| 22.02.2014, 05:59 [ТС] | ||
|
Попробую объяснить свой вопрос более популярно. Я не собираюсь закрывать страницы ни для поисковых роботов, ни для посетителей. Хочу ограничить кол-во открываемых страниц с одного айпи адреса за определенный промежуток времени, но хочу, что бы эти ограничения не затрагивали роботов. В директивах файла robots.txt такой возможности нет, как бы вы не старались меня в этом убедить.
0
|
||
|
508 / 358 / 13
Регистрация: 12.03.2012
Сообщений: 1,896
|
|
| 22.02.2014, 12:25 | |
|
Осталось определить критерии, по которым робот отличается от пользователя.
Только это невозможно, если робот не тупой.
0
|
|
|
Заблокирован
|
||
| 22.02.2014, 17:01 [ТС] | ||
|
Не лучший, конечно, ответ. Просто не хочу давать ссылки на другие форумы.
0
|
||
| 22.02.2014, 17:01 | |
|
Помогаю со студенческими работами здесь
12
Защита сайта от парсинга
Защита программы от НСД. Защита путем шифрования части программы на флеш-диске или флешке Защита от неправильного ввода "Защита от дурака" Оптимизация парсинга Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
|||
|
Валидация и контроль данных табличной части документа перед записью
Maks 22.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2.
Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .
|
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2.
Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом.
В. . .
|
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2.
Задача: отобразить спецтехнику, которая на данный момент находится в ремонте.
Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
|
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
|
|
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
|
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут
Суть:
- Группа наркоманов из 10 человек.
- Только один инфицирован ВИЧ.
- Колются одной иглой.
- Колются раз в день.
- Колются последовательно через. . .
|
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
|
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
|