Форум программистов, компьютерный форум, киберфорум
PHP
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
0 / 0 / 0
Регистрация: 26.03.2015
Сообщений: 3

Защита от парсинга

26.03.2015, 16:48. Показов 1188. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Господа, понимаю, что тема избитая и рецепта нет, но может есть решение для конкретно моего случая.
Буду признателен за помощь.
Сайт парсится, часть с каждой страницы уходит. В итоге песимизация в выдаче яндекса.
Не силен в програмировании и в скриптах, но думаю парсят вот этим:
JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
function getHostName() {
    var host = window.location.hostname;
    if (host.indexOf('www') == 0) return host.substring(4);
    else return host;
}
 
function isLocalHost() {
    return getHostName() == 'localhost';
}
 
function getSiteUrl() {
    var host = window.location.hostname;
    if (host.indexOf('www') == 0) host = host.substring(4);
    if (host == "localhost") {
        host = window.location.host;
        var u = window.location.toString();
        var i = u.indexOf("/", 10);
        var j = u.indexOf("/", i + 1);
        var debugProjectName = u.substring(i + 1, j);
        host += "/" + debugProjectName;
    }
    return "http://" + host + "/";
}
 
function ontbDomainKeyUp(e) {
    var key = e.keyCode || e.which;
    if (key == 13) return onClickSubmitDomain();
    return true;
}
 
 
function onClickSubmitDomain() {
    var domain = document.getElementById("tbDomain").value;
    if (!domain) return false;
    if (domain.trim) domain = domain.trim();
    var request = domain;
 
    var i = domain.indexOf("/");
    if (i > 0) domain = cutDomain(domain);
 
    if (!checkDomain(domain)) {
        //alert("Ввёден некорректный домен.");
        window.location = getSiteUrl() + "search2/?searchid=2110541&text=" + encodeURIComponent(request);
        return false;
    }
    //alert(domain);
    window.location = getSiteUrl() + "site/" + domain + "/";
    return false;
}
 
function cutDomain(url) {
    if (url.lastIndexOf("/") == url.length - 1) url = url.substring(0, url.length - 1);
    var i = url.indexOf("//");
    if (i >= 0) url = url.substring(i + 2, url.length);
    else {
        i = url.indexOf("/");
        if (i >= 0) url = url.substring(i + 1, url.length);
    }
    var j = url.indexOf("/");
    if (j >= 0) url = url.substring(0, j);
    j = url.indexOf("?");
    if (j >= 0) url = url.substring(0, j);
    j = url.indexOf(":");
    if (j >= 0) url = url.substring(0, j);
    return url.trim();
}
 
function checkDomain(domain) {
    var i = domain.indexOf(".");
    if (i <= 0 || i == domain.length-1) return false;
    if (domain.indexOf(" ") >= 0 || domain.indexOf(",") >= 0 || domain.indexOf("?") >= 0 || domain.indexOf("&") >= 0) return false;
    return true;
}
 
//function writeError() {
//    var divError = document.getElementById("divError");
//    if (!divError) return;
//}
 
function urlsXNofollowInit() {
    var as = document.body.getElementsByTagName("A");
    for (var i = 0; i < as.length; i++) {
        var a = as[i];
        if (a.rel && a.rel.indexOf('http') == 0) {
            a.oncontextmenu = a.onclick = function() {
                if (this.rel) {
                    this.href = this.rel;
                    this.rel = '';
                }
                return true;
            };
        }
    }
}
 
 
window.onload = urlsXNofollowInit;
Может ли кто предложить лечение?
Желательно пошагово, для чайников.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
26.03.2015, 16:48
Ответы с готовыми решениями:

Защита от парсинга сайта
Уважаемые форумчане. Такой вопрос. У меня парсят сайт, ежедневно и не один раз, а по мере наполнения контента. Первый вопрос, если я в...

Защита от парсинга
Всем привет. Необходимо отделять поисковых роботов. Посоветуйте, как лучше реализовать такую защиту.

Защита номера телефона от парсинга
Всем доброго дня! Хочу спросить у тех, кто делал всевозможные парсеры контента: возможно спрятать номера телефонов на сайте (список...

3
Администратор
 Аватар для mik-a-el
87877 / 53198 / 249
Регистрация: 10.04.2006
Сообщений: 13,766
26.03.2015, 16:55
Цитата Сообщение от sps75 Посмотреть сообщение
Сайт парсится, часть с каждой страницы уходит.
Часть чего? И что вы понимаете под парсингом?
Цитата Сообщение от sps75 Посмотреть сообщение
Не силен в програмировании и в скриптах, но думаю парсят вот этим:
Это клиентский скрипт, выполняется браузером и непригоден для парсинга сайта в принципе. Он обрабатывает какую-то форму на вашем сайте.
0
0 / 0 / 0
Регистрация: 26.03.2015
Сообщений: 3
26.03.2015, 17:04  [ТС]
Спасибо за быстрый ответ.
Описываю ситуацию подробно.
Есть сайт, на котором размещена кнопка анализа других сайтов. Данные анализа сохраняются. Создается страница с данными о сайте и часть контента. Страница индексируется яндексом, в результате песимизация моего. Я этим анализом не пользовался точно, и я так понимаю он автоматические выдергивает как то страницы из поиска по заданным критериям и анализирует их.
Своего контента на сайте нет.
Проверял по Адвего уникальность, нашел что мой уникальный контент совсем уже не уникальный. Хотел бы избавиться от этой заразы.
Сайт-паразит - 500v.net
0
368 / 406 / 165
Регистрация: 29.05.2014
Сообщений: 1,494
26.03.2015, 18:44
Лично я ни чёрта не понял. Кто? И кого парсит? Если контент уникальный у тебя, и воруют его у тебя, то письмо админам в яндекс исправит положение на противоположное. В гугле по крайней мере, ошибки роботов исправляют довольно быстро.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
26.03.2015, 18:44
Помогаю со студенческими работами здесь

Защита сайта от парсинга
доброго времени суток! хочу пропарсить сайт кинопоиск, но он перенаправляет меня на отдельную страницу со следующим сообщением: Если...

Защита от парсинга: прокрутка страницы
Делаю защиту от парсинга. Предложили такую идею: расположить на странице Js, который чекает активность юзера на странице. Вопросы такие: ...

Защита программы от НСД. Защита путем шифрования части программы на флеш-диске или флешке
Написать программу на любом известном Вам языке программирования. Программа должна выполнять функцию защиты программы от НСД. Защита...

Защита от неправильного ввода "Защита от дурака"
Ввести элементы массива размерностью N&gt;100; Предусмотреть защиту на каждый ввод элемента массива N&gt;100; При не правильном вводе,...

Последовательность парсинга
Пишу кодик: public void enterForum(WebBrowser wb, HtmlElement pageElement) { //часть I нажатие кнопки Вход ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Автоматическое создание документа при проведении другого документа
Maks 29.03.2026
Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .
Настройка движения справочника по регистру сведений
Maks 29.03.2026
Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .
Отправка уведомления на почту при создании или изменении элементов справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru