Форум программистов, компьютерный форум, киберфорум
PHP
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
0 / 0 / 0
Регистрация: 26.03.2015
Сообщений: 3

Защита от парсинга

26.03.2015, 16:48. Показов 1155. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Господа, понимаю, что тема избитая и рецепта нет, но может есть решение для конкретно моего случая.
Буду признателен за помощь.
Сайт парсится, часть с каждой страницы уходит. В итоге песимизация в выдаче яндекса.
Не силен в програмировании и в скриптах, но думаю парсят вот этим:
JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
function getHostName() {
    var host = window.location.hostname;
    if (host.indexOf('www') == 0) return host.substring(4);
    else return host;
}
 
function isLocalHost() {
    return getHostName() == 'localhost';
}
 
function getSiteUrl() {
    var host = window.location.hostname;
    if (host.indexOf('www') == 0) host = host.substring(4);
    if (host == "localhost") {
        host = window.location.host;
        var u = window.location.toString();
        var i = u.indexOf("/", 10);
        var j = u.indexOf("/", i + 1);
        var debugProjectName = u.substring(i + 1, j);
        host += "/" + debugProjectName;
    }
    return "http://" + host + "/";
}
 
function ontbDomainKeyUp(e) {
    var key = e.keyCode || e.which;
    if (key == 13) return onClickSubmitDomain();
    return true;
}
 
 
function onClickSubmitDomain() {
    var domain = document.getElementById("tbDomain").value;
    if (!domain) return false;
    if (domain.trim) domain = domain.trim();
    var request = domain;
 
    var i = domain.indexOf("/");
    if (i > 0) domain = cutDomain(domain);
 
    if (!checkDomain(domain)) {
        //alert("Ввёден некорректный домен.");
        window.location = getSiteUrl() + "search2/?searchid=2110541&text=" + encodeURIComponent(request);
        return false;
    }
    //alert(domain);
    window.location = getSiteUrl() + "site/" + domain + "/";
    return false;
}
 
function cutDomain(url) {
    if (url.lastIndexOf("/") == url.length - 1) url = url.substring(0, url.length - 1);
    var i = url.indexOf("//");
    if (i >= 0) url = url.substring(i + 2, url.length);
    else {
        i = url.indexOf("/");
        if (i >= 0) url = url.substring(i + 1, url.length);
    }
    var j = url.indexOf("/");
    if (j >= 0) url = url.substring(0, j);
    j = url.indexOf("?");
    if (j >= 0) url = url.substring(0, j);
    j = url.indexOf(":");
    if (j >= 0) url = url.substring(0, j);
    return url.trim();
}
 
function checkDomain(domain) {
    var i = domain.indexOf(".");
    if (i <= 0 || i == domain.length-1) return false;
    if (domain.indexOf(" ") >= 0 || domain.indexOf(",") >= 0 || domain.indexOf("?") >= 0 || domain.indexOf("&") >= 0) return false;
    return true;
}
 
//function writeError() {
//    var divError = document.getElementById("divError");
//    if (!divError) return;
//}
 
function urlsXNofollowInit() {
    var as = document.body.getElementsByTagName("A");
    for (var i = 0; i < as.length; i++) {
        var a = as[i];
        if (a.rel && a.rel.indexOf('http') == 0) {
            a.oncontextmenu = a.onclick = function() {
                if (this.rel) {
                    this.href = this.rel;
                    this.rel = '';
                }
                return true;
            };
        }
    }
}
 
 
window.onload = urlsXNofollowInit;
Может ли кто предложить лечение?
Желательно пошагово, для чайников.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
26.03.2015, 16:48
Ответы с готовыми решениями:

Защита от парсинга сайта
Уважаемые форумчане. Такой вопрос. У меня парсят сайт, ежедневно и не один раз, а по мере наполнения контента. Первый вопрос, если я в...

Защита от парсинга
Всем привет. Необходимо отделять поисковых роботов. Посоветуйте, как лучше реализовать такую защиту.

Защита номера телефона от парсинга
Всем доброго дня! Хочу спросить у тех, кто делал всевозможные парсеры контента: возможно спрятать номера телефонов на сайте (список...

3
Администратор
 Аватар для mik-a-el
87818 / 53139 / 249
Регистрация: 10.04.2006
Сообщений: 13,761
26.03.2015, 16:55
Цитата Сообщение от sps75 Посмотреть сообщение
Сайт парсится, часть с каждой страницы уходит.
Часть чего? И что вы понимаете под парсингом?
Цитата Сообщение от sps75 Посмотреть сообщение
Не силен в програмировании и в скриптах, но думаю парсят вот этим:
Это клиентский скрипт, выполняется браузером и непригоден для парсинга сайта в принципе. Он обрабатывает какую-то форму на вашем сайте.
0
0 / 0 / 0
Регистрация: 26.03.2015
Сообщений: 3
26.03.2015, 17:04  [ТС]
Спасибо за быстрый ответ.
Описываю ситуацию подробно.
Есть сайт, на котором размещена кнопка анализа других сайтов. Данные анализа сохраняются. Создается страница с данными о сайте и часть контента. Страница индексируется яндексом, в результате песимизация моего. Я этим анализом не пользовался точно, и я так понимаю он автоматические выдергивает как то страницы из поиска по заданным критериям и анализирует их.
Своего контента на сайте нет.
Проверял по Адвего уникальность, нашел что мой уникальный контент совсем уже не уникальный. Хотел бы избавиться от этой заразы.
Сайт-паразит - 500v.net
0
368 / 406 / 165
Регистрация: 29.05.2014
Сообщений: 1,494
26.03.2015, 18:44
Лично я ни чёрта не понял. Кто? И кого парсит? Если контент уникальный у тебя, и воруют его у тебя, то письмо админам в яндекс исправит положение на противоположное. В гугле по крайней мере, ошибки роботов исправляют довольно быстро.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
26.03.2015, 18:44
Помогаю со студенческими работами здесь

Защита сайта от парсинга
доброго времени суток! хочу пропарсить сайт кинопоиск, но он перенаправляет меня на отдельную страницу со следующим сообщением: Если...

Защита от парсинга: прокрутка страницы
Делаю защиту от парсинга. Предложили такую идею: расположить на странице Js, который чекает активность юзера на странице. Вопросы такие: ...

Защита программы от НСД. Защита путем шифрования части программы на флеш-диске или флешке
Написать программу на любом известном Вам языке программирования. Программа должна выполнять функцию защиты программы от НСД. Защита...

Защита от неправильного ввода "Защита от дурака"
Ввести элементы массива размерностью N&gt;100; Предусмотреть защиту на каждый ввод элемента массива N&gt;100; При не правильном вводе,...

Последовательность парсинга
Пишу кодик: public void enterForum(WebBrowser wb, HtmlElement pageElement) { //часть I нажатие кнопки Вход ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru