Форум программистов, компьютерный форум, киберфорум
Наши страницы
PHP
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.67/3: Рейтинг темы: голосов - 3, средняя оценка - 4.67
gigs
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 398
#1

Могут ли узнать что я парсю страницы ?

06.08.2013, 22:03. Просмотров 534. Ответов 5
Метки нет (Все метки)

Добрый день, на днях начал изучать парсинг и у меня возник такой вопрос, если я парсю страницы с помощью file_get_contents то может ли сайт у которого парсятся страницы заметить это ? то есть могут ли они заметить что я у них парсю страницы ?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
06.08.2013, 22:03
Ответы с готовыми решениями:

Возможно ли без парсинга страницы узнать Title страницы?
Возможно ли без парсинга страницы узнать Title страницы ? Спасибо.

Парсю картинки но они не загружаются!
Здравствуйте, сразу к проблеме Парсю с одного сайта(не буду называть)...

Как узнать php скрипт страницы
Народ, может можно как то просмотреть php код страницы, ну может есть...

Как узнать время на момент загрузки страницы?
Нужно, чтобы через сутки после входа на сайт соответствующее cookie переменная...

Как можно узнать размер динамической страницы
Здравствуйте, уважаемые форумчане. Погуглив не нашел ничего стоящего....

5
MVS76
Не мoдepaтор
339 / 314 / 94
Регистрация: 07.07.2012
Сообщений: 1,015
Записей в блоге: 7
06.08.2013, 23:07 #2
100% будет видно в логах сервера.
Правильный способ парсить через cUrl, там подставить реферала и юзер-агента и вопрос будет решен.
PHP
1
2
3
4
5
6
7
8
9
10
11
<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,'http://www.site.ua/profile.php'); // адрес жертвы
curl_setopt($ch, CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT,30); 
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.57 Safari/537.17'); // кем пришли
curl_setopt($ch, CURLOPT_REFERER,'http://www.site.ua/orders.php'); // страница откуда пришли
$result = curl_exec($ch);
curl_close($ch);
echo $result;
?>
Рабочий пример.
1
gigs
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 398
06.08.2013, 23:15  [ТС] #3
а там где "страница откуда пришли" можно любую страницу указать ?
0
MVS76
Не мoдepaтор
339 / 314 / 94
Регистрация: 07.07.2012
Сообщений: 1,015
Записей в блоге: 7
06.08.2013, 23:23 #4
ну вы подумайте сами, если ваш сайт "http://www.cyberforum.ru" и вы увидите в логах что пришли рефералом с сайта "http://www.ххх.ru/" вам не покажется это подозрительно?
Нужно указать страницу с которой реально можно прийти с этого сайта, то есть перекрестную.
1
gigs
8 / 9 / 1
Регистрация: 21.12.2011
Сообщений: 398
06.08.2013, 23:43  [ТС] #5
ага, я понял, а помогите мне пожалуйста прикрутить этот curl к моему небольшому парсеру. Вот код парсера который я сумел сделать с помощью тех знаний что у меня сейчас есть:
PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
$url="http://www.mysite.ru/stat";
$content=file_get_contents($url);
 
$tag_in="<div class=\"first-commands\">";
$tag_out="<div class=\"layout-columns\">";
 
 
$position=strpos($content,$tag_in);
$content=substr($content,$position);
$position=strpos($content,$tag_out);
$content=substr($content,0,$position);
 
echo $content;
Как мне к этому коду присоединить curl ?
0
MVS76
Не мoдepaтор
339 / 314 / 94
Регистрация: 07.07.2012
Сообщений: 1,015
Записей в блоге: 7
07.08.2013, 00:16 #6
для начала нужно знать что вам нужно, ну вроде ТЗ. Глядя в ваш код создается впечатление, что я смотрю в ведро в полной темноте, разбираться с вашим кодом нет желания.
1
07.08.2013, 00:16
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
07.08.2013, 00:16

Как узнать скрипту инфу об уходе с данной страницы, сайта посетителя?
Как узнать скрипту инфу об уходе с данной страницы, сайта посетителя. Тоесть в...

Враги могут узнать где я бываю в сети! Что делать?
Я использую прокси-сервера, но это несколько тормозит соединение. Хотелось бы...

Как узнать что пользователь ушел со страницы ???
Как узнать что пользователь ушел со страницы ??? А то ждать таймаута сесии...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru