Curl и парсинг, танцы с бубном

Доброго вечера, форумчане.
Для себя и, возможно, друзей-знакомых, решил написать простенький проектик.
Суть в том, чтобы с часто посещаемых сайтов парсить видео, затем получать на него прямые ссылки и ваставлять на просмотр посредством <video>.
Весь функционал был успешно реализован на localhost aka 127.0.0.1 . Но, при загрузке всего этого "кода" на хостинг обнаружилась проблема - ни в какую не хотел выполнятся парсинг прямой ссылки на видео с vk.com. В поисках решения проблемы я перетанцевал с бубном и решил остановиться на curl, во многом благодаря этой статье с хабра. Рабочего решения на cURL я не нашел, может кто видел, где оно обитает? Возвращаться на <iframe>, успешно работающий и на хостинге, не хочу по многим причинам.
Кто сталкивался с подобной проблемой и смог как то ее устранить, прошу вас о помощи. Может какую ссылку, где можно подчерпнуть знаний о curl касательно данной области, или пример готового срипта. Буду благодарен за любую наводку.
P.S. Или парсинг с вк на данный момент вообще не возможен?

Добавлено через 9 часов 15 минут
Вообщем, как я понял, на данный момент способ авторизации остается только один - API VK. Однако, если поместить на сайт уже готовый файл Coockie с VK будет ли толк? Curl ведь может работать на прямую с Coockie. Так же интересует почему на локальном сервере страницы парсятся вообще без единой проблемы, а на хостинге - нет. Знает кто, в чем причина? И как можно обойти?

0

Сообщение от justprolol Так же интересует почему на локальном сервере страницы парсятся вообще без единой проблемы, а на хостинге - нет. Знает кто, в чем причина

Если хостинг бесплатный, то, вполне вероятно, что curl и другие возможности php, способные зайти на другие сайты, запрещены хостером.

Сообщение от justprolol Вообщем, как я понял, на данный момент способ авторизации остается только один - API VK.

Можно и без API. Браузер же делает это без API.

Сообщение от justprolol Однако, если поместить на сайт уже готовый файл Coockie с VK будет ли толк?

будет.

Сообщение от justprolol Может какую ссылку, где можно подчерпнуть знаний о curl касательно данной области,

Все что надо тут http://ru2.php.net/manual/ru/book.curl.php
все функции, каждая с примерами.

1

Сообщение от pav1uxa Если хостинг бесплатный, то, вполне вероятно, что curl и другие возможности php, способные зайти на другие сайты, запрещены хостером.

Проблема в том, что не работает даже у меня на локалке. Пока единственный варинат - файл куки каждую неделю обновлять. Я уже написал даже отправку номера телефона. Весь код валидный, но в ответе - вечный редирект. Т.е. если начинать парсить - получается зацикливание. Или если просто вывести страницу - эффект тот же. Ни в файл записать, да вообще ничего не сделать. Видимо, Это и есть защита от парсинга.

0

Сообщение от justprolol Так же интересует почему на локальном сервере страницы парсятся вообще без единой проблемы, а на хостинге - нет.

Сообщение от justprolol Проблема в том, что не работает даже у меня на локалке.

Какая-то нестыковочка, что-то я не так понял видимо...

Сообщение от justprolol Я уже написал даже отправку номера телефона. Весь код валидный, но в ответе - вечный редирект.

Я писал собственную фичу для контакта (без использования API), и никаких там вечных редиректов нет (да и быть не может теортетически). А если использовать API то все еще проще будет... Неправильно пишите значит.

0

Сообщение от pav1uxa использовать API то все еще проще будет

через api не получить прямую ссылку на видео.

Сообщение от pav1uxa и никаких там вечных редиректов нет

Если даже просто сохранить страницу, она сама себя редиректит в цикле. Если все <link> проблема отпадает.

0

Сообщение от justprolol Если даже просто сохранить страницу, она сама себя редиректит в цикле.

Голословное заявление, так как Вы не предоставляете ответа сервера, который по Вашему мнению "редиректит в цикле". Я могу просто ответить "нет, это не так".

Что бы понять в чем дело, надо смотреть что возвращает сервер (а именно http-заголовки и сам код), а не с бубном плясать. И я, кстати, писал напрямую через fsockopen(), fwrite(), fgets(), без использования cURL.

1

Сообщение от pav1uxa Что бы понять в чем дело, надо смотреть что возвращает сервер (а именно http-заголовки и сам код), а не с бубном плясать. И я, кстати, писал напрямую через fsockopen(), fwrite(), fgets(), без использования cURL.

Попробую так. А полученная мною страница на cURL`е - действительно "саморедиректится". Даже после сохранения ее в HTML и запуска в браузере - все равно вечный редирект. После удаления какой то из линков - все нормально становилось.
P.S. Я всегда первое что делаю - смотрю где, что и как возращается функциями.

Добавлено через 3 минуты
Пожалуй, сделаю указанным вами методом, ведь в принципе авторизация в VK не нужна для публичного видео...

0

остановись на qt creator. там qwebbrowser это хорошо делает.

0