Форум программистов, компьютерный форум, киберфорум
PHP: сети
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.90/40: Рейтинг темы: голосов - 40, средняя оценка - 4.90
 Аватар для likesoft
7 / 7 / 5
Регистрация: 21.12.2012
Сообщений: 194

Парсинг постов с группы вк - как сделать?

15.02.2016, 20:48. Показов 8181. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Мне нужно сделать парсер постов с группы вк.
Но проблема в том что там посты подгружаются по javascript'y по мере прокрутки страницы пользователем.

Вот у меня есть код:
PHP
1
2
3
4
$url = 'http://vk.com/club111111';
$res = file_get_contents($url);
 
echo htmlspecialchars($res);
В данном случае отобразится html код 15 или 20 постов(не знаю сколько там по умолчанию).
Мне же нужно чтобы например 100,200,500 постов парсилось.
Как обойти это ограничение без использования api вк?
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
15.02.2016, 20:48
Ответы с готовыми решениями:

Копирование постов из группы в ВК
Здравствуйте, уважаемые форумчане! Пришла в голову одна идея - копирование постов группы ВК. Т.к. по работе нужно мониторить несколько...

Парсинг постов со страницы +Google
Всем привет, есть задача, нужно чтобы приложение отслеживало новые посты на страницы гугл+ и заносило их в базу данных или просто в файл...

API OK получения списка постов группы
Доброго времени! Помогите написать скрипт получения всех постов с определенной группы. В Сети толком ничего не нашел, кроме Буду...

10
1943 / 1768 / 825
Регистрация: 23.01.2014
Сообщений: 6,230
15.02.2016, 20:58
Цитата Сообщение от likesoft Посмотреть сообщение
Как обойти это ограничение без использования api вк?
Проанализировать весь javascript-код контакта, определить каким образом догружаются данные, догрузить, спарсить. Никак.
1
Hello Kitty
 Аватар для WhiteMind
690 / 562 / 402
Регистрация: 12.02.2016
Сообщений: 1,436
Записей в блоге: 1
15.02.2016, 21:10
Лучший ответ Сообщение было отмечено likesoft как решение

Решение

Открыть network в браузере и посмотреть.
там к http://vk.com/al_wall.php идут.
act:get_wall
al:1
fixed:241202
offset:18
owner_id:-28627911
type:own
и такие параметры к примеру( для группы 40кг).

Добавлено через 8 минут
посмотрел еще.
owner_id - это ид группы или пользователя( от чего - зависит не знаю. мб для групп - )
offset - с какого поста грузить .
остальное незнаю
2
 Аватар для likesoft
7 / 7 / 5
Регистрация: 21.12.2012
Сообщений: 194
15.02.2016, 21:29  [ТС]
WhiteMind, а где это именно смотреть?
Я с файрфокса сижу
1
Заблокирован
15.02.2016, 21:40
Через c++ qt creator (qt webkit) такое можно сделать.

Потом через c++ демон на сервере linux передавать в php скрипты и отображать на сайте, на котором ты и хочешь эти посты отображать.
0
Hello Kitty
 Аватар для WhiteMind
690 / 562 / 402
Регистрация: 12.02.2016
Сообщений: 1,436
Записей в блоге: 1
15.02.2016, 21:40
Цитата Сообщение от likesoft Посмотреть сообщение
Я с файрфокса сижу
пкм->исследовать элемент->сеть
можно еще фаербаг поставить
0
 Аватар для likesoft
7 / 7 / 5
Регистрация: 21.12.2012
Сообщений: 194
15.02.2016, 21:53  [ТС]
poss, я в с++ не шарю, спасибо за совет

Добавлено через 1 минуту
WhiteMind, зашел в группу, нажал то что вы сказали, попал в раздел сеть.
Но запросов к файлу al_wall.php что то не наблюдаю, есть только к al_im.php
0
Hello Kitty
 Аватар для WhiteMind
690 / 562 / 402
Регистрация: 12.02.2016
Сообщений: 1,436
Записей в блоге: 1
15.02.2016, 21:56
Цитата Сообщение от likesoft Посмотреть сообщение
что то не наблюдаю
вы страницу вк вниз прокрутите, чтоб еще подгружались и тогда увидите
0
 Аватар для likesoft
7 / 7 / 5
Регистрация: 21.12.2012
Сообщений: 194
15.02.2016, 22:42  [ТС]
WhiteMind, увидел! Составил get запрос с этими данными, и один хер результат выдает только 10 постов

Спаибо вам за помощь
Видимо нереально это сделать.
0
Hello Kitty
 Аватар для WhiteMind
690 / 562 / 402
Регистрация: 12.02.2016
Сообщений: 1,436
Записей в блоге: 1
15.02.2016, 23:00
Цитата Сообщение от likesoft Посмотреть сообщение
get
там POST.
и да. надо в цикле пока не закончатся выкачивать
2
 Аватар для likesoft
7 / 7 / 5
Регистрация: 21.12.2012
Сообщений: 194
16.02.2016, 02:07  [ТС]
WhiteMind, то что там POST знаю! Но и get'ом тоже можно
Вытянул циклом, все работает

Еще раз спасибо большое за помощь
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
16.02.2016, 02:07
Помогаю со студенческими работами здесь

Как сделать вывод популярных постов?
подскажите, натолкните на мысль как на сайте вордпресс сделать вывод популярных постов на отдельной странице , типа как там

Как сделать вывод постов по рейтингу?
Как сделать, чтобы любой авторизованный пользователь мог ставить рейтинг посту? И на на основе рейтинга выводить посты на главной?

Как сделать индивидуальные стили для вывода отдельных постов
Есть главная страница на которой выводятся все последние новости, стоит такая задача: 1. Вывод записи отдельным стилем(например фото на...

Парсинг новостной группы в Vk
беда какая-то с картинками, дело в том что картинок несколько бывает к новости прикрепляют, также и ауди бывает(не плоъо было бы и аудио...

как сделать копию группы
Добрый день, есть справочник (поле код и наименование) в нем есть группа с под группами и элементами Как можно сделать копию этой группы...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru