Парсинг постов с группы вк - как сделать?

@likesoft · Регистрация: 21.12.2012

Студворк — интернет-сервис помощи студентам

Мне нужно сделать парсер постов с группы вк.
Но проблема в том что там посты подгружаются по javascript'y по мере прокрутки страницы пользователем.

Вот у меня есть код:

PHP
1
2
3
4
$url = 'http://vk.com/club111111';
$res = file_get_contents($url);
 
echo htmlspecialchars($res);

В данном случае отобразится html код 15 или 20 постов(не знаю сколько там по умолчанию).
Мне же нужно чтобы например 100,200,500 постов парсилось.
Как обойти это ограничение без использования api вк?

@pav1uxa · 15.02.2016, 20:58

Сообщение от likesoft

Как обойти это ограничение без использования api вк?

~~Проанализировать весь javascript-код контакта, определить каким образом догружаются данные, догрузить, спарсить.~~ Никак.

@WhiteMind · 15.02.2016, 21:10

Открыть network в браузере и посмотреть.
там к http://vk.com/al_wall.php идут.
act:get_wall
al:1
fixed:241202
offset:18
owner_id:-28627911
type:own
и такие параметры к примеру( для группы 40кг).

Добавлено через 8 минут
посмотрел еще.
owner_id - это ид группы или пользователя( от чего - зависит не знаю. мб для групп - )
offset - с какого поста грузить .
остальное незнаю

@likesoft · 15.02.2016, 21:29 **[ТС]**

WhiteMind, а где это именно смотреть?
Я с файрфокса сижу

@poss · 15.02.2016, 21:40

Через c++ qt creator (qt webkit) такое можно сделать.

Потом через c++ демон на сервере linux передавать в php скрипты и отображать на сайте, на котором ты и хочешь эти посты отображать.

@WhiteMind · 15.02.2016, 21:40

Сообщение от likesoft

Я с файрфокса сижу

пкм->исследовать элемент->сеть
можно еще фаербаг поставить

@likesoft · 15.02.2016, 21:53 **[ТС]**

poss, я в с++ не шарю, спасибо за совет

Добавлено через 1 минуту
WhiteMind, зашел в группу, нажал то что вы сказали, попал в раздел сеть.
Но запросов к файлу al_wall.php что то не наблюдаю, есть только к al_im.php

@WhiteMind · 15.02.2016, 21:56

Сообщение от likesoft

что то не наблюдаю

вы страницу вк вниз прокрутите, чтоб еще подгружались и тогда увидите

@likesoft · 15.02.2016, 22:42 **[ТС]**

WhiteMind, увидел! Составил get запрос с этими данными, и один хер результат выдает только 10 постов

Спаибо вам за помощь

Видимо нереально это сделать.

@WhiteMind · 15.02.2016, 23:00

Сообщение от likesoft

get

там POST.
и да. надо в цикле пока не закончатся выкачивать

@likesoft · 16.02.2016, 02:07 **[ТС]**

WhiteMind, то что там POST знаю! Но и get'ом тоже можно

Вытянул циклом, все работает

Еще раз спасибо большое за помощь

Новые блоги и статьи Все статьи Все блоги /
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .

@WhiteMind Hello Kitty 690 / 562 / 402 Регистрация: 12.02.2016 Сообщений: 1,436 Записей в блоге: 1
	15.02.2016, 21:10
	Сообщение было отмечено likesoft как решение Решение Открыть network в браузере и посмотреть. там к http://vk.com/al_wall.php идут. act:get_wall al:1 fixed:241202 offset:18 owner_id:-28627911 type:own и такие параметры к примеру( для группы 40кг). Добавлено через 8 минут посмотрел еще. owner_id - это ид группы или пользователя( от чего - зависит не знаю. мб для групп - ) offset - с какого поста грузить . остальное незнаю 2

@likesoft 7 / 7 / 5 Регистрация: 21.12.2012 Сообщений: 194
	15.02.2016, 21:29 [ТС]
	WhiteMind, а где это именно смотреть? Я с файрфокса сижу 1

@poss Заблокирован
	15.02.2016, 21:40
	Через c++ qt creator (qt webkit) такое можно сделать. Потом через c++ демон на сервере linux передавать в php скрипты и отображать на сайте, на котором ты и хочешь эти посты отображать. 0

@likesoft 7 / 7 / 5 Регистрация: 21.12.2012 Сообщений: 194
	15.02.2016, 21:53 [ТС]
	poss, я в с++ не шарю, спасибо за совет Добавлено через 1 минуту WhiteMind, зашел в группу, нажал то что вы сказали, попал в раздел сеть. Но запросов к файлу al_wall.php что то не наблюдаю, есть только к al_im.php 0

@likesoft 7 / 7 / 5 Регистрация: 21.12.2012 Сообщений: 194
	15.02.2016, 22:42 [ТС]
	WhiteMind, увидел! Составил get запрос с этими данными, и один хер результат выдает только 10 постов Спаибо вам за помощь Видимо нереально это сделать. 0

@likesoft 7 / 7 / 5 Регистрация: 21.12.2012 Сообщений: 194
	16.02.2016, 02:07 [ТС]
	WhiteMind, то что там POST знаю! Но и get'ом тоже можно Вытянул циклом, все работает Еще раз спасибо большое за помощь 1

Парсинг постов с группы вк - как сделать?

Решение