Как спарсить POST данные в Google Plus

Здравствуйте. В Google + (Plus) есть community (сообщества), необходимо вступить туда программно. (Пример группы: https://plus.google.com/commun... 4579059070)
Вопрос заключается в том, что я не могу понять откуда берутся POST данные, их нет в POST форме и нет в загружаемых файлах (JS, или другие подгружаемые файлы.) Есть догадка что они формируются с помощью Java Script. Я сделал breakpoint на XHR запрос с содержанием ссылки:



В call стеке вот такой вот код, в котором я пока мало чего понимаю:



Вот такие вот POST данные:



Помню, как ковырял одноклассники там всегда передавался дополнительный токен и тоже казалось что он генерируется с помощью JS, но сразу после поста в форумы обнаружил что токен можно вытянуть с cookies. Это я к тому что данные возможно откуда то вытягиваются уже готовые, но я пока этого не нашел. Буду благодарен вам если поможете мне понят как это происходит здесь и можно ли вытянуть данные. Хотя бы помогите понять в каком направлении рыть, потому что ковырять код сжатый компрессором (особенно при поверхностных знаниях JS) кажется маленьким безумием.

Для модераторов: Если я вдруг запостил тему не в тот раздел прошу не сносите топик, отпишите здесь и я создам там где нужно, или просто перенесите сами. Спасибо.

0

Сообщение от ChenghisKhan В Google + (Plus) есть community (сообщества), необходимо вступить туда программно.

Google+ API не предоставляет такой возможности.

0

Верно. Google + Api не предоставляет. Я через Api и не работаю. Делаю приложение на Python, авторизоваться удалось без всяких проблем, нашел все данные которые отправляются в POST запросе для авторизации, спарсил и отправил, но вот при вступлении я не могу понять как спарсить данные которые передаются в POST запросе. Вы можете посмотреть скрины там есть эти данные, но откуда они берутся? Так же в первом посте есть ссылка на пример группы, вы можете запустить отладчик в хроме или в firefox, и вступить в группу, вкладка network высветит этот запрос с POST данными.

0

Сообщение от ChenghisKhan Я через Api и не работаю

А через что же вы работаете тогда?

0

Balanaar, я работаю напрямую с HTTP протоколом. Сниффером (встроенным дебагером) отслеживаю запросы и эмулирую их программно.

0

Вам знакомо понятие REST API?
Те самые POST-запросы, которые вы отправляете - это ни что иное, как запрос к Google+ API методом POST.
А теперь вернёмся на пост раньше:

Сообщение от Balanaar Google+ API не предоставляет такой возможности.

0

Дорогой Balanaar, конечно я знаком с REST API. Но здесь он не причем. Повторю в последний раз я работаю не с Google+ API, (хотя он предоставляет и REST API, и библиотеки для работы с приложениями гугл на разных языках и многие другие фичи), я работаю напрямую с HTTP протоколом, то есть так как это делают любой браузер с любым сайтом (не только гуглом.) Google+ API имеет много фич, но в основном лишь на чтение, на запись существуют платные подписки, но возможности вступить в комьюнити там нет именно поэтому я работаю поверх апи через HTTP протокол. Не было бы сложности спарсить данные которые вложены в форму, но здесь сама форма с данными генерируется через Javascript, я приложил скрины что бы эксперты сразу увидели суть проблемы, ПРИЧЕМ ТУТ API??????
Или вы имеете ввиду что это внутренний API который не документирован и существует для взаимодействия внутри Google+ ? В этом случае я согласен что это есть REST API, но тогда не согласен с высказыванием что он не поддерживает метод вступления в группу, так как с помощью браузера любой человек может вступить в группу. И так вернемся к главному вопросу, как спарсить данные которые передаются методом POST при вступлении в комьюнити.

Добавлено через 25 минут
Немного дополню основной вопрос пояснением своей задачи. Она заключается в том, что бы вступить в группу, а после собрать множество данных - это гигабайты данных. Но доступны они лишь после вступления. Есть возможность заюзать selenium webdriver, который поддерживает выполнение Javascript (потому что является браузером), соответственно необходимость парсить POST данные отпадает сама собой, потому что можно просто эмулировать клик на кнопку вступления и программа(~бот) вступит. Но такой метод требует открытия браузера в зависимости от драйвера (Firefox, Chrome), что само по себе грузит систему и не позволит работать в 1000 потоков. Можно заюзать драйвер Phantom JS, но меня ждет тоже самое разочарование с нагрузкой и невозможностью парсить многопоточно. Далее есть выход заюзать webkit инструмент встроенный в QT или PyQt, но опять же эмуляция множества браузеров приведет к проблеме с потоками, много их не создашь. Именно поэтому приходится работать с HTTP протоколом на низком уровне без браузеров (встроенных или сторонних), я лишь эмулирую его передавая заголовки с телом запроса. Авторизоваться удалось без проблем, организовать еще пару вещей тоже получилось без труда, но здесь запрос составляется с помощью Javascript кода и он сжат компрессором, с легкостью можно найти участок кода где генерируются эти данные, если ты владеешь отладчиком JS и знаешь Javascript, я его знаю поверхностно и с помощью breakpointa нашел список функций в последовательности которые в конечном счете делают XHR запрос к серверу, но вот что делают эти функции я без понятия. С этим и нужна помощь. Спасибо

0