Нужны ли вам личные данные пользователей из соц. сети VK?

Доброе время суток, мне интересно ваше мнение по поводу актуальности разработки скрапера для соц. сети VK. Это обращение предназначено для тех, кто занимается машинным обучением или другой деятельностью, в которой личные данные пользователей (далее PII - personally identifiable information) из соц. сети могут быть необходимы.

VK API, конечно, хорош для сбора комментариев, постов, etc, но для получения доступа к PII необходимо запросить у пользователя разрешение. А если вам для исследований нужна выборка, например, в 10000 юзеров, то это может растянуться на бесконечный срок, верно? К тому же, методы для работы с PII (getInfo() и getProfileInfo(), etc) не дают ВСЮ информацию со странички, они несколько ее ограничивают.

Короче говоря, причину разработки такой тулзы я вижу в том, что сложность получения PII через VK API не оправдывает её ценность.

Основное преимущество использования скрапера в том, что ему не нужно спрашивать разрешение. Он заходит на страницу юзера и забирает нужную вам информацию. Работа скрапера будет требовать аккаунта, для чего желательно будет покупать виртуальные номера или симки. Поскольку ботоводство в ВК не одобряется, скраперы будут иммитировать активность пользователя (просмотр постов, залипание в группах, переписка), дабы вы не теряли деньги.

Скраперы будут работать на ОС Win и Linux на базе Chrome с возможностью централизованной сборки информации, что даст возможность запустить скраперов на нескольких машинах, тем самым, ускорив сбор инфы. Запуск будет производиться из командной строки или непосредственно в коде Python, чтобы сохранять данные через коннектор в БД или проводить с ними другие манипуляции сразу при получении.

Так вот, в чем вопрос. Если бы такой opensource-ный инструмент существовал, вы бы его стали использовать?

0

Brorehlie, нет. ¯\_(ツ)_/¯

0

Brorehlie, я бы на него посмотрел, заявлено то много...

0

Часть из заявленного я уже написал, а некоторые вещи реализовать не так уж сложно (централизацию, например, через тот же socket). Как-то увлекся скрапингом и из интереса тестил бота на своем аккаунте.

Концептуальная модель БД уже есть. Сейчас скрапер умеет:

1. Логиниться.
2. Использовать socks из колеса прокси (пул ip: port).
3. Обеспечивать надежный референс через Яндекс, т.е. заходить в соц. сеть путем перехода по линку в поисковике.
4. Получать список друзей.
5. Просматривать посты.
6. Конечно, собирать PII.
7. "Человекопобно" писать текст.

Во время тестов на моем аккаунте скрапер работал по паре часов (не помню точно). Банов не получал. На свежих аккаунтах не тестил.
Запускал его на fedora server и на win 10.

Подумываю взять его в качестве темы для ВКР. Я мог бы расширить его функционал, зарефакторить парочку запахов и выложить на общее пользование. Но мне нужно знать, кто будет моим пользователем и сколько их будет?

0

Brorehlie, два точно будет! Ты и Роскомнадзор.

Если серьёзно, то лучше бы продал то, что делаешь, чем спрашивал тут мнения ибо половина из участниклв форума это люди которые пишут ботов в telegram не зная как цикл написать, ещё часть таких, как я (начинающий), часть знатоков, которые РЕАЛЬНО шарят в своих темах, а остальные это те, кто пройдёт мимо с мыслью *много букав, очень многа букав, Ходор, Ходор, где темы про телеграм-ботов, Ходор, Ходор* и те, кто прочитают и не ответят.

Добавлено через 19 секунд
¯\_(ツ)_/¯ <-------------------*Спёр у DmFat

0

Сообщение от Brorehlie Доброе время суток, мне интересно ваше мнение по поводу актуальности разработки скрапера для соц. сети VK.

Должен Вам сказать, что еще задолго до появления этой идеи у вас, она была многократно реализована. И не только для ВК.
Если потренироваться и погрузиться в тему скрапинга... может быть есть смысл... как учебный проект. Более серьезное что то - сомнительно.

Более того, если не использовать АПИ то скорость сбора информации будет низкой.
Единственный кто выиграет из всего этого... наверное только продавец аккаунтов ВК, у которого вы их будете покупать (для работы вашей тулзы)

Добавлено через 10 минут

Сообщение от Brorehlie 1. Логиниться. 2. Использовать socks из колеса прокси (пул ip: port). 3. Обеспечивать надежный референс через Яндекс, т.е. заходить в соц. сеть путем перехода по линку в поисковике. 4. Получать список друзей. 5. Просматривать посты. 6. Конечно, собирать PII. 7. "Человекопобно" писать текст.

это почти ничего (Вы уж не обижайтесь - но это реально так.) Простые задачи. На уровне - элементарно

1

Ну, дак, лол, это понятно. Задачи относительно простые, я тогда знакомился со скрапингом и запуском браузера в иксах на сервере, так что для меня они были кайфовыми (атоматизация же). Шишек кучу набил сначала с Requests, потом дошел до Selenium с PhantomJS и уже после дошел до подходящей связки инструментов. Про коммерцию речи вообще не идет, я ж написал, что...

Сообщение от Brorehlie Подумываю взять его в качестве темы для ВКР.

Сообщение от SergeyDe если не использовать АПИ

В том-то и дело, что для использования API необходимо получать пользовательские ключи, а для этого они должны дать согласие для работы вашего приложения. Вопрос можно поставить таким ребром, что быстрее: купить пару симок и запустить скраперов на виртуалках или получить согласие от пользователей?

Сообщение от SergeyDe она была многократно реализована

О-о-о, я был бы не против ознакомиться: конкретно для vk не находил.

0

Brorehlie, talk is cheap, show me the code!

0

Welemir1, code is cheap, if it doesn't solve an important problem!

0

Brorehlie, вы позиционируете свою ... свой... хм.. своё творчество, как источник данных для машинного обучения и анализа данных. Возможно, я открою вам большую тайну, но аналитика вконтакте мало пригодна для обучения хоть чему-нибудь. Даже ботов-текстогенераторов я бы на подобных данных обучать не стал.
Так какова тогда конечная цель вашей деятельности?

0

Alli_Lupin, да, верно, так и позиционирую.

Сообщение от Alli_Lupin аналитика вконтакте мало пригодна для обучения

Окей. Просвятите меня, исходя из чего вы сделали такой вывод?

0

Brorehlie, мало кореллируемых данных. И вообще мало данных. На основании этих данных может получиться только аналитика вида "программисты, использующие пробелы, в среднем получают больше своих коллег, использующих табуляцию". Отличная аналитика. Очень о многом говорит. Осталось понять, что с ней делать и поможет ли переход на пробелы увеличить зарплату.

Добавлено через 1 минуту
опять же, мне оооочень интересно, как подобные действия выглядят со стороны закона. Например, закона о персональных данных.

0

Сообщение от Brorehlie Просвятите меня, исходя из чего вы сделали такой вывод?

75% - пользователей, пишут не грамотно, постят на своих страницах какое то гамно, вся информация является фейковой.

25% - выкладывают информацию о себе(чаще всего минимум, или вообще ничего), постят инфу с топовых тематических пабликов(или не постят вообще), вкладывают минимум активности в обсуждениях(или опять же этого не делают).

Какую информацию ты хочешь собирать? Такие странички создать самому можно с помощью команды random.choice и списка модных слов и трендов, например: мальчик лет 10-14 - Васько Казанский(или город где он проживает), номер: не скажу, город: Dubai, подписки: Егор Крид; Падик; Я не гей, но с парнем не против и т.д и т.п.

0

в настоящее время - существует 2-5 сайтов (если не больше) - где есть все пользователи вконтакте. Инфа по ним начала собираться чуть ли не с 2012 года.
некоторые из них уже были заблокированы роскомнадзором, кого-то даже пробно осудили за сбор и размещение.
важно одно, что:
и эти сайты и так называемые "VK API" - находятся в серой зоне. Если вас ещё не привлекли к ответственности то, это не значит, что не привлекут в будущем. Вы УЖЕ на карандаше.

0