|
|
|
Анализ информации из социальных сетей21.07.2018, 11:33. Показов 16831. Ответов 187
Метки нет (Все метки)
нужно собирать и анализировать информацию из социальных сетей
на python делать? с чего нужно начинать?
1
|
|
| 21.07.2018, 11:33 | |
|
Ответы с готовыми решениями:
187
Как сделать телеграм бота пересылающий посты и новости из RSS лент и социальных сетей (агрегатор) Блокировка социальных сетей Кнопки социальных сетей |
|
|
|
| 25.09.2018, 01:12 [ТС] | |
|
и сразу возникает масса вопросов...
Что за формат такой? 'date': 1498774651, Кроме того, мы имеем: 'post_source' 'post_type' 'text' 'likes' 'comments' 'reposts' 'marked_as_ads' 'attachments' https://vk.com/page-1_41248202 'type': 'photo' 'type': 'posted_photo' 'type': 'video' 'type': 'audio' 'type': 'doc' 'type': 'graffiti' 'type': 'link' 'type': 'note' 'type': 'app' 'type': 'poll' 'type': 'page' Добавлено через 1 минуту Garry Galler, да, по сути, общими усилиями здесь создаю анализатор постов, который должен показывать определенную информацию (мониторить) Добавлено через 1 минуту и параллельно, учусь
0
|
|
|
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
|
||||||
| 25.09.2018, 03:18 | ||||||
|
Время указано в виде unix timestamp, конвертировать можно так
1
|
||||||
|
|
|||||||||||
| 25.09.2018, 09:23 [ТС] | |||||||||||
|
Вот, нашел! https://vk.com/dev/objects/post
Список объектов › Запись на стене - объект, описывающий запись на стене пользователя или сообщества, содержит следующие поля: Добавлено через 1 час 12 минут когда читаешь доки https://vk.com/dev/objects/post и сравниваешь код, натыкаешься на "совпадения"... например views object # информация о просмотрах записи. Объект с единственным полем: count (integer) — число просмотров записи. Вопрос в следующем: в файле sqlite_core
geo object post_source object attachments array их ведь, нужно тоже обрабатывать Добавлено через 16 минут * * * в geo object много полей информация о местоположении , содержит поля: type (string) — тип места; coordinates (string) — координаты места; place (object) — описание места (если оно добавлено), объект с полями: id (integer) — идентификатор места (если назначено); title (string) — название места (если назначено); latitude (integer) — географическая широта; longitude (integer) — географическая долгота; created (integer) — дата создания (если назначено); icon (string) — URL изображения-иконки; country (string) — название страны; city (string) — название города; Если место добавлено как чекин в сообщество, объект place имеет дополнительные поля: type (integer) — тип чекина; group_id (integer) — идентификатор сообщества; group_photo (string) — URL миниатюры главной фотографии сообщества; checkins (integer) — количество чекинов; updated (integer) — время последнего чекина в Unixtime; address (integer) — адрес;
0
|
|||||||||||
|
|
||
| 25.09.2018, 13:41 | ||
|
0
|
||
|
|
||
| 25.09.2018, 18:26 | ||
|
0
|
||
|
|
|||||||||||
| 26.09.2018, 12:11 [ТС] | |||||||||||
|
* * *
Подскажите, как изменить этот кусочек кода так, чтобы можно было писать в базу только УНИКАЛЬНЫЕ ЗНАЧЕНИЯ. да и думаю, что в "main.py" такие манипуляции не нужны. Может быть я ошибаюсь, но задача файла main.py - управление начальными функциями, а дальше, все должно передаваться в core файлы Добавлено через 1 минуту https://github.com/IRIP/postov... vk_core.py
убирать return wall['items'] и задействовать остальные функции, которые смогут поработать над запросом выделяя каждая, свой объем. Добавлено через 54 минуты * * * Получается, мне нужно распарсить эту строку
Парсинг новостной группы в Vk - вот, интересное, по теме парсинга json
0
|
|||||||||||
|
|
|||||||
| 26.09.2018, 13:56 | |||||||
|
В переменной wall уже все сконвертировано из json в python структуры. Просто проитерируйтесь по ним и удалите все, что вам не нужно.
0
|
|||||||
|
|
|||||||||||
| 26.09.2018, 14:51 [ТС] | |||||||||||
|
Garry Galler, да, я примерно так и представляю...
но тут формат, какой-то слишком уж заумный
Garry Galler, пробую вот так "посмотреть" что выведет https://github.com/IRIP/postov/blob/master/main.py
0
|
|||||||||||
|
|
|||||||
| 26.09.2018, 15:41 | |||||||
|
Зачем вы делаете json.loads?
posts это список словарей, который возвращает ваша функция get_info, который ей возвращает метод vk.get_all в виде уже декодированного словаря из двух ключей:
1
|
|||||||
|
|
|||||||
| 26.09.2018, 15:59 [ТС] | |||||||
|
Garry Galler, спасибо, попробую.
Я видел, как по форуму вы даете комментарии в схожих с этой темах. Проблема всех других тем в том, что во всех однотипные (почти вопросы) а здесь - я хочу пройти от нуля до финала - полностью описать, выяснить все моменты и найти ответы на все вопросы Добавлено через 2 минуты а в коде все равно ошибка не получается вывести ['attachments'] уже и так пробовал
Добавлено через 1 минуту
0
|
|||||||
|
|
|||
| 26.09.2018, 16:04 | |||
|
У меня создается ощущение, что пока вы все наугад делаете. -------------------------------
1
|
|||
|
|
||||||
| 26.09.2018, 19:35 [ТС] | ||||||
|
Garry Galler, я понимаю, выглядит не очень, но с другой стороны - я учусь программировать, и не скрываю это.
На форуме мы помогаем друг другу, и тем более в подобных вопросах. Добавлено через 25 минут * * * Тем, кто будет читать - списки, словари, кортежи https://python-scripts.com/lis... ctionaries Добавлено через 39 минут Когда нужно перебрать сложную многоуровневую структуру, в которого неизвестно количество уровней вложенности, лучше использовать рекурсию. И, для примера, задача: вывести значения по ключу. В структуре данных, среди контейнеров есть только dict и list. И по алгоритму мы делаем следующее: проверяем текущий объект, если это словарь, получаем у него список пар -- ключ/значение, а у значения проверяем что, если он контейнер, тогда это значение помещаем в функцию, иначе проверяем по ключу, если совпадает -- ... Если текущий объект список, то у него не может быть ключа, но среди его значений могут быть контейнеры, которые мы проверим в рекурсии https://python-scripts.com/question/7749 но нам ведь нужно вывести нужные элементы! Добавлено через 6 минут Garry Galler, у меня ощущение, что все должно быть проще... ощущение, что должны быть функции, которые позволяют на уровне api брать отдельно и фото, и текст и видео и все, ПО ОТДЕЛЬНОСТИ потом, паковать в базу Добавлено через 7 минут на просторах интернета нашел для видео
выгрузил все сюда https://github.com/IRIP/postov... vk_core.py интересно, поможет... Добавлено через 36 минут ТабуретY, кстати, попробовал вытянуть большую группу, не тянет .. зависает постов там 165000
0
|
||||||
|
|
|||
| 27.09.2018, 00:49 | |||
0
|
|||
|
|
|
| 30.09.2018, 12:38 [ТС] | |
|
* * *
было принято решение Как распарсить список словарей? перенести с sqlite3 на Mongodb поскольку она лучше подходит для хранения "текстовых" json запросов и построения не сложных выборок для дальнейшей обработки и экспорта данных
0
|
|
|
|
|
| 01.10.2018, 09:22 [ТС] | |
|
0
|
|
|
|
|
| 05.10.2018, 11:25 [ТС] | |
|
vk_api запрос конкретного поста по id со стены пользователя
Есть много чего в vk_api не не могу найти, как запросить отдельный пост по id Получаю количество постов в ленте, всего а затем, хочу запросить каждый по id для того, чтобы потом записать его в базу данных
0
|
|
|
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
|
||||||
| 05.10.2018, 15:47 | ||||||
|
Тут можно только найти пост с определенным id, для больших групп медленно
0
|
||||||
|
|
||||||||||||||||
| 05.10.2018, 17:18 [ТС] | ||||||||||||||||
|
ТабуретY, да, задумка в том, что вначале, Просто получаем общее число записей на стене
а затем, проходимся по каждой, и каждую сохраняем в базу (каждой строкой)
зато потом, будет проще обновлять Добавлено через 41 секунду все в https://github.com/IRIP/postov выложил Добавлено через 1 минуту * * * ТабуретY, ваш код хорош, только, что он делает?
а тут мы по каждой записи идем?
0
|
||||||||||||||||
|
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
|
||||||||||||||||||
| 05.10.2018, 18:41 | ||||||||||||||||||
а количество постов можно получить проще
0
|
||||||||||||||||||
| 05.10.2018, 18:41 | |
|
Помогаю со студенческими работами здесь
120
Виджеты социальных сетей Кнопки социальных сетей Иконки социальных сетей Шаринг социальных сетей Плагин социальных сетей Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
|
[В процессе разработки] SDL3 для Web (WebAssembly): Сборка библиотек SDL3 и Box2D из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия SDL 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual. . .
|
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога
Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
|
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование
. \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json>
Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом.
# Check if. . .
|
|
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так:
https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347
Основана на STM32F303RBT6.
На борту пять. . .
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|