Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.74/76: Рейтинг темы: голосов - 76, средняя оценка - 4.74
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16

Анализ информации из социальных сетей

21.07.2018, 11:33. Показов 16787. Ответов 187
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
нужно собирать и анализировать информацию из социальных сетей

на python делать?
с чего нужно начинать?
1
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.07.2018, 11:33
Ответы с готовыми решениями:

Как сделать телеграм бота пересылающий посты и новости из RSS лент и социальных сетей (агрегатор)
Я пытался как всегда разбить план на мелкие составляющие, я начал думать что конкретно и как бот должен будет уметь делать, но даже во...

Блокировка социальных сетей
Возможно подобная тема уже есть, но как-то не нашел.... И всё же дело вот в чем, блокировать соцсети это понятно как, антивирус там,...

Кнопки социальных сетей
Скачал бесплатный шаблон в Вордпресс,в демо версии установлены кнопки социальных сетей в шапке сайта(фото№1).В админпанели есть социальные...

187
 Аватар для netBool
325 / 304 / 173
Регистрация: 16.11.2010
Сообщений: 1,069
Записей в блоге: 9
21.07.2018, 18:37
IRIP, Selenium, OAuth... - смотря что и как собирать

Цитата Сообщение от IRIP Посмотреть сообщение
на python делать?
Если не надо скрывать код на пользовательских пк и не планируется заморочек с многопоточностью, то идеальный вариает
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
21.07.2018, 18:47
У соц сетей часто есть API, а если искомая информация в пабликах, то можно просто делать в гугле поиск по сайту и парсить результат
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
21.07.2018, 23:47  [ТС]
Группы совершенно открыты для поисковиков
нет никаких секретов

задача просто анализировать проблемы по определенным вопросам

Добавлено через 7 минут
https://vk.com/new_tehnolojy

https://vk.com/n_t_i_n

где у этих групп может быть rss?


для информации

Основы работы с API Вконтакте на Python 3

но везде http://old.pynsk.ru/posts/2015... 1Ob3HpWrHQ только про отправку или "анализы" ...
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
22.07.2018, 00:58
Если очень нужен rss, есть такое https://vkrss.com/, но платно, а так rss не нужен, вот пример для группы https://vk.com/new_tehnolojy, все посты через api

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import vk_api
 
 
def main():
 
    login, password = 'логин', "пароль"
    vk_session = vk_api.VkApi(login, password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
 
    wall = tools.get_all('wall.get', 100, {'owner_id': -108964054})
 
    print('Posts count:', wall['count'])
 
    for i in range(wall['count']):
        print('Post:', wall['items'][i])
 
 
if __name__ == '__main__':
    main()
1
Просто Лис
Эксперт Python
 Аватар для Рыжий Лис
5973 / 3735 / 1099
Регистрация: 17.05.2012
Сообщений: 10,791
Записей в блоге: 9
22.07.2018, 12:00
Python
1
2
    for i in wall['items']:
        print('Post:', i)
2
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
30.07.2018, 13:59  [ТС]
Цитата Сообщение от ТабуретY Посмотреть сообщение
Если очень нужен rss
честно говоря, rss вообще не нужен

нужно как-то это все дело организовать.

Теоретически:

1. Множество групп

2. Запуск вручную

3. Запись данных (?!) в txt, csv ... сохранение картинок, видео?


более того, имеет ли смысл использовать api если группы доступны?
может просто загружать страницу группы и анализировать?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
30.07.2018, 16:28
Без api можно просто вытащить текстовую информацию, с картинками и видео посложнее, там все на javascript и нужно использовать headless браузеры
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
30.07.2018, 18:21  [ТС]
Цитата Сообщение от ТабуретY Посмотреть сообщение
Без api можно просто вытащить текстовую информацию, с картинками и видео посложнее
Значит нужно использовать API

Далее, если таких групп от ххх и до ххх
нужно делать функцию?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
31.07.2018, 09:17
Сделать списое групп и в цикле обрабатывать
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
31.07.2018, 10:42  [ТС]
ТабуретY, через web интерфейс?
через терминал?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
31.07.2018, 12:12
Это зависит от того как будет устроен рабочий процесс
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
31.07.2018, 13:40  [ТС]
пока, планирую, чтобы все работало так:

- функция выдергивающая пост
-- хочу понять, куда оно складывает выдернутое

- функция настроек вк

- функция базы данных групп, где есть
-- адрес группы
-- запоминание даты последнего посещения
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
31.07.2018, 15:05
Сохраняет туда куда укажите, вот пример, сохраняет посты группы в файл и выводит их файла

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import vk_api
import pickle
 
vk_session = vk_api.VkApi(login, password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
data_file =  'data.pickle'
 
def id_by_name(name):
    return vk.groups.getById( group_id=name)[0]['id']
    
def serialize_data(data):
    with open(data_file, 'wb') as f:
            pickle.dump(data, f)
        
def deserialize_data():
    with open(data_file, 'rb') as f:
        data = pickle.load(f)
    return data
 
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
 
if __name__ ==  '__main__':
    print('1. Вывести посты из группы')
    print('2. Просмотреть сохраненные посты')
    n = input('Выберите 1 или 2 ')
    if n  == '1':
        gr = input('Название группы ')
        id = id_by_name(gr)
        posts = get_posts(id)
        data = []
        for post in posts:
            data.append(post)
            print(post['id'], post['text'][:30] + '...')
        s = input('Вы хотите сохранить данные? да/нет ')
        if s == 'да':
            serialize_data(data)
    elif n == '2':
        data = deserialize_data()
        print(*data)
1
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
08.08.2018, 13:18  [ТС]
ТабуретY,

не могу понять, где его запустить?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
08.08.2018, 15:58
Просто на ПК, работает в командной строке
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
16.08.2018, 14:02  [ТС]
ТабуретY, вот подумал, может парсеры какие- есть, готовые
чтобы просто ленту парсить
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
16.08.2018, 16:46
Если с гугл ввести python parser vk, то что-то выдает, но вообще весь парсер состоит из функции в одну строку

Python
1
2
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
1
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
01.09.2018, 10:22  [ТС]
ТабуретY,

спасибо за подсказки, вы очень мне сильно помогли

я не могу понять, как это все дело на сервере запускать.
У меня есть сайт (закрытый) где должна собираться информация. Ставить django? или выводить скриптом в базу?

с чего начинать ?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
01.09.2018, 15:20
Цитата Сообщение от IRIP Посмотреть сообщение
с чего начинать ?
Установить на сервер python и пакет vk_api, а так же пакет для подключения к базе данных, потом пробовать скачать данные с vk и загрузить в базу
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
01.09.2018, 15:20
Помогаю со студенческими работами здесь

Виджеты социальных сетей
Доброе время, суток! Прошу помощи в следующем вопросе. Захотелось мне изменить виджеты своих групп в социальных сетях, а именно...

Кнопки социальных сетей
Здравствуйте! Подскажите пожалуйста, где можно почитать о том как создать динамические кнопки социальных сетей, в стиле картинки...

Иконки социальных сетей
Подскажите, как поменять иконки социальных сетей в компоненте авторизации битрикса? я нашел файл где прописывает bg-image, для каждой...

Шаринг социальных сетей
Здравствуйте. Помогите пожалуйста с шарингом соц сетей (ВК, FaceBook, Twitter). Киньте ссылки на примеры, или на самые алгоритмы...

Плагин социальных сетей
Всем привет! Расписывать не стану, вообщем скажите, есть что то подобное? Знаю что есть vk api но это не то.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru