Форум программистов, компьютерный форум, киберфорум
Наши страницы
Python: Web
Войти
Регистрация
Восстановить пароль
 
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
#1

Анализ информации из социальных сетей

21.07.2018, 11:33. Просмотров 244. Ответов 17
Метки нет (Все метки)

нужно собирать и анализировать информацию из социальных сетей

на python делать?
с чего нужно начинать?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
21.07.2018, 11:33
Ответы с готовыми решениями:

Плагин социальных сетей
Всем привет! Расписывать не стану, вообщем скажите, есть что то подобное? Знаю...

Кнопки социальных сетей
Здравствуйте, уважаемые форумчане и специалисты по ВП. Недавно установил кнопки...

Кнопки социальных сетей
Скачал бесплатный шаблон в Вордпресс,в демо версии установлены кнопки...

Шаринг социальных сетей
Здравствуйте. Помогите пожалуйста с шарингом соц сетей (ВК, FaceBook,...

Виджеты социальных сетей
Доброе время, суток! Прошу помощи в следующем вопросе. Захотелось мне...

17
netBool
237 / 240 / 148
Регистрация: 16.11.2010
Сообщений: 903
Записей в блоге: 8
Завершенные тесты: 5
21.07.2018, 18:37 #2
IRIP, Selenium, OAuth... - смотря что и как собирать

Цитата Сообщение от IRIP Посмотреть сообщение
на python делать?
Если не надо скрывать код на пользовательских пк и не планируется заморочек с многопоточностью, то идеальный вариает
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
21.07.2018, 18:47 #3
У соц сетей часто есть API, а если искомая информация в пабликах, то можно просто делать в гугле поиск по сайту и парсить результат
0
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
21.07.2018, 23:47  [ТС] #4
Группы совершенно открыты для поисковиков
нет никаких секретов

задача просто анализировать проблемы по определенным вопросам

Добавлено через 7 минут
https://vk.com/new_tehnolojy

https://vk.com/n_t_i_n

где у этих групп может быть rss?


для информации

Основы работы с API Вконтакте на Python 3

но везде http://old.pynsk.ru/posts/2015/Nov/2.../#.W1Ob3HpWrHQ только про отправку или "анализы" ...
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
22.07.2018, 00:58 #5
Если очень нужен rss, есть такое https://vkrss.com/, но платно, а так rss не нужен, вот пример для группы https://vk.com/new_tehnolojy, все посты через api

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import vk_api
 
 
def main():
 
    login, password = 'логин', "пароль"
    vk_session = vk_api.VkApi(login, password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
 
    wall = tools.get_all('wall.get', 100, {'owner_id': -108964054})
 
    print('Posts count:', wall['count'])
 
    for i in range(wall['count']):
        print('Post:', wall['items'][i])
 
 
if __name__ == '__main__':
    main()
1
Рыжий Лис
Просто Лис
940 / 469 / 328
Регистрация: 17.05.2012
Сообщений: 1,934
Записей в блоге: 8
22.07.2018, 12:00 #6
Python
1
2
    for i in wall['items']:
        print('Post:', i)
2
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
30.07.2018, 13:59  [ТС] #7
Цитата Сообщение от ТабуретY Посмотреть сообщение
Если очень нужен rss
честно говоря, rss вообще не нужен

нужно как-то это все дело организовать.

Теоретически:

1. Множество групп

2. Запуск вручную

3. Запись данных (?!) в txt, csv ... сохранение картинок, видео?


более того, имеет ли смысл использовать api если группы доступны?
может просто загружать страницу группы и анализировать?
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
30.07.2018, 16:28 #8
Без api можно просто вытащить текстовую информацию, с картинками и видео посложнее, там все на javascript и нужно использовать headless браузеры
0
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
30.07.2018, 18:21  [ТС] #9
Цитата Сообщение от ТабуретY Посмотреть сообщение
Без api можно просто вытащить текстовую информацию, с картинками и видео посложнее
Значит нужно использовать API

Далее, если таких групп от ххх и до ххх
нужно делать функцию?
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
31.07.2018, 09:17 #10
Сделать списое групп и в цикле обрабатывать
0
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
31.07.2018, 10:42  [ТС] #11
ТабуретY, через web интерфейс?
через терминал?
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
31.07.2018, 12:12 #12
Это зависит от того как будет устроен рабочий процесс
0
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
31.07.2018, 13:40  [ТС] #13
пока, планирую, чтобы все работало так:

- функция выдергивающая пост
-- хочу понять, куда оно складывает выдернутое

- функция настроек вк

- функция базы данных групп, где есть
-- адрес группы
-- запоминание даты последнего посещения
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
31.07.2018, 15:05 #14
Сохраняет туда куда укажите, вот пример, сохраняет посты группы в файл и выводит их файла

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import vk_api
import pickle
 
vk_session = vk_api.VkApi(login, password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
data_file =  'data.pickle'
 
def id_by_name(name):
    return vk.groups.getById( group_id=name)[0]['id']
    
def serialize_data(data):
    with open(data_file, 'wb') as f:
            pickle.dump(data, f)
        
def deserialize_data():
    with open(data_file, 'rb') as f:
        data = pickle.load(f)
    return data
 
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
 
if __name__ ==  '__main__':
    print('1. Вывести посты из группы')
    print('2. Просмотреть сохраненные посты')
    n = input('Выберите 1 или 2 ')
    if n  == '1':
        gr = input('Название группы ')
        id = id_by_name(gr)
        posts = get_posts(id)
        data = []
        for post in posts:
            data.append(post)
            print(post['id'], post['text'][:30] + '...')
        s = input('Вы хотите сохранить данные? да/нет ')
        if s == 'да':
            serialize_data(data)
    elif n == '2':
        data = deserialize_data()
        print(*data)
1
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
08.08.2018, 13:18  [ТС] #15
ТабуретY,

не могу понять, где его запустить?
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
08.08.2018, 15:58 #16
Просто на ПК, работает в командной строке
0
IRIP
99 / 55 / 10
Регистрация: 18.04.2015
Сообщений: 639
Записей в блоге: 4
16.08.2018, 14:02  [ТС] #17
ТабуретY, вот подумал, может парсеры какие- есть, готовые
чтобы просто ленту парсить
0
ТабуретY
794 / 545 / 321
Регистрация: 05.12.2013
Сообщений: 1,557
16.08.2018, 16:46 #18
Если с гугл ввести python parser vk, то что-то выдает, но вообще весь парсер состоит из функции в одну строку

Python
1
2
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
0
16.08.2018, 16:46
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
16.08.2018, 16:46

API социальных сетей
ест такая вот задачка тоесть когда я к примеру отправляю сообщение на...

Кнопки социальных сетей
Здравствуйте! Подскажите пожалуйста, где можно почитать о том как создать...

Оформление комментариев из социальных сетей.
Здравствуйте, я не знал куда отнести эту тему, по этому прошу прощения, если...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
18
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
Рейтинг@Mail.ru