Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.74/76: Рейтинг темы: голосов - 76, средняя оценка - 4.74
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16

Анализ информации из социальных сетей

21.07.2018, 11:33. Показов 16989. Ответов 187
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
нужно собирать и анализировать информацию из социальных сетей

на python делать?
с чего нужно начинать?
1
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.07.2018, 11:33
Ответы с готовыми решениями:

Как сделать телеграм бота пересылающий посты и новости из RSS лент и социальных сетей (агрегатор)
Я пытался как всегда разбить план на мелкие составляющие, я начал думать что конкретно и как бот должен будет уметь делать, но даже во...

Блокировка социальных сетей
Возможно подобная тема уже есть, но как-то не нашел.... И всё же дело вот в чем, блокировать соцсети это понятно как, антивирус там,...

Кнопки социальных сетей
Скачал бесплатный шаблон в Вордпресс,в демо версии установлены кнопки социальных сетей в шапке сайта(фото№1).В админпанели есть социальные...

187
 Аватар для netBool
325 / 304 / 173
Регистрация: 16.11.2010
Сообщений: 1,069
Записей в блоге: 9
21.07.2018, 18:37
IRIP, Selenium, OAuth... - смотря что и как собирать

Цитата Сообщение от IRIP Посмотреть сообщение
на python делать?
Если не надо скрывать код на пользовательских пк и не планируется заморочек с многопоточностью, то идеальный вариает
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
21.07.2018, 18:47
У соц сетей часто есть API, а если искомая информация в пабликах, то можно просто делать в гугле поиск по сайту и парсить результат
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
21.07.2018, 23:47  [ТС]
Группы совершенно открыты для поисковиков
нет никаких секретов

задача просто анализировать проблемы по определенным вопросам

Добавлено через 7 минут
https://vk.com/new_tehnolojy

https://vk.com/n_t_i_n

где у этих групп может быть rss?


для информации

Основы работы с API Вконтакте на Python 3

но везде http://old.pynsk.ru/posts/2015... 1Ob3HpWrHQ только про отправку или "анализы" ...
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
22.07.2018, 00:58
Если очень нужен rss, есть такое https://vkrss.com/, но платно, а так rss не нужен, вот пример для группы https://vk.com/new_tehnolojy, все посты через api

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import vk_api
 
 
def main():
 
    login, password = 'логин', "пароль"
    vk_session = vk_api.VkApi(login, password)
 
    try:
        vk_session.auth(token_only=True)
    except vk_api.AuthError as error_msg:
        print(error_msg)
        return
 
    tools = vk_api.VkTools(vk_session)
 
    wall = tools.get_all('wall.get', 100, {'owner_id': -108964054})
 
    print('Posts count:', wall['count'])
 
    for i in range(wall['count']):
        print('Post:', wall['items'][i])
 
 
if __name__ == '__main__':
    main()
1
Просто Лис
Эксперт Python
 Аватар для Рыжий Лис
5973 / 3735 / 1099
Регистрация: 17.05.2012
Сообщений: 10,791
Записей в блоге: 9
22.07.2018, 12:00
Python
1
2
    for i in wall['items']:
        print('Post:', i)
2
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
30.07.2018, 13:59  [ТС]
Цитата Сообщение от ТабуретY Посмотреть сообщение
Если очень нужен rss
честно говоря, rss вообще не нужен

нужно как-то это все дело организовать.

Теоретически:

1. Множество групп

2. Запуск вручную

3. Запись данных (?!) в txt, csv ... сохранение картинок, видео?


более того, имеет ли смысл использовать api если группы доступны?
может просто загружать страницу группы и анализировать?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
30.07.2018, 16:28
Без api можно просто вытащить текстовую информацию, с картинками и видео посложнее, там все на javascript и нужно использовать headless браузеры
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
30.07.2018, 18:21  [ТС]
Цитата Сообщение от ТабуретY Посмотреть сообщение
Без api можно просто вытащить текстовую информацию, с картинками и видео посложнее
Значит нужно использовать API

Далее, если таких групп от ххх и до ххх
нужно делать функцию?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
31.07.2018, 09:17
Сделать списое групп и в цикле обрабатывать
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
31.07.2018, 10:42  [ТС]
ТабуретY, через web интерфейс?
через терминал?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
31.07.2018, 12:12
Это зависит от того как будет устроен рабочий процесс
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
31.07.2018, 13:40  [ТС]
пока, планирую, чтобы все работало так:

- функция выдергивающая пост
-- хочу понять, куда оно складывает выдернутое

- функция настроек вк

- функция базы данных групп, где есть
-- адрес группы
-- запоминание даты последнего посещения
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
31.07.2018, 15:05
Сохраняет туда куда укажите, вот пример, сохраняет посты группы в файл и выводит их файла

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import vk_api
import pickle
 
vk_session = vk_api.VkApi(login, password)
vk_session.auth()
vk = vk_session.get_api()
tools = vk_api.VkTools(vk_session)
 
data_file =  'data.pickle'
 
def id_by_name(name):
    return vk.groups.getById( group_id=name)[0]['id']
    
def serialize_data(data):
    with open(data_file, 'wb') as f:
            pickle.dump(data, f)
        
def deserialize_data():
    with open(data_file, 'rb') as f:
        data = pickle.load(f)
    return data
 
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
 
if __name__ ==  '__main__':
    print('1. Вывести посты из группы')
    print('2. Просмотреть сохраненные посты')
    n = input('Выберите 1 или 2 ')
    if n  == '1':
        gr = input('Название группы ')
        id = id_by_name(gr)
        posts = get_posts(id)
        data = []
        for post in posts:
            data.append(post)
            print(post['id'], post['text'][:30] + '...')
        s = input('Вы хотите сохранить данные? да/нет ')
        if s == 'да':
            serialize_data(data)
    elif n == '2':
        data = deserialize_data()
        print(*data)
1
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
08.08.2018, 13:18  [ТС]
ТабуретY,

не могу понять, где его запустить?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
08.08.2018, 15:58
Просто на ПК, работает в командной строке
0
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
16.08.2018, 14:02  [ТС]
ТабуретY, вот подумал, может парсеры какие- есть, готовые
чтобы просто ленту парсить
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
16.08.2018, 16:46
Если с гугл ввести python parser vk, то что-то выдает, но вообще весь парсер состоит из функции в одну строку

Python
1
2
def get_posts(id):
    return tools.get_all_iter('wall.get', 100, {'owner_id': -id})
1
 Аватар для IRIP
514 / 146 / 28
Регистрация: 18.04.2015
Сообщений: 1,904
Записей в блоге: 16
01.09.2018, 10:22  [ТС]
ТабуретY,

спасибо за подсказки, вы очень мне сильно помогли

я не могу понять, как это все дело на сервере запускать.
У меня есть сайт (закрытый) где должна собираться информация. Ставить django? или выводить скриптом в базу?

с чего начинать ?
0
1741 / 913 / 480
Регистрация: 05.12.2013
Сообщений: 3,074
01.09.2018, 15:20
Цитата Сообщение от IRIP Посмотреть сообщение
с чего начинать ?
Установить на сервер python и пакет vk_api, а так же пакет для подключения к базе данных, потом пробовать скачать данные с vk и загрузить в базу
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
01.09.2018, 15:20
Помогаю со студенческими работами здесь

Виджеты социальных сетей
Доброе время, суток! Прошу помощи в следующем вопросе. Захотелось мне изменить виджеты своих групп в социальных сетях, а именно...

Кнопки социальных сетей
Здравствуйте! Подскажите пожалуйста, где можно почитать о том как создать динамические кнопки социальных сетей, в стиле картинки...

Иконки социальных сетей
Подскажите, как поменять иконки социальных сетей в компоненте авторизации битрикса? я нашел файл где прописывает bg-image, для каждой...

Шаринг социальных сетей
Здравствуйте. Помогите пожалуйста с шарингом соц сетей (ВК, FaceBook, Twitter). Киньте ссылки на примеры, или на самые алгоритмы...

Плагин социальных сетей
Всем привет! Расписывать не стану, вообщем скажите, есть что то подобное? Знаю что есть vk api но это не то.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru