Анализ информации из социальных сетей

@IRIP · Регистрация: 18.04.2015

Студворк — интернет-сервис помощи студентам

нужно собирать и анализировать информацию из социальных сетей

на python делать?
с чего нужно начинать?

@IRIP · 05.10.2018, 19:32 **[ТС]**

Сообщение от ТабуретY

количество постов можно получить проще

я вот так решил эту задачу... =) пишу наобум... но вроде получается...

Python
1
2
3
4
5
6
7
8
9
10
    def get_count(self, id):
        """
            Получаем цифру - количество постов в источнике
        :param id:
        :return:
        """
        tools = vk_api.VkTools(self.vk_session)
        wall = tools.get_all('wall.get', 100, {'owner_id': id})
        for post in wall['items']:
            return post['id']

Добавлено через 1 минуту
* * *

Сообщение от ТабуретY

можно получить список id всех постов и потом по этим id вытягивать посты

Вот это мне и нужно!
Получить список всех постов (по id или дате) а потом в main.py

Python
1
2
3
4
5
6
7
8
9
10
11
            if to_dos == 1:
                bases = sqlite_base(name_db)
                while count >= 0:
                    post = vk.get_post_count(int(id))
                    print(post)
 
 
 
                # data = [(post[i]['id'], post[i]['date'], post[i]['text']) for i in
                #         range(len(post))]
                # bases.save(data)

каждый сохранять

* только я еще не дописал это, не знаю, как реализовать

@ТабуретY · 05.10.2018, 20:17

Сообщение от IRIP

я вот так решил эту задачу...

У этого решения большой недостаток, если посты удаляют, то id не меняется, то есть если сделают 10 постов, то у последнего id=10, но если удалят, например, посты с id 2 и 3, то постов будет 8, но id последнего будет 10

Python
1
2
3
4
5
6
7
8
def get_count(self, id):
        """
            Получаем цифру - количество постов в источнике
        :param id:
        :retur
       """
        wall = tools.get_all('wall.get', 1, {'owner_id': id})
        return wall['count']

Добавлено через 8 минут
Если нужны все посты, то с помощью этой функции

Python
1
2
3
def __get_group(self):
       tools = vk_api.VkTools(self.vk_session)
       return tools.get_all_slow_iter('wall.get', 100, {'owner_id': -self.id}, 'items')

можно так

Python
1
for post in vk.wall:

@IRIP · 05.10.2018, 21:39 **[ТС]**

Сообщение от ТабуретY

У этого решения большой недостаток, если посты удаляют, то id не меняется, то есть если сделают 10 постов, то у последнего id=10, но если удалят, например, посты с id 2 и 3, то постов будет 8, но id последнего будет 10

Да, я это тоже заметил.

Сообщение от ТабуретY

Если нужны все посты, то с помощью этой функции

Как их получить - уже разобрался с вашей помощью. Теперь пытаюсь понять КАК КАЖДЫЙ СОХРАНИТЬ функцией в main.py https://github.com/IRIP/postov/blob/master/main.py

так, чтобы сразу проверять

@IRIP · 07.10.2018, 22:42 **[ТС]**

ТабуретY, пробую

получаю ошибку return tools.get_all_slow_iter('wall.get', 100, {'owner_id': -self.id},
AttributeError: 'vk_parser' object has no attribute 'id'

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
            if to_dos == 1:
                bases = sqlite_base(name_db)
                getcount = count
                while getcount >= 0:
                    print('осталось', getcount)
                    post = vk.get_posts(id)
                    print(post['id'])
                    # data = [
                    #     post[i]['id'],
                    #     post[i]['date'],
                    #     post[i]['text']
                    # ]
                    # print(data)
 
                    getcount -= int(1)
 
                    # data = [(post[i]['id'], post[i]['date'], post[i]['text']) for
                    #  i in                         range(len(post))]
 
                    # bases.save(data)

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
    def __get_group(self):
        tools = vk_api.VkTools(self.vk_session)
        return tools.get_all_slow_iter('wall.get', 100, {'owner_id': -self.id},
                                       'items')
 
 
    def get_posts(self, id):
        wall = self.__get_group()
        return [post['id'] for post in wall]
 
 
 
    def get_info(self, id):
        """
            Получаем полную информацию из поста. Ссылки на фото, текст и т.п.
            одним пакетом.
        """
        tools = vk_api.VkTools(self.vk_session)
        wall = tools.get_all('wall.get', 1, {'owner_id': id})
        return wall['items']
 
 
    def get_posts_count(self, id):
        """
            Получаем цифру - количество постов в источнике
        :param id:
        :return:
        """
        tools = vk_api.VkTools(self.vk_session)
        wall = tools.get_all('wall.get', 1, {'owner_id': id})
        return wall['count']

@ТабуретY · 07.10.2018, 22:58

Так надо изменить

Python
1
2
3
4
5
6
7
8
9
def __get_group(self,id):
        tools = vk_api.VkTools(self.vk_session)
        return tools.get_all_slow_iter('wall.get', 100, {'owner_id': -id},
                                       'items')
 
 
    def get_posts(self, id):
        wall = self.__get_group(id)
        return [post['id'] for post in wall]

@IRIP · 07.10.2018, 23:32 **[ТС]**

ТабуретY, а как ее потом вызывать сюда?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
            if to_dos == 1:
                bases = sqlite_base(name_db)
                getcount = count
                while getcount >= 0:
                    print('осталось', getcount)
                    post = vk.get_posts(id)
                    print(post['id'])
                    data = [
                        post[i]['id'],
                        post[i]['date'],
                        post[i]['text']
                    ]
                    bases.save(data)
 
                    getcount -= int(1)

@ТабуретY · 08.10.2018, 00:04

get_posts возвращает список id постов

Python
1
2
3
4
5
6
7
if to_dos == 1:
                bases = sqlite_base(name_db)
                getcount = count
                while getcount >= 0:
                    print('осталось', getcount)
                    post = vk.get_posts(id)
                    print(post)

а чтобы получить посты со стены надо использовать def get_info(self, id)

@IRIP · 08.10.2018, 11:32 **[ТС]**

ТабуретY, все собрал в кучу, отсек лишнее. Выгрузил сюда https://github.com/IRIP/postov

Запустил, ввел id группы

выводит:

JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
Привет! Давай поработаем!
1. Импорт источников
2. Экспорт источников
3. Вывести список источников
4. Запустить кросс-постинг.
 
 >>> (0-выход): 1
Выбран вариант № 1 
 
Введите id VK (впереди минус, если группа): 
-108964054
Всего найдено: 7
Сохранить данные? Да(y)/Нет(n): 1
осталось 7
[{'id': 26, 'from_id': -108964054, 'owner_id': -108964054, 'date': 1498774651, 'marked_as_ads':}}]
осталось 6
[{'id': 26, 'from_id': -108964054, 'owner_id': -108964054, 'date': 1498774651, 'marked_as_ads':}}]
осталось 5
[{'id': 26, 'from_id': -108964054, 'owner_id': -108964054, 'date': 1498774651, 'marked_as_ads':}}]
осталось 4
[{'id': 26, 'from_id': -108964054, 'owner_id': -108964054, 'date': 1498774651, 'marked_as_ads':}}]
осталось 3
,,,
 >>> (0-выход):

Добавлено через 1 минуту
не запрашивает следующий id

Добавлено через 6 часов 17 минут
видимо потому, что в строке

post = vk.get_info(id)

нужно менять id

Добавлено через 3 часа 22 минуты
Удалось получить list c id постов на стене =)

JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Привет! Давай поработаем!
1. Импорт источников
2. Экспорт источников
3. Вывести список источников
4. Запустить кросс-постинг.
 
 >>> (0-выход): 1
Выбран вариант № 1 
 
Введите id VK (впереди минус, если группа): 
-108964054
Всего найдено: 7
Сохранить данные? Да(y)/Нет(n): 1
[[26, 25, 24, 22, 20, 19, 18]]

теперь нужно по нему пройтись
и записать в базу данных, КАЖДЫЙ отдельно
с проверкой на дубли

Добавлено через 1 минуту
* * *

это делается, как пишут, командой wall.getById

@ТабуретY · 08.10.2018, 13:54

Сообщение от IRIP

это делается, как пишут, командой wall.getById

Да, wall.getById параметр posts, можно задать несколько постов

@vrm2 · 08.10.2018, 21:51

Не работал с VK API, и никак не пойму какая задача решается в данном топике и почему проблема.

Если правильно понял, то для заданной стены (по id), нужно получить посты с этой стены (включая текст, вложения и т.п.)
И судя по документации, метод wall.get делает все что нужно. Этот метод по id стены вытаскивает все посты с текстами и вложениями, возвращает структуру, описанную в https://vk.com/dev/objects/post. Зачем снова получать каждый пост отдельно, если они уже получены?

@ТабуретY · 08.10.2018, 21:55

Сообщение от vrm2

Если правильно понял, то для заданной стены (по id), нужно получить посты с этой стены (включая текст, вложения и т.п.)

Потому что постов может быть тысячи и десятки тысяч, а vk api так устроено, то за один запрос больше 100 постов не отдаст

@vrm2 · 08.10.2018, 21:59

Сообщение от ТабуретY

Потому что постов может быть тысячи и десятки тысяч, а vk api так устроено, то за один запрос больше 100 постов не отдаст

Ок, но для этого в wall.get есть параметр offset, который позволяет получать все записи стены блоками, один за другим.

@ТабуретY · 08.10.2018, 22:09

Сообщение от vrm2

для этого в wall.get есть параметр offset

Проблема в том, что id идут не по порядку и придется много запросов делать, чтобы попасть куда надо, но вообще, это просто разговор об эффективности, так-то получить пост очень просто

Python
1
2
3
4
5
6
7
8
 def __get_group(self):
       tools = vk_api.VkTools(self.vk_session)
       return tools.get_all_slow_iter('wall.get', 100, {'owner_id': -self.id}, 'items')
 
 
    def post(self, i):
        wall = self.__get_group()
        return [x for x in wall if x['id'] == i][0]

@vrm2 · 08.10.2018, 22:26

Сообщение от ТабуретY

Проблема в том, что id идут не по порядку и придется много запросов делать, чтобы попасть куда надо

1. Не пойму, зачем id поста вообще использовать, если и так вся информация о посте уже получена. Только отличать один пост от другого.

2. Зачем куда-то попадать? Разве не нужно скачать все посты на стене друг за другом?

@IRIP · 08.10.2018, 22:31 **[ТС]**

vrm2, вот и я не пойму логики работы
как найти точку привязки, чтобы избежать дублей?

грубый метод наваливает пачку постов с дублями, грубо.

1. Скачивать все посты - не имеет смысла, по ряду причин, включая невозможность обработки больших объемов. В слушчае с id поста
можно включать метод execute и рекурсивно вытягивать объемы (любые)

Добавлено через 1 минуту
vrm2, даже 500 постов могут занять в памяти до 500 мегабайт
а если их дампить в json - то файлы от 50 мб. и выше
+ нагрузка на сам vk

@vrm2 · 08.10.2018, 22:45

Сообщение от IRIP

как найти точку привязки, чтобы избежать дублей?

Я говорю про другую проблему "дублей". Зачем скачивать полные посты с помощью wall.get, брать из них только id, и затем по этому id с помощью wall.getById снова получать опять же полные посты.

Вы же, наверное, имеете ввиду дубли, которые возникают при повторном скачивании постов со стены, т.е. если хочется обновить данные в БД, добавив в нее новые появившиеся посты. Т.е. если на стене было 5 постов и мы их скачали, а потом добавилось еще два, то в следующий раз мы получим семь постов, из которых пять являются дублями.

Тогда нужно запоминать смещение последнего скачанного поста, и передавать его в wall.get в параметр offset. Т.е. в нашем случае - при первом запросе мы задаем offset=0, получаем пять постов, а в следующем пишем offset=5 - скачаются только два новых поста.

P.S. Я не знаю, нумерация offset начинается с нуля или с единицы. Если с единицы, то соответственно offset должен быть 1 и 6.

@IRIP · 08.10.2018, 22:51 **[ТС]**

Сообщение от vrm2

Я говорю про другую проблему "дублей". Зачем скачивать полные посты с помощью wall.get, брать из них только id, и затем по этому id с помощью wall.getById снова получать опять же полные посты.

это тоже проблема оптимизации, но пока не критичная, так как пока и так работает =)

Сообщение от vrm2

Вы же, наверное, имеете ввиду дубли, которые возникают при повторном скачивании постов со стены, т.е. если хочется обновить данные в БД, добавив в нее новые появившиеся посты. Т.е. если на стене было 5 постов и мы их скачали, а потом добавилось еще два, то в следующий раз мы получим семь постов, из которых пять являются дублями.

да, но бывает и так, что при первом (единственном) запросе в базу льется сотня другая дублей

Сообщение от vrm2

P.S. Я не знаю, нумерация offset начинается с нуля или с единицы. Если с единицы, то соответственно offset должен быть 1 и 6.

Нужно понятЬ, как с помощью vk_api сделать

$records_json=file_get_contents("https://api.vk.com/method/wall.getById?posts=-108964054_25"); # ссылка для примера, не рабочая...
где 25 - post_id

@ТабуретY · 08.10.2018, 22:57

Сообщение от IRIP

как найти точку привязки, чтобы избежать дублей?
грубый метод наваливает пачку постов с дублями, грубо.

то есть имеется 2 задачи, набить базу всеми постами группы и добавить только новые посты?

Если нужно просто добавить все посты, то можно так

Python
1
2
3
4
5
6
7
8
9
def __get_group(self, ids):
       tools = vk_api.VkTools(self.vk_session)
       return tools.get_all_slow_iter('wall.get', 100, {'owner_id': -ids}, 'items')
 
.....
 
wall = __get_group(1111111)
for post in wall:
    add_to_base(post)

если нужно добавить только новые

Python
1
2
3
4
5
6
7
8
9
10
11
wall = get_group(1111111)
 
last_id = get_last_id_from_base()
new_posts = []
 
while True:
    post = next(wall)
    if post['id'] == last_id:
         break
    else:
         new_posts.append(post)

Добавлено через 3 минуты

Сообщение от vrm2

мы задаем offset=0, получаем пять постов, а в следующем пишем offset=5 - скачаются только два новых поста

Новые посты идут в начале при offset=5 Получим 2 самых старых поста

@IRIP · 08.10.2018, 23:02 **[ТС]**

Сообщение от ТабуретY

то есть имеется 2 задачи, набить базу всеми постами группы и добавить только новые посты?

на первом этапе - набить.
на втором этапе - запускать процесс в фоне, кроном и дополнять ...

@vrm2 · 08.10.2018, 23:12

Сообщение от ТабуретY

Новые посты идут в начале при offset=5 Получим 2 самых старых поста

Ну тогда еще проще. Скачиваем несколько раз по 100 постов, пока не наткнемся на уже скачанный пост (на самый последний скачанный).

Добавлено через 3 минуты

Сообщение от IRIP

на первом этапе - набить.
на втором этапе - запускать процесс в фоне, кроном и дополнять ...

ТабуретY в предыдущем посте написал решение обеих задач. Не нужен Вам getById

Новые блоги и статьи Все статьи Все блоги /
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ" Adler 06.10.2026 Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .

@IRIP 514 / 146 / 28 Регистрация: 18.04.2015 Сообщений: 1,904 Записей в блоге: 16

	Анализ информации из социальных сетей 21.07.2018, 11:33. Показов 18023. Ответов 187 Метки нет (Все метки) нужно собирать и анализировать информацию из социальных сетей на python делать? с чего нужно начинать? 1

@vrm2 431 / 302 / 90 Регистрация: 03.12.2015 Сообщений: 741
	08.10.2018, 21:51
	Не работал с VK API, и никак не пойму какая задача решается в данном топике и почему проблема. Если правильно понял, то для заданной стены (по id), нужно получить посты с этой стены (включая текст, вложения и т.п.) И судя по документации, метод wall.get делает все что нужно. Этот метод по id стены вытаскивает все посты с текстами и вложениями, возвращает структуру, описанную в https://vk.com/dev/objects/post. Зачем снова получать каждый пост отдельно, если они уже получены? 0

@IRIP 514 / 146 / 28 Регистрация: 18.04.2015 Сообщений: 1,904 Записей в блоге: 16
	08.10.2018, 22:31 [ТС]
	vrm2, вот и я не пойму логики работы как найти точку привязки, чтобы избежать дублей? грубый метод наваливает пачку постов с дублями, грубо. 1. Скачивать все посты - не имеет смысла, по ряду причин, включая невозможность обработки больших объемов. В слушчае с id поста можно включать метод execute и рекурсивно вытягивать объемы (любые) Добавлено через 1 минуту vrm2, даже 500 постов могут занять в памяти до 500 мегабайт а если их дампить в json - то файлы от 50 мб. и выше + нагрузка на сам vk 0