Форум программистов, компьютерный форум, киберфорум
С++ для начинающих
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.67/6: Рейтинг темы: голосов - 6, средняя оценка - 4.67
0 / 0 / 0
Регистрация: 03.01.2017
Сообщений: 15
1

Архитектура парсера социальных сетей

30.08.2019, 19:56. Показов 1125. Ответов 3

Здравствуйте, я начинаю работать над своим учебным проектом. Писать его буду в основном на с++. Кроме того, буду использовать другие языки программирования для различных вспомагательных модулей.

В двух словах
Парсер социальных сетей, который ищет в определенных групах посты и комментарии по заданным ключевым словам или по авторству.

Детальнее
Будет веб-морда, с учетками и другими удобствами в которой можно будет задать конкретные групы в различных социальных сетях для мониторинга. Кроме этого, определить наборы ключевых слов и фраз, как для каждой группы в отдельности, так и для всех разом. Найденные посты и комментарии приложение будет отправлять с помощью телеграм бота.

Уже есть
Веб-морда и телеграм бот написанные на PHP.

Зачем я вообще заставил Вас все это читать
Мне нужна помощь, с главным модулем. Хочу его написатьна С++. Да, С++! Я сейчас его углубленно учу, и практика мне не помешает. Да, знаю, что есть языки програмирования с помощью которых это все можно сделать быстрее и проще. К сути!
Помогите мне обрисовать архитектуру парсера, т.к. опыта у меня в этом не много.
Я вижу иерархию класов отвечающую за http - клиент. Библиотек для этого много (https://habr.com/ru/company/infopulse/blog/226557/) попробую несколько.
Будет также иерархия класов непосредственно для парсинга. В качестве парсера буду использовать Gumbo (https://github.com/google/gumbo-parser). Может эта библитека не много, поэтому львиная часть работы ляжет на мои плечи.
Нужно обезпечить также имитацию пользователя (задержки и смена клиентов). Ну, и про рулетку прокси не забыть.
Кроме того парочка класов для работы с базой, и связь с модулем телеграм бота.

Как оно должно вообще работать? Вечный цыкл - посмотреть какие групы - зайти, пропарсить - отправить результат - заново. Или нет?
Возможно ли подружить вебморду на РНР с модулем на С++?
0

Помощь в написании контрольных, курсовых и дипломных работ здесь.

Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
30.08.2019, 19:56
Ответы с готовыми решениями:

Шаринг социальных сетей
Здравствуйте. Помогите пожалуйста с шарингом соц сетей (ВК, FaceBook, Twitter). Киньте ссылки на...

Плагин социальных сетей
Всем привет! Расписывать не стану, вообщем скажите, есть что то подобное? Знаю что есть vk api но...

Кнопки социальных сетей
Здравствуйте! Подскажите пожалуйста, где можно почитать о том как создать динамические кнопки...

Кнопки социальных сетей
Скачал бесплатный шаблон в Вордпресс,в демо версии установлены кнопки социальных сетей в шапке...

3
6738 / 4537 / 1839
Регистрация: 07.05.2019
Сообщений: 13,725
Записей в блоге: 1
30.08.2019, 20:45 2
Цитата Сообщение от Randewoo Посмотреть сообщение
Мне нужна помощь, с главным модулем. Хочу его написатьна С++. Да, С++! Я сейчас его углубленно учу, и практика мне не помешает.
Чтобы тебе чем-то помочь, нужно знать твой уровень. А то, скорее всего, ты тупо не поймёшь ни единого слова.

Цитата Сообщение от Randewoo Посмотреть сообщение
Как оно должно вообще работать? Вечный цыкл - посмотреть какие групы - зайти, пропарсить - отправить результат - заново. Или нет?
Возможно ли подружить вебморду на РНР с модулем на С++?
Судя по всему, уровень у тебя очень низкий. Может покажешь для начала какой-нибудь код?
0
0 / 0 / 0
Регистрация: 03.01.2017
Сообщений: 15
31.08.2019, 10:24  [ТС] 3
oleg-m1973, поскольку я вопрос задал в теме с++ дляначинающих, то и не подумал еще уточнять мой уровень. Да, низкий. Спасибо за ответ, только я просил помощи не с кодом, а с общими понятиями (хотя б в двух словах обрисовать основную логику парсера). Да и вообще в правильном направлении ли я думаю.
0
2542 / 1201 / 358
Регистрация: 30.11.2013
Сообщений: 3,826
02.09.2019, 17:07 4
Randewoo, тогда ответ такой - С++ очень сложный ЯП для такого рода парсера. Тот же PHP прост и подойдет для ваших целей (запуск через schedule на сервере скрипта). Переписать PHP код на С++ будет проще, чем с нуля вам долбиться с особенности языка и наступать все грабли.
1
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
02.09.2019, 17:07

API социальных сетей
ест такая вот задачка тоесть когда я к примеру отправляю сообщение на форуме оно...

Кнопки социальных сетей
Здравствуйте, уважаемые форумчане и специалисты по ВП. Недавно установил кнопки социальных сетей на...

Виджеты социальных сетей
Доброе время, суток! Прошу помощи в следующем вопросе. Захотелось мне изменить виджеты своих...

Список защищенных социальных сетей
Всем здарова, подскажите социальные сети которые используют https протоколы с шифрацией, которые не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.