Архитектура: парсинг и выгрузка текстовиков

@JeyCi · Регистрация: 29.06.2019

Студворк — интернет-сервис помощи студентам

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi

так и не собрала эти все объекты этого класса в group class...

вроде уже

собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi

полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования

Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset

Тут нужно виртуальное наследование.

@JeyCi · 27.05.2020, 22:35 **[ТС]**

ок покручу... в смысле future для этого и имела ввиду...
и в принципе по пулу есть примеры:
This is an example illustrating the use of the thread_pool object from the dlib C++ Library. In this example we will crate a thread pool with 3 threads and then show a few different ways to send tasks to the pool.
Распараллеливание сортировки, thread pool
... тут главное понять (в моём тз), где mutex(es) включать, где выключать?

Добавлено через 1 час 32 минуты
Простой пул потоков

Зачастую разработчику нет нужды реализовывать пул потоков самостоятельно. В языках высокого уровня эта функциональность уже встроена, а для остальных имеются библиотеки или каркасы, легко адаптирующиеся к собственным нуждам.

Добавлено через 24 минуты
там же ответ:

необходимость синхронизации по крайней мере одного общего ресурса — очереди заданий.

@JeyCi · 28.05.2020, 10:25 **[ТС]**

Синхронизируйте доступ к разделяемым данным (лучше очередь или дек).
После того как поток получил ссылку, удаляйте ее из вашей структуры данных и освобождайте блокировку.

===
Класс для очереди задач м. см. в теме:
Реализовать пул потоков, в который можно помещать функцию

Кликните здесь для просмотра всего текста

? там почему-то пустой public:

C++
1
2
3
4
public:
    thread_save_queue()
    {
    }

-- это конструктор...

думала, уже здесь можно mutex задать??

Добавлено через 8 минут

p.s.
для погружения в тему: (pdf)
C++ Concurrency in Action

Добавлено через 2 часа 15 минут
Синхронизация пула потоков

@oleg-m1973 · 28.05.2020, 10:31

Сообщение от JeyCi

Класс для очереди задач м. см. в теме:

У меня тоже есть реализация примитивного пула потоков https://www.cyberforum.ru/blog... g5939.html

@JeyCi · 28.05.2020, 17:43 **[ТС]**

oleg-m1973, спасибо!, я хоть теперь в нужном направлении копаю - и уже что-то начинаю понимать...
1) кстати, встретилось, что 1 мьютекс на 1 элемент - очень жирно будет, обычно выделяют 1 мьютекс на 10 потоков, насколько поняла, т.е. на 10 элементов...
2) синхронизация что-то вроде... или здесь

Кликните здесь для просмотра всего текста

C++
1
2
3
4
5
6
std::thread thread1([](){/*do something*/});
std::thread thread2([](){/*do something*/});
std::thread thread3([](){/*do something*/});
thread1.join();
thread2.join();
thread3.join();   //или sleep_until можно и др

3) убить поток сложно - делать этого не нужно - т.к. проблеиатично освободить ресурсы, позакрывать сокеты и выполнить др. рутину... даже если если поток остановить из др потока
3)хотя boost'овские потоки можно interrupt и они надёжнее, чем std
4) смысл потока - на очень дорогостоящих вычислениях можно получить результат, а поток завершиться уже после получения результата
5) если работа непродолжительна, то затраты на создание и уничтожение потоков могут повлиять на производительность в худшую сторону
... вобщем надо прикинуть - подгрузка из сети мелких текстовиков даже в большом количестве - до 3000 за раз - будет ли более выгодна...
6) и всё-таки потоки, наверно, лучше запускать по количеству ядер... иначе, наверно, задачи будут стоять в очереди на ядро
7) по работе с сокетами (а даже GET в С++ выполняется на открытом сокете - принимающем, - насколько понимаю) - всё равно на сокете может выполняться только 1 процесс -- поэтому неуверена, что параллельность поможет... хотя конкурентность моего тз - может и позволит распараллелить задачу подгрузки и задачу записи в файл... т.е. so named Instruction-Level Parallelism... не Data-Level Parallelism
(8) исходя из (7) теперь понимаю, почему получала на Python (при использовании async-await) "Access Denied" - это от сокета... а я думала от того, что чужой сервер обычно позволяет 2-3 подключения с 1-го IP... имхо
...пока такие выводы...

@oleg-m1973 · 28.05.2020, 17:46

Сообщение от JeyCi

1) кстати, встретилось, что 1 мьютекс на 1 элемент - очень жирно будет, обычно выделяют 1 мьютекс на 10 потоков, насколько поняла, т.е. на 10 элементов...

Мьютексы выделяют не на потоки, а на данные, доступ к которым необходимо синхронизировать

@JeyCi · 28.05.2020, 17:48 **[ТС]**

9) и в принципе и на cplusplus - есть пример класса (внизу)... хотя в яз. высокого уровня, повторюсь, можно и найти нужные классы... тот же boost... может только если установить отдельно boost_threadpool

@oleg-m1973 · 28.05.2020, 17:49

Сообщение от JeyCi

7) по работе с сокетами (а даже GET в С++ выполняется на открытом сокете - принимающем, - насколько понимаю) - всё равно на сокете может выполняться только 1 процесс -- поэтому неуверена, что параллельность поможет... хотя конкурентность моего тз - может и позволит распараллелить задачу подгрузки и задачу записи в файл... т.е. so named Instruction-Level Parallelism... не Data-Level Parallelism

Поможет - обработка одного запроса и отправка результата не будет тормозить другие запросы

@JeyCi · 28.05.2020, 17:49 **[ТС]**

Сообщение от oleg-m1973

не на потоки, а на данные, доступ к которым необходимо синхронизировать

спасибо за правку - вобщем 1 к 10 выгоднее, чем 1 к 1...

@oleg-m1973 · 28.05.2020, 17:53

Сообщение от JeyCi

3) убить поток сложно - делать этого не нужно - т.к. проблеиатично освободить ресурсы, позакрывать сокеты и выполнить др. рутину... даже если если поток остановить из др потока
3)хотя boost'овские потоки можно interrupt и они надёжнее, чем std

Не надо его убивать их нужно останавливать штатно и без всяких interrupt

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
int main()
{
    volatile bool stop = false;
    std::thread thread([&stop]()
    {
        while (!stop)
        {
            //......................
        }
    });
 
    stop = true;
    thread.join();
}

Добавлено через 1 минуту

Сообщение от JeyCi

спасибо за правку - вобщем 1 к 10 выгоднее, чем 1 к 1...

Нет не выгоднее, блокировок будет в 10 раз больше

@JeyCi · 28.05.2020, 17:55 **[ТС]**

Сообщение от oleg-m1973

Поможет - обработка одного запроса и отправка результата не будет тормозить другие запросы

?? в смысле ? - я не отправлять хочу... а получать ответы на запросы... веддь всё равно с моего одного сокета я параллельно не пошлю запросы, только последовательно... а уже прИнятые стринговые переменные для записи в файл - запускать в отдельные потоки для записи... я так пока вижу задачу... имхо... поправьте, если не права

Добавлено через 1 минуту

Сообщение от oleg-m1973

Нет не выгоднее, блокировок будет в 10 раз больше

это и имела ввиду 1к1 - если блокировка на каждый элемент - конечно в 10раз больше времени (пусть даже милисекунд), чем если блокировку ставить на пачку в 10шт элементов... вроде логично... в 1к10 меньше lock'ов / unlock'ов по количеству на тот же объём данных/элементов, чем если ставить на каждый (1к1)

@oleg-m1973 · 28.05.2020, 18:01

Сообщение от JeyCi

это и имела ввиду 1к1 - если блокировка на каждый элемент - конечно в 10раз больше, чем если блокировку ставить на пачку в 10шт элементов... вроде логично

Нет не логично. Когда если у тебя один мьютекс на элемент, то ты будешь блокировать только один элемент и потоки будут работать одновременно с разными элементами.
Если ты блокируешь сразу 10 элементов, то эти элементы можно будет обрабатывать только последовательно, т.е. у тебя, грубо говоря, 10 потоков будут стоять и ждать своей очереди

Добавлено через 1 минуту

Сообщение от JeyCi

?? в смысле ? - я не отправлять хочу... а получать ответы на запросы... веддь всё равно с моего одного сокета я параллельно не пошлю запросы, только последовательно... а уже прИнятые стринговые переменные для записи в файл - запускать в отдельные потоки для записи... я так пока вижу задачу... имхо... поправьте, если не права

Если у тебя один коннект, то достаточно одного потока. Если два или более- то лучше, если они будут обрабатываться в разных потоках.

@JeyCi · 28.05.2020, 18:03 **[ТС]**

Сообщение от oleg-m1973

Если ты блокируешь сразу 10 элементов... 10 потоков будут стоять и ждать своей очереди

ладно, тогда власть меняется...
в 1к1 они (эти 10 например в целом) ведь всё равно, наверно, не смогут работать параллельно... а только по количеству ядер (например, у меня 2), а оставшиеся 8 из той же 10-ки - будут ждать очередь на ядроо...
и затраты времени на lock/unlock при 1к1 всё равно могут превысить выигрыш от распараллеливания на 2 ядра... имхо

@oleg-m1973 · 28.05.2020, 18:08

Сообщение от JeyCi

в 1к1 они (эти 10 например) ведь всё равно, наверно, не смогут работать параллельно... а только по количеству ядра (например, у меня 2), а оставшиеся из той же 10-ки - будут ждать очередь на ядроо...
и затраты времени на lock/unlock при 1к1 всё равно могут превысить выигрыш от распараллеливания на 2 ядра... имхо

Два смогут работать одновременно. Остальные - в зависимости от того, в чём у тебя заключается обработка - если она содержит ждущие операции, например, чтение файла или отправку по сокетам, то и другие тоже смогут работать одновременно.

Добавлено через 1 минуту

Сообщение от JeyCi

и затраты времени на lock/unlock при 1к1 всё равно могут превысить выигрыш от распараллеливания на 2 ядра... имхо

Это если несколько потоков будут блокировать один мьютекс. Чем больше мьютексов, тем меньше вероятность этого

Добавлено через 28 секунд

Сообщение от JeyCi

и затраты времени на lock/unlock при 1к1 всё равно могут превысить выигрыш от распараллеливания на 2 ядра... имхо

Это если несколько потоков будут блокировать один мьютекс. Чем больше мьютексов, тем меньше вероятность этого

@JeyCi · 28.05.2020, 18:13 **[ТС]**

Сообщение от oleg-m1973

отправку по сокетам

нет, там подгрузка с одного сайта...
p.s.

спасибо за ликбез

@oleg-m1973 · 28.05.2020, 18:15

Сообщение от JeyCi

нет, там подгрузка с одного сайта...

Тем более. Пока один поток ждёт эту загрузку, другие будут работать.

@JeyCi · 28.05.2020, 18:31 **[ТС]**

Сообщение от oleg-m1973

Пока один поток ждёт эту загрузку, другие будут работать.

надо проверить... отдаст ли сервер (тот чужой) мне инфо, если на него будут колотить мои запросы в таком количестве

и с такой скоростью ... не подумает ли чего плохого (даже слово это боюсь произнести вслух - 2 слова - 2-ое "атака")

@oleg-m1973 · 28.05.2020, 18:33

Сообщение от JeyCi

надо проверить... отдаст ли сервер (тот чужой) мне инфо, если на него будут колотить мои запросы в таком количестве и с такой скоростью ... не подумает ли чего плохого

Здесь ты можешь ограничить свои потоки, чтоб не долбили. Например при помощи семафора

@JeyCi · 28.05.2020, 18:59 **[ТС]**

Сообщение от oleg-m1973

при помощи семафора

? или condition_variable ?
- они ведь вроде взаимозаменяемы... или семафоры имеют какие-то плюса?

Добавлено через 4 минуты
сегодня кстати наталкивалась на семафоры - Simple thread pool... там по линку перейти...
но вроде сейчас в тренде condition_variable ?

@oleg-m1973 · 28.05.2020, 19:03

Сообщение от JeyCi

? или condition_variable ?
- они ведь вроде взаимозаменяемы... или семафоры имеют какие-то плюса?

Это вообще разные вещи Semaphore Objects
Хотя, собственно, без разницы, как ты это ограничение реализуешь. Можно с помощью condition_variable, мьютекса и счётчика

Добавлено через 2 минуты

Сообщение от JeyCi

но вроде сейчас в тренде condition_variable ?

Без разницы. Делаешь, как тебе удобнее

@JeyCi · 28.05.2020, 20:38 **[ТС]**

Сообщение от oleg-m1973

Можно с помощью... мьютекса

значит:
lock - закрывает поток, чтобы он там в себе что-то выполнял, что в коде;
потом unlock - открывает его для join с основным потоком и выводом, чего надо;
есть ещё:
yield - "говорит планировщику выполнять другие потоки, может использоваться при активном ожидании" (надо разобраться при случае)...
... но в thread_pool - этот yield лишний... т.к. сам pool, насколько понимаю, - очень активно ожидает, выполняя всё остальное в pool'e (все потоки, запущенные в работу)... вообще по количеству в queue - можно и такое количество thread'ов в pool'e открыть?.. циклом... потом также join'ить циклом, видимо?... имхо

Новые блоги и статьи Все статьи Все блоги /
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .
Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .	Оттачиваю умение писать js программы. russiannick 30.08.2026 Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .

@JeyCi 264 / 153 / 33 Регистрация: 29.06.2019 Сообщений: 1,554
	28.05.2020, 17:48 [ТС]
	9) и в принципе и на cplusplus - есть пример класса (внизу)... хотя в яз. высокого уровня, повторюсь, можно и найти нужные классы... тот же boost... может только если установить отдельно boost_threadpool 0