Архитектура: парсинг и выгрузка текстовиков

@JeyCi · Регистрация: 29.06.2019

Студворк — интернет-сервис помощи студентам

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi

так и не собрала эти все объекты этого класса в group class...

вроде уже

собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi

полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования

Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset

Тут нужно виртуальное наследование.

@JeyCi · 19.06.2020, 16:37 **[ТС]**

Сообщение от Recrut_rf

а где всё это делается?

Ultimate++!

Сообщение от Recrut_rf

В Qt, к примеру, всё это (не могу с абсолютной уверенностью утверждать, потому как ничего подобного не делал) делается без особых проблем

Ultimate++ vs Qt - выбрала IDE по возможности писать более короткий код... имхо

Сообщение от Recrut_rf

да и примеры найти не проблема.

вот и оставила пример для GuiMT, но оттуда др GUI (Downloader) будет вызываться - и сигналить др. другу, наверно, коллбэками... вот и думаю - можно ли эти 2 класса (2х GUI) отдельно делать... или надо как-то пронаследовать, какой от какого??... и каким боком тут main()??... (надо ли в нём что-либо делать - или только app.Run и всю обработку событий нажатий кнопок запихнуть в методы моего класса GUI)... но тоже хочется по потокам раскидать и асинхронно сделать, чтобы не зависала софтинушка, пока работает код - пока я по-быстрому логику набросала в main()'e - поэтому и висим (замораживается окно), пока подгружает, потом выбрасывает окошко "loaded"... как-то так на скорую руку

Добавлено через 8 минут

Сообщение от JeyCi

оттуда др GUI (Downloader) будет вызываться

хотя, действительно, ProgressBar окончания подгрузки можно и в этом поместить... но сам класс подгрузчика - пока отдельный.. как соединить... и многопоточности и асинхронности добавить... ?? тоже, наверно, глупые вопросы - без кода... но весь код прикладывать - тоже глупо - там красивого пока мало...

Добавлено через 47 минут

Сообщение от JeyCi

вот и оставила пример для GuiMT

только что-то пока мало его понимаю (не совсем понимаю, как там MT работает??)... а интуитивно чувствую, что что-то интересное для моих баранов (линков) оттуда достать можно... имхо... (пример находится в IDE папка references)

Добавлено через 2 часа 24 минуты

Сообщение от JeyCi

(не совсем понимаю, как там MT работает??)...

у меня вроде не по thread'ам...

ну и ладно... если он

shows older way how to do multithreded GUI using PostCallback to communicate between worker thread and main GUI thread.

в принципе решаемо с помощью GuiLock
===
ИТОГО:

Сообщение от JeyCi

как минимум, эти два случая уметь реализовать:
- взаимодействие др. потоков с GUI;
- синхронизация и intercommunication (если надо) потоков в рамках распараллеливания алгоритма или мультизадачности...

1. коллбэками по сути (или подручными средствами IDE - её внутренних библиотек - той же природы)
2. thread.join; или async сам возвращает в текущий поток своим .get()
===
sorry за вчерашнюю панику -

- всем спасибо

@Recrut_rf · 19.06.2020, 19:02

Сообщение от JeyCi

thread.join

он говорит о том, что главному потоку нужно дождаться пока поток thread будет выполнен.

Сообщение от JeyCi

async

- по сути - самый безопасный и простой способ организации многопоточности (по крайней мере если я всё правильно понял при изучении многопоточности средствами STL)
Эта функция вернёт фьючерс и гарантирует выполнение вызываемой сущности, передаваемой ей в качестве аргумента. Эта сущность будет выполнена либо параллельно (если есть такая возможность), либо последовательно.

Про GUI с потоками:
я не знаю, как в U++ организована обработка событий, в Qt к примеру сигнально - слотовая система. Так вот она с многопоточностью может иногда не работать. Пример:
если запустить какую-нибудь сущность (класс) в отдельном потоке и попытаться обрабатывать его сигналы (с параметрами) - то это может не работать. Лечится специальным макросом. А проще делать так - работать с сигналами и слотами без параметров. А необходимые параметры (в ответ на сигнал) передавать через гетеры - такой способ прекрасно работает

@Avazart · 19.06.2020, 20:02

Может не работать? Что за формулировки блин.

Сообщение от Recrut_rf

я не знаю, как в U++ организована обработка событий, в Qt к примеру сигнально - слотовая система. Так вот она с многопоточностью может иногда не работать.

Если руки из опы нефиг на фреймворк пенять. Qt отлично работает с многопоточностью.

Добавлено через 2 минуты

Сообщение от JeyCi

писать более короткий код

"КоротоКодость" какой то сомнительный критерий.

@Recrut_rf · 19.06.2020, 20:17

Сообщение от Avazart

Если руки из опы нефиг на фреймворк пенять

да не - фреймворк отличный. Я просто хотел написать, как лучше сделать - то есть не передавать параметры через сигналы на граф. интерфейс, а передавать их гетерами

Добавлено через 2 минуты
Просто у меня было так, что объект с параметрами в одном потоке, а гуи в другом.
Решений было два - либо регить нужный класс специальным макросом, либо передавать нужные параметры через гетер

@Avazart · 19.06.2020, 20:48

Тут вообще стоит задаться вопросом есть ли в Ultimate++ "поддержка" многопоточности.
Имею виду синхронизацию GUI и вторичных потоков.

Поэтому я считаю что выбирать всегда стоит Qt так как в нем с этим все очевидно в отличии от других фремймворков.

@JeyCi · 20.06.2020, 18:31 **[ТС]**

Сообщение от Avazart

есть ли в Ultimate++ "поддержка" многопоточности.

через CoWork п.7 (хотя, он вроде на ядрах завязан - ещё поэкспериментирую/полистаю)... и AsyncWork тоже основана на ней... есть отдельно класс Thread... но можно и на STD thread_pool организовать...

Сообщение от Avazart

Имею виду синхронизацию GUI и вторичных потоков

через GuiLock, насколько поняла... раньше было на THISBACK или PostCallback в u++ (природа их callback)... в принципе там и сейчас все контролы на этом THISBACK, а не то чтобы на Event'ах (c обработкой event'ов там не часто можно встретиться, насколько заметила)
но пока не сделаю работающий код - не поверю ничему...

Сообщение от Avazart

"КоротоКодость" какой то сомнительный критерий.

мне потом свой код читать легче... и так наворачиваются иногда листинги, когда все нюансы надо учесть...

Кликните здесь для просмотра всего текста

вообще люблю краткие решения, потому что проект всегда имеет свойство разрастаться дальше - с появлением новых нюансов или просто если захочу его масштабировать и на др задачи или файлы др. рода (там просто инфо очень разношёрстная нужна и источник не от меня зависит - подстраиваюсь всегда в коде, как могу - стараясь не разжёвывать коду то, что ему подсовываю - т.к. знаю, что может и меняться и усложняться входящая инфо и не мной - и опять парсить и/или менять пути и т.д.)...

Сообщение от Avazart

Qt отлично работает с многопоточностью.

если вам встретится хороший пример - оставьте please link в теме

Сообщение от Recrut_rf

в Qt к примеру сигнально - слотовая система

видела... решила пока не вникать... спасибо за Warning

Сообщение от Recrut_rf

thread.join- говорит о том, что главному потоку нужно дождаться пока поток thread будет выполнен.

ну вобщем да, чтобы вывести результат или окошко loaded... моя задача в главный поток (а он в U++ с GUI -может быть только сам GUI) - вывести инфо об окончании подгрузки из сети ИЛИ считанный из каждого файла результат, блокируя IO - для вывода (пока такой кусочек задачи)... потом могут быть действия с инфо пост-фактум - загрузка в БД (как озвучено в начале темы)...

@Avazart · 20.06.2020, 18:43

Сообщение от JeyCi

но можно и на STD thread_pool организовать...

Как правило нельзя ибо будет лочится GUI.

Добавлено через 1 минуту

Сообщение от JeyCi

через GuiLock, насколько поняла... раньше было на THISBACK или PostCallback в u++ (природа их callback)... в принципе там и сейчас все контролы на этом THISBACK, а не то чтобы на Event'ах (c обработкой event'ов там не часто можно встретиться, насколько заметила)
но пока не сделаю работающий код - не поверю ничему...

PostCallback больше похоже на правду.

@JeyCi · 20.06.2020, 18:49 **[ТС]**

Сообщение от Avazart

Как правило нельзя ибо будет лочится GUI.

посмотрю... если средствами U++ запустить Thread... в нём прогнать async'и пулом потоков std::vector <std::future>>... и вывести в GUI

GuiLock __; // After locking GuiLock __, access is allowed to GUI object except opening/closing windows

лишь бы GUI не зависал, как сейчас... но этого, думаю, можно добиться просто перемещением кода из main() в какой button.Click()... вот тоже - вроде Event, но возвращается THISBACK'ом ...
а GuiLock видимо сам какой синхронизирующий (даже, не примитив, а класс самой u++)

@GoshaM · 21.06.2020, 13:06

Сообщение от JeyCi

лишь бы GUI не зависал, как сейчас...

Возможно GuiLock у вас находится в области видимости всего потока. Он должен быть виден, только когда в хотите обратиться к GUI.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
#include <CtrlLib/CtrlLib.h>
 
using namespace Upp;
 
struct MainWin : TopWindow
{
 
    typedef MainWin CLASSNAME;
 
    MainWin();
    ~MainWin();
 
    void Start();
 
    Label lb;
 
    Button bt_1;
    Button bt_2;
    Thread work;
};
 
void WorkerThread ( MainWin* pw );
 
 
MainWin::MainWin()
{
    Add ( lb.SetLabel ( "0" ).SetAlign ( ALIGN_LEFT ).LeftPos ( 10, 80 ).TopPos ( 10, 20 ) );
    Add ( bt_1.SetLabel ( "Старт" ).LeftPos ( 10, 80 ).TopPos ( 40, 20 ) );
    Add ( bt_2.SetLabel ( "Сообщение" ).LeftPos ( 10, 80 ).TopPos ( 70, 20 ) );
 
    bt_1.WhenAction = THISBACK ( Start );
    bt_2.WhenAction = []{PromptOK ( "GUI работает" );};
}
 
MainWin::~MainWin()
{
    ShutdownThreads();
}
 
void MainWin::Start()
{
    work.Run ( [=]{WorkerThread ( this );} );
}
 
 
void WorkerThread ( MainWin* pw )
{
 
    {
        /*После нажатия кнопки "Старт"
        Чтобы увидеть эффект от GuiLock
        GUI блокируем, например, на 5 секунд*/
        GuiLock __;
        Sleep ( 5000 );
        pw->lb.SetText ( "Старт" );
        pw->bt_1.Deactivate();
    }
 
    /*Идет какой-процесс, не связанный с GUI.
    Находимся в не видимости GuiLock 
    Можно нажать, кнопку "Сообщение"*/
    for ( int i = 0; i < 10; i++ )
        Sleep ( 1000 );
 
 
    {
        GuiLock __;
        pw->lb.SetText ( "Финиш" );
        pw->bt_1.Activate();
    }
 
 
};
 
 
GUI_APP_MAIN
{
    MainWin w;
    w.Run();
}

@JeyCi · 22.06.2020, 15:41 **[ТС]**

Сообщение от Avazart

будет лочится GUI.

а вобщем-то понятно

Wait means blocking... my advice is to do the opposite: when your thread is done call PostMessage to the window you want notify with some custom message.

- даже где-то был паттерн Observer - Наблюдатель. о том, как посылать notification messages...
усложнённый вариант, наверно, Mediator - Посредник - чтобы передать что-то ещё...
или даже паттерн Команда можно рассмотреть...
p.s.
как вариант, возможно, стоит делать thread.detach (чтобы не ждать thread.join в главном потоке) - и по окончанию подгрузки послать Message в главный поток?? может это вариант "совсем отвязаться от главного потока до окончания второстепенного"? (ну и, полагаю, работать с std:: promise, а не strd::futures)? или вы знаете др. способ совсем не лочить GUI ??

p.s,

Кликните здесь для просмотра всего текста

Сообщение от JeyCi

по Qt - оставьте please link в теме

Qt GUI doesn't work with std::thread as I expect -- на stackoverflow.com.. /questions/36778737/qt-gui-doesnt-work-with-stdthread-as-i-expect

Добавлено через 2 минуты

Сообщение от GoshaM

pw->lb.SetText ( "Финиш" );

чувствую мы уже приближаемся к нему... в хорошем смысле

@Avazart · 22.06.2020, 16:40

Сообщение от JeyCi

- даже где-то был паттерн Observer - Наблюдатель. о том, как посылать notification messages...
усложнённый вариант, наверно, Mediator - Посредник - чтобы передать что-то ещё...
или даже паттерн Команда можно рассмотреть...

Думаю это никак не касается темы многопоточности.

Добавлено через 1 минуту

Сообщение от JeyCi

или вы знаете др. способ совсем не лочить GUI ??

Я не знаю, не работал с U++.
Касательно Qt там можно просто сигнал послать.

@GoshaM · 22.06.2020, 18:09

Не по теме:

Сообщение от JeyCi

или даже паттерн Команда можно рассмотреть...

Это пример как не надо делать - с утечкой памяти.
Да и не актуально это сейчас, когда есть function (Function в U++) и лямбда-выражения.

@Recrut_rf · 22.06.2020, 18:14

JeyCi, если GUI виснет - что тут можно сделать - запускать в отладке и смотреть, когда он виснет, пытаться найти проблему - только так

@JeyCi · 22.06.2020, 19:21 **[ТС]**

Сообщение от GoshaM

Это пример как не надо делать - с утечкой памяти.

утечка из-за этого?? -

Сообщение от GoshaM

MainWin* pw

- т.к. выделяете указатель и нигде его не удаляете?.. или где, если не секрет?.. поясните please
на сайте видела только такое - Resolving memory leaks...
но как отлавливать утечки - ещё не в теме... ?? наверно, мониторя глазами окошко справа - там вроде ассемблер (call, add, mov, jmp и др)

@Avazart · 22.06.2020, 19:25

JeyCi, Насчет выбора фреймворка вот есть статейка https://habr.com/ru/post/194590/ но главное это почитать комментарии.

@JeyCi · 22.06.2020, 19:37 **[ТС]**

Сообщение от Recrut_rf

если GUI виснет - что тут можно сделать

а что ему ещё делать... пока грузятся ~600 линков... и пока ещё синхронно... вот в Title и появляется доп. в скобках ("Не отвечает") -- пока не догрузится до конца...
перенесла код из main в обработку нажатия на кнопку - подождала

... вроде дождалась окончания подгрузки...

скорость вроде не уступает vba- варианту... и то радует... там кстати тоже пока работает макрос - ничего особо не сделаешь...
осталось всё перетрясти для теста многопоточности и красоту наводить

@GoshaM · 22.06.2020, 19:37

Сообщение от JeyCi

утечка из-за этого??

Утечка по приведенной вами ссылке на паттерн Команда.
Здесь выделяется память через new каждый раз, при каждом нажатии кнопки:

C++
1
2
3
commandManager->setCommand(new ShowAboutQtCommand(this));
...
commandManager->setCommand(new ShowTextMessageCommand(this));

А удаляется только один раз.

К тому же таем еще из левого класса зачем-то удаляется основное окно Qt.

C++
1
delete parent;

Конечно это происходит при завершении программы и ни на что не влияет, но еще раз подтверждает, что автор статьи не очень дружен с указателями.

@JeyCi · 22.06.2020, 19:44 **[ТС]**

Сообщение от GoshaM

Утечка по приведенной вами ссылке на паттерн Команда.

ой sorry - не обратила внимание на цитату - ждала, пока 600 линков догрузятся

Добавлено через 1 минуту
а как отловить в процессе разработки?.. а не уже при эксплуатации софтины нарваться?.. на утечку...

@Avazart · 22.06.2020, 20:00

Не по теме:

Сообщение от GoshaM

Конечно это происходит при завершении программы и ни на что не влияет, но еще раз подтверждает, что автор статьи не очень дружен с указателями.

Писал вроде С#-шик так что чему удивляться?

@JeyCi · 23.06.2020, 06:21 **[ТС]**

Сообщение от GoshaM

паттерн Команда...и не актуально это сейчас, когда есть function (Function в U++) и лямбда-выражения.

согласна - правильно обрабатывать event'ы... и постараться справиться с "не отвечает"...

Новые блоги и статьи Все статьи Все блоги /
Доктрина интенционального знания - Доктрина для портала "Срез". Hrethgir 25.07.2026 Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .	сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых anaschu 25.07.2026 Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.	сукцессия 43. Вторая научная статья за месяц- прайминг и гатгил anaschu 25.07.2026 две стороны одной монеты	Более приземисто - Эстафету хвоста в .cdl (деревья эстафеты в сад). Hrethgir 24.07.2026 В будущем, после написания блока инверсии обхода дерева (эстафеты хвоста), я планирую вернуться к нашему прошлому разговору о том, обладают ли знания целеполаганием. Тогда я пришел к выводу, что. . .
Вот представьте что вам дали бессмертие. kumehtar 24.07.2026 Вот представьте что вам дали бессмертие, ничего более не меняя. Вообще ничего, только бессмертие в нынешнем виде. Рады были бы? Что бы вы тут делали всё это время? Никакой пенсии. Никакого нового. . .	сукцессия 41 anaschu 24.07.2026 Численная верификация бифуркации в агентной модели лесной сукцессии: от одного параметра к ансамблю Автор: пользователь @Shumilov_AS \| Раздел: Прикладная математика / Численные методы Кратко. . .	сукцессия 40. Ансамблевая кластерная параметризаци, часть 1. anaschu 24.07.2026 Пр# Сопровождение научной статьи ИИ-ассистентом: подготовка публикации и калибровка агентно-ориентированной модели сукцессии микоризных систем Полевые заметки о двухнедельной совместной работе. . .	Теория всего 12. ВГК на планете в стратегической игре "терра" anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	19.06.2020, 20:48
	Тут вообще стоит задаться вопросом есть ли в Ultimate++ "поддержка" многопоточности. Имею виду синхронизацию GUI и вторичных потоков. Поэтому я считаю что выбирать всегда стоит Qt так как в нем с этим все очевидно в отличии от других фремймворков. 0

@Recrut_rf 389 / 334 / 66 Регистрация: 14.10.2014 Сообщений: 1,475
	22.06.2020, 18:14
	JeyCi, если GUI виснет - что тут можно сделать - запускать в отладке и смотреть, когда он виснет, пытаться найти проблему - только так 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	22.06.2020, 19:25
	JeyCi, Насчет выбора фреймворка вот есть статейка https://habr.com/ru/post/194590/ но главное это почитать комментарии. 1