Архитектура: парсинг и выгрузка текстовиков

@JeyCi · Регистрация: 29.06.2019

Студворк — интернет-сервис помощи студентам

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi

так и не собрала эти все объекты этого класса в group class...

вроде уже

собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi

полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования

Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset

Тут нужно виртуальное наследование.

@JeyCi · 19.06.2020, 16:37 **[ТС]**

Сообщение от Recrut_rf

а где всё это делается?

Ultimate++!

Сообщение от Recrut_rf

В Qt, к примеру, всё это (не могу с абсолютной уверенностью утверждать, потому как ничего подобного не делал) делается без особых проблем

Ultimate++ vs Qt - выбрала IDE по возможности писать более короткий код... имхо

Сообщение от Recrut_rf

да и примеры найти не проблема.

вот и оставила пример для GuiMT, но оттуда др GUI (Downloader) будет вызываться - и сигналить др. другу, наверно, коллбэками... вот и думаю - можно ли эти 2 класса (2х GUI) отдельно делать... или надо как-то пронаследовать, какой от какого??... и каким боком тут main()??... (надо ли в нём что-либо делать - или только app.Run и всю обработку событий нажатий кнопок запихнуть в методы моего класса GUI)... но тоже хочется по потокам раскидать и асинхронно сделать, чтобы не зависала софтинушка, пока работает код - пока я по-быстрому логику набросала в main()'e - поэтому и висим (замораживается окно), пока подгружает, потом выбрасывает окошко "loaded"... как-то так на скорую руку

Добавлено через 8 минут

Сообщение от JeyCi

оттуда др GUI (Downloader) будет вызываться

хотя, действительно, ProgressBar окончания подгрузки можно и в этом поместить... но сам класс подгрузчика - пока отдельный.. как соединить... и многопоточности и асинхронности добавить... ?? тоже, наверно, глупые вопросы - без кода... но весь код прикладывать - тоже глупо - там красивого пока мало...

Добавлено через 47 минут

Сообщение от JeyCi

вот и оставила пример для GuiMT

только что-то пока мало его понимаю (не совсем понимаю, как там MT работает??)... а интуитивно чувствую, что что-то интересное для моих баранов (линков) оттуда достать можно... имхо... (пример находится в IDE папка references)

Добавлено через 2 часа 24 минуты

Сообщение от JeyCi

(не совсем понимаю, как там MT работает??)...

у меня вроде не по thread'ам...

ну и ладно... если он

shows older way how to do multithreded GUI using PostCallback to communicate between worker thread and main GUI thread.

в принципе решаемо с помощью GuiLock
===
ИТОГО:

Сообщение от JeyCi

как минимум, эти два случая уметь реализовать:
- взаимодействие др. потоков с GUI;
- синхронизация и intercommunication (если надо) потоков в рамках распараллеливания алгоритма или мультизадачности...

1. коллбэками по сути (или подручными средствами IDE - её внутренних библиотек - той же природы)
2. thread.join; или async сам возвращает в текущий поток своим .get()
===
sorry за вчерашнюю панику -

- всем спасибо

@Recrut_rf · 19.06.2020, 19:02

Сообщение от JeyCi

thread.join

он говорит о том, что главному потоку нужно дождаться пока поток thread будет выполнен.

Сообщение от JeyCi

async

- по сути - самый безопасный и простой способ организации многопоточности (по крайней мере если я всё правильно понял при изучении многопоточности средствами STL)
Эта функция вернёт фьючерс и гарантирует выполнение вызываемой сущности, передаваемой ей в качестве аргумента. Эта сущность будет выполнена либо параллельно (если есть такая возможность), либо последовательно.

Про GUI с потоками:
я не знаю, как в U++ организована обработка событий, в Qt к примеру сигнально - слотовая система. Так вот она с многопоточностью может иногда не работать. Пример:
если запустить какую-нибудь сущность (класс) в отдельном потоке и попытаться обрабатывать его сигналы (с параметрами) - то это может не работать. Лечится специальным макросом. А проще делать так - работать с сигналами и слотами без параметров. А необходимые параметры (в ответ на сигнал) передавать через гетеры - такой способ прекрасно работает

@Avazart · 19.06.2020, 20:02

Может не работать? Что за формулировки блин.

Сообщение от Recrut_rf

я не знаю, как в U++ организована обработка событий, в Qt к примеру сигнально - слотовая система. Так вот она с многопоточностью может иногда не работать.

Если руки из опы нефиг на фреймворк пенять. Qt отлично работает с многопоточностью.

Добавлено через 2 минуты

Сообщение от JeyCi

писать более короткий код

"КоротоКодость" какой то сомнительный критерий.

@Recrut_rf · 19.06.2020, 20:17

Сообщение от Avazart

Если руки из опы нефиг на фреймворк пенять

да не - фреймворк отличный. Я просто хотел написать, как лучше сделать - то есть не передавать параметры через сигналы на граф. интерфейс, а передавать их гетерами

Добавлено через 2 минуты
Просто у меня было так, что объект с параметрами в одном потоке, а гуи в другом.
Решений было два - либо регить нужный класс специальным макросом, либо передавать нужные параметры через гетер

@Avazart · 19.06.2020, 20:48

Тут вообще стоит задаться вопросом есть ли в Ultimate++ "поддержка" многопоточности.
Имею виду синхронизацию GUI и вторичных потоков.

Поэтому я считаю что выбирать всегда стоит Qt так как в нем с этим все очевидно в отличии от других фремймворков.

@JeyCi · 20.06.2020, 18:31 **[ТС]**

Сообщение от Avazart

есть ли в Ultimate++ "поддержка" многопоточности.

через CoWork п.7 (хотя, он вроде на ядрах завязан - ещё поэкспериментирую/полистаю)... и AsyncWork тоже основана на ней... есть отдельно класс Thread... но можно и на STD thread_pool организовать...

Сообщение от Avazart

Имею виду синхронизацию GUI и вторичных потоков

через GuiLock, насколько поняла... раньше было на THISBACK или PostCallback в u++ (природа их callback)... в принципе там и сейчас все контролы на этом THISBACK, а не то чтобы на Event'ах (c обработкой event'ов там не часто можно встретиться, насколько заметила)
но пока не сделаю работающий код - не поверю ничему...

Сообщение от Avazart

"КоротоКодость" какой то сомнительный критерий.

мне потом свой код читать легче... и так наворачиваются иногда листинги, когда все нюансы надо учесть...

Кликните здесь для просмотра всего текста

вообще люблю краткие решения, потому что проект всегда имеет свойство разрастаться дальше - с появлением новых нюансов или просто если захочу его масштабировать и на др задачи или файлы др. рода (там просто инфо очень разношёрстная нужна и источник не от меня зависит - подстраиваюсь всегда в коде, как могу - стараясь не разжёвывать коду то, что ему подсовываю - т.к. знаю, что может и меняться и усложняться входящая инфо и не мной - и опять парсить и/или менять пути и т.д.)...

Сообщение от Avazart

Qt отлично работает с многопоточностью.

если вам встретится хороший пример - оставьте please link в теме

Сообщение от Recrut_rf

в Qt к примеру сигнально - слотовая система

видела... решила пока не вникать... спасибо за Warning

Сообщение от Recrut_rf

thread.join- говорит о том, что главному потоку нужно дождаться пока поток thread будет выполнен.

ну вобщем да, чтобы вывести результат или окошко loaded... моя задача в главный поток (а он в U++ с GUI -может быть только сам GUI) - вывести инфо об окончании подгрузки из сети ИЛИ считанный из каждого файла результат, блокируя IO - для вывода (пока такой кусочек задачи)... потом могут быть действия с инфо пост-фактум - загрузка в БД (как озвучено в начале темы)...

@Avazart · 20.06.2020, 18:43

Сообщение от JeyCi

но можно и на STD thread_pool организовать...

Как правило нельзя ибо будет лочится GUI.

Добавлено через 1 минуту

Сообщение от JeyCi

через GuiLock, насколько поняла... раньше было на THISBACK или PostCallback в u++ (природа их callback)... в принципе там и сейчас все контролы на этом THISBACK, а не то чтобы на Event'ах (c обработкой event'ов там не часто можно встретиться, насколько заметила)
но пока не сделаю работающий код - не поверю ничему...

PostCallback больше похоже на правду.

@JeyCi · 20.06.2020, 18:49 **[ТС]**

Сообщение от Avazart

Как правило нельзя ибо будет лочится GUI.

посмотрю... если средствами U++ запустить Thread... в нём прогнать async'и пулом потоков std::vector <std::future>>... и вывести в GUI

GuiLock __; // After locking GuiLock __, access is allowed to GUI object except opening/closing windows

лишь бы GUI не зависал, как сейчас... но этого, думаю, можно добиться просто перемещением кода из main() в какой button.Click()... вот тоже - вроде Event, но возвращается THISBACK'ом ...
а GuiLock видимо сам какой синхронизирующий (даже, не примитив, а класс самой u++)

@GoshaM · 21.06.2020, 13:06

Сообщение от JeyCi

лишь бы GUI не зависал, как сейчас...

Возможно GuiLock у вас находится в области видимости всего потока. Он должен быть виден, только когда в хотите обратиться к GUI.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
#include <CtrlLib/CtrlLib.h>
 
using namespace Upp;
 
struct MainWin : TopWindow
{
 
    typedef MainWin CLASSNAME;
 
    MainWin();
    ~MainWin();
 
    void Start();
 
    Label lb;
 
    Button bt_1;
    Button bt_2;
    Thread work;
};
 
void WorkerThread ( MainWin* pw );
 
 
MainWin::MainWin()
{
    Add ( lb.SetLabel ( "0" ).SetAlign ( ALIGN_LEFT ).LeftPos ( 10, 80 ).TopPos ( 10, 20 ) );
    Add ( bt_1.SetLabel ( "Старт" ).LeftPos ( 10, 80 ).TopPos ( 40, 20 ) );
    Add ( bt_2.SetLabel ( "Сообщение" ).LeftPos ( 10, 80 ).TopPos ( 70, 20 ) );
 
    bt_1.WhenAction = THISBACK ( Start );
    bt_2.WhenAction = []{PromptOK ( "GUI работает" );};
}
 
MainWin::~MainWin()
{
    ShutdownThreads();
}
 
void MainWin::Start()
{
    work.Run ( [=]{WorkerThread ( this );} );
}
 
 
void WorkerThread ( MainWin* pw )
{
 
    {
        /*После нажатия кнопки "Старт"
        Чтобы увидеть эффект от GuiLock
        GUI блокируем, например, на 5 секунд*/
        GuiLock __;
        Sleep ( 5000 );
        pw->lb.SetText ( "Старт" );
        pw->bt_1.Deactivate();
    }
 
    /*Идет какой-процесс, не связанный с GUI.
    Находимся в не видимости GuiLock 
    Можно нажать, кнопку "Сообщение"*/
    for ( int i = 0; i < 10; i++ )
        Sleep ( 1000 );
 
 
    {
        GuiLock __;
        pw->lb.SetText ( "Финиш" );
        pw->bt_1.Activate();
    }
 
 
};
 
 
GUI_APP_MAIN
{
    MainWin w;
    w.Run();
}

@JeyCi · 22.06.2020, 15:41 **[ТС]**

Сообщение от Avazart

будет лочится GUI.

а вобщем-то понятно

Wait means blocking... my advice is to do the opposite: when your thread is done call PostMessage to the window you want notify with some custom message.

- даже где-то был паттерн Observer - Наблюдатель. о том, как посылать notification messages...
усложнённый вариант, наверно, Mediator - Посредник - чтобы передать что-то ещё...
или даже паттерн Команда можно рассмотреть...
p.s.
как вариант, возможно, стоит делать thread.detach (чтобы не ждать thread.join в главном потоке) - и по окончанию подгрузки послать Message в главный поток?? может это вариант "совсем отвязаться от главного потока до окончания второстепенного"? (ну и, полагаю, работать с std:: promise, а не strd::futures)? или вы знаете др. способ совсем не лочить GUI ??

p.s,

Кликните здесь для просмотра всего текста

Сообщение от JeyCi

по Qt - оставьте please link в теме

Qt GUI doesn't work with std::thread as I expect -- на stackoverflow.com.. /questions/36778737/qt-gui-doesnt-work-with-stdthread-as-i-expect

Добавлено через 2 минуты

Сообщение от GoshaM

pw->lb.SetText ( "Финиш" );

чувствую мы уже приближаемся к нему... в хорошем смысле

@Avazart · 22.06.2020, 16:40

Сообщение от JeyCi

- даже где-то был паттерн Observer - Наблюдатель. о том, как посылать notification messages...
усложнённый вариант, наверно, Mediator - Посредник - чтобы передать что-то ещё...
или даже паттерн Команда можно рассмотреть...

Думаю это никак не касается темы многопоточности.

Добавлено через 1 минуту

Сообщение от JeyCi

или вы знаете др. способ совсем не лочить GUI ??

Я не знаю, не работал с U++.
Касательно Qt там можно просто сигнал послать.

@GoshaM · 22.06.2020, 18:09

Не по теме:

Сообщение от JeyCi

или даже паттерн Команда можно рассмотреть...

Это пример как не надо делать - с утечкой памяти.
Да и не актуально это сейчас, когда есть function (Function в U++) и лямбда-выражения.

@Recrut_rf · 22.06.2020, 18:14

JeyCi, если GUI виснет - что тут можно сделать - запускать в отладке и смотреть, когда он виснет, пытаться найти проблему - только так

@JeyCi · 22.06.2020, 19:21 **[ТС]**

Сообщение от GoshaM

Это пример как не надо делать - с утечкой памяти.

утечка из-за этого?? -

Сообщение от GoshaM

MainWin* pw

- т.к. выделяете указатель и нигде его не удаляете?.. или где, если не секрет?.. поясните please
на сайте видела только такое - Resolving memory leaks...
но как отлавливать утечки - ещё не в теме... ?? наверно, мониторя глазами окошко справа - там вроде ассемблер (call, add, mov, jmp и др)

@Avazart · 22.06.2020, 19:25

JeyCi, Насчет выбора фреймворка вот есть статейка https://habr.com/ru/post/194590/ но главное это почитать комментарии.

@JeyCi · 22.06.2020, 19:37 **[ТС]**

Сообщение от Recrut_rf

если GUI виснет - что тут можно сделать

а что ему ещё делать... пока грузятся ~600 линков... и пока ещё синхронно... вот в Title и появляется доп. в скобках ("Не отвечает") -- пока не догрузится до конца...
перенесла код из main в обработку нажатия на кнопку - подождала

... вроде дождалась окончания подгрузки...

скорость вроде не уступает vba- варианту... и то радует... там кстати тоже пока работает макрос - ничего особо не сделаешь...
осталось всё перетрясти для теста многопоточности и красоту наводить

@GoshaM · 22.06.2020, 19:37

Сообщение от JeyCi

утечка из-за этого??

Утечка по приведенной вами ссылке на паттерн Команда.
Здесь выделяется память через new каждый раз, при каждом нажатии кнопки:

C++
1
2
3
commandManager->setCommand(new ShowAboutQtCommand(this));
...
commandManager->setCommand(new ShowTextMessageCommand(this));

А удаляется только один раз.

К тому же таем еще из левого класса зачем-то удаляется основное окно Qt.

C++
1
delete parent;

Конечно это происходит при завершении программы и ни на что не влияет, но еще раз подтверждает, что автор статьи не очень дружен с указателями.

@JeyCi · 22.06.2020, 19:44 **[ТС]**

Сообщение от GoshaM

Утечка по приведенной вами ссылке на паттерн Команда.

ой sorry - не обратила внимание на цитату - ждала, пока 600 линков догрузятся

Добавлено через 1 минуту
а как отловить в процессе разработки?.. а не уже при эксплуатации софтины нарваться?.. на утечку...

@Avazart · 22.06.2020, 20:00

Не по теме:

Сообщение от GoshaM

Конечно это происходит при завершении программы и ни на что не влияет, но еще раз подтверждает, что автор статьи не очень дружен с указателями.

Писал вроде С#-шик так что чему удивляться?

@JeyCi · 23.06.2020, 06:21 **[ТС]**

Сообщение от GoshaM

паттерн Команда...и не актуально это сейчас, когда есть function (Function в U++) и лямбда-выражения.

согласна - правильно обрабатывать event'ы... и постараться справиться с "не отвечает"...

Новые блоги и статьи Все статьи Все блоги /
сукцессия 30. Ансамблевая кластерная параметризаци, часть 1. anaschu 24.07.2026 Пр# Сопровождение научной статьи ИИ-ассистентом: подготовка публикации и калибровка агентно-ориентированной модели сукцессии микоризных систем Полевые заметки о двухнедельной совместной работе. . .	Теория всего 12. ВГК на планете в стратегической игре "терра" anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .	Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .
Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .	Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .	Теория всего 7. Дерево - это патриархат, грибы - это феминизм anaschu 21.07.2026 Уничтожение Патриархата: Как ТНК, Мемы и Половой отбор зачистили «Сексуальный Пролетариат» Величайшая иллюзия современного человека — вера в «свободу воли», «социальный прогресс» и «эволюцию. . .

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	19.06.2020, 20:48
	Тут вообще стоит задаться вопросом есть ли в Ultimate++ "поддержка" многопоточности. Имею виду синхронизацию GUI и вторичных потоков. Поэтому я считаю что выбирать всегда стоит Qt так как в нем с этим все очевидно в отличии от других фремймворков. 0

@Recrut_rf 389 / 334 / 66 Регистрация: 14.10.2014 Сообщений: 1,475
	22.06.2020, 18:14
	JeyCi, если GUI виснет - что тут можно сделать - запускать в отладке и смотреть, когда он виснет, пытаться найти проблему - только так 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	22.06.2020, 19:25
	JeyCi, Насчет выбора фреймворка вот есть статейка https://habr.com/ru/post/194590/ но главное это почитать комментарии. 1