Архитектура: парсинг и выгрузка текстовиков

@JeyCi · Регистрация: 29.06.2019

Студворк — интернет-сервис помощи студентам

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi

так и не собрала эти все объекты этого класса в group class...

вроде уже

собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi

полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования

Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset

Тут нужно виртуальное наследование.

@JeyCi · 29.06.2020, 20:40 **[ТС]**

Сообщение от Avazart

Вы в код посмотрите

я дописывала предыдущий свой пост - ваш код вклинился пока я линк искала... - показать, что они в U++ имеют ввиду под GuiLock...
ваш код посмотрела - спасибо - но status почему-то ничего не показывает...??
компилируется ок в 13664

@Avazart · 29.06.2020, 20:47

Короче говоря из кода понятно что тот кто писал не понимает что делает.

Добавлено через 4 минуты

Сообщение от JeyCi

ваш код посмотрела - спасибо - но status почему-то ничего не показывает...??

По тому что я банально не задействовал его.

@GoshaM · 29.06.2020, 20:49

Сообщение от JeyCi

выдаёт assertion failed in CoWork.cpp (line 64) - (!IsWorker) - отсюда:

Увидел, когда на MinGW переключился. Попробую разобраться.

Сообщение от Avazart

Да все. Не нужны там мютексы так как есть атомики. И блокировки неправильно используются.

Конкретно какие строчки вас не устраивают. Я вам любую объясню.

@Avazart · 29.06.2020, 20:50

Сообщение от GoshaM

Конкретно какие строчки вас не устраивают. Я вам любую объясню.

Ок если конкретно - все, не люблю гавнокод. Так дохочивее?

@JeyCi · 29.06.2020, 20:56 **[ТС]**

Сообщение от Avazart

По тому что я банально не задействовал его.

ну можно, конечно, в вашем коде

C++
1
2
3
4
5
6
7
8
9
10
    for(int i=0; i<=100 &&  !isInterruptionRequested; i+=10)
    {   
        { // Синхронизация для обновления гуи
          GuiLock lockGuard;
          progress.Set(i);
          status.Set(i);   //<<<<<<<<<<<
        } // выход из синхронизации, блокировка снимается с разрушением lockGuard.
        
        Sleep(1000); // тут полезная работа 
    }

но что это меняет по отношению к коду от GoshaM - он замутил ThreadPool силами U++ и отразил как потоки в статусе принтуют i-ый (кстати видно, что не по порядку, как и положено для threadPool'a - кто раньше выскочит)... и плавно плывущий progress... правда в v.11863 видно...

ну понятно же, что сравнивать ваш код и его код - бессмысленно... - ваш не выполняет тот функционал, на который посягнулся он...

@Avazart · 29.06.2020, 20:59

C++
1
2
3
4
5
6
7
8
9
10
11
void Worker::Start ( StatusBar* pstatus,  ProgressIndicator* pprogress )
{
    m_pstatus = pstatus;
    m_pprogress = pprogress;
 
    Mutex::Lock __ ( mtx );
    manstop = 0;
    /* тут нужно снять блокировку, зачем медлить?  */
 
    m_thread.Run ( [=]{this->Work();} );
};

И вообще зачем блокировать то что и так в основном потоке, а поток еще не запущен?

Добавлено через 58 секунд

Сообщение от JeyCi

ну можно, конечно. в вашем коде

Да конечно можно.

@JeyCi · 29.06.2020, 21:03 **[ТС]**

Сообщение от Avazart

И вообще зачем блокировать то что и так в основном потоке, а поток еще не запущен?

и это единственный повод для оскорблений кода?

@Avazart · 29.06.2020, 21:06

Сообщение от JeyCi

ну понятно же, что сравнивать ваш код и его код - бессмысленно... - ваш не выполняет тот функционал, на который посягнулся он...

Возможно тут Вы правы. Но мне не понятно зачем там пул потоков для инкремента одной переменной это само собой абсурдно.

Добавлено через 2 минуты

Сообщение от JeyCi

и это единственный повод для оскорблений кода?

Использование мютекса когда есть атомики? Но я повторяюсь.

@JeyCi · 29.06.2020, 21:07 **[ТС]**

Сообщение от Avazart

зачем там пул потоков для инкремента одной переменной

там будет считывание json'ов или из файлов, или из request'ов на сайт... инкремент на вектор линков (или пути файлов)... возможно WorkQueue придётся делать с Семафором (если сайт не пропустит сразу все requests)...
а вообще - просто познавательно

@Avazart · 29.06.2020, 21:11

Сообщение от JeyCi

там будет считывание json'ов или из файлов, или из request'ов на сайт

Ну это более сложный вопрос.
Вам скорее всего нужна потокобезопасная очередь из которой потоки будут брать исходные данные.

Добавлено через 2 минуты
И вопрос что выводить в GUI ибо от этого будет зависить как можно синхронизировать с GUI

@JeyCi · 29.06.2020, 21:12 **[ТС]**

Сообщение от Avazart

Использование мютекса когда есть атомики?

тоже познавательно - увидеть все возможности Фреймворка...
но ваше замечанию приму на заметку - зачем же оскорблять код, на котором столько нового...

@GoshaM · 29.06.2020, 21:14

Сообщение от Avazart

И вообще зачем блокировать то что и так в основном потоке, а поток еще не запущен?

Потому, что в проекте потенциально могут появится другие потоки. Поэтому если переменную блокирую, то блокирую везде, чтобы потом не искать, что где-то она не заблокирована.

Сообщение от Avazart

/* тут нужно снять блокировку, зачем медлить? */

И на что это повлияло?

@JeyCi · 29.06.2020, 21:15 **[ТС]**

Сообщение от Avazart

что выводить в GUI

да ничего туда не надо выводить - только Финиш считывания/подгрузки... ну и progress - чтобы видеть процесс...
из файлов - историю,
из сети - реал-тайм (иногда изменения в структуре бывают, поэтому тупо текстовики тоже храню, чтобы парсинг вовремя менять, если приходится)...
а вообще цель направлять это в БД - ПОСТ #1 этой ветки (просто на жёлтом облаке пока застопорилась с многопоточностью)

@Avazart · 29.06.2020, 21:19

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
else
        {
            /*Ожидаем завершения пула потоков
            проверяя каждые четвертьсекунды*/
 
            if ( cw.IsFinished() )
            {
                GuiLock __;
                m_pstatus->Set ( "Выполнено" );
                on = false;
            }
 
            else
                Sleep ( 250 );
        }

Этот цикл с Sleep ( 250 ); тоже не очень хорошее решение стоит поискать какой-то вариант с wait -методом или кондишеном.

@JeyCi · 29.06.2020, 21:23 **[ТС]**

Сообщение от Avazart

Вам скорее всего нужна потокобезопасная очередь из которой потоки будут брать исходные данные.

тоже думаю об этом... oleg-m1973 уже предупреждал...
есть примеры в U++ (bazaar) - не всё компилируется comme ils faut - возможно, тоже связано с компилятором MINGW?!

@GoshaM · 29.06.2020, 21:23

Сообщение от Avazart

Этот цикл с Sleep ( 250 ); тоже не очень хорошее решение стоит поискать какой-то вариант с wait -методом или кондишеном.

wait метод конечно есть, но поток остановиться, как же отработать отмену.

@Avazart · 29.06.2020, 21:25

Да поэтому скорее всего нужно второе т.е. ConditionVariable.

Не по теме:

Но под виной я такие вещи делал обычно через WaitForMultiplyObjects и CreateEvent

@JeyCi · 29.06.2020, 21:31 **[ТС]**

Сообщение от Avazart

Но под виной

там ведь даже 1 поток можно на queue сделать? - с несколькими fibers!... вроде по скорости можно выиграть?...

@Avazart · 29.06.2020, 21:38

GoshaM, Хотя нет. Если засунуть в WorkP проверку флага отмены то можно wait() вызывать это проще и лучше.

Добавлено через 4 минуты

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
void Worker::WorkP ( String filename )
{
    /*Этот код выполняется параллельно*/
        
    /*Выполняется какая-то
    длительная обработка*/
    Sleep ( Random() % 2000 );
 
    if(isInterruptionRequested) // точка для отмены.
        return;
 
    // еще какая то обработка
    Sleep ( Random() % 2000 );
 
    if(isInterruptionRequested) // точка для отмены.
        return;
 
 
    /*Результат передается в GUI*/
    GuiLock __;
    m_pstatus->Set ( filename );
    m_pprogress->Set ( AtomicInc ( m_pos ) );
 
};

Добавлено через 1 минуту

Сообщение от JeyCi

там ведь даже 1 поток можно на queue сделать? - с несколькими fibers!... вроде по скорости можно выиграть?...

Если фрейморк для работы интернетом асинхронный и чтение из файлов тоже то да в теории...
Но сложнее.

@GoshaM · 29.06.2020, 22:19

Сообщение от Avazart

GoshaM, Хотя нет. Если засунуть в WorkP проверку флага отмены то можно wait() вызывать это проще и лучше.

Я не потоки закрываю, а задания стоящие в очереди отменяю, а у вас потоки будут запускаться и отменяться вряд ли это проще и лучше, к тому же будут возникать некие трения между потоками за счет обращения к одной переменной. И к тому я ставил цель не использовать std, обойтись средствами U++, можно безопасно проверить CoWork::IsCanceled(). Но опять же цель стояла не текущие потоки отменить.

Новые блоги и статьи Все статьи Все блоги /
Как надо было делать правильно - вообще не слушать ИИ, его дело - текст. Hrethgir 15.07.2026 А вообще надо было делать не так, чтобы не исправлять ошибку https:/ / www. cyberforum. ru/ blogs/ 223907/ 10996. html , правильно было : удалил кнопку, а потом добавил её. Всё это стресс конечно. Почему?. . .	Знаете, от чего появляется стресс? kumehtar 15.07.2026 Стресс появляется оттого, что вы, зная как поступить правильно, делаете наоборот. Ларри Уингет	Нас бьют, а мы крепчаем? Какая чушь! kumehtar 15.07.2026 Вот это вот бытующее мнение, что человек меняется только под действием проблем, всегда считал вредоносным. Поверь, от проблем у людей появляются не изменения, а нервное расстройство и ПТСР. А. . .	сукцессия 29. Переход от одних деревьев на другие делать более или менее вероятностным? anaschu 12.07.2026 Насколько смена типов микоризы — исключительное событие в двухвековой сукцессии? Оценка вероятности в пространстве параметров В текущей версии модели успешно реализован ключевой механизм. . .
сукцессия 27. Думаю, как переделывать уже написанную статью с планами на сукцессию. anaschu 12.07.2026 Анализ соответствия модели требованиям Реализованные компоненты: Механизм закисления почвы через протонную помпу Конкуренция между типами микориз pH как триггер сукцессии C/ P соотношение. . .	Сукцессия 26. Мат модель создана. anaschu 12.07.2026 Модель смены растительных сукцессий посредством управления грибами работает внутри небольшой ячейки почвы, восстанавливающейся после пожара, где ненадолго бывшее царство хвойных снова захватили. . .	Решил проблему с ошибкой пагинации сообщений с сервера на алгоритме обхода дерева "Эстафета хвоста". Hrethgir 12.07.2026 Проблема была в том, что удалялась именно новая кнопка, а не старая. Ни один ИИ не обнаружил это, а сам я смог только когда с работой стало попроще и когда заставил работать будущее автономное. . .	сукцессия 25. Хронология ошибок anaschu 12.07.2026 # От 50-тонного гриба до устойчивого леса: хроника ошибок при построении модели вековой сукцессии микоризы ## О чём эта статья В процессе построения ОДУ-модели (система дифференциальных. . .

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	29.06.2020, 21:25
	Да поэтому скорее всего нужно второе т.е. ConditionVariable. Не по теме: Но под виной я такие вещи делал обычно через WaitForMultiplyObjects и CreateEvent 0