Архитектура: парсинг и выгрузка текстовиков

@JeyCi · Регистрация: 29.06.2019

Студворк — интернет-сервис помощи студентам

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi

так и не собрала эти все объекты этого класса в group class...

вроде уже

собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi

полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования

Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset

Тут нужно виртуальное наследование.

@JeyCi · 29.06.2020, 20:40 **[ТС]**

Сообщение от Avazart

Вы в код посмотрите

я дописывала предыдущий свой пост - ваш код вклинился пока я линк искала... - показать, что они в U++ имеют ввиду под GuiLock...
ваш код посмотрела - спасибо - но status почему-то ничего не показывает...??
компилируется ок в 13664

@Avazart · 29.06.2020, 20:47

Короче говоря из кода понятно что тот кто писал не понимает что делает.

Добавлено через 4 минуты

Сообщение от JeyCi

ваш код посмотрела - спасибо - но status почему-то ничего не показывает...??

По тому что я банально не задействовал его.

@GoshaM · 29.06.2020, 20:49

Сообщение от JeyCi

выдаёт assertion failed in CoWork.cpp (line 64) - (!IsWorker) - отсюда:

Увидел, когда на MinGW переключился. Попробую разобраться.

Сообщение от Avazart

Да все. Не нужны там мютексы так как есть атомики. И блокировки неправильно используются.

Конкретно какие строчки вас не устраивают. Я вам любую объясню.

@Avazart · 29.06.2020, 20:50

Сообщение от GoshaM

Конкретно какие строчки вас не устраивают. Я вам любую объясню.

Ок если конкретно - все, не люблю гавнокод. Так дохочивее?

@JeyCi · 29.06.2020, 20:56 **[ТС]**

Сообщение от Avazart

По тому что я банально не задействовал его.

ну можно, конечно, в вашем коде

C++
1
2
3
4
5
6
7
8
9
10
    for(int i=0; i<=100 &&  !isInterruptionRequested; i+=10)
    {   
        { // Синхронизация для обновления гуи
          GuiLock lockGuard;
          progress.Set(i);
          status.Set(i);   //<<<<<<<<<<<
        } // выход из синхронизации, блокировка снимается с разрушением lockGuard.
        
        Sleep(1000); // тут полезная работа 
    }

но что это меняет по отношению к коду от GoshaM - он замутил ThreadPool силами U++ и отразил как потоки в статусе принтуют i-ый (кстати видно, что не по порядку, как и положено для threadPool'a - кто раньше выскочит)... и плавно плывущий progress... правда в v.11863 видно...

ну понятно же, что сравнивать ваш код и его код - бессмысленно... - ваш не выполняет тот функционал, на который посягнулся он...

@Avazart · 29.06.2020, 20:59

C++
1
2
3
4
5
6
7
8
9
10
11
void Worker::Start ( StatusBar* pstatus,  ProgressIndicator* pprogress )
{
    m_pstatus = pstatus;
    m_pprogress = pprogress;
 
    Mutex::Lock __ ( mtx );
    manstop = 0;
    /* тут нужно снять блокировку, зачем медлить?  */
 
    m_thread.Run ( [=]{this->Work();} );
};

И вообще зачем блокировать то что и так в основном потоке, а поток еще не запущен?

Добавлено через 58 секунд

Сообщение от JeyCi

ну можно, конечно. в вашем коде

Да конечно можно.

@JeyCi · 29.06.2020, 21:03 **[ТС]**

Сообщение от Avazart

И вообще зачем блокировать то что и так в основном потоке, а поток еще не запущен?

и это единственный повод для оскорблений кода?

@Avazart · 29.06.2020, 21:06

Сообщение от JeyCi

ну понятно же, что сравнивать ваш код и его код - бессмысленно... - ваш не выполняет тот функционал, на который посягнулся он...

Возможно тут Вы правы. Но мне не понятно зачем там пул потоков для инкремента одной переменной это само собой абсурдно.

Добавлено через 2 минуты

Сообщение от JeyCi

и это единственный повод для оскорблений кода?

Использование мютекса когда есть атомики? Но я повторяюсь.

@JeyCi · 29.06.2020, 21:07 **[ТС]**

Сообщение от Avazart

зачем там пул потоков для инкремента одной переменной

там будет считывание json'ов или из файлов, или из request'ов на сайт... инкремент на вектор линков (или пути файлов)... возможно WorkQueue придётся делать с Семафором (если сайт не пропустит сразу все requests)...
а вообще - просто познавательно

@Avazart · 29.06.2020, 21:11

Сообщение от JeyCi

там будет считывание json'ов или из файлов, или из request'ов на сайт

Ну это более сложный вопрос.
Вам скорее всего нужна потокобезопасная очередь из которой потоки будут брать исходные данные.

Добавлено через 2 минуты
И вопрос что выводить в GUI ибо от этого будет зависить как можно синхронизировать с GUI

@JeyCi · 29.06.2020, 21:12 **[ТС]**

Сообщение от Avazart

Использование мютекса когда есть атомики?

тоже познавательно - увидеть все возможности Фреймворка...
но ваше замечанию приму на заметку - зачем же оскорблять код, на котором столько нового...

@GoshaM · 29.06.2020, 21:14

Сообщение от Avazart

И вообще зачем блокировать то что и так в основном потоке, а поток еще не запущен?

Потому, что в проекте потенциально могут появится другие потоки. Поэтому если переменную блокирую, то блокирую везде, чтобы потом не искать, что где-то она не заблокирована.

Сообщение от Avazart

/* тут нужно снять блокировку, зачем медлить? */

И на что это повлияло?

@JeyCi · 29.06.2020, 21:15 **[ТС]**

Сообщение от Avazart

что выводить в GUI

да ничего туда не надо выводить - только Финиш считывания/подгрузки... ну и progress - чтобы видеть процесс...
из файлов - историю,
из сети - реал-тайм (иногда изменения в структуре бывают, поэтому тупо текстовики тоже храню, чтобы парсинг вовремя менять, если приходится)...
а вообще цель направлять это в БД - ПОСТ #1 этой ветки (просто на жёлтом облаке пока застопорилась с многопоточностью)

@Avazart · 29.06.2020, 21:19

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
else
        {
            /*Ожидаем завершения пула потоков
            проверяя каждые четвертьсекунды*/
 
            if ( cw.IsFinished() )
            {
                GuiLock __;
                m_pstatus->Set ( "Выполнено" );
                on = false;
            }
 
            else
                Sleep ( 250 );
        }

Этот цикл с Sleep ( 250 ); тоже не очень хорошее решение стоит поискать какой-то вариант с wait -методом или кондишеном.

@JeyCi · 29.06.2020, 21:23 **[ТС]**

Сообщение от Avazart

Вам скорее всего нужна потокобезопасная очередь из которой потоки будут брать исходные данные.

тоже думаю об этом... oleg-m1973 уже предупреждал...
есть примеры в U++ (bazaar) - не всё компилируется comme ils faut - возможно, тоже связано с компилятором MINGW?!

@GoshaM · 29.06.2020, 21:23

Сообщение от Avazart

Этот цикл с Sleep ( 250 ); тоже не очень хорошее решение стоит поискать какой-то вариант с wait -методом или кондишеном.

wait метод конечно есть, но поток остановиться, как же отработать отмену.

@Avazart · 29.06.2020, 21:25

Да поэтому скорее всего нужно второе т.е. ConditionVariable.

Не по теме:

Но под виной я такие вещи делал обычно через WaitForMultiplyObjects и CreateEvent

@JeyCi · 29.06.2020, 21:31 **[ТС]**

Сообщение от Avazart

Но под виной

там ведь даже 1 поток можно на queue сделать? - с несколькими fibers!... вроде по скорости можно выиграть?...

@Avazart · 29.06.2020, 21:38

GoshaM, Хотя нет. Если засунуть в WorkP проверку флага отмены то можно wait() вызывать это проще и лучше.

Добавлено через 4 минуты

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
void Worker::WorkP ( String filename )
{
    /*Этот код выполняется параллельно*/
        
    /*Выполняется какая-то
    длительная обработка*/
    Sleep ( Random() % 2000 );
 
    if(isInterruptionRequested) // точка для отмены.
        return;
 
    // еще какая то обработка
    Sleep ( Random() % 2000 );
 
    if(isInterruptionRequested) // точка для отмены.
        return;
 
 
    /*Результат передается в GUI*/
    GuiLock __;
    m_pstatus->Set ( filename );
    m_pprogress->Set ( AtomicInc ( m_pos ) );
 
};

Добавлено через 1 минуту

Сообщение от JeyCi

там ведь даже 1 поток можно на queue сделать? - с несколькими fibers!... вроде по скорости можно выиграть?...

Если фрейморк для работы интернетом асинхронный и чтение из файлов тоже то да в теории...
Но сложнее.

@GoshaM · 29.06.2020, 22:19

Сообщение от Avazart

GoshaM, Хотя нет. Если засунуть в WorkP проверку флага отмены то можно wait() вызывать это проще и лучше.

Я не потоки закрываю, а задания стоящие в очереди отменяю, а у вас потоки будут запускаться и отменяться вряд ли это проще и лучше, к тому же будут возникать некие трения между потоками за счет обращения к одной переменной. И к тому я ставил цель не использовать std, обойтись средствами U++, можно безопасно проверить CoWork::IsCanceled(). Но опять же цель стояла не текущие потоки отменить.

Новые блоги и статьи Все статьи Все блоги /
сукцессия 41 anaschu 24.07.2026 Численная верификация бифуркации в агентной модели лесной сукцессии: от одного параметра к ансамблю Автор: пользователь @Shumilov_AS \| Раздел: Прикладная математика / Численные методы Кратко. . .	сукцессия 40. Ансамблевая кластерная параметризаци, часть 1. anaschu 24.07.2026 Пр# Сопровождение научной статьи ИИ-ассистентом: подготовка публикации и калибровка агентно-ориентированной модели сукцессии микоризных систем Полевые заметки о двухнедельной совместной работе. . .	Теория всего 12. ВГК на планете в стратегической игре "терра" anaschu 21.07.2026 ### Главные семантические изменения и дешифровка новой физики 1. `REPRODUCTIVE_EMISSION` вместо фотосинтеза (`PS_base`): Энергия и ресурсы, которые класс средних мужчин (`_W_MEN_DONORS`). . .	Публикация отклонённая на хабре. Как «пернатого» заставить осваивать новые горизонты опыта через масштабирование задачи и целеполагание Hrethgir 21.07.2026 https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11948&stc=1&d=1784657928 Привет Хабр. В этой статье я расскажу, как один закон эпистемологии позволил мне с ходу запустить уникальный. . .
Теория всего 11. Основные параметры anaschu 21.07.2026 Дешифровка тензорного ядра Soil Chemistry 2. 0: Истинный инвариант Теории Всего Чистовой исходный код многокомпонентной сукцессии зафиксирован. Модель оперирует единым вектором состояния. . .	Теория всего 10. Клод трусишка anaschu 21.07.2026 Алгоритмический суицид ИИ: Когда математика ОДУ взламывает цензурные шлюзы Свежайший мета-прецедент нашей разработки! Клод официально отказался строить итоговую кроссплатформенную модель, как. . .	Теория всего 9. Окончательная проработка метафоры "дерево = традиции" anaschu 21.07.2026 Скрытые параметры ядра ОДУ: Механика Глубинного Рока Клод утаил от вас ключевую математику кризисов. В движке игры зашиты пять скрытых коэффициентов, определяющих, как именно ТНК и Мемы ломают. . .	Теория всего 8. Clauude трусишка. Ответ джемени anaschu 21.07.2026 Игровой баланс «Модели Всего»: Алгоритмический блок как механика Семантического БуфераЭтот скриншот отказа Клода — идеальный, чистейший прецедент для нашей Теории Всего. Вы столкнулись не просто с. . .

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	29.06.2020, 21:25
	Да поэтому скорее всего нужно второе т.е. ConditionVariable. Не по теме: Но под виной я такие вещи делал обычно через WaitForMultiplyObjects и CreateEvent 0