Архитектура: парсинг и выгрузка текстовиков

@JeyCi · Регистрация: 29.06.2019

Студворк — интернет-сервис помощи студентам

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi

так и не собрала эти все объекты этого класса в group class...

вроде уже

собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi

полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования

Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset

Тут нужно виртуальное наследование.

@JeyCi · 13.07.2020, 21:12 **[ТС]**

Сообщение от oleg-m1973

они не будут стоять в очереди на ядро

предлагаю внести ясность в смысл работы ядер:
насколько я понимаю, через ядра проходят вызов функций и параметры функций... остальное можно крутить в куче... правильно ли я понимаю?

Добавлено через 3 минуты
а методы классов?

@oleg-m1973 · 14.07.2020, 11:43

Сообщение от DrOffset

Зачем их заводить больше, чем есть ядер? Особенно 500.

Кстати, протестировал std::async и свои пулы потоков {1, 500} и {std::thread::hardware_concurrency(), 0}, где std::thread::hardware_concurrency() = 8.
1млн раз запускается сортировка массива из 10 элементов.
{1, 500} и std::async отрабатывают примерно одинаково и в 2-3 раза быстрее, чем {8, 0}, в котором новые потоки не создаются.
В одном потоке, работает в 4 раза медленнее, чем {1, 500} и std::async (немного для 8 ядер, но накладных расходов в пулах потоков, всё-таки дофига).

@DrOffset · 14.07.2020, 12:23

oleg-m1973, для std::async нет гарантии, что внутри будет обязательно пул потоков. Надо смотреть конкретную реализацию.

@oleg-m1973 · 14.07.2020, 12:55

Сообщение от DrOffset

oleg-m1973, для std::async нет гарантии, что внутри будет обязательно пул потоков. Надо смотреть конкретную реализацию.

Ну, я готов поспорить, что в майкрософте std::async реализован при помощи пула потоков, который создаётся для процесса по-умолчанию. Да и речь шла не об std::async.

@DrOffset · 14.07.2020, 13:18

Сообщение от oleg-m1973

Ну, я готов поспорить, что в майкрософте std::async реализован при помощи пула потоков

Спорить нет смысла.
Я просто уточнил, что за std:;async не гарантируется пула потоков, поэтому на каком-то компиляторе твои выводы насчет него окажется нельзя использовать.

Добавлено через 16 минут

Сообщение от oleg-m1973

{1, 500} и std::async отрабатывают примерно одинаково и в 2-3 раза быстрее, чем {8, 0}, в котором новые потоки не создаются.

А код всего этого бенча можно где-то посмотреть?

@oleg-m1973 · 14.07.2020, 13:22

DrOffset, я имел ввиду, что для того чтобы один поток на ядро дал преимущество, алгоритм надо специально организовывать в расчёте на такое исполнение. В пуле же потоков выполняются обычные задачи, ни под что не оптимизированные, поэтому на пуле c одним постоянным потоком и пятьюстами временными они выполняются в разы быстрее, чем на нескольких фиксированных потоках.
У меня в потоке для теста запускалась вот такая функция, безо всяких блокировок

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
size_t TaskProc()
{
    double data[_data_sz];
    std::copy(_data.begin(), _data.end(), data);
    std::sort(std::begin(data), std::end(data));
 
    //std::this_thread::sleep_for(1ms);
    const size_t n = --_nnn;
    if (!n)
        _sync.notify_all();
 
    return n;
}

@DrOffset · 14.07.2020, 13:25

oleg-m1973, я не об этом. Пул потоков может быть организован и на фиксированном количестве единожды созданных потоков - это вопрос реализации.

Я пока что просто спросил есть ли возможность дать посмотреть код, которым эта функция запускалась, или нет.

@oleg-m1973 · 14.07.2020, 13:26

Сообщение от DrOffset

А код всего этого бенча можно где-то посмотреть?

У меня там, к сожалению, слишком много кода, целая библиотека, замучаешься из него делать пример
Вот так запускаю для std::async

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
static std::atomic<size_t> _nnn{0};
static Sys::CThreadSync _sync;
 
static const size_t _data_sz = 1000;
static std::vector<double> _data(_data_sz);
 
............................
 
static const size_t _n = 1000000;
.....................
std::vector<std::future<size_t>> futs;
..............
        _nnn = _n;
        futs.clear();
        futs.reserve(_n);
 
        auto dt2 = CTimer::Measure([&]()
        {
            const auto dt = CTimer::Measure([&]()
            {
                for (size_t i = 0; i < _n; ++i)
                    futs.emplace_back(std::async(TaskProc));
            });
 
            //for (auto &item: futs)
            //  item.get();
            std::unique_lock lock(*_sync);
            _sync.wait(lock);
 
            return dt;
        });

@DrOffset · 14.07.2020, 13:32

Сообщение от oleg-m1973

У меня там, к сожалению, слишком много кода, целая библиотека, замучаешься из него делать пример

Понятно, ну ладно.

@JeyCi · 14.07.2020, 20:53 **[ТС]**

Сообщение от DrOffset

для std::async нет гарантии, что внутри будет обязательно пул потоков. Надо смотреть конкретную реализацию.

встречался мне хороший пример - до сих пор помню название - Синхронная асинхронность - там даже о синхронности не пришлось говорить сначала... но и пула там пока ещё, мне кажется, нет (в асинхр. варианте)?...
запускать с std::vector<std::future<void>> futures, видимо, стоит пробовать для асинхронности?...
а прямой путь к пулу потоков всё-таки, думаю, в этом:

The documentation states that launch::deferred will invoke the function on the calling thread, while launch::async will invoke the function on a new thread.

@oleg-m1973 · 14.07.2020, 21:06

Сообщение от DrOffset

Понятно, ну ладно.

Ну да, понятно. Естественно, нашёл у себя просёр. Который особо не проявлялся на {1, 500}, но проявился на {8, 0}. После исправления, заработало примерно одинаково.
Проблема была в дополнительном потоке, который в случае, если очередь задач не пустая и нет свободных потоков, запускает новый рабочий поток.

@JeyCi · 14.07.2020, 22:35 **[ТС]**

справилась с SocketWaitEvent...
но всё-таки уточню перед тем, как внедрять в весь проект... - мне кажется, что SaveFile тоже операция блокирующая IO ?? - ведь HDD-пространство - общее - понимаю так... правильно ли понимаю?.. потому что сохраняются файлы всё равно последовательно др. за др., хоть и вываливаются в list GUI все сразу (тестово 10 штук)

@Avazart · 14.07.2020, 22:53

Вроде как файл могу сохранятся за один проход если файл будут лежать рядом в близких секторах.
Т.е. там своя очередь что которая оптимизирует работу HDD. Так что думаю смысл есть делать асинхронным, а на деле нужно проверять.

@JeyCi · 15.07.2020, 10:48 **[ТС]**

Сообщение от Avazart

Т.е. там своя очередь что которая оптимизирует работу HDD.

значит всё-таки очередь... да и логично - ведь receiving responseS через тот несчастный наш 1 сокет даже при асинхронном выполнении multiRequests будет выполнять последовательно, когда освободиться от send или receive предыдущего response'а и т.д. - пошлёт друг за дружкой, потом вернёт друг за другом... и всё через условно говоря "переключение контекстов" фаз работы сокета по отсылке запросов и принятию ответов...
наверно, выбрасывается в list - быстро, т.к. нет тормозов... а подгружается последовательно - это время на переключение контекста работы сокета... имхо...
вобщем благодарю всех

- справились одним махом... даже без очередной ветки

===
а вообще открыла кн. Холлингворта по Borland'у - в принципе во всех этих многопоточных сложностях всего 3 этапа (на примере мьютекса):
- CreateMutex
- WaitForSingleObject
- ReleaseMutex
= вот 2-й этап в природе действует, судя по всему, также, как наш сокет на физическом уровне... т.е. ожидающе
===
осталось AtomicRead и AtomicWrite в U++ обкатать...
и совет, встречавшийся, переварить: "нужна Двойная защита при использовании потоков - надо защищать и общие переменные (через atomic или мьютексы и т.д.) и read-write memory barriers расставлять (RWLocks in u++), где надо...
===
логика, правда на C#:
memory barriers

Для исключения перестановки инструкций чтения вполне достаточно воспользоваться volatile read при чтении _a.

Nonblocking Synchronization

All of Interlocked’s methods generate a full (write & read) fence.

@oleg-m1973 · 15.07.2020, 11:32

Сообщение от JeyCi

логика, правда на C#:
memory barriers
Для исключения перестановки инструкций чтения вполне достаточно воспользоваться volatile read при чтении _a.

Не надо смотреть логику на си-шарпе, там она какая-то своя. В с++ volatile гарантирует, что компилятор не будет оптимизировать переменную, но для процессора это не указ. Надо использовать std::atomic или interlocked-функции.

@JeyCi · 15.07.2020, 11:53 **[ТС]**

Сообщение от oleg-m1973

Надо использовать std::atomic или interlocked-функции.

всё - заметила:

But it's nothing difficult! Mutexes, Write Read Barriers by atomic. Every Thread interchange vars - volatile.

думала, надо и то (atomic), и то(rw-locks)... а оказывается, atomic (~rw-lock) для процессора, а volatile для компилятора... действительно, двойная защита

@Avazart · 15.07.2020, 13:05

Сообщение от JeyCi

значит всё-таки очередь... да и логично - ведь receiving responseS через тот несчастный наш 1 сокет даже при асинхронном выполнении multiRequests будет выполнять последовательно,

Смысл Вам отвечать если Вы не вдумываетесь в то что Вам отвечают и городите свою чушь.

Добавлено через 2 минуты

Сообщение от JeyCi

думала, надо и то (atomic), и то(rw-locks)... а оказывается, atomic (~rw-lock) для процессора, а volatile для компилятора... действительно, двойная защита

Наверное Вам хотели сказать что не стоит в С++ использовать volatile и полагаться на него.

Добавлено через 3 минуты
Насчет HDD я просто оставлю это тут https://1cloud.ru/blog/proizvoditelnost-diskov .

@JeyCi · 15.07.2020, 17:02 **[ТС]**

Не по теме:

Сообщение от Avazart

Смысл Вам отвечать если Вы не вдумываетесь в то что Вам отвечают и городите свою чушь.

а такие ответы никому не нужны... даже линки искать/оставлять не буду о том, сколько раз вы хлопали дверями, посылая всех, порываясь уйти, причём на разных ветках, - просто будьте последовательны в своём негативе и исполняйте принятые вами решения... без ваших психов - чуши всегда будет меньше в теме, и диалог чище... даже логически...

Сообщение от Avazart

Наверное Вам хотели сказать

да сказали уже давно - вам забыли повторить? вы опять не успели прочитать? - даже линк оставляля несколько страниц назад... пост от Mon, 24 August 2015

Добавлено через 12 минут
суть сомнений по HDD была лишь в том - сначала резервируется место на диске под запись, а потом туда пишется инфо ИЛИ сначала просто создаётся handler на новый файл (CreateFile) и системе не важно, сколько в этот файл зальют инфо... лишь точно зная по 1-му или 2-му сценарию идёт запись в файл (и мне даже кажется, что по 2-му) - можно не думать лишнего о том "чтобы не конфликтовали" данные из разных потоков при записи на hdd... имхо

Добавлено через 58 минут
===
а про барьеры:
Memory Barriers
Барьеры памяти
(чтобы код подчистить, где надо, - чтобы потом не нарваться на неожиданности)

Добавлено через 16 минут
и пример кода, где всё-таки удаётся достичь выигрыша по скорости соразмерно количеству ядер (если верить автору или проверить)

@JeyCi · 16.07.2020, 08:24 **[ТС]**

Сообщение от JeyCi

- справились одним махом... даже без очередной ветки

не совсем...
значит есть над чем работать

...

Сообщение от JeyCi

потому что сохраняются файлы всё равно последовательно др. за др., хоть и вываливаются в list GUI все сразу (тестово 10 штук)

присмотрелась к коду - очередь на выходе из всех http.Do() собирается циклом... а может и - ожидание на сокете даёт о себе знать?... или отсутствие истинного переключения контекста в коде подгрузки?.. хотя скорее всего НЕиспользование async-read/async_write!.. имхо... - отсюда и последовательное вываливание файлов в папку назначения...
запустила код на Python - с async-await и aiohttp - там файлы вываливаются все в папку назначения и по скорости выигрывают - значит есть над чем работать

...
но это уже др. тема
т.к. идём по 2-му кругу, начиная с #174
Qt не предлагать, т.к. When will async/await pattern appear in QT?
в С++20 coroutines уже перешли из boost -- просто поставить MSVC компилятор (с его ассемблеровсой частью ml.exe)

@Avazart · 16.07.2020, 12:55

async/await pattern как бы не определяют асинхронность это лишь дизайн.

Новые блоги и статьи Все статьи Все блоги /
Генератор паролей (вариант №4) Maks 01.11.2026 После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации: 1. Вернуть возможность использования знаков \| 1 l I;. . .	Генератор паролей (вариант №3) Maks 30.10.2026 Финальная версия генератора паролей 1С. Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .	Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени) zorxor 30.10.2026 Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию? Фраза «Любая достаточно развитая технология неотличима от магии». . .	За какое время ИИ может подобрать пароль по хешу (рассказывает Джемени ИИ) zorxor 30.10.2026 Расскажи, Джемени, если известен хэш МД5, например, за сколько ИИ сможет подобрать соответствующий пароль? Искусственный интеллект (ИИ) может подобрать простой или средний по сложности пароль по. . .
Кто убил Suno? Почему наше солнышко погасло? (диалог с ИИ Джемени) zorxor 30.10.2026 Как убивали Suno. Хронология. «Убийство» музыкальной нейросети Suno — это затяжной процесс, в котором технологический хайп стартапа разбился о жесткую реальность судебных исков от гигантов. . .	Генератор паролей (вариант №2) Maks 30.10.2026 Обновленная версия ранее созданной обработки. Добавлены следующие реквизиты типа Булево: - Буквы; - Цифры; - Символы. Изменена логика команды "Сгенерировать" и процедуры "ПриОткрытии":. . .	Генератор паролей (вариант №1) Maks 29.10.2026 Реализация из решения ниже выполнена исключительно по моей инициативе, дабы облегчить себе работу в создании паролей для администрируемых мною сервисов и пользователей. Самым главным критерием для. . .	Установка ChatGPT (Codex) на Windows без использования Microsoft Store Fabien159 28.10.2026 Здравствуйте всем читающим! Опишу процесс установки ChatGPT (Codex) на Windows, если по каким-то причинам у вас не получается устанавить его через Microsoft Store. И так: 1. Скачиваем с. . .

@DrOffset 19506 / 10109 / 2464 Регистрация: 30.01.2014 Сообщений: 17,834
	14.07.2020, 12:23
	oleg-m1973, для std::async нет гарантии, что внутри будет обязательно пул потоков. Надо смотреть конкретную реализацию. 0

@DrOffset 19506 / 10109 / 2464 Регистрация: 30.01.2014 Сообщений: 17,834
	14.07.2020, 13:25
	oleg-m1973, я не об этом. Пул потоков может быть организован и на фиксированном количестве единожды созданных потоков - это вопрос реализации. Я пока что просто спросил есть ли возможность дать посмотреть код, которым эта функция запускалась, или нет. 0

@JeyCi 264 / 153 / 33 Регистрация: 29.06.2019 Сообщений: 1,554
	14.07.2020, 22:35 [ТС]
	справилась с SocketWaitEvent... но всё-таки уточню перед тем, как внедрять в весь проект... - мне кажется, что SaveFile тоже операция блокирующая IO ?? - ведь HDD-пространство - общее - понимаю так... правильно ли понимаю?.. потому что сохраняются файлы всё равно последовательно др. за др., хоть и вываливаются в list GUI все сразу (тестово 10 штук) 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	14.07.2020, 22:53
	Вроде как файл могу сохранятся за один проход если файл будут лежать рядом в близких секторах. Т.е. там своя очередь что которая оптимизирует работу HDD. Так что думаю смысл есть делать асинхронным, а на деле нужно проверять. 0

@Avazart 8489 / 6156 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	16.07.2020, 12:55
	async/await pattern как бы не определяют асинхронность это лишь дизайн. 0