Архитектура: парсинг и выгрузка текстовиков

начало было положено в ветке - Считать текстовые файлы из папки - там и возник вопрос об Архитектуре...

Сообщение от JeyCi так и не собрала эти все объекты этого класса в group class...

вроде уже собрала...
осталось отображение создать (типа I_tbl_Show) и пронаследовать ? в разные классы пункта назначения (или на консоль, или в файл, или в БД, или допустим ещё в форму)... N.B. классы (пункты-назначения) делать не надо - эти View уже реализованы разработчиками того ПО, на котором сейчас идёт работа...
а) пока что можно просто прописать функции-члены класса; и по месту использовать, что надо при разработке - в файл или на консоль;
б) в перспективе для Release - реализовать и откомпилировать и выгрузку и в файл, и выгрузку в БД, и отражение в DataGrid...
===
!! Т.Е. если в Release захочется и выгрузку в текст, и в БД, и допустим ещё в форму (например с разных кнопок сделать) - тут уж лучше и писать, как положено, наследование??... -- к слову из прошлой ветки о:

Сообщение от JeyCi полагаю тут Наследования никакого не пригодится?

... или как раз тут (при выборе направления выгрузки) его (наследование) делать??
===
Обоснование выбора уровня Абстракции (I_tbl_Show со всеми виртуальными функциями):
чтобы не дублировать код-сбора-для-выгрузки -- сделать class Table - и класс-интерфейс I_tbl_Show, в котором обозначить virtual-функции выгрузки... эти функции определить в др. классах - типа Interface (IwriteCSV, IwriteDB, IwriteDataGrid)...
p.s.
классы консоль, файл, бд, DataGrid - не создаём, т.к. эти пункты назначения уже присутствуют...
p.p.s.
вывести конечные интерфейсы с определёнными методами записи на кнопки...
===
ИЛИ то, что подчёркнуто чуть выше, стоит реализовать в одном классе Table, и здесь же задать все virtual функции ??
===
на скрине: синие - классы, зелёные - интерфейсы (в с++ по сути тоже классы)
птицами отмечены уже кое-как реализованные классы (2 птицы)
курсивные стрелки - отсутствие наследования


Добавлено через 7 минут
вобщем вопрос:
class Table и класс I_Tbl_Show - объединить или нет?

Добавлено через 10 минут
p.p.s.
чтобы избежать проблем Ромба и такого:
Неоднозначность при множественном наследовании

Сообщение от DrOffset Тут нужно виртуальное наследование.

0

Сообщение от bedvit Ищите .lib, а лучше используйте исходники.

посмотрю, спасибо...
видела здесь упоминание про amalgamation... при билдинге в MSVS...
U++ пока осваиваю...
#177 и #179 - всё-таки возможности чтения json'ов SQLite'ом - не всегда пользуются спросом - может, действительно, само чтение неструктурированных данных json - удобнее на стороне кода C++... это не вопрос, а предупреждение посетителям ветки - на SQLite читать json интересно, но проще с нормальной библиотекой на ООП читать много-уровневую по количеству вложенностей строку... имхо

0

Сообщение от JeyCi возможности чтения json'ов SQLite'ом - не всегда пользуются спросом

но в принципе считать можно - главное в свои запасы know-how внести пару рабочих моментов: по fullkey parse Array, parse Object условно... и finalQ.rowid для красоты... и можно разгребать через точку с запятой (как в полноценных бд, не Access)
P.S.
regexp built0in function даёт только true or false... но можно и свою function сделать...
P.P.S.
С++ Выбор контейнера

0

и наконец - online-SQLFiddler
- задаём DDL Create table... и по кнопке Browser - видим привычную глазу UML- диаграмму таблицы... потом можно снова вернуться в DDL Editor... - иногда удобнее 1 раз увидеть, чем 100 раз прочитать свой Create Table код...

P.S.
самое интересное - то, что это по сути чистая Структура (или Класс), только последнему можно задать свои методы... а не быть зажатыми в рамки SQL-языка, функционального по своей природе...
т.е. по сути на Клиенте мы можем расширить функционал Сервера, что есть очень удобно... да и такая прямая связь между схемой таблицы БД и классом ООП (например, на С++) - УПРОЩАЕТ как понимание правил нормализации БД через Декомпозицию, где надо, так и способы вытягивания из БД инфо во View из Model(бизнес-логики) и написание Controller'a на любом удобном языке... Выбор языка - Py vs C++ vs Java (для Клиента) ...
Этот Вывод ветки мне понравился больше всего -
- теперь не надо будет всегда лазить в бд с оглядкой на SQL, не надо увлекаться писаниной по массивам, словарям, коллекциям vba, а просто создать нужные (или даже по сути уже имеющиеся классы даже иногда по аналогии с диаграммой бд) и можно расширить их своими методами... в Абсолютно любом направлении... на любом, предпочитаемом для тех или иных задач, языке....
P.P.S.
После всей полученной инфо при знакомстве с языком - думаю, я даже смогу ПО-НОВОМУ посмотреть на Правила Нормализации БД !!! (хоть они и умалчивают о наследовании и пропагандируют связи - но для целей разумной Декомпозиции - лучше знать и то и другое - чтобы малыми затратами состыковать Сервер с Клиентом)... имхо

0

LearnCpp - полная подборка для начинающих

0

Сообщение от bedvit конечную цель: Написать свою СУБД на С++

на это пока не претендую,
а вот проверить корректность имеющейся схемы БД - не помешает...Технологии организации, хранения и обработки данных - начало по проектированию БД - быстро и легко написано... - более подробно о выстраивании Функциональных Зависимостей - Рудикова Л.В. Проектирование Баз Данных
p.s.
всё равно, жаль, что в SQLite нет Хранимых процедур - в этом плане MS SQL Server Express удобнее...

0

Сообщение от JeyCi всё равно, жаль, что в SQLite нет Хранимых процедур

В SQLite другая парадигма. Нельзя так сравнивать.

В SQLite вы можете расширить функциональность любой собственной функцией. В некотором смысле такую функцию можно назвать хранимкой.
https://stackoverflow.com/ques... -in-sqlite

0

Сообщение от ablex расширить функциональность любой собственной функцией.

да пока не думала об этом... не об этом речь была...
а о том, что в Хранимой Процедуре можно хранить набор SQL-инструкций, которые запускаются все под одним общим именем... - просто удобно... но в SQLite - это невозможно, надо прописывать все SQL-запросы на Клиенте... а на сервере можно повыбрасывать несколько VIEWs друг на основании друга - НО общий итог, что-то не вытягивается на клиент, только если на клиенте заново пройти цепочку SQL-инструкций...
а SQL-запросы (которые имею) иногда бывают длииинные или со множеством подзапросов вложенных др. в др. ... а легче было бы их написать для выполнения и читабельности просто последовательно др. за др. - и под одним общим именем... но похоже придётся писать длинно и закрученно (вкладывая др в др подзапросы)

0

Сообщение от JeyCi но в SQLite - это невозможно, надо прописывать все SQL-запросы на Клиенте...

У SQLite нет понятий сервер и клиент. Это встраиваемая БД.

JeyCi, Вы меня не слышите. Еще раз: вы можете описать любые функции, расширяющие функциональность в нужном вам направлении на С или С++, добавить их для использования в запросах. Таким образом все сложные подзапросы могут быть спрятаны в эти функции.

0

Сообщение от ablex расширяющие функциональность в нужном вам направлении на С или С++,

а я хочу всё на SQL через точку с зпятой... в принципе нашла какой-то WITH t AS (SELECT) - хоть так... в принципе, и BEGIN... COMMIT присобачить можно... в принципе, и через временные таблицы можно, потом их удаление - если небольшие, то может быть рабочий вариант - только для скорости обязательно явно задавать транзакции, ну и ещё в настройках покопаться, чтобы быстродействие придать...

Сообщение от ablex на С или С++, добавить их для использования в запросах. Таким образом все сложные подзапросы могут быть спрятаны в эти функции.

спасибо над этим тоже подумаю...
если у вас есть какой простенький пример чего угодно под рукой (чтобы SQL+C++), отражающий ваш совет - может, приложите в ветке?.. для примера... (если нет, то и ладно, - сама поищу)... в любом случае спасибо за совет - Клиент ведь всё равно буду делать на С/С++

Добавлено через 4 минуты
P.S.
2.1. The PARTITION BY Clause - тоже радуют

Добавлено через 3 минуты
да и вообще мнооого интересного

0

Сообщение от JeyCi пример чего угодно под рукой (чтобы SQL+C++),

кстати имеется в сети - здесь

Добавлено через 2 минуты
и на of-сайте - Create Or Redefine SQL Functions

0

Adding Stored Procedures to SQLite
да и вообще на любом языке
- и простенький пример на SQL Server - для сравнения
p.s.
в принципе и те же самые Loadable Extension (regex) (dll/so) можно подрядить... (как и др либы)

Добавлено через 45 минут
p.p.s.
user-defined function in SQLite

0

и вот интересная статья вырисовывается:
Принцип разделения ответственности и ORM
-- всё-таки Model.Context и View.Context смешать в принципе не получится - если между ними Controller.Context... но некоторые умудряются из View нагадить в Model... - и такое случается, когда MVC ContextS выбираются не спецом по предметной области, а IT'шником, завёрнутом на своих баранах... и оба не услышали др. др.

0

ORM выступает медиатором между кодом доменной модели и базой данных.

- ещё одно доказательство того, что многие архитектурные решения уже реализованы в соответствующих библиотеках - just use it...
p.p.s.
Entity Framework даёт связку appl. и DB через ORM (Object Relational Mapping) и ADO.NET -- правда на C#.NET... и этим значительно сокращает количество кода... - главное - правильно задать binding...
- следует подумать об архитектуре проекта, как о возможности уходить от чистого кодинга к реально удобной и быстрой разработке уже имеющимися инструментами... - теперь понимаю силу правильно выбранных библиотек - они убирают проблему выбора архитектурных решений - уже в себе содержа эти выгодные архитектурные решения - и этим упрощая жизнь разработчику... но такой Edge уже скорее не к чистым либам относится, а к Framework'ам...
на имеющихся же в С++ библиотеках - многое, действительно, ещё придётся писать самим...
-- хотя по линку от DrOffset по ветке ранее - и для C++ ORM доступны...

Добавлено через 2 минуты
или здесь - Новая SQLite ORM для C++

================

Сообщение от ablex У SQLite нет понятий сервер и клиент. Это встраиваемая БД.

спасибо, за правку - автоматически так выражаюсь - имея ввиду код С++, как клиент, и SQLite Tables, как сервер... а, вообще, конечно, встраивается - если build Static All... да и dll'ем встраивается - динамически

0

Сообщение от JeyCi многие архитектурные решения уже реализованы в соответствующих библиотеках

это лучшие достижения на мой view:
C++17 Parallel Algorithms of the Standard Template Library

0

Сообщение от JeyCi это лучшие достижения на мой view:

правда при использовании их всё равно надо самому продумывать и реализовывать thread-safety... полагаю, можно стандартно mutex'ами (пример, на соседней ветке, вероятно)
============

Добавлено через 1 минуту
кстати, паттерны на форуме тоже встречаются:
цепочка обязанностей
--- если разные файлы придётся запускать по разным шагам обработки... имхо (по ТЗ из #1)

Добавлено через 13 минут
=======

Сообщение от bedvit 3.Если вы хотите перейти на С++, потому что это быстрее - это не очевидный результат. Возможно стоит поспрашивать у спецов, так ли это и взлетит ли данный подход

Сообщение от JeyCi а на Python - честно говоря, подгрузка взлетает с использованием асинхронности

действительно... там ещё и корутины, похоже, - чтобы взлетело... т.е. async-await...
-- в C++20 хоть корутины и вводят и можно использовать co-await, но async к нему всё равно делать придётся самой... -- это пока уровень выше моего в с++ (да и компилятор gcc_9_3 c корутинами из boost пока не справился -- или созрею на компилятор Microsoft из VS или установлю библиотеки std c++20 когда разгребусь с тем, с чем разбираюсь сейчас)

0

Сообщение от JeyCi кстати, паттерны на форуме тоже встречаются: цепочка обязанностей

кстати и в IDE могут встречаться уже встроенные реализации некоторых паттернов

Сообщение от DrOffset паттерн прототип. Есть хорошая новость, Qt его поддерживает для QStandardItem

0

м-да... и т.к. файлов на входе будет ~500 шт (разношёрстных) - то всё-таки на Потоки с++ я ещё посмотрю...

Сообщение от oleg-m1973 В реализациях - всегда блокируешь мьютекс m_mx, потом изменяешь или выводишь на экран строку

... например, каждую подгруженную из сети... наконец вырисовываются Input этого тз:
в отдельном от GUI потоке брать String с каждого http и направлять её в WriteFile() [м. наподобие ReadFile() overlapped mode] -- каждую строку в свою [свой поток] асинхронную запись в свой файл... ~500 потоков запустить за раз... ускорится ли? есть ли смысл?
(но, конечно, для такого тз - файлы из сети - всё-таки скорость internet-connection тоже важна, чтобы ускоряться)

0

Сообщение от JeyCi в отдельном от GUI потоке брать String с каждого http и направлять её в WriteFile() [м. наподобие ReadFile() overlapped mode] -- каждую строку в свою [свой поток] асинхронную запись в свой файл... ~500 потоков запустить за раз... ускорится ли? есть ли смысл?

Конечно нет, надо пул потоков использовать.

1

Сообщение от oleg-m1973 надо пул потоков использовать.

да вы правы - это получше... (!спасибо, что расставляете приоритеты, а то на пустой теории я ещё долго буду подбирать соотв. инструменты - когда слово помню, а поможет или что-то др поможет ещё не тестила)...
сама-то я его (thread pool) пока не напишу, наверно... но в Ultimate++ есть

class AsyncWork Represents a job that can be executed in another thread and can return a value. It is similar to future/promise pattern, but it allows cancelation and is based on U++ thread pool shared with CoWork.

причём coWork это у них multithreading (по количеству ядер, вроде автоопределяется само)...
... вот и застопорилась, как возможностями этой ide, да и языка в целом, соорудить бы такое ещё очень расплывчатое понятие - ускорить (асинхронно и многопоточно)... и не попасть в race condition, если в этой ide родная AsyncWork заявляется, как, видимо, MT... или эту часть кода на std лучше реализовать?.. тогда, может, направите по какому линку?
===
хотя вроде Loop по линкам синхронизации, наверно не потребует?.. - каждый loop вроде не share data?? (для такого тз)

Добавлено через 7 минут
и что использовать - futures/promises (которые пинимают итог) - в той ide это AsyncWork - или variable condition (которые прослушивают постоянно) ? (последнее мне для запросов GET наверно не надо, это наверно для socket'ов)

0

Сообщение от JeyCi сама-то я его (thread pool) пока не напишу, наверно... но в Ultimate++ есть

Воспользуйся std::async(std::launch::async

0