Готовые проекты Фреймворк DBGridChart и ЭКСПРЕСС ОБРАБОТКА с описанием, DLL, исход. текстом и демопримерами

Разработан проект Фреймворк DBGridChart для автоматизации разработки на C# программ по ведению баз данных с различными СУБД формирования в табличной и ленточной формах и для формирования самим пользователем различных аналитических таблиц и диаграмм с полным описанием Фреймворка, DLL для работы, с исходным текстом демонстрационного примера. В данной версии, в частности, все команды Insert, Update и Delete формируются автоматически из команды Select без указания имен колонок.
Разработан проект приложения Экспресс обработка, которое полностью используются средства Фреймворка DBGridChart, но описания запросов вынесены из исходных текстов программ в отдельный текстовый файл, который ведется в удобной табличной форме. Это позволяет самому пользователю оперативно формировать описания и выполнять нерегламентированные запросы по ведению баз данных и формированию аналитических таблиц и диаграмм для анализа данных типа OLAP вообще без программирования.

http://vipuskniki.usue.ru/Docum.html

0

В новой версии Фреймворка DBGridChart добавлены следующие основные возможности.
Изображения в базе данных Access, сформированные Access, теперь отображаются в таблице DataGridView и наоборот – изображения, сформированные Фреймворком отображаются в Access.
В прогнозировании добавленные новые адаптивные методы.
Метод формирования оптимального адаптивного полинома автоматически подбирает полином с учетом особенностей исходных данных. Алгоритм последовательно строит несколько моделей: от простой прямой линии до полинома степени N=число исходных данных минус 1.
В программе ограничивается степень, чтобы прогноз не улетел в бесконечность из-за случайного шума.
Адаптивность достигается заданием пользователем нужной модели (ОптимПолином, AIC, AICc, BIC) и весов исходных данных.
ОптимПолином - автоматическое формирования полинома с оптимальной степенью полинома и модели ограничений:
ОптимAIC - не ограничивает степень полинома.
ОптимAICc - ограничивает степень полинома.
ОптимBIC - строго ограничивает степень полинома. Рекомендуется для создания максимально надежных и устойчивых прогнозов.
Вес (число) определяет степень снижения значимости первых и повышения последних исходных данных при формировании прогноза:
-1 - линейное затухание: вес первых данных уменьшается пропорционально их удаленности от начала ряда;
1 - равный вес: все исходные данные влияют на прогноз одинаково, затухание отсутствует;
0 < n < 1 - экспоненциальное затухание: вес первых данных снижается очень быстро экспоненциально по мере удаленности от начала ряда.
Слишком низкие значения весов могут привести к избыточному весу последних данных(переобучению) и резким скачкам в прогнозе:
Если в массиве исходных данных есть отсутствующие пустые данные, то их значения формируются автоматически: пустые данные в начале заполняются первым, а в конце - последним не пустым данным. Пустые данные в середине массива значениями линейного полинома.
Преимущества для аналитика:
Защита от ложных прогнозов: исключает эффект больших скачков на краях данных, характерный для обычных полиномов высокой степени.
Метод формирования адаптивной скользящей средней объединяет и адаптирует методы простых, сглаженные и экспоненциальные скользящих средних путем использования веса.
Оптимальные адаптивные скользящие средние автоматически перебирают веса с шагом 0.01 для определения веса с минимальной квадратичной, процентной и абсолютной погрешностями.

0

В новой версии Фреймворка DBGridChart реализована совместимость отображения изображений графических полей Access, сформированных средствами Access и Фреймворка, в Access и в таблице DataGridView в Фреймворке. Увеличено число методов формирования прогнозов, включая методы поиска вариантов прогнозов с наименьшими погрешностями по различным типам их оценки (среднеквадратичные, процентные, абсолютно средние отклонения) c учетом весов и различных типов ограничений на полиномы. В двухмерных графиках исключено дублирование меток с общими точками.

0

В новой версии DBGridChart реализованы различные варианты прогнозирования методом Хольта-Винтерса для прогнозирования временных рядов, который учитывает четыре ключевых компонента данных: сезонность, текущий уровень (вес данных), тренд и затухание.
Варианты: адаптивный (пользователь сам подбирает коэффициенты) и три оптимальных, при котором программа сама подбирает коэффициенты путем перебора с шагом 0.01 и нахождения вариантов с наименьшей погрешностью по каждому из трех типов (квадратичная, процентная и абсолютная).
При работе с графиками реализована возможность для пользователя скрывать, снова отображать и выделять мышкой отдельные графики.
При перемещении мышки на график выводится подсказка с текстом легенды, с параметрами прогнозирования и со значениями погрешностей по трем типам, что существенно упрощает анализ графиков.
Общее число различных методов и их вариантов прогнозирования достигло 27. Использование этих методов не требует разработки программ - пользователь сам в интерактивном режиме формирует исходные данные из любых БД с любой СУБД или из файлов Excel с использованием запросов, выбирает методы и их варианты прогнозирования, задает параметры (если не выбирает вариант программного формирования значений этих параметров), запускает процедуру формирования таблицы с прогнозом, выделяет мышкой нужные строки этой таблицы и запускает процедуру формирования графиков для анализа и принятия решений.

0

В новой версии Фреймворка DBGridChart добавлена возможность поиска и замены контекста в одной или во всех ячейках контекста в указной области поиска и замены (ячейка, строка, колонка и таблица) в разных направлениях таблицах с выделением цветом фона найденных (желтый цвет) и новых значений после замены контекстов (зеленый цвет) на уровнях контекста, ячейки и строки, по желанию пользователя.
OLAP-приложение Экспресс_обработка.exe доведено до уровня ERP/BI и OLAP- платформ полного цикла с возможность ведения БД с любыми СУБД и формирования аналитических таблиц, прогнозов, отчетов, диаграмм и графиков непосредственно аналитиком данных с формированием витрин данных, запросов и процедур, которые содержат в текстовом файле (на экране он выводится и формируется в табличной форме) наименования и тексты запросов и процедур (взаимосвязанных запросов, выполняемых как один составной запрос), наименования или строки подключения к БД. Аналитик с помощью визуального конструктора запросов может формировать новые запросы и процедуры для анализа. При работе с таблицами, с загруженными данными из БД, имеются средства фильтрации данных, как в таблице так и в самой базе данных средствами SQL при загрузке таблицы, что уменьшает объем загружаемых данных для анализа и исключает необходимость заранее формировать кубы данных и OLAP-обработка выполняется на лету. Для обеспечения информационной безопасности имеются средства администрирования доступа к базам данных: логины, пароли, списки доступных баз данных и таблиц в них и возможность изменения данных в БД.

0

Изменения в новой версии Фреймворка DBGridChart и OLAP-приложения Экспресс_обработка.exe. Методы экспорта таблиц в HTML- и Excel-файлы теперь настроены на печать в форме отчетов с автоматическим формированием заголовков отчетов, страниц, даты формирования, номеров страниц и вывода широких отчетов. Таким образом, их можно использовать как средства печати отчетов из окна браузера и Excel. При этом, пользователю остаются доступными все оперативные средства настройки формы и печати браузера и Excel.
Доработан вариант формирования составных форм из нескольких связанных таблиц – главных и подчиненных. Например, главная таблица – данные о накладной в заголовке документа - накладная и подчиненная таблица - позиции накладной с данными о товарах в табличной части документа. Таким образом, к табличным и ленточным формам добавилась составная форма.
Учитывая, что для всех таблиц имеется возможность подстановки кодов и наличие готового много функционального, настраиваемого самим пользователем, интерфейса и наличие других средств можно говорить, что проблемы ведения БД с различными СУБД и их OLAP-анализ и прогнозирования данных (ввода, корректировки, распечатки, фильтрации таблиц и БД, формирования графиков, диаграмм, витрин данных, запросов и процедур в интерактивном режиме) большинстве случаев решены полностью без оригинального или вообще без программирования.

0

Основные возможности прогнозирования Фреймворка DBGridChart и OLAP-приложения Экспресс_обработка.exe в настоящее время.
Предусмотрено четыре варианта формирования расчетных значений для отсутствующих пустых данных: заданным числом, медианным значением, значением линейной функции между соседними непустыми значениями, значением соответствующего данного в соседнем цикле для сезонных рядов для методов Хольта-Винтерса и SARIMA.
Это позволяет заменить ряд методов, работающих с пустыми значениями, например, Prophet.
Реализовано порядка 55 классических математических методов и их модификаций (этот список будет продолжен, например, нейросетевыми):
Хольт-Винтерс
Оптимальная Хольта-Винтерса с мин. квад. погр. (RMSE)
Оптимальная Хольта-Винтерса с мин. проц. погр. (MAPE)
Оптимальная Хольта-Винтерса с мин. абс. погр. (MAE)
SARIMA
Оптимальная SARIMA с мин. квад. погр. (RMSE)
Оптимальная SARIMA с мин. проц. погр. (MAPE)
Оптимальная SARIMA с мин. абс. погр. (MAE)
ARIMA
Оптимальная ARIMA с мин. квад. погр. (RMSE)
Оптимальная ARIMA с мин. проц. погр. (MAPE)
Оптимальная ARIMA с мин. абс. погр. (MAE)
Скользящая средняя
Оптимальная скользящая средняя с мин. кв. погр. (RMSE)
Оптимальная скользящая средняя с мин. проц. погр. (MAPE)
Оптимальная скользящая средняя с мин. абс. погр. (MAE)
Типовая простая скользящая средняя
Типовая сглаженная скользящая средняя
Типовая взвешенная скользящая средняя
Типовая экспоненциальная скользящая средняя
Простая скользящая средняя
Сглаженная скользящая средняя
Взвешенная скользящая средняя
Экспоненциальная скользящая средняя
Хольт
Оптимальная Хольта с мин. квад. погр. (RMSE)
Оптимальная Хольта с мин. проц. погр. (MAPE)
Оптимальная Хольта с мин. абс. погр. (MAE)
Логарифмический тренд
Оптимальный логарифмический тренд с мин. квад. погр. (RMSE)
Оптимальный логарифмический тренд с мин. проц. погр. (MAPE)
Оптимальный логарифмический тренд с мин. абс. погр. (MAE)
Браун
Оптимальная Брауна с мин. квад. погр. (RMSE)
Оптимальная Брауна с мин. проц. погр. (MAPE)
Оптимальная Брауна с мин. абс. погр. (MAE)
Кростон
Кростон - синхронный мягкий
Кростон - синхронный баланс
Кростон - синхронный динамичный
Кростон - умеренный
Кростон - агрессивный
Кростон - увядающий
Степенная функция y=b*x^a
Показательная функция y=b*a^x
Оптимальный полином (ОптимПолином)
Оптимальный полином (AIC)
Оптимальный полином (AICc)
Оптимальный полином (BIC)
Горизонталь по последнему значению
Горизонталь по среднему арифметическому значению
Горизонталь по медианному значению
Полином степени 1
Полином степени 2
Полином степени 3
Под оптимальность понимается автоматический перебор всех допустимых вариантов по всем параметрам метода и нахождение варианта с наименьшей погрешностью по оценке нужного типа (квадратичной, процентной или абсолютной). В таблицу прогнозов дополнительно выводятся значения погрешностей и параметры методов.
Можно сразу задать все или нужные методы и получить таблицу с прогнозом, отсортировать по возрастанию легенды и по ошибкам нужного типа и первые строки покажут лучшие результаты по ошибкам, выбрать эти строки и вывести графики для детального анализа. При анализе графиков можно удалять отдельные или восставливать графики и выводить их в графические файлы. Таблицы с прогнозом можно экспортировать и распечатывать для документирования.
Предусмотрен анализ исходных значений и вывод результатов и рекомендации аналитику по выбору и использованию методов по результатам этого анализа. Для каждого метода и его варианта можно получить краткое его описание, достоинства и недостатки, особенности его применения и область использования.
В заключении можно отметить следующее по этому блоку.
Построена эталонная архитектура аналитической платформы. Подход с предварительным расчетом, сквозной сортировкой по типу ошибки и возможностью точечного визуального контроля — это именно то, как проектируются лучшие корпоративные BI-системы и аналитические модули уровня Enterprise.
Создана полноценная автоматизированная система генерации прогнозов (AutoML для временных рядов).
Достоинства этого блока:
Экономия времени (масштабируемость): аналитику не нужно вручную перебирать методы для каждого товара или филиала. Он запускает пакетный расчет, а система сама выполняет тяжелую математическую работу.
Объективный выбор (Data-Driven): Сортировка по типу ошибки (RMSE, MAPE или MAE) мгновенно поднимает наверх таблицы те комбинации «метод + параметры предобработки», которые математически лучше всего подошли под конкретный исторический паттерн данных.
Защита от «слепых» ошибок: возможность кликнуть по верхним (лучшим) строкам и детально изучить график — это важнейший предохранитель. аналитик может визуально отсечь модели, которые формально дали низкую ошибку на истории, но выдают неадекватный хвост прогноза из-за случайных шумов.

0

Добавлен потрясающий по точности, особенно для сезонных данных, метод прогнозирования Гусеница (SSA), который превосходит сезонные методы Хольта-Винтерса и SARIMA и является универсальным методов для любых рядов данных.

0

Добавлен сезонный метод прогнозирования STL декомпозиция. Изменен вид витрины методов прогнозирования. Витрина разделена на четыре раздела по типам прогнозов: сезонные, аналитические тренды и полиномы, скользящие средние, прерывистые потоки данных. Каждый раздел выделен цветовым фоном. Для всех разделов и методов выводится справочная информация щелчком правой кнопкой мышки по названию раздела или метода. OLAP-приложение может работать c Excel- и Access-файлами путем открытия их в приложении из окна выборов файлов без предварительного формирования строки подключения, как это делается при работе с БД с другими СУБД.

0

В OLAP-приложение Экспресс_обработка.exe добавлен новый аналитический инструмент — гибридный прогноз, который пользователь может самостоятельно формировать на уже сформированных прогнозов по различным методам. В интерактивной таблице с уже сформированными прогнозами пользователь мышью выделяет нужные прогнозы. При нажатии кнопки формирования гибридного прогноза приложение автоматически усредняет выбранные показатели в двух вариантах — с учетом и без учета экспертных весов. Система генерирует гибридный запрос и мгновенно рассчитывает оценки погрешностей трех типов: MAE (Средняя абсолютная ошибка) — показывает средний размер отклонения в реальных единицах измерения. RMSE (Среднеквадратическая ошибка) — сильнее штрафует модель за крупные промахи и критические отклонения. MAPE (Средняя абсолютная процентная ошибка) — отражает относительную погрешность прогноза в процентах. Гибридный прогноз помещается в туже исходную таблицу прогнозов и может быть рассмотрен как обычный прогноз и выведен вместе со всеми в графической форме для совместного детального анализа.
Это дает возможность проводить сценарный анализ «Что, если», комбинировать любые методики и срезы данных без изменения исходных кубов. Автоматическое сравнение взвешенного и простого среднего помогает мгновенно оценить, насколько оправдано применение выбранных методов прогнозирования, усреднить риски. Формирование и вывод метрик MAE, RMSE и MAPE позволяет сразу увидеть математическую надежность гибридной модели и выбрать наиболее точный вариант для принятия управленческих решений. Все операции агрегации и вычисления погрешностей происходят внутри интерфейса OLAP-системы в один клик и не нужно выгружать массивы данных в сторонние программы (например, Excel) для ручного пересчета.

0

В OLAP-приложение Экспресс_обработка.exe и во Фреймворк добавлен метод прогнозирования Prophet с возможность автоматического определения сезонности и формирования оптимального прогноза путем автоматического подбора параметров (в области допустимых значений) модели для достижения минимальной ошибки по различным типам оценки – квадратичная (RMSE), процентная (MAPE) и абсолютная (MAE).

0

В новой версии OLAP-приложения Экспресс_обработка.exe и во Фреймворке доработана справочная система. Теперь справочная информация выводится в широком немодальном окне и не требуется его закрытия для продолжения выполнения программы. Это позволяет пользователю постоянно иметь на экране нужную справочную информацию. Окно можно закрыть или свернуть/развернуть в любое время.

0

Все проблемы прогнозирования (реализовано более 70 методов) и OLAP-обработки, включая ведения и корректировка БД с любыми СУБД, формирования витрин кубов данных, запросов, прогнозов, гибридное прогнозирование, турниры методов прогнозирования, автоматический подбор параметров методов прогнозирования и их оценка, предварительная статистическая обработка истории перед прогнозированием, фильтрации БД и таблиц, настройка интерфейса пользователя самим пользователем, интерактивная графика решены в OLAP-приложении Экспресс_обработка.exe и во Фреймворке DataGridView без разработки оригинальных программ.

0

Сообщение от Plehev VV Все проблемы прогнозирования (реализовано более 70 методов)...

Внедряете? Кому-то нужны проблемы? Некоторые готовы все 70 проблем интегрировать себе? Жёские клиенты, устали от стабильности.

0