Импорт данных из файла в БД

@POJIBOX · Регистрация: 03.06.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV?
Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы?
И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO?

@D1973 · 21.12.2023, 16:31

Сообщение от POJIBOX

в Басике вроде есть через командный интерфейс самой базы?

Basic - родной для Access-а язык, Билдер, Дельфи и т.д. работают с ним через посредников (ODBC-драйвера)... Ну вот и прикиньте, есть или нет... Если хотите - можете через OLE поизвращаться, как с любым другим приложением MS Office, но это, однозначно, будет медленнее, чем выполнять запросы в цикле... А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...

@POJIBOX · 21.12.2023, 16:41 **[ТС]**

Сообщение от D1973

А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...

Да, возможно (не могу сказать за Access? но примеры есть). Однако как мне показалось придется слишком много поменять, что-то не очень понятна технология подключения в ДАКе, компонентов жуть как много, есть где-нибудь описание толковое для чайников?

@D1973 · 21.12.2023, 17:01

Сообщение от POJIBOX

есть где-нибудь описание толковое для чайников?

Не могу сказать... Как-то у меня переход на FD с ADO спокойно прошел...

@didgik · 21.12.2023, 18:55

Из екселя можно так импортировать, думаю из CSV тоже должно получится.

SQL
1
2
3
   INSERT INTO TABLE (f1, f2, f3) 
   SELECT field1, field2, field3 
   FROM [Excel 12.0;DATABASE= filename;HDR=Yes;IMEX=1].[Лист1$]

@POJIBOX · 12.02.2024, 19:42 **[ТС]**

Таки в ADOTable есть такая штука ->LoadFromFile(...)
вот только не очень понятно в каком формате там хранятся данные?

Добавлено через 17 минут
Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило?
Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись?

@D1973 · 13.02.2024, 07:06

Сообщение от POJIBOX

обычная бинарная запись?

Не совсем. Это старинная приблуда для создания "Базы данных без СУБД" с помощью компонента T...DataSet. Я как в свое время не понял, на кой ляд она нужна была, так и сейчас не понимаю...
Ну а наличие метода LoadFromFile() у компонента ADOTable объясняется тем, что он является наследником класса TCustomDataSet, так же, как и этот самый TADODataSet

@POJIBOX · 19.02.2024, 17:50 **[ТС]**

Таак, дела пошли в гору!
Вопрос со скоростью решился положительно, где-то в 10 - 20 раз в зависимости от состояния базы...
Использовал режим Batch и я отказался от проверки соответствия данных на точность и новизну (т.е. чтения свойств данных из БД и сравнения с новыми) с учетом сортировки исходных данных по новизне.
Для 500 тыс. запросов в таблицу с 9 полями (5 ключевых) объем оперативки запрошенный программой не превышал 32 мб. А загрузка занимала около 3 минут для любого состояния базы.
Теперь возникла другая ситуация - у меня появились дублирующие записи с разной точностью.

Подскажите как организовать запрос на удаление худшего значения?

В принципе как я понимаю нужно найти сочетание ключевых полей (К1, К2, К3, К4, К5) для которых более 1 значения и удалить значение с меньшей точностью.

Чувствую, что это не сложно, типа:

SQL
1
DELETE * FROM Weather WHERE COUNT(ZNCH) = 2 AND QUAL = 2500

но куда-то пожалуй надо вставить ключевые поля?

Добавлено через 3 часа 10 минут
Хм, какой-то аншлаг, но попробуем:

SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM TableName
GROUP BY K1, K2, K3, K4, K5
HAVING COUNT(K1 = 2 AND K2 = 2 AND K3 = 2 AND K4 = 2 AND K5 = 2) = 2 AND QUAL = MXQ

Добавлено через 13 минут

SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM Weather
GROUP BY K1, K2, K3, K4, K5
HAVING (COUNT(K1) = 2 AND COUNT(K2) = 2 AND COUNT(K3) = 2 AND COUNT(K4) = 2 AND COUNT(K5) = 2)) = 2 AND QUAL = MXQ

Добавлено через 1 час 7 минут
Замечтательно!
вот такой запрос на выборку дает правильный результат:

SQL
1
2
3
SELECT a.* FROM Weather a,
(SELECT * FROM Weather) b
WHERE a.ID_MD = b.ID_MD AND a.DT = b.DT AND a.LAT = b.LAT AND a.LON = b.LON AND a.SOURCE = b.SOURCE AND a.QUAL > b.QUAL AND NOT ISNULL(a.ZNCH) AND NOT ISNULL(b.ZNCH)

А вот замена SELECT a.* на DELETE a.* приводит к ошибке "Не возможно удаление записей из указанных таблиц", а справка говорит, что недостаточно прав в пяти вариациях... С чего бы? В свойствах запроса разрешения на удаление есть

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 163

	RAD XE4+ Импорт данных из файла в БД 21.12.2023, 12:20. Показов 15019. Ответов 7 Метки access, импорт, файл (Все метки) Здравствуйте! Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV? Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы? И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO? 0

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 163
	12.02.2024, 19:42 [ТС]
	Таки в ADOTable есть такая штука ->LoadFromFile(...) вот только не очень понятно в каком формате там хранятся данные? Добавлено через 17 минут Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило? Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись? 0