Импорт данных из файла в БД

@POJIBOX · Регистрация: 03.06.2018

Author24 — интернет-сервис помощи студентам

Здравствуйте!
Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV?
Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы?
И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO?

@D1973 · 21.12.2023, 16:31

Сообщение от POJIBOX

в Басике вроде есть через командный интерфейс самой базы?

Basic - родной для Access-а язык, Билдер, Дельфи и т.д. работают с ним через посредников (ODBC-драйвера)... Ну вот и прикиньте, есть или нет... Если хотите - можете через OLE поизвращаться, как с любым другим приложением MS Office, но это, однозначно, будет медленнее, чем выполнять запросы в цикле... А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...

@POJIBOX · 21.12.2023, 16:41 **[ТС]**

Сообщение от D1973

А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...

Да, возможно (не могу сказать за Access? но примеры есть). Однако как мне показалось придется слишком много поменять, что-то не очень понятна технология подключения в ДАКе, компонентов жуть как много, есть где-нибудь описание толковое для чайников?

@D1973 · 21.12.2023, 17:01

Сообщение от POJIBOX

есть где-нибудь описание толковое для чайников?

Не могу сказать... Как-то у меня переход на FD с ADO спокойно прошел...

@didgik · 21.12.2023, 18:55

Из екселя можно так импортировать, думаю из CSV тоже должно получится.

SQL

1
2
3

   INSERT INTO TABLE (f1, f2, f3) 
   SELECT field1, field2, field3 
   FROM [Excel 12.0;DATABASE= filename;HDR=Yes;IMEX=1].[Лист1$]

@POJIBOX · 12.02.2024, 19:42 **[ТС]**

Таки в ADOTable есть такая штука ->LoadFromFile(...)
вот только не очень понятно в каком формате там хранятся данные?

Добавлено через 17 минут
Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило?
Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись?

@D1973 · 13.02.2024, 07:06

Сообщение от POJIBOX

обычная бинарная запись?

Не совсем. Это старинная приблуда для создания "Базы данных без СУБД" с помощью компонента T...DataSet. Я как в свое время не понял, на кой ляд она нужна была, так и сейчас не понимаю...
Ну а наличие метода LoadFromFile() у компонента ADOTable объясняется тем, что он является наследником класса TCustomDataSet, так же, как и этот самый TADODataSet

@POJIBOX · 19.02.2024, 17:50 **[ТС]**

Таак, дела пошли в гору!
Вопрос со скоростью решился положительно, где-то в 10 - 20 раз в зависимости от состояния базы...
Использовал режим Batch и я отказался от проверки соответствия данных на точность и новизну (т.е. чтения свойств данных из БД и сравнения с новыми) с учетом сортировки исходных данных по новизне.
Для 500 тыс. запросов в таблицу с 9 полями (5 ключевых) объем оперативки запрошенный программой не превышал 32 мб. А загрузка занимала около 3 минут для любого состояния базы.
Теперь возникла другая ситуация - у меня появились дублирующие записи с разной точностью.

Подскажите как организовать запрос на удаление худшего значения?

В принципе как я понимаю нужно найти сочетание ключевых полей (К1, К2, К3, К4, К5) для которых более 1 значения и удалить значение с меньшей точностью.

Чувствую, что это не сложно, типа:

SQL

1	DELETE * FROM Weather WHERE COUNT(ZNCH) = 2 AND QUAL = 2500

но куда-то пожалуй надо вставить ключевые поля?

Добавлено через 3 часа 10 минут
Хм, какой-то аншлаг, но попробуем:

SQL

DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM TableName
GROUP BY K1, K2, K3, K4, K5
HAVING COUNT(K1 = 2 AND K2 = 2 AND K3 = 2 AND K4 = 2 AND K5 = 2) = 2 AND QUAL = MXQ

Добавлено через 13 минут

SQL

DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM Weather
GROUP BY K1, K2, K3, K4, K5
HAVING (COUNT(K1) = 2 AND COUNT(K2) = 2 AND COUNT(K3) = 2 AND COUNT(K4) = 2 AND COUNT(K5) = 2)) = 2 AND QUAL = MXQ

Добавлено через 1 час 7 минут
Замечтательно!
вот такой запрос на выборку дает правильный результат:

SQL

1
2
3

SELECT a.* FROM Weather a,
(SELECT * FROM Weather) b
WHERE a.ID_MD = b.ID_MD AND a.DT = b.DT AND a.LAT = b.LAT AND a.LON = b.LON AND a.SOURCE = b.SOURCE AND a.QUAL > b.QUAL AND NOT ISNULL(a.ZNCH) AND NOT ISNULL(b.ZNCH)

А вот замена SELECT a.* на DELETE a.* приводит к ошибке "Не возможно удаление записей из указанных таблиц", а справка говорит, что недостаточно прав в пяти вариациях... С чего бы? В свойствах запроса разрешения на удаление есть

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 140
		1
	RAD XE4+ Импорт данных из файла в БД 21.12.2023, 12:20. Показов 2386. Ответов 7 Метки access, импорт, файл (Все метки) Здравствуйте! Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV? Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы? И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO? 0

@D1973 Модератор 9267 / 6045 / 2380 Регистрация: 21.01.2014 Сообщений: 25,821 Записей в блоге: 3
	21.12.2023, 16:31	2
	Сообщение от POJIBOX в Басике вроде есть через командный интерфейс самой базы? Basic - родной для Access-а язык, Билдер, Дельфи и т.д. работают с ним через посредников (ODBC-драйвера)... Ну вот и прикиньте, есть или нет... Если хотите - можете через OLE поизвращаться, как с любым другим приложением MS Office, но это, однозначно, будет медленнее, чем выполнять запросы в цикле... А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить... 0

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 140
	21.12.2023, 16:41 [ТС]	3
	Сообщение от D1973 А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить... Да, возможно (не могу сказать за Access? но примеры есть). Однако как мне показалось придется слишком много поменять, что-то не очень понятна технология подключения в ДАКе, компонентов жуть как много, есть где-нибудь описание толковое для чайников? 0

@D1973 Модератор 9267 / 6045 / 2380 Регистрация: 21.01.2014 Сообщений: 25,821 Записей в блоге: 3
	21.12.2023, 17:01	4
	Сообщение от POJIBOX есть где-нибудь описание толковое для чайников? Не могу сказать... Как-то у меня переход на FD с ADO спокойно прошел... 0

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 140
	12.02.2024, 19:42 [ТС]	6
	Таки в ADOTable есть такая штука ->LoadFromFile(...) вот только не очень понятно в каком формате там хранятся данные? Добавлено через 17 минут Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило? Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись? 0

@D1973 Модератор 9267 / 6045 / 2380 Регистрация: 21.01.2014 Сообщений: 25,821 Записей в блоге: 3
	13.02.2024, 07:06	7
	Сообщение от POJIBOX обычная бинарная запись? Не совсем. Это старинная приблуда для создания "Базы данных без СУБД" с помощью компонента T...DataSet. Я как в свое время не понял, на кой ляд она нужна была, так и сейчас не понимаю... Ну а наличие метода LoadFromFile() у компонента ADOTable объясняется тем, что он является наследником класса TCustomDataSet, так же, как и этот самый TADODataSet 0

	19.02.2024, 17:50