2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 131
1
RAD XE4+

Импорт данных из файла в БД

21.12.2023, 12:20. Показов 2179. Ответов 7

Author24 — интернет-сервис помощи студентам
Здравствуйте!
Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV?
Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы?
И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO?
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
21.12.2023, 12:20
Ответы с готовыми решениями:

Импорт данных из файла .csv в mysql сразу же после загрузки файла на сервер
Коллеги! Добрый день! Помогите пожалуйста. Задача состоит в том, чтобы через форму страницы...

Импорт данных из excel файла в базу данных PostgreSQL
Приветствую, форумчане! Есть задание написать программу на delphi,которая импортирует данные из...

Импорт данных из типизированного файла
Здравствуйте! Писал как-то программку на консоли, теперь понадобилось сделать то же самое, только...

Импорт данных из txt файла
Уважаемые форумчане, выручайте пожалуйста. Имеем много колхозов с их данными, которые выглядят...

Импорт данных из csv-файла
Здравствуйте! У меня такая проблема - есть флеш-карта, поделенная на регионы. Необходимо создать...

7
Модератор
9234 / 6017 / 2374
Регистрация: 21.01.2014
Сообщений: 25,706
Записей в блоге: 3
21.12.2023, 16:31 2
Цитата Сообщение от POJIBOX Посмотреть сообщение
в Басике вроде есть через командный интерфейс самой базы?
Basic - родной для Access-а язык, Билдер, Дельфи и т.д. работают с ним через посредников (ODBC-драйвера)... Ну вот и прикиньте, есть или нет... Если хотите - можете через OLE поизвращаться, как с любым другим приложением MS Office, но это, однозначно, будет медленнее, чем выполнять запросы в цикле... А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...
0
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 131
21.12.2023, 16:41  [ТС] 3
Цитата Сообщение от D1973 Посмотреть сообщение
А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...
Да, возможно (не могу сказать за Access? но примеры есть). Однако как мне показалось придется слишком много поменять, что-то не очень понятна технология подключения в ДАКе, компонентов жуть как много, есть где-нибудь описание толковое для чайников?
0
Модератор
9234 / 6017 / 2374
Регистрация: 21.01.2014
Сообщений: 25,706
Записей в блоге: 3
21.12.2023, 17:01 4
Цитата Сообщение от POJIBOX Посмотреть сообщение
есть где-нибудь описание толковое для чайников?
Не могу сказать... Как-то у меня переход на FD с ADO спокойно прошел...
0
19 / 15 / 5
Регистрация: 21.10.2022
Сообщений: 167
21.12.2023, 18:55 5
Из екселя можно так импортировать, думаю из CSV тоже должно получится.
SQL
1
2
3
   INSERT INTO TABLE (f1, f2, f3) 
   SELECT field1, field2, field3 
   FROM [Excel 12.0;DATABASE= filename;HDR=Yes;IMEX=1].[Лист1$]
0
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 131
12.02.2024, 19:42  [ТС] 6
Таки в ADOTable есть такая штука ->LoadFromFile(...)
вот только не очень понятно в каком формате там хранятся данные?

Добавлено через 17 минут
Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило?
Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись?
0
Модератор
9234 / 6017 / 2374
Регистрация: 21.01.2014
Сообщений: 25,706
Записей в блоге: 3
13.02.2024, 07:06 7
Цитата Сообщение от POJIBOX Посмотреть сообщение
обычная бинарная запись?
Не совсем. Это старинная приблуда для создания "Базы данных без СУБД" с помощью компонента T...DataSet. Я как в свое время не понял, на кой ляд она нужна была, так и сейчас не понимаю...
Ну а наличие метода LoadFromFile() у компонента ADOTable объясняется тем, что он является наследником класса TCustomDataSet, так же, как и этот самый TADODataSet
0
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 131
19.02.2024, 17:50  [ТС] 8
Таак, дела пошли в гору!
Вопрос со скоростью решился положительно, где-то в 10 - 20 раз в зависимости от состояния базы...
Использовал режим Batch и я отказался от проверки соответствия данных на точность и новизну (т.е. чтения свойств данных из БД и сравнения с новыми) с учетом сортировки исходных данных по новизне.
Для 500 тыс. запросов в таблицу с 9 полями (5 ключевых) объем оперативки запрошенный программой не превышал 32 мб. А загрузка занимала около 3 минут для любого состояния базы.
Теперь возникла другая ситуация - у меня появились дублирующие записи с разной точностью.

Подскажите как организовать запрос на удаление худшего значения?

В принципе как я понимаю нужно найти сочетание ключевых полей (К1, К2, К3, К4, К5) для которых более 1 значения и удалить значение с меньшей точностью.

Чувствую, что это не сложно, типа:

SQL
1
DELETE * FROM Weather WHERE COUNT(ZNCH) = 2 AND QUAL = 2500
но куда-то пожалуй надо вставить ключевые поля?

Добавлено через 3 часа 10 минут
Хм, какой-то аншлаг, но попробуем:

SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM TableName
GROUP BY K1, K2, K3, K4, K5
HAVING COUNT(K1 = 2 AND K2 = 2 AND K3 = 2 AND K4 = 2 AND K5 = 2) = 2 AND QUAL = MXQ
Добавлено через 13 минут
SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM Weather
GROUP BY K1, K2, K3, K4, K5
HAVING (COUNT(K1) = 2 AND COUNT(K2) = 2 AND COUNT(K3) = 2 AND COUNT(K4) = 2 AND COUNT(K5) = 2)) = 2 AND QUAL = MXQ
Добавлено через 1 час 7 минут
Замечтательно!
вот такой запрос на выборку дает правильный результат:
SQL
1
2
3
SELECT a.* FROM Weather a,
(SELECT * FROM Weather) b
WHERE a.ID_MD = b.ID_MD AND a.DT = b.DT AND a.LAT = b.LAT AND a.LON = b.LON AND a.SOURCE = b.SOURCE AND a.QUAL > b.QUAL AND NOT ISNULL(a.ZNCH) AND NOT ISNULL(b.ZNCH)
А вот замена SELECT a.* на DELETE a.* приводит к ошибке "Не возможно удаление записей из указанных таблиц", а справка говорит, что недостаточно прав в пяти вариациях... С чего бы? В свойствах запроса разрешения на удаление есть
0
19.02.2024, 17:50
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
19.02.2024, 17:50
Помогаю со студенческими работами здесь

Импорт данных из xml-файла
Добрый день. Есть такая задача: Есть xml файл в котором есть перечень сотрудников. Нужно циклом...

Импорт данных в 1с из файла xlsx
Импортирую данные но в колонку пациент данные не импортируются тк тип стоит Справочники.Пациенты,...

Импорт данных из XML файла
Добрый день! Я новичок в Qt. Хочу спросить, каким способом можно организовать импорт данных из XML...

Импорт данных из файла Excel(c++)
Необходимо,что бы данные записанные в таблицу Excel автоматически открывались и когда пользователь...

Импорт данных в 1с из файла xlsx
Как сделать импорт что бы можно было импортировать данные по разным группам номенклатуры(к примеру...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru