С Новым годом! Форум программистов, компьютерный форум, киберфорум
C++ Builder: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.77/47: Рейтинг темы: голосов - 47, средняя оценка - 4.77
 Аватар для POJIBOX
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 163
RAD XE4+

Импорт данных из файла в БД

21.12.2023, 12:20. Показов 14943. Ответов 7

Студворк — интернет-сервис помощи студентам
Здравствуйте!
Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV?
Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы?
И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
21.12.2023, 12:20
Ответы с готовыми решениями:

Импорт данных из файла .csv в mysql сразу же после загрузки файла на сервер
Коллеги! Добрый день! Помогите пожалуйста. Задача состоит в том, чтобы через форму страницы загрузить файл расширения .csv на сервер и...

Импорт данных из excel файла в базу данных PostgreSQL
Приветствую, форумчане! Есть задание написать программу на delphi,которая импортирует данные из файла excel в БД PostgreSQL. Проблема в...

Импорт данных из типизированного файла
Здравствуйте! Писал как-то программку на консоли, теперь понадобилось сделать то же самое, только в ООП. В консоли использовал такую...

7
Модератор
 Аватар для D1973
9908 / 6445 / 2455
Регистрация: 21.01.2014
Сообщений: 27,354
Записей в блоге: 3
21.12.2023, 16:31
Цитата Сообщение от POJIBOX Посмотреть сообщение
в Басике вроде есть через командный интерфейс самой базы?
Basic - родной для Access-а язык, Билдер, Дельфи и т.д. работают с ним через посредников (ODBC-драйвера)... Ну вот и прикиньте, есть или нет... Если хотите - можете через OLE поизвращаться, как с любым другим приложением MS Office, но это, однозначно, будет медленнее, чем выполнять запросы в цикле... А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...
0
 Аватар для POJIBOX
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 163
21.12.2023, 16:41  [ТС]
Цитата Сообщение от D1973 Посмотреть сообщение
А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...
Да, возможно (не могу сказать за Access? но примеры есть). Однако как мне показалось придется слишком много поменять, что-то не очень понятна технология подключения в ДАКе, компонентов жуть как много, есть где-нибудь описание толковое для чайников?
0
Модератор
 Аватар для D1973
9908 / 6445 / 2455
Регистрация: 21.01.2014
Сообщений: 27,354
Записей в блоге: 3
21.12.2023, 17:01
Цитата Сообщение от POJIBOX Посмотреть сообщение
есть где-нибудь описание толковое для чайников?
Не могу сказать... Как-то у меня переход на FD с ADO спокойно прошел...
0
42 / 45 / 6
Регистрация: 21.10.2022
Сообщений: 560
Записей в блоге: 2
21.12.2023, 18:55
Из екселя можно так импортировать, думаю из CSV тоже должно получится.
SQL
1
2
3
   INSERT INTO TABLE (f1, f2, f3) 
   SELECT field1, field2, field3 
   FROM [Excel 12.0;DATABASE= filename;HDR=Yes;IMEX=1].[Лист1$]
0
 Аватар для POJIBOX
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 163
12.02.2024, 19:42  [ТС]
Таки в ADOTable есть такая штука ->LoadFromFile(...)
вот только не очень понятно в каком формате там хранятся данные?

Добавлено через 17 минут
Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило?
Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись?
0
Модератор
 Аватар для D1973
9908 / 6445 / 2455
Регистрация: 21.01.2014
Сообщений: 27,354
Записей в блоге: 3
13.02.2024, 07:06
Цитата Сообщение от POJIBOX Посмотреть сообщение
обычная бинарная запись?
Не совсем. Это старинная приблуда для создания "Базы данных без СУБД" с помощью компонента T...DataSet. Я как в свое время не понял, на кой ляд она нужна была, так и сейчас не понимаю...
Ну а наличие метода LoadFromFile() у компонента ADOTable объясняется тем, что он является наследником класса TCustomDataSet, так же, как и этот самый TADODataSet
0
 Аватар для POJIBOX
2 / 2 / 0
Регистрация: 03.06.2018
Сообщений: 163
19.02.2024, 17:50  [ТС]
Таак, дела пошли в гору!
Вопрос со скоростью решился положительно, где-то в 10 - 20 раз в зависимости от состояния базы...
Использовал режим Batch и я отказался от проверки соответствия данных на точность и новизну (т.е. чтения свойств данных из БД и сравнения с новыми) с учетом сортировки исходных данных по новизне.
Для 500 тыс. запросов в таблицу с 9 полями (5 ключевых) объем оперативки запрошенный программой не превышал 32 мб. А загрузка занимала около 3 минут для любого состояния базы.
Теперь возникла другая ситуация - у меня появились дублирующие записи с разной точностью.

Подскажите как организовать запрос на удаление худшего значения?

В принципе как я понимаю нужно найти сочетание ключевых полей (К1, К2, К3, К4, К5) для которых более 1 значения и удалить значение с меньшей точностью.

Чувствую, что это не сложно, типа:

SQL
1
DELETE * FROM Weather WHERE COUNT(ZNCH) = 2 AND QUAL = 2500
но куда-то пожалуй надо вставить ключевые поля?

Добавлено через 3 часа 10 минут
Хм, какой-то аншлаг, но попробуем:

SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM TableName
GROUP BY K1, K2, K3, K4, K5
HAVING COUNT(K1 = 2 AND K2 = 2 AND K3 = 2 AND K4 = 2 AND K5 = 2) = 2 AND QUAL = MXQ
Добавлено через 13 минут
SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM Weather
GROUP BY K1, K2, K3, K4, K5
HAVING (COUNT(K1) = 2 AND COUNT(K2) = 2 AND COUNT(K3) = 2 AND COUNT(K4) = 2 AND COUNT(K5) = 2)) = 2 AND QUAL = MXQ
Добавлено через 1 час 7 минут
Замечтательно!
вот такой запрос на выборку дает правильный результат:
SQL
1
2
3
SELECT a.* FROM Weather a,
(SELECT * FROM Weather) b
WHERE a.ID_MD = b.ID_MD AND a.DT = b.DT AND a.LAT = b.LAT AND a.LON = b.LON AND a.SOURCE = b.SOURCE AND a.QUAL > b.QUAL AND NOT ISNULL(a.ZNCH) AND NOT ISNULL(b.ZNCH)
А вот замена SELECT a.* на DELETE a.* приводит к ошибке "Не возможно удаление записей из указанных таблиц", а справка говорит, что недостаточно прав в пяти вариациях... С чего бы? В свойствах запроса разрешения на удаление есть
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
19.02.2024, 17:50
Помогаю со студенческими работами здесь

Импорт данных из txt файла
Уважаемые форумчане, выручайте пожалуйста. Имеем много колхозов с их данными, которые выглядят примерно как в текст.txt и задача...

Импорт данных из csv-файла
Здравствуйте! У меня такая проблема - есть флеш-карта, поделенная на регионы. Необходимо создать option.csv файл, в котором будут...

Импорт данных из xml-файла
Добрый день. Есть такая задача: Есть xml файл в котором есть перечень сотрудников. Нужно циклом из этого файла фамилию каждого...

Импорт данных в 1с из файла xlsx
Импортирую данные но в колонку пациент данные не импортируются тк тип стоит Справочники.Пациенты, как можно сделать так что бы импорт...

Импорт данных из XML файла
Добрый день! Я новичок в Qt. Хочу спросить, каким способом можно организовать импорт данных из XML файлов? Мне уже говорили о Rest...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru