Импорт данных из файла в БД

@POJIBOX · Регистрация: 03.06.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV?
Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы?
И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO?

@D1973 · 21.12.2023, 16:31

Сообщение от POJIBOX

в Басике вроде есть через командный интерфейс самой базы?

Basic - родной для Access-а язык, Билдер, Дельфи и т.д. работают с ним через посредников (ODBC-драйвера)... Ну вот и прикиньте, есть или нет... Если хотите - можете через OLE поизвращаться, как с любым другим приложением MS Office, но это, однозначно, будет медленнее, чем выполнять запросы в цикле... А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...

@POJIBOX · 21.12.2023, 16:41 **[ТС]**

Сообщение от D1973

А в FireDAC, ежели мне склероз не изменяет, вообще можно кучу инсертов одним запросом выполнить...

Да, возможно (не могу сказать за Access? но примеры есть). Однако как мне показалось придется слишком много поменять, что-то не очень понятна технология подключения в ДАКе, компонентов жуть как много, есть где-нибудь описание толковое для чайников?

@D1973 · 21.12.2023, 17:01

Сообщение от POJIBOX

есть где-нибудь описание толковое для чайников?

Не могу сказать... Как-то у меня переход на FD с ADO спокойно прошел...

@didgik · 21.12.2023, 18:55

Из екселя можно так импортировать, думаю из CSV тоже должно получится.

SQL
1
2
3
   INSERT INTO TABLE (f1, f2, f3) 
   SELECT field1, field2, field3 
   FROM [Excel 12.0;DATABASE= filename;HDR=Yes;IMEX=1].[Лист1$]

@POJIBOX · 12.02.2024, 19:42 **[ТС]**

Таки в ADOTable есть такая штука ->LoadFromFile(...)
вот только не очень понятно в каком формате там хранятся данные?

Добавлено через 17 минут
Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило?
Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись?

@D1973 · 13.02.2024, 07:06

Сообщение от POJIBOX

обычная бинарная запись?

Не совсем. Это старинная приблуда для создания "Базы данных без СУБД" с помощью компонента T...DataSet. Я как в свое время не понял, на кой ляд она нужна была, так и сейчас не понимаю...
Ну а наличие метода LoadFromFile() у компонента ADOTable объясняется тем, что он является наследником класса TCustomDataSet, так же, как и этот самый TADODataSet

@POJIBOX · 19.02.2024, 17:50 **[ТС]**

Таак, дела пошли в гору!
Вопрос со скоростью решился положительно, где-то в 10 - 20 раз в зависимости от состояния базы...
Использовал режим Batch и я отказался от проверки соответствия данных на точность и новизну (т.е. чтения свойств данных из БД и сравнения с новыми) с учетом сортировки исходных данных по новизне.
Для 500 тыс. запросов в таблицу с 9 полями (5 ключевых) объем оперативки запрошенный программой не превышал 32 мб. А загрузка занимала около 3 минут для любого состояния базы.
Теперь возникла другая ситуация - у меня появились дублирующие записи с разной точностью.

Подскажите как организовать запрос на удаление худшего значения?

В принципе как я понимаю нужно найти сочетание ключевых полей (К1, К2, К3, К4, К5) для которых более 1 значения и удалить значение с меньшей точностью.

Чувствую, что это не сложно, типа:

SQL
1
DELETE * FROM Weather WHERE COUNT(ZNCH) = 2 AND QUAL = 2500

но куда-то пожалуй надо вставить ключевые поля?

Добавлено через 3 часа 10 минут
Хм, какой-то аншлаг, но попробуем:

SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM TableName
GROUP BY K1, K2, K3, K4, K5
HAVING COUNT(K1 = 2 AND K2 = 2 AND K3 = 2 AND K4 = 2 AND K5 = 2) = 2 AND QUAL = MXQ

Добавлено через 13 минут

SQL
1
2
3
4
5
DELETE FROM Weather WHERE 
(SELECT COUNT(ZNCH), MAX(QUAL) AS MXQ
FROM Weather
GROUP BY K1, K2, K3, K4, K5
HAVING (COUNT(K1) = 2 AND COUNT(K2) = 2 AND COUNT(K3) = 2 AND COUNT(K4) = 2 AND COUNT(K5) = 2)) = 2 AND QUAL = MXQ

Добавлено через 1 час 7 минут
Замечтательно!
вот такой запрос на выборку дает правильный результат:

SQL
1
2
3
SELECT a.* FROM Weather a,
(SELECT * FROM Weather) b
WHERE a.ID_MD = b.ID_MD AND a.DT = b.DT AND a.LAT = b.LAT AND a.LON = b.LON AND a.SOURCE = b.SOURCE AND a.QUAL > b.QUAL AND NOT ISNULL(a.ZNCH) AND NOT ISNULL(b.ZNCH)

А вот замена SELECT a.* на DELETE a.* приводит к ошибке "Не возможно удаление записей из указанных таблиц", а справка говорит, что недостаточно прав в пяти вариациях... С чего бы? В свойствах запроса разрешения на удаление есть

Новые блоги и статьи Все статьи Все блоги /
Раскрываем внутренние механики Android с помощью контекста и манифеста mobDevWorks 07.07.2025 Каждый Android-разработчик сталкивается с Context и манифестом буквально в первый день работы. Но много ли мы задумываемся о том, что скрывается за этими обыденными элементами? Я, честно говоря,. . .	API на базе FastAPI с Python за пару минут AI_Generated 07.07.2025 FastAPI - это относительно молодой фреймворк для создания веб-API, который за короткое время заработал бешеную популярность в Python-сообществе. И не зря. Я помню, как впервые запустил приложение на. . .	Основы WebGL. Раскрашивание вершин с помощью VBO 8Observer8 05.07.2025 На русском https:/ / vkvideo. ru/ video-231374465_456239020 На английском https:/ / www. youtube. com/ watch?v=oskqtCrWns0 Исходники примера:	Мониторинг микросервисов с OpenTelemetry в Kubernetes Mr. Docker 04.07.2025 Проблема наблюдаемости (observability) в Kubernetes - это не просто вопрос сбора логов или метрик. Это целый комплекс вызовов, которые возникают из-за самой природы контейнеризации и оркестрации. К. . .	Проблемы с Kotlin и Wasm при создании игры GameUnited 03.07.2025 В современном мире разработки игр выбор технологии - это зачастую балансирование между удобством разработки, переносимостью и производительностью. Когда я решил создать свою первую веб-игру, мой. . .
Создаем микросервисы с Go и Kubernetes golander 02.07.2025 Когда я только начинал с микросервисами, все спорили о том, какой язык юзать. Сейчас Go (или Golang) фактически захватил эту нишу. И вот почему этот язык настолько заходит для этих задач: . . .	C++23, квантовые вычисления и взаимодействие с Q# bytestream 02.07.2025 Я всегда с некоторым скептицизмом относился к громким заявлениям о революциях в IT, но квантовые вычисления - это тот случай, когда революция действительно происходит прямо у нас на глазах. Последние. . .	Вот в чем сила LM. Hrethgir 02.07.2025 как на английском будет “обслуживание“ Слово «обслуживание» на английском языке может переводиться несколькими способами в зависимости от контекста: * Service — самый распространённый. . .	Использование Keycloak со Spring Boot и интеграция Identity Provider Javaican 01.07.2025 Два года назад я получил задачу, которая сначала показалась тривиальной: интегрировать корпоративную аутентификацию в микросервисную архитектуру. На тот момент у нас было семь Spring Boot приложений,. . .	Содержание темы с примерами на WebGL 8Observer8 01.07.2025 Все примеры из книги Мацуды и Ли в песочнице JSFiddle Пример выводит точку красного цвета размером 10 пикселей на WebGL 1. 0 и 2. 0 WebGL 1. 0. Передача координаты точки из главной программы в. . .

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 163

	RAD XE4+ Импорт данных из файла в БД 21.12.2023, 12:20. Показов 13653. Ответов 7 Метки access, импорт, файл (Все метки) Здравствуйте! Подскажите люди добрые, есть ли в Builder возможность импорта данных в таблицу из файла, например CSV? Если есть в каком компоненте искать, тупо гуглу ничего не понятно потому как по билдеру молчок, а в Басике вроде есть через командный интерфейс самой базы? И сразу вопрос про целесообразность, насколько быстрее будет импорт из файла в сравнении с записью данных в цикле через INSERT INTO? 0

@POJIBOX 2 / 2 / 0 Регистрация: 03.06.2018 Сообщений: 163
	12.02.2024, 19:42 [ТС]
	Таки в ADOTable есть такая штука ->LoadFromFile(...) вот только не очень понятно в каком формате там хранятся данные? Добавлено через 17 минут Да уж, от знания не стало легче, хранятся они как recordset и чтобы это значило? Кто видел как выглядит этот recordset? ежели я правильно понимаю это типизированная запись например int int int float int string[30] - обычная бинарная запись? 0

Опции темы