Импорт в MS Sql Server из CSV

@MaryoLunga83 · Регистрация: 11.12.2019

Author24 — интернет-сервис помощи студентам

всем доброго дня.

столкнулся с проблемой. есть програмулина написана на Delphi, база данных подключена Access, по истечению времени база сильно разширилась, добавилось кучу новых таблиц, ну и соответственно основная таблица сильно разширилась.
Хочу перевести на MS SQL Server.
выгрузил все таблицы в CSV, ну и начал импортировать

вот код к одной из импортированых таблиц, остальные по аналогии

Delphi

procedure TufImportBase.btnImpMain_originalClick(Sender: TObject);
begin
   if OpenDialogMain_original.Execute then
    if OpenDialogMain_original.FileName <> null then
    begin
      TextReaderMain_original.FileName := OpenDialogMain_original.FileName;
      try
        ImportFromTextBatchMain_original.Execute;
        DataModule1.FDQueryMain.close;
        DataModule1.FDQueryMain.open;
      except
        On E: Exception do
          ShowMessage(E.Message);
      end;
    end;
 
  Application.MessageBox('Базу успішно завантажено', 'Завантаження',
    MB_OK + MB_ICONQUESTION);
end;

я не думаю что в коде проблема

4 огромных таблиц с кучей данных импортировало без проблем, теперь начал подгружать мелоч, справочники всякие, вспомогательные таблицы, ну короче (много текста)...

выдает такую ошибку при импорте, скорее всего чтото с настройкой самого сервера

помогите пожалуста

и еще одно, - после этой ошибки при входе в любое окно программы выдает ту же ошибку

@Пытливый · 24.03.2024, 13:51

Это не очень удачное решение. MS SQL имеет собственные средства импорта данных.

@Beltar · 24.03.2024, 14:05

Ну во-1, там действительно мощный мастер импорта из кучи всего, во-2, для задач связанных с одним проходом по данным есть такая штука, как однонаправленный курсор, в этом случае после вызова Next, запись удаляется из набора, и при ограниченном числе загружаемых в датасет записей, можно протащить любой объем данных.

@MaryoLunga83 · 24.03.2024, 17:25 **[ТС]**

какая-то мистика...
как же я долго мучался, и вот каждый раз как только обращусь за помощью на форум, буквально сразу же нахожу ответ сам...
спасибо вам...
я действительно воспользовался мастером импорта даных SQL Server. все быстро и удобно (не судите строго, поскольку никогда не имел дело с этим, да и спросить не у кого (ну кроме интернета конечно, что не всегда быстро и ясно))

Добавлено через 1 час 16 минут
и все же, столкнулся с следующей проблемой... загружаю временные списки для обработки, и опять выдаепт ту же ошибку... не пойму в чем причина
Out of memory

Добавлено через 1 час 57 минут
Пытливый, что же делать в случае когда есть списки которые надо отработать (загрузить в програму, дополнить данными, потом выгрузить обратно)

выдает опять Out of memory

@krapotkin · 24.03.2024, 20:32

а сколько там записей в этих списках ??

Добавлено через 1 час 44 минуты
кстати, если речь вообще о миграции
https://support.microsoft.com/... 22fc42c979

@MaryoLunga83 · 25.03.2024, 19:16 **[ТС]**

не много, есть списки на +- 100 строк

но мне кажеться что дело в каких-то настройках самого сервера....
хотя при работе программы используеться оперативная память машины с которой она запускаеться...

миграцию я сделал с помощью SSMS, все прошло быстро и удобно.. есть конечно нюансы, с полями типа nvarchar когда нужно отфильтровать по NULL, но с этим я как-то разберусь. ну и поле int в access было просто числовое, а при миграции приходиться перевести в bigint. там штрих код на 10 символов который начинаетьься на 7726000001

@Пытливый · 25.03.2024, 21:47

Практически все ситуации, в которых я получал такую ошибку при работе с базами, возникали в результате испорченного файла БД. Это был испорченный индекс и переиндексация проблему решила. Это было неправильное значение ключевого поля и т.д.

@MaryoLunga83 · 29.03.2024, 19:50 **[ТС]**

Пытливый, вы ведете к тому, что таблица базы данных неправильного формата?, тоесть неправильные типи полей?
все поля символьные, и размер символов в ячейке превышает

даже удалял таблицу, создавал заново, та же ошибка

все-таки мне кажеться что есть какая-то загогулина в настройках саморго сервера, только вот не могу ничего подобного найти в интернете

P.S.
может проблема с операционной системой? криво встала

@Пытливый · 29.03.2024, 21:29

Первое, что вам надо сделать, это настроить журнал операций и раз у вас количество записей небольшое, то придется вносить в журнал id каждой удачной записи и после получения ошибки, внимательно посмотреть, какое значение в таблице приводит к такому результату и если не получится и после этого найти ошибку, то запустить экспорт с записи вызывающей ошибку в режиме пошаговой отладки и проверить каждое из значений, которое вы экспортируете.

@Beltar · 29.03.2024, 21:37

А профайлер самого SQL-сервера не поможет? Он как бы все поступающие запросы ловит.

@Ludwig Valentin · 30.03.2024, 22:04

Сообщение от MaryoLunga83

выдает опять Out of memory

Надо или размер БД увеличить или сделать trunc лога.

@MaryoLunga83 · 02.04.2024, 11:38 **[ТС]**

Ludwig Valentin, всм размер базы увеличить, там же стоит авто разширение

Добавлено через 3 минуты
все дело в том, что это база в которую постоянно вносяться изминения, ну и соответственно добавляються записи... так вот при добавлении новых записей все ОК, никаких ошибок, ошибка только при импорте данных в таблицу базы из csv файла

@Ludwig Valentin · 02.04.2024, 18:56

Возможно, забит под завязку Transaction Log.
Или ошибки при форматировании файла csv.
Попробуйте напрямик, из базы в базу импорт.
Прямо из Access по ODBC.
Или через Linked Server.

@MaryoLunga83 · 02.04.2024, 19:19 **[ТС]**

Ludwig Valentin, дело в том, что базу я мигрировал, все ок.

но тут есть списки, (импорт - обработка - експорт) из csv. вот тут и ошибка о нехватке памати

@Ludwig Valentin · 02.04.2024, 19:22

Сообщение от MaryoLunga83

вот тут и ошибка о нехватке памати

Truncate Transcation Log. Обрезать лог транзакций - пробовал?
Или увеличить базу лога.(MS SQL).
Какой размер файла CSV - в Кб, Мб?

@MaryoLunga83 · 02.04.2024, 19:43 **[ТС]**

Ludwig Valentin, 27kb
268 строк

@Ludwig Valentin · 02.04.2024, 19:47

Сообщение от MaryoLunga83

27kb
268 строк

Такой маленький. Проблем быть не должно.
Не совсем ясно, во что вы вляпались.
А ошибка вылетает во время работы мастера импорта SQL Server?

@MaryoLunga83 · 03.04.2024, 08:24 **[ТС]**

Ludwig Valentin, нет, импорт проводиться програмно, Delphi (в самом начале поста есть код)

и это при том, что я не первый раз такое делаю, и есть еще мелкие базы куда все ок грузиться (правда нюанс в том, что на тех прогах SQL Server стоял на локальной машине, и работал автономно, а это подключение к сетевому серверу)

@Пытливый · 03.04.2024, 13:47

MaryoLunga83 вы все еще боретесь с импортом и так и не нашли ошибку, даже после пошаговой отладки, как я предлагал ранее?

@Ludwig Valentin Matthias Ronald Gerard 149 / 210 / 25 Регистрация: 11.08.2022 Сообщений: 2,083
	02.04.2024, 19:22	15
	Сообщение от MaryoLunga83 вот тут и ошибка о нехватке памати Truncate Transcation Log. Обрезать лог транзакций - пробовал? Или увеличить базу лога.(MS SQL). Какой размер файла CSV - в Кб, Мб? 0

@Пытливый 3587 / 2196 / 693 Регистрация: 29.05.2013 Сообщений: 9,381
	24.03.2024, 13:51	2
	Это не очень удачное решение. MS SQL имеет собственные средства импорта данных. 0

@Beltar -105 / 156 / 18 Регистрация: 05.05.2022 Сообщений: 954
	24.03.2024, 14:05	3
	Ну во-1, там действительно мощный мастер импорта из кучи всего, во-2, для задач связанных с одним проходом по данным есть такая штука, как однонаправленный курсор, в этом случае после вызова Next, запись удаляется из набора, и при ограниченном числе загружаемых в датасет записей, можно протащить любой объем данных. 0

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	24.03.2024, 17:25 [ТС]	4
	какая-то мистика... как же я долго мучался, и вот каждый раз как только обращусь за помощью на форум, буквально сразу же нахожу ответ сам... спасибо вам... я действительно воспользовался мастером импорта даных SQL Server. все быстро и удобно (не судите строго, поскольку никогда не имел дело с этим, да и спросить не у кого (ну кроме интернета конечно, что не всегда быстро и ясно)) Добавлено через 1 час 16 минут и все же, столкнулся с следующей проблемой... загружаю временные списки для обработки, и опять выдаепт ту же ошибку... не пойму в чем причина Out of memory Добавлено через 1 час 57 минут Пытливый, что же делать в случае когда есть списки которые надо отработать (загрузить в програму, дополнить данными, потом выгрузить обратно) выдает опять Out of memory 0

@krapotkin 5786 / 4528 / 1431 Регистрация: 14.04.2014 Сообщений: 20,160 Записей в блоге: 20
	24.03.2024, 20:32	5
	а сколько там записей в этих списках ?? Добавлено через 1 час 44 минуты кстати, если речь вообще о миграции https://support.microsoft.com/... 22fc42c979 0

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	25.03.2024, 19:16 [ТС]	6
	не много, есть списки на +- 100 строк но мне кажеться что дело в каких-то настройках самого сервера.... хотя при работе программы используеться оперативная память машины с которой она запускаеться... миграцию я сделал с помощью SSMS, все прошло быстро и удобно.. есть конечно нюансы, с полями типа nvarchar когда нужно отфильтровать по NULL, но с этим я как-то разберусь. ну и поле int в access было просто числовое, а при миграции приходиться перевести в bigint. там штрих код на 10 символов который начинаетьься на 7726000001 0

@Пытливый 3587 / 2196 / 693 Регистрация: 29.05.2013 Сообщений: 9,381
	25.03.2024, 21:47	7
	Практически все ситуации, в которых я получал такую ошибку при работе с базами, возникали в результате испорченного файла БД. Это был испорченный индекс и переиндексация проблему решила. Это было неправильное значение ключевого поля и т.д. 0

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	29.03.2024, 19:50 [ТС]	8
	Пытливый, вы ведете к тому, что таблица базы данных неправильного формата?, тоесть неправильные типи полей? все поля символьные, и размер символов в ячейке превышает даже удалял таблицу, создавал заново, та же ошибка все-таки мне кажеться что есть какая-то загогулина в настройках саморго сервера, только вот не могу ничего подобного найти в интернете P.S. может проблема с операционной системой? криво встала 0

@Пытливый 3587 / 2196 / 693 Регистрация: 29.05.2013 Сообщений: 9,381
	29.03.2024, 21:29	9
	Первое, что вам надо сделать, это настроить журнал операций и раз у вас количество записей небольшое, то придется вносить в журнал id каждой удачной записи и после получения ошибки, внимательно посмотреть, какое значение в таблице приводит к такому результату и если не получится и после этого найти ошибку, то запустить экспорт с записи вызывающей ошибку в режиме пошаговой отладки и проверить каждое из значений, которое вы экспортируете. 1

@Beltar -105 / 156 / 18 Регистрация: 05.05.2022 Сообщений: 954
	29.03.2024, 21:37	10
	А профайлер самого SQL-сервера не поможет? Он как бы все поступающие запросы ловит. 1

@Ludwig Valentin Matthias Ronald Gerard 149 / 210 / 25 Регистрация: 11.08.2022 Сообщений: 2,083
	30.03.2024, 22:04	11
	Сообщение от MaryoLunga83 выдает опять Out of memory Надо или размер БД увеличить или сделать trunc лога. 0

	03.04.2024, 13:47

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	02.04.2024, 11:38 [ТС]	12
	Ludwig Valentin, всм размер базы увеличить, там же стоит авто разширение Добавлено через 3 минуты все дело в том, что это база в которую постоянно вносяться изминения, ну и соответственно добавляються записи... так вот при добавлении новых записей все ОК, никаких ошибок, ошибка только при импорте данных в таблицу базы из csv файла 0

@Ludwig Valentin Matthias Ronald Gerard 149 / 210 / 25 Регистрация: 11.08.2022 Сообщений: 2,083
	02.04.2024, 18:56	13
	Возможно, забит под завязку Transaction Log. Или ошибки при форматировании файла csv. Попробуйте напрямик, из базы в базу импорт. Прямо из Access по ODBC. Или через Linked Server. 0

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	02.04.2024, 19:19 [ТС]	14
	Ludwig Valentin, дело в том, что базу я мигрировал, все ок. но тут есть списки, (импорт - обработка - експорт) из csv. вот тут и ошибка о нехватке памати 0

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	02.04.2024, 19:43 [ТС]	16
	Ludwig Valentin, 27kb 268 строк 0

@Ludwig Valentin Matthias Ronald Gerard 149 / 210 / 25 Регистрация: 11.08.2022 Сообщений: 2,083
	02.04.2024, 19:47	17
	Сообщение от MaryoLunga83 27kb 268 строк Такой маленький. Проблем быть не должно. Не совсем ясно, во что вы вляпались. А ошибка вылетает во время работы мастера импорта SQL Server? 0

@MaryoLunga83 8 / 0 / 0 Регистрация: 11.12.2019 Сообщений: 210
	03.04.2024, 08:24 [ТС]	18
	Ludwig Valentin, нет, импорт проводиться програмно, Delphi (в самом начале поста есть код) и это при том, что я не первый раз такое делаю, и есть еще мелкие базы куда все ок грузиться (правда нюанс в том, что на тех прогах SQL Server стоял на локальной машине, и работал автономно, а это подключение к сетевому серверу) 0