Массовый импорт CSV в SQL

@sergun87 · Регистрация: 17.03.2015

Студворк — интернет-сервис помощи студентам

Всем привет!
Задача такая,есть несколько файлов CSV которые надо массово импортировать в таблицу.
Таблицу пока временную.
Я собрал такую конструкцию но она у меня выпадает в ошибку "Имя столбца или число предоставленных значений не соответствует определению таблицы."
Поможете советами или подсказками?

Код такой :

SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
IF (OBJECT_ID('tempdb..#csv_temp') IS NOT NULL) DROP TABLE #csv_temp;
    
    CREATE TABLE #csv_temp(
            [Times] VARCHAR (100),
            [Caller_Name] INT,
            [Caller_Number] INT,
            [Callee_Name] INT,
            [Callee_Numbers] VARCHAR(100),
            [DOD] VARCHAR(100),
            [DID] VARCHAR(100),
            [Call_Duration_(s)] INT,
            [Talk_Duration_(s)] INT,
            [STATUS] VARCHAR(100),
            [Source_Trunk] VARCHAR(50),
            [Destination Trunk] VARCHAR(100),
            [Communication_Type] VARCHAR(100),
            [PIN_Code] VARCHAR(10),
            [Caller IP Address] VARCHAR(200),
            [Cost] VARCHAR(100),
            [Billing_Account] VARCHAR(100)) 
 
    -- Переменые 
    DECLARE @filename VARCHAR(255),
            @path     VARCHAR(255),
            @SQL      VARCHAR(8000),
            @cmd      VARCHAR(1000)
 
 
    --получить список файлов для обработки:
    SET @path = 'C:\serg\'
    SET @cmd = 'dir ' + @path + '*.csv /b'
    
    INSERT INTO #csv_temp
    (     [Times],
          [Caller_Name],
          [Caller_Number],
          [Callee_Name],
          [Callee_Numbers],
          [DOD],
          [DID],
          [Call_Duration_(s)],
          [Talk_Duration_(s)],
          [Status],
          [Source_Trunk],
          [Destination Trunk],
          [Communication_Type],
          [PIN_Code],
          [Caller IP Address],
          [Cost],
          [Billing_Account]
        )
    
    EXEC Master..xp_cmdShell @cmd
    UPDATE #csv_temp SET Times = @path where Times is null
 
 
    -- Цикл Курсора
    declare c1 cursor for SELECT Times FROM #csv_temp where Times like '%.csv%'
    open c1
    fetch next from c1 into @path,@filename
    While @@fetch_status <> -1
      begin
      --bulk insert won't take a variable name, so make a SQL AND EXECUTE it instead:
       SET @SQL = 'BULK INSERT #csv_temp FROM ''' + @path + @filename + ''' '
           + '     WITH ( 
                   FIELDTERMINATOR = '';'', 
                   ROWTERMINATOR = ''0x0a'', 
                   FIRSTROW = 2 
                ) '
   -- Вывод результата
   print @SQL
    EXEC (@SQL)
 
      fetch NEXT FROM c1 INTO @path,@filename
      END
    close c1
    deallocate c1

Добавлено через 1 час 50 минут
Теперь новая проблема :
Запрос возвращает ошибку : Выборка курсора: количество переменных, объявленных в списке INTO, должно совпадать с количеством выбранных столбцов.

SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
--МАССОВАЯ ВСТАВКА НЕСКОЛЬКИХ ФАЙЛОВ_CSV ИЗ ПАПКИ 
--Пока что ругается на курсор
 
  
    IF (OBJECT_ID('tempdb..#csv_temp') IS NOT NULL) DROP TABLE #csv_temp;
    
    CREATE TABLE #csv_temp(
            [Times] VARCHAR (100),
            [Caller_Name] INT,
            [Caller_Number] INT,
            [Callee_Name] INT,
            [Callee_Numbers] VARCHAR(100),
            [DOD] VARCHAR(100),
            [DID] VARCHAR(100),
            [Call_Duration_(s)] INT,
            [Talk_Duration_(s)] INT,
            [STATUS] VARCHAR(100),
            [Source_Trunk] VARCHAR(50),
            [Destination Trunk] VARCHAR(100),
            [Communication_Type] VARCHAR(100),
            [PIN_Code] VARCHAR(10),
            [Caller IP Address] VARCHAR(200),
            [Cost] VARCHAR(100),
            [Billing_Account] VARCHAR(100)
            ) 
 
    -- Переменые 
    DECLARE @filename VARCHAR(255),
            @path     VARCHAR(255),
            @SQL      VARCHAR(8000),
            @cmd      VARCHAR(1000)
         
 
    --получить список файлов для обработки:
    SET @path = 'C:\serg\'
    SET @cmd = 'dir ' + @path + '*.csv /b'
    
    INSERT INTO #csv_temp
    (       [Times] ,
            [Caller_Name],
            [Caller_Number],
            [Callee_Name],
            [Callee_Numbers] ,
            [DOD],
            [DID],
            [Call_Duration_(s)],
            [Talk_Duration_(s)],
            [Status],
            [Source_Trunk],
            [Destination Trunk],
            [Communication_Type],
            [PIN_Code],
            [Caller IP Address],
            [Cost],
            [Billing_Account]
        )
    --SELECT '17'
    VALUES (
    (SELECT [Times] FROM #csv_temp ),
    (SELECT [Caller_Name] FROM #csv_temp ),
    (SELECT [Caller_Number] FROM #csv_temp ),
    (SELECT [Callee_Name] FROM #csv_temp ),
    (SELECT [Callee_Numbers] FROM #csv_temp ),
    (SELECT [DOD] FROM #csv_temp ),
    (SELECT [DID] FROM #csv_temp ),
    (SELECT [Call_Duration_(s)] FROM #csv_temp ),
    (SELECT [Talk_Duration_(s)] FROM #csv_temp ),
    (SELECT [Status] FROM #csv_temp ),
    (SELECT [Source_Trunk] FROM #csv_temp ),
    (SELECT [Destination Trunk] FROM #csv_temp ),
    (SELECT [Communication_Type] FROM #csv_temp ),
    (SELECT [PIN_Code] FROM #csv_temp ),
    (SELECT [Caller IP Address] FROM #csv_temp ),
    (SELECT [Cost] FROM #csv_temp ),
    (SELECT [Billing_Account] FROM #csv_temp )
     )
    
    EXEC Master..xp_cmdShell @cmd
    UPDATE #csv_temp SET [Times] = @path where [Times] is null
 
 
    -- Курсор
    declare c1 cursor for SELECT [Times] FROM #csv_temp where Times like '%.csv%'
    open c1
    fetch next from c1 into @path,@filename
    While @@fetch_status <> -1
      begin
      --bulk insert won't take a variable name, so make a SQL AND EXECUTE it instead:
       SET @SQL = 'BULK INSERT #csv_temp FROM ''' + @path + @filename + ''' '
           + '     WITH ( 
                   FIELDTERMINATOR = '';'', 
                   ROWTERMINATOR = ''0x0a'', 
                   FIRSTROW = 2 
                ) '
   -- Вывод результата
   print @SQL
    EXEC (@SQL)
 
      fetch NEXT FROM c1 INTO @path,@filename
      END
    close c1
    deallocate c1
--------------------------------------------------------------------------------------

@sergun87 · 15.02.2021, 21:33 **[ТС]**

Я не силен в SQL пытаюсь научится =))
SELECT *
into #csv_temp
FROM #csv_temp
WITH (firstrow = 2,fieldterminator = ';', rowterminator = '0x0a',CODEPAGE = '1251'); - это разделите.
# csv_temp это временная таблица куда я планирую импортировать данные.
Запрос не мой,я его пытаюсь под себя переделать.

@Kulma · 15.02.2021, 23:11

Сообщение от sergun87

Я не силен в SQL пытаюсь научится =))

Ну так все не родились с этими знаниями, все когда-то начинали, учились .

Ваш запрос работать не будет. И дело даже не в том , что объявление параметров
WITH (firstrow = 2,fieldterminator = ';', rowterminator = '0x0a',CODEPAGE = '1251') тут ни с какого боку не клеится,
это из другой оперы.
Дело в том , что запросы типа SELECT * INTO table_A FROM table_B - это создание таблицы
на основе выборки из другой таблицы, т.е создание таблицы table_A на основе выборки всех полей * из
таблицы table_B
Разжуём ваш запрос :

SELECT * --выбираем все поля
INTO #csv_temp --создаём таблицу #csv_temp
FROM #csv_temp --из таблицы #csv_temp

Ничего не смущает ?
Как только вы попытаетесь создать таблицу с именем, которое уже существует в бд, сервер
выдаст ошибку и пошлёт вас читать документацию .
Ну про ваш чудо INSERT запрос я уже писал раньше ))

Вы же поди в SSMS (SQL Server Management Studio) развлекаетесь ?
Ну так увидели непонятную/незнакомую инструкцию типа INSERT INTO SELECT, выделили её и нажали F1.
И о чудо , перед вами справочка , что как и куда .Не стесняйтесь к ней обращаться, это базовые понятия
без них никуда не продвинетесь ))
А то вы уже который день прям по бородатому анекдоту :"мыши плакали, кололись , но продолжали жрать кактус" ))

@sergun87 · 16.02.2021, 15:16 **[ТС]**

Вот рабочий код на случай если кому нужно.

SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
--работает---но циклом
 
 
IF (OBJECT_ID('tempdb..#temp') IS NOT NULL) DROP TABLE #temp;
-- Создаю временную таблицу 
CREATE TABLE #temp (
            [T] VARCHAR(250),
            [C] VARCHAR (250),
            [C] VARCHAR (250),
            [C] VARCHAR (250),
            [C] VARCHAR(250),
            [D] VARCHAR(250),
            [D] VARCHAR(250),
            [C)] VARCHAR (200),
            [T] VARCHAR (200),
            [S] VARCHAR(200),
            [S] VARCHAR(50),
            [D] VARCHAR(100),
            [C] VARCHAR(100),
            [P] VARCHAR(10),
            [C] VARCHAR(200),
            [C] VARCHAR(100),
            [B] VARCHAR(100)
            
)
 
SET nocount off;
 
DECLARE @files TABLE ([filename] VARCHAR(255), sub SMALLINT, isfile SMALLINT)
DECLARE @SQL VARCHAR(2048)
DECLARE @filename VARCHAR(255) 
DECLARE @path VARCHAR(255) = 'c:\serg'
 
 
INSERT INTO @files ([filename],sub,isfile)
EXEC xp_dirtree @path,1,1
 
DELETE @files WHERE [filename] NOT LIKE '%.csv' 
 
 
while EXISTS (SELECT top 1 1 FROM @files)
BEGIN
    SELECT top 1 @filename=filename FROM @files 
 
    
 
    SET @SQL = 'BULK INSERT #csv_temp FROM ''' + @path +'\'+ @filename + ''' WITH (FIELDTERMINATOR = '';'', ROWTERMINATOR = ''0x0a'', FIRSTROW = 2 ) '
    print @sql
    exec (@sql)
 
    delete @files where [filename]=@filename 
    set @filename=''
end

Новые блоги и статьи Все статьи Все блоги /
мат медиц модель 30. презентация проекта anaschu 27.08.2026 хоп хоп хоп хидахоп, а я кладую))	Как у меня протекала болезнь zorxor 27.08.2026 Здравствуйте, друзья! Эта запись блога предназначена именно для вас - для моих дорогих друзей, которые знали меня лично. Чтобы ответить на вопрос - а что же со мной произошло на самом деле? Я учился. . .	Нашел вот забавное видео о измерениях. Лучшее что я видел на эту тему kumehtar 26.08.2026 ILETXiw9bMQ Основная суть и тезисы по измерениям: 0D (Нулевое измерение): точка, не имеющая длины, ширины, высоты или объема. Объект не может перемещаться в 0D. 1D (Первое измерение):. . .	[EasyBuilder Pro] Памятка по разработке для панелей Weintek ФедосеевПавел 26.08.2026 Памятка по разработке для панелей Weintek ВВЕДЕНИЕ Ранее, при реализации проектов основное внимание уделял разработке управляющей программы для контроллера, а панели оператора доставалось время. . .
Модель по догадкам anaschu 25.08.2026 Прошло две недели. Я уже рассказывал, как разговаривал с сотрудниками у сортировки и как понял, что главная ветка — не про приёмку, а про отбор. Но тогда я думал, что понял механику. На этой неделе я. . .	Запись в регистр сведений независимо от заполненности табличной части Maks 25.08.2026 Реализация из решения ниже выполнена на нетиповом документе с несколькими табличными частями, разработанного в КА2. Задача: Обеспечить запись документа в регистр сведений независимо от. . .	Ноутбук Альфария kumehtar 24.08.2026 Встретился тут в сети ноутбук Альфария, примарха Альфа-Легиона. Хотя возможно, это ноутбук Омегона, разумеется. Ну как вам?	Мастера простых решений DevAlt 23.08.2026 В сишарп стэках winforms, да и wpf существует сложная система связывания источниках данных и элементов формы(текстовые поля и метки), опирается все это на технологию событий и мета. . .

@sergun87 -3 / 3 / 0 Регистрация: 17.03.2015 Сообщений: 86
	15.02.2021, 21:33 [ТС]
	Я не силен в SQL пытаюсь научится =)) SELECT * into #csv_temp FROM #csv_temp WITH (firstrow = 2,fieldterminator = ';', rowterminator = '0x0a',CODEPAGE = '1251'); - это разделите. # csv_temp это временная таблица куда я планирую импортировать данные. Запрос не мой,я его пытаюсь под себя переделать. 0

Опции темы