Быстрый импорт excel в sql

@alexeychal · Регистрация: 26.10.2017

Студворк — интернет-сервис помощи студентам

Форумчане, приветствую!

Есть файл excel размером 500к строк +-. Нужно максимально быстро переливать данные из excel в sql и в момент перелива подменять некоторые данные или же из одной ячейки разбивать на несколько.

Например, у меня в ячейке есть номер документа 123.45 123456 его нужно разбить на серию и номер документа, или же в этой ячейке будет номер нового образца, который разделять не нужно.

Вот пример моего кода, но такой файлик обрабатывается по 4-5 часов, что совсем уж неудобно. прошу Вашей помощи!

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
using (var con = new SqlConnection(connectionString))
                        {
                            BeginInvoke(new MethodInvoker(delegate
                            {
                                progressBar1.Visible = true;
                                label2.Text = "Открываю файл Excel...";
                                label2.Visible = true;
                                button3.Enabled = false;
                            }));
                            try
                            {
                                com = new SqlCommand();
                                com.Connection = con;
                                con.Open();
                                com.CommandType = CommandType.Text;
 
                                Excel1.Application xlApp = new Excel1.Application();
                                Excel1.Workbook xlWorkBook = xlApp.Workbooks.Open(filePath);
                                Excel1._Worksheet xlWorksheet = xlWorkBook.Sheets[1];
                                Excel1.Range xlRange = xlWorksheet.UsedRange;
                                xlApp.Interactive = false;
                                xlApp.DisplayAlerts = false;
                                int rowCount = xlRange.Rows.Count;
                                rowCount = rowCount - 20;
 
 
 
                                for (int j = 6; j <= rowCount; j++) //7
                                {
 
                                    if (xlRange.Cells[j, 22].Value == null)
                                    {
                                        yearln = "0";
                                    }
                                    else
                                    {
                                        yearln = xlRange.Cells[j, 22].Value2.ToString();
                                    }
                                    string ID_PAC = String.Format("'{0}'", xlRange.Cells[j, 3].Value2.ToString());
 
                                    if (xlRange.Cells[j, 4].Value == null)
                                    {
                                        FIO = String.Format("'{0}'", "Неизвестно");
                                    }
                                    else
                                    {
                                        FIO = String.Format("'{0}'", xlRange.Cells[j, 4].Value2.ToString());
                                    }
                                    if ((xlRange.Cells[j, 5].Value == null) || (xlRange.Cells[j, 5].Value == null))
                                    {
                                        Pol = "0";
                                    }
                                    Pol = xlRange.Cells[j, 5].Value2.ToString();
                                    if (Pol == "Ж")
                                    {
                                        Pol = "2";
                                    }
                                    else
                                    if (Pol == "М")
                                    {
                                        Pol = "1";
                                    }
                                    if (xlRange.Cells[j,15] == null)
                                    {
                                        mkb = "NULL";
                                    }
                                    else
                                    {
                                        mkb = String.Format("'{0}'", xlRange.Cells[j, 15].Value2.ToString());
                                    }
                                    if (xlRange.Cells[j, 6].Value == null)
                                    {
                                        Drogd = "NULL";
                                    }
                                    else
                                    {
                                        Drogd = xlRange.Cells[j, 6].Value.ToString();
                                        Drogd = Drogd.Replace('.', '-');
                                        Drogd = Drogd.Substring(0, 10);
                                        Drogd = String.Format("'{0}'", Drogd);
                                    }
                                    if (xlRange.Cells[j, 7].Value == null)
                                    {
                                        NPolis = "NULL";
                                        NPolis = "NULL";
                                        VPolis = "NULL";
                                    }
                                    else
                                    {
 
                                        NPolis = xlRange.Cells[j, 7].Value.ToString();
                                        NPolis = NPolis.Trim();
                                        if ((NPolis.IndexOf('.') >= 0) || (NPolis.IndexOf('-') >= 0) || (NPolis.IndexOf(' ') >= 0))
                                        {
                                            if ((NPolis[3] == '-') || (NPolis[3] == '.'))
                                            {
                                                SPolis = String.Format("'{0}'", NPolis.Substring(0, 6));
                                                NPolis = String.Format("'{0}'", NPolis.Substring(7));
                                                VPolis = "1";
                                            }
                                            else
                                            if (NPolis[3] == ' ')
                                            {
                                                SPolis = String.Format("'{0}'", NPolis.Substring(0, 3));
                                                NPolis = String.Format("'{0}'", NPolis.Substring(4));
                                                VPolis = "1";
                                            }
                                            else
                                            if (NPolis[4] == ' ')
                                            {
                                                SPolis = String.Format("'{0}'", NPolis.Substring(0, 4));
                                                NPolis = String.Format("'{0}'", NPolis.Substring(5));
                                                VPolis = "1";
                                            }
                                            else
                                            if (NPolis[6] == ' ')
                                            {
                                                SPolis = String.Format("'{0}'", NPolis.Substring(0, 6));
                                                NPolis = String.Format("'{0}'", NPolis.Substring(7));
                                                VPolis = "1";
 
                                            }
                                            if ((NPolis.Length == 16) & (NPolis.IndexOf('-') < 0))
                                            {
                                                VPolis = "3";
                                            }
                                            if (SPolis == "")
                                            {
                                                SPolis = "NULL";
                                            }
                                            if (NPolis == "")
                                            {
                                                NPolis = "NULL";
                                            }
                                            if (VPolis == "")
                                            {
                                                VPolis = "NULL";
                                            }
 
 
                                        }
                                        else
                                        {
                                            VPolis = "3";
                                            SPolis = "NULL";
                                        }
                                        if (NPolis.Length < 7)
                                        {
                                            NPolis = "NULL";
                                        }
                                        if ((NPolis.Length < 16) & (NPolis.Length > 14) & (SPolis == "NULL"))
                                        {
                                            NPolis = String.Format("'{0}'", "0" + NPolis);
                                            VPolis = "3";
                                        }
                                        if ((NPolis.IndexOf("'") < 0) & (NPolis != "NULL"))
                                        {
                                            NPolis = String.Format("'{0}'", NPolis);
                                        }
                                        if ((NPolis.Length < 16) & (NPolis.Length >= 6) & (SPolis == "NULL"))
                                        {
                                            VPolis = "2";
                                        }
                                        if (NPolis.Length < 5)
                                        {
                                            NPolis = "NULL";
                                            SPolis = "NULL";
                                            VPolis = "NULL";
                                        }
                                    }
 
                                    if (xlRange.Cells[j, 21].Value == null)
                                    {
                                        Month = "NULL";
                                    }
                                    else
                                    {
                                        Month = xlRange.Cells[j, 21].Value2.ToString();
                                    }
 
                                    if (xlRange.Cells[j, 9].Value == null)
                                    {
                                        NameMO = "NULL";
                                    }
                                    else
                                    {
                                        NameMO = String.Format("'{0}'", xlRange.Cells[j, 9].Value2.ToString());
                                    }
 
                                    if (xlRange.Cells[j, 8].Value == null)
                                    {
                                        CodeMO = "NULL";
                                    }
                                    else
                                    {
                                        CodeMO = String.Format("'{0}'", xlRange.Cells[j, 8].Value2.ToString());
                                    }
 
                                    if (xlRange.Cells[j, 26].Value == null)
                                    {
                                        firstInformingDate = "NULL";
                                    }
                                    else
                                    {
                                        firstInformingDate = xlRange.Cells[j, 26].Value.ToString();
 
                                        firstInformingDate = firstInformingDate.Replace('.', '-');
                                        firstInformingDate = firstInformingDate.Substring(0, 10);
                                        firstInformingDate = String.Format("'{0}'", firstInformingDate);
                                    }
 
 
                                    if (xlRange.Cells[j, 27].Value == null)
                                    {
                                        firstInformingType = "NULL";
                                    }
                                    else
                                    {
                                        firstInformingType = xlRange.Cells[j, 27].Value2.ToString();
                                        if (firstInformingType == "СМС-рассылка")
                                        {
                                            firstInformingType = String.Format("'{0}'", "1");
                                        }
                                        else
                                        if (firstInformingType == "почтовые рассылки")
                                        {
                                            firstInformingType = String.Format("'{0}'", "2");
                                        }
                                        else
                                        if (firstInformingType == "телефонный обзвон")
                                        {
                                            firstInformingType = String.Format("'{0}'", "3");
                                        }
                                        else
                                        if (firstInformingType == "мессенджеры")
                                        {
                                            firstInformingType = String.Format("'{0}'", "4");
                                        }
                                        else
                                        if (firstInformingType == "электронная почта")
                                        {
                                            firstInformingType = String.Format("'{0}'", "5");
                                        }
                                        else
                                        if (firstInformingType == "адресный обход")
                                        {
                                            firstInformingType = String.Format("'{0}'", "6");
                                        }
                                        else
                                        if (firstInformingType == "иные способы")
                                        {
                                            firstInformingType = String.Format("'{0}'", "7");
                                        }
                                        else
                                        {
                                            firstInformingType = "NULL";
                                        }
                                    }
 
                                    if (xlRange.Cells[j, 29].Value == null)
                                    {
                                        Dropped = "NULL";
                                    }
                                    else
                                    {
                                        Dropped = "1";
                                    }
 
 
                                    com.CommandText = @"set dateformat dmy " +
                                                       " if not exists (select 1 from PersList where year=" + yearln +
                                                                                                 " and id_zl=" + ID_PAC +
                                                                                                 " and mkb=" + mkb +
                                                                                                 " and month=" + Month +
                                                                                                 " and TypeInforming = 5)" +
                                                       " Begin " +
                                                       " insert into PersList (Year, TypeInforming, ID_ZL, FIO, Pol, Drogd, VPolis, SPolis, Npolis, Month, CodeMO, NameMO, firstInformingDate, firstInformingType, Dropped,mkb)" +
                                                       " values (" + yearln + "," +
                                                                     "5" + "," +
                                                                     ID_PAC + "," +
                                                                     FIO + "," +
                                                                     Pol + "," +
                                                                     Drogd + "," +
                                                                     VPolis + "," +
                                                                     SPolis + "," +
                                                                     NPolis + "," +
                                                                     Month + "," +
                                                                     CodeMO + "," +
                                                                     NameMO + "," +
                                                                     firstInformingDate + "," +
                                                                     firstInformingType + "," +
                                                                     Dropped + ","+ 
                                                                     mkb+")" +
                                                       " End";
                                    com.ExecuteNonQuery();
 
 
                                    NPolis = "";
                                    VPolis = "";
                                    SPolis = "";
                                    BeginInvoke(new MethodInvoker(delegate
                                    {
                                        label2.Text = "Загружено записей " + j.ToString() + " из " + (rowCount + 1).ToString();
                                        progressBar1.Value = j * 100 / rowCount;
                                    }));
 
 
                                }
 
                                GC.Collect();
                                GC.WaitForPendingFinalizers();
 
                                Marshal.ReleaseComObject(xlRange);
                                Marshal.ReleaseComObject(xlWorksheet);
 
                                xlWorkBook.Close();
                                Marshal.ReleaseComObject(xlWorkBook);
 
                                xlApp.Quit();
                                Marshal.ReleaseComObject(xlApp);
 
                            }
                            finally
                            {
                                BeginInvoke(new MethodInvoker(delegate
                                {
                                    label2.Text = "Загружаю дополнительные данные из базы ШК, подождите...";
                                    progressBar1.Visible = false;
                                }));
                                con.Close();
                                com.CommandTimeout = 100500;
                                com.CommandText = @"  update p 
                                                      set p.Fam = ltrim(rtrim(f.fam))
                                                    , p.Im = ltrim(rtrim(f.im))
                                                    , p.Ot = ltrim(rtrim(f.ot))
  from PersList as p inner join
  [fizlico] as f on ltrim(rtrim(replace(f.fam,'ё','е'))) + ' ' + ltrim(rtrim(replace(f.im,'ё','е'))) + ' ' + ltrim(rtrim(replace(f.ot,'ё','е'))) = replace(p.FIO,'ё','е')
                                                     and f.date_r=p.Drogd
                                                 and p.TypeInforming = 5
                                                 and p.Fam is null
                                                 and p.Im is null
                                                 and p.Ot is null";
                                con.Open();
                                com.ExecuteNonQuery();
 
                                con.Close();
 
 
                            }
                            BeginInvoke(new MethodInvoker(delegate
                            {
                                MessageBox.Show("Загрузка выполнена успешно!");
                                button3.Enabled = true;
                                label2.Visible = false;
                                progressBar1.Visible = false;
                            }));
                        }
                    }

@V_Monomax · 03.09.2019, 11:40

1. вы решаете слишком много задач одним классом (допустимо решать одним классом одну задачу) - это явный признак класса бога, а значит надо делить классы.
2. смотрите в сторону MVVM паттерна.
3. начните разделять задачи:
- задача чтения файла
- задача обработки данных и их форматирования
- задача отправки в скл данных
- задача отражения прогресса.
Тогда у вас все может получится:
Потому что вы будуте контролировать и понимать ваш код;
Потому что вы будете решать ваши задачи в несколько потоков;
Как итог, скорость обработки данных увеличится.

@QuestionAnd · 03.09.2019, 11:47

alexeychal, у вас есть файл excel. значит не нужно запускать сам excel.
лучше взять какую-нибудь библиотеку для чтения файлов, например NPOI. но точно не
знаю, лучше спросить у знающих.
А через приложение EXcel читать файлы это те еще тормоза.

@Рядовой · 03.09.2019, 13:54

Сообщение от alexeychal

максимально быстро переливать данные из excel в sql

sql вообще то может напрямую с csv работать
https://docs.microsoft.com/ru-... erver-2017
вам осталось только конвертнуть xls->csv.
И если у вас юзается interop.office.exel то она ацке древняя и долгая, используйте eppplus

@Pavel55 · 05.09.2019, 17:07

alexeychal,

может эта тема чем-то вам поможет Считывание из Excel в массив

А так же если вы грузите данные в базу SQL это может быть долго, так как на каждую запись ваша база может создавать отдельную транзакцию. Попробуйте открыть транзакцию, загрузить всё в базу, закрыть транзакцию, так будет быстрее

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@V_Monomax 1406 / 1260 / 20 Регистрация: 09.08.2011 Сообщений: 2,319 Записей в блоге: 1
	03.09.2019, 11:40
	1. вы решаете слишком много задач одним классом (допустимо решать одним классом одну задачу) - это явный признак класса бога, а значит надо делить классы. 2. смотрите в сторону MVVM паттерна. 3. начните разделять задачи: - задача чтения файла - задача обработки данных и их форматирования - задача отправки в скл данных - задача отражения прогресса. Тогда у вас все может получится: Потому что вы будуте контролировать и понимать ваш код; Потому что вы будете решать ваши задачи в несколько потоков; Как итог, скорость обработки данных увеличится. 0

@QuestionAnd 60 / 45 / 17 Регистрация: 12.08.2019 Сообщений: 161
	03.09.2019, 11:47
	alexeychal, у вас есть файл excel. значит не нужно запускать сам excel. лучше взять какую-нибудь библиотеку для чтения файлов, например NPOI. но точно не знаю, лучше спросить у знающих. А через приложение EXcel читать файлы это те еще тормоза. 0

@Pavel55 999 / 358 / 135 Регистрация: 27.10.2006 Сообщений: 764
	05.09.2019, 17:07
	alexeychal, может эта тема чем-то вам поможет Считывание из Excel в массив А так же если вы грузите данные в базу SQL это может быть долго, так как на каждую запись ваша база может создавать отдельную транзакцию. Попробуйте открыть транзакцию, загрузить всё в базу, закрыть транзакцию, так будет быстрее 0