Форум программистов, компьютерный форум, киберфорум
C#: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.62/13: Рейтинг темы: голосов - 13, средняя оценка - 4.62
 Аватар для alhaos
1929 / 545 / 154
Регистрация: 20.02.2019
Сообщений: 2,664
Записей в блоге: 65
.NET 5

Массовый INSERT

26.05.2021, 18:47. Показов 2647. Ответов 6
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день.

подскажите пожалуйста как корректнее реализовать следующий функционал.

есть список пользовательских объектов [system.collection.generic.list[PSCustomObject]]

содержит список объектов с полями идентичными структуре таблицы в базе sql.

Сейчас открываю соединение делаю цикл по списку и в каждом цикле задаю параметры sqlcommand и вызываю executeNonQuery для вставки каждой строки, есть подозрение, что это неверно.

Есть варианты?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
26.05.2021, 18:47
Ответы с готовыми решениями:

Массовый поиск файлов
Господа, требуется помощь в следующем задании: Мне необходимо открыть не определенный файл а папку, в которой так же могут находится еще...

Массовый импорт из Excel
помогите разобраться новичку. необходимо сделать массовый импорт из Excel в БД MS SQL Суть задачи, в папке лежать куча типовых...

Массовый Uploading файлов на сервер.
Нужно закачивать файлы на сервер. Но не по одному, а группами. Кто посоветует, как это лучше реализовать?

6
1497 / 1238 / 245
Регистрация: 04.04.2011
Сообщений: 4,363
26.05.2021, 19:01
Лучший ответ Сообщение было отмечено alhaos как решение

Решение

Цитата Сообщение от alhaos Посмотреть сообщение
Есть варианты?
Навалом.
1. Использовать ORM EF - Добавить все, а затем оптом SaveChanges
+ Все в одной транзакции
- Быстрее, чем в Вашем случае, но медленнее, чем например bulk insert

2. Паковать запросы. Т.е. посылать запрос на добавление не одной записи, а, к примеру, сразу десяток
+ Выигрыш по скорости
- Нет единой транзакции

3. Список сначала в csv, а затем bulk insert в Базу
+ Выигрыш по скорости, единая транзакция

4. Из источника происхождения этого списка (например xml) сразу в базу (openrowset)
Тут вообще одни плюсы.
1
 Аватар для alhaos
1929 / 545 / 154
Регистрация: 20.02.2019
Сообщений: 2,664
Записей в блоге: 65
26.05.2021, 19:07  [ТС]
MsGuns, Благодарю уважаемый.

не могли бы еще ткнуть в пример
Цитата Сообщение от MsGuns Посмотреть сообщение
Использовать ORM EF
или подробнее пояснить.
0
1497 / 1238 / 245
Регистрация: 04.04.2011
Сообщений: 4,363
26.05.2021, 19:13
Цитата Сообщение от alhaos Посмотреть сообщение
не могли бы еще ткнуть в пример
Тут куча веток на эту тему. Мне за Вас поискать ?
Цитата Сообщение от alhaos Посмотреть сообщение
или подробнее пояснить.
Метанит в руки.
0
 Аватар для alhaos
1929 / 545 / 154
Регистрация: 20.02.2019
Сообщений: 2,664
Записей в блоге: 65
26.05.2021, 19:19  [ТС]
Цитата Сообщение от MsGuns Посмотреть сообщение
Мне за Вас поискать ?
было бы неплохо конечно, но и на том спасибо, буду рыть.
0
 Аватар для Andrey-MSK
3349 / 2235 / 388
Регистрация: 14.08.2018
Сообщений: 7,553
Записей в блоге: 4
27.05.2021, 08:33
Лучший ответ Сообщение было отмечено alhaos как решение

Решение

alhaos, Может будет полезно
SqlBulkCopy из Excel в MS SQL Server
App.config - раздел со строками подключения
XML
1
2
3
4
5
6
7
8
9
  <connectionStrings>
    <add name="SQLConnect" 
         connectionString="Data Source=(LocalDB)\MSSQLLocalDB;Initial Catalog=Test;Integrated Security=True;"
         providerName="System.Data.SqlClient"/>
    <add name="ExcelXLSConnect" 
         connectionString="Provider=Microsoft.ACE.OLEDB.12.0;Data Source={0};Extended Properties='Excel 8.0;HDR=Yes;'"/>
    <add name="ExcelXLSXConnect"
         connectionString="Provider=Microsoft.ACE.OLEDB.12.0;Data Source={0};Extended Properties='Excel 12.0 Xml;HDR=Yes;'"/>
  </connectionStrings>
Класс BaseDA - строки подключения, выбор типа строки исходя из расширения файла Excel (все строки хранятся в App.conf)
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
using System.Configuration;
using System.IO;
 
namespace MDBDAL.DataAccess
{
    public class BaseDA
    {
        protected static readonly string _connectionString = ConfigurationManager.ConnectionStrings["SQLConnect"].ConnectionString;
 
        protected static string GetExcelConnectionString(string pathToFile)
        {
            string extension = Path.GetExtension(pathToFile);
            string excelConString = string.Empty;
 
            switch (extension)
            {
                case ".xls":
                    excelConString = ConfigurationManager.ConnectionStrings["ExcelXLSConnect"].ConnectionString;
                    break;
                case ".xlsx":
                    excelConString = ConfigurationManager.ConnectionStrings["ExcelXLSXConnect"].ConnectionString;
                    break;
            }
 
            return string.Format(excelConString, pathToFile);
        }
    }
}
Ну и собственно пакетная загрузка в MS SQL Server
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
using System;
using System.Data;
using System.Data.OleDb;
using System.Data.SqlClient;
 
namespace MDBDAL.DataAccess
{
    public class ExcelDA : BaseDA
    {
        public static void UploadWorksDataToDB(int idLaborHBType, string pathToFile)
        {
            string excelConString;
            string sqlConString = _connectionString;
            string excelQuery;
 
            excelConString = GetExcelConnectionString(pathToFile);
 
            DataTable excelDataTable = new DataTable();
 
            excelDataTable.Columns.AddRange(new DataColumn[7]
            {
                new DataColumn("ID_LaborHB_01", typeof(int)),
                new DataColumn("PosNum", typeof(int)),
                new DataColumn("NameOfWork", typeof(string)),
                new DataColumn("WorkCode", typeof(string)),
                new DataColumn("Labor", typeof(decimal)),
                new DataColumn("LaborAssembly", typeof(decimal)),
                new DataColumn("ErectCoeff", typeof(decimal))
            });
 
            excelQuery = string.Format(
                "SELECT {0} AS ID_LaborHB_01, PosNum, NameOfWork, WorkCode, Labor, LaborAssembly, ErectCoeff " +
                "FROM [tblLaborHB_02$]", idLaborHBType);
 
            using (OleDbConnection excelConnection = new OleDbConnection(excelConString))
            {
                try
                {
                    excelConnection.Open();
 
                    using (OleDbDataAdapter excelDataAdapter = new OleDbDataAdapter(excelQuery, excelConnection))
                    {
                        excelDataAdapter.Fill(excelDataTable);
                    }
 
                    excelConnection.Close();
 
                    using (SqlConnection sqlConnection = new SqlConnection(sqlConString))
                    {
                        sqlConnection.Open();
 
                        using (SqlTransaction sqlTransaction = sqlConnection.BeginTransaction())
                        {
                            using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(sqlConnection,
                                SqlBulkCopyOptions.KeepNulls, sqlTransaction))
                            {
                                sqlBulkCopy.DestinationTableName = "dbo.tblLaborHB_02";
 
                                sqlBulkCopy.ColumnMappings.Add("ID_LaborHB_01", "ID_LaborHB_01");
                                sqlBulkCopy.ColumnMappings.Add("PosNum", "PosNum");
                                sqlBulkCopy.ColumnMappings.Add("NameOfWork", "NameOfWork");
                                sqlBulkCopy.ColumnMappings.Add("WorkCode", "WorkCode");
                                sqlBulkCopy.ColumnMappings.Add("Labor", "Labor");
                                sqlBulkCopy.ColumnMappings.Add("LaborAssembly", "LaborAssembly");
                                sqlBulkCopy.ColumnMappings.Add("ErectCoeff", "ErectCoeff");
 
                                try
                                {
                                    sqlBulkCopy.WriteToServer(excelDataTable);
                                    sqlTransaction.Commit();
                                }
                                catch (Exception internalEx)
                                {
                                    sqlTransaction.Rollback();
                                    throw new ApplicationException("Ошибка транзакции вставки данных", internalEx);
                                }
                            }
                        }
                    }
                }
                catch (Exception ex)
                {
                    throw new ApplicationException("Ошибка загрузки данных", ex);
                }
            }
        }
    }
}
Ну и конечно учесть то, что SqlBulkCopy по умолчанию не учитывает тригеры (есть настройки, но проще создать второй запрос в одной транзакции) и для его работы у пользователя должно быть разрешение на Read&Write и ALTER TABLE на ту таблицу, в которую вставляются данные.
1
 Аватар для alhaos
1929 / 545 / 154
Регистрация: 20.02.2019
Сообщений: 2,664
Записей в блоге: 65
27.05.2021, 12:18  [ТС]
Andrey-MSK, Благодарю тебя добрый добрый человек.
Цитата Сообщение от Andrey-MSK Посмотреть сообщение
Ну и собственно пакетная загрузка в MS SQL Server
вот это то что мне надо.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.05.2021, 12:18
Помогаю со студенческими работами здесь

Массовый insert/update в mySQL через phpMyAdmin
Приветствую. Встала задача автоматизировать загрузку товаров на сайт. БД - mySQL. Товары приходят в Excel. К БД имею доступ только...

Не получается выполнить массовый импорт с BULK INSERT
Всем доброго времени суток! Всех с Рождеством! В общем, в этот рождественский вечер сел писать экзаменационное задание и столкнулся с...

Перенос параметра при INSERT в другой запрос INSERT
Здравствуйте. Есть таблица Сlient, в которую при INSERT ClientID присваивается инкрементом. На этой же странице ниже прописываю второй...

Массовый chmod
Здравствуйте. Подскажите, пожалуйста, каким образом можно задать chmod сразу для многих папок? Спасибо.

Insert Как поправить значение перед insert
Есть таблица с numeric (5.2) полем. Сторонний ехе-шник в нее пишет и не всегда значение влезает. (Исходника нет) Как поправить...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Новые блоги и статьи
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++
8Observer8 10.03.2026
Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:
Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE
8Observer8 10.03.2026
Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки
Neotwalker 08.03.2026
Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .
Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование
8Observer8 05.03.2026
Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru