Форум программистов, компьютерный форум, киберфорум
Microsoft SQL Server
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/18: Рейтинг темы: голосов - 18, средняя оценка - 4.67
4 / 4 / 0
Регистрация: 05.09.2010
Сообщений: 32

Выгрузка большого количества строк из БД

25.02.2016, 22:33. Показов 3854. Ответов 2
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Привет.

Ребята, помогите быстро решить задачу. Есть таблица данных в бд ms sql. В ней почти 3 млн. Строк которые нужно перелить в csv. пробовал с помощью приложеньки на c# но получаю исключение OutOfMemory. Как быть? Может у кого есть решение на скорую руку?

Заранее благодарен.

Добавлено через 3 часа 26 минут
Вопрос снят, уже сам написал решение
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
25.02.2016, 22:33
Ответы с готовыми решениями:

Обработка большого количества строк одним махом
или двумя (в зависимости от силы маха) к делу: есть файл, читаем, предобрабатываем и отправляем INSERT на SQL сервер. таких...

Алгоритм и структура для поиска большого количества строк в другом массиве строк
Здравствуйте! Я решаю следующую задачу: Есть файл со "строками" (средняя длина которых 40-50 символов) и таких строк порядка 100000....

Вставка большого количества строк
Никак не могу придумать, как наиболее элегантно сделать то, что мне нужно. Есть двумерный массив $m, причём количество строк в нём...

2
 Аватар для BRcr
4043 / 2333 / 292
Регистрация: 03.02.2011
Сообщений: 5,066
Записей в блоге: 10
02.03.2016, 12:46
kuzya987, кодекс хорошего тона самураев гласит: сделал харакири сам - научи остальных.)
0
4 / 4 / 0
Регистрация: 05.09.2010
Сообщений: 32
02.03.2016, 19:37  [ТС]
BRcr,

Всё очень просто оказалось, у меня данные в таблице хранятся с датами, собственно нужно было выгрузить продажи за год. Я создал цикл, в котором к начальной дате придавлялся один день, и внутри цыкла менялся запрос к базе данных, а затем выгруженные данные подливались к csv:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
private void Form1_Load(object sender, EventArgs e)
        {
            DataSet sds = new DataSet();
            string path = @"c:\temp\WE_2.csv";
            string fpath = @"c:\temp";
            SqlConnection c = new SqlConnection(@"Data Source = blablabla; Initial Catalog = RM; User ID = USER; Password = PASSWORD");
            DateTime dt = new DateTime(2015, 1, 1);
 
            if (Directory.Exists(fpath) != true)
            {
                Directory.CreateDirectory(fpath);
            }
 
            int dc = 365;
 
            for (int i = 0; i < dc; i++)
            {
                try
                {
                    c.Open();
                    SqlCommand l = new SqlCommand();
                    l.CommandType = CommandType.StoredProcedure;
                    l.Connection = c;
                    l.CommandText = "[dbo].[S_DSV]";
                    l.Parameters.AddWithValue("@D", string.Format("{0:yyyy-MM-dd}", dt.AddDays(i)));
                    SqlDataAdapter aprc = new SqlDataAdapter(l);
                    aprc.Fill(sds);
                    c.Close();
                }
                catch { }
 
                StringBuilder sb = new StringBuilder();
 
                if (!File.Exists(path))
                {
                    string[] columnNames = sds.Tables[0].Columns.Cast<DataColumn>().
                                        Select(column => column.ColumnName).
                                        ToArray();
                    sb.AppendLine(string.Join(";", columnNames));
 
                    foreach (DataRow row in sds.Tables[0].Rows)
                    {
                        string[] fields = row.ItemArray.Select(field => field.ToString()).
                                                        ToArray();
                        sb.AppendLine(string.Join(";", fields));
                    }
 
                    File.WriteAllText(path, sb.ToString());
 
                    sb.Clear();
 
                    sds.Clear();
                }
                else
                {
 
                    foreach (DataRow row in sds.Tables[0].Rows)
                    {
                        string[] fields = row.ItemArray.Select(field => field.ToString()).
                                                        ToArray();
                        sb.AppendLine(string.Join(";", fields));
                    }
 
                    File.AppendAllText(path, sb.ToString());
 
                    sb.Clear();
 
                    sds.Clear();
                }
            }
      }
1
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
02.03.2016, 19:37
Помогаю со студенческими работами здесь

Удаление большого количества строк
Помогите начинающей, подскажите, пожалуйста, как избежать ошибки при удалении тысяч строк? Выдается 'Timeout Expired'. Сотни строк...

Ускорение добавления большого количества строк
Доброго времени суток. Оптимизирую конвертер из одной БД в другую Суть работы конвертера Добавлено через 54 минуты Цикл по...

Отчет из Access в Word большого количества строк
Здравствуйте! Знаю, что вопрос не новый, но пока не удалось разобраться. Попыталась реализовать экспорт отчета в Word с помощью...

поиск макс подстроики очень большого количества строк
Добрый день! Намекните, пожалуйста, что использовать для поиска максимальной общей подстроки 80 и более строк, каждая из которых...

Обновление большого количества строк в таблице. Как правильно?
Доброго времени суток. Есть таблица `table`, имеющая несколько полей. Поле `id` - PRIMARY KEY. В этой таблице в некоторых строках...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru