Зависание при заполнении dataset 400 000 записей. Как поместить это в отдельный поток

@nunnt · Регистрация: 31.07.2014

Студворк — интернет-сервис помощи студентам

Всем добрый день, такой вопрос: Заполняю dataset таким образом:

C#
1
2
ds = new DataSet();
dataReader.Fill(ds, "моятаблица");

таблицей на 400 000 записей, заполнение происходит долго, что пока в принципе не напрягает, напрягает, что программа перестает откликаться, хотелось бы хотя бы повесить какой-нибудь ProgressBar с непрерывным индикатором, но из-за зависания программы так сделать нельзя, кто-нибудь может подсказать, как исправить, где искать?

@Cat2 · 10.08.2014, 19:56

400 000 записей в DataSet - это зло.
Не тяните на клиента все, что есть.

Если окончания запроса надо дождаться обязательно - выводите какую-нибудь анимацию "ждите".
Если не надо - запустите заполнение в отдельном потоке.
=============
Стандартного решений по слежению за ходом выполнения запроса не существует, хотя я видел частные решения. Все они увеличивали время выполнения запроса

@nunnt · 10.08.2014, 20:29 **[ТС]**

Cat2, Так в том-то и дело, что я хочу, но не могу вывести анимацию "ждите" - виснет вся программа, мне совсем необязательно слежение за уровнем заполнения.

"Если не надо - запустите заполнение в отдельном потоке." можно подробности что это такое и что даст?

Я понимаю, что такое количество записей - зло, но у меня вычисление статистики полученных записей на стороне клиента - нужны все, может быть конечно ручками потом переписать через ExecuteReader, если это ускорит процесс

@insite2012 · 10.08.2014, 20:40

nunnt, BackgroundWorker вам может помочь.

@Windoman · 11.08.2014, 00:29

В таких случаях нужно использовать многопоточность.
Вот несколько примеров, разбирайте.
Изменение ProgressBar через отдельный поток
Изменение размера объекта из другого потока
Отображение процесса поключения к SQL Server

@nunnt · 11.08.2014, 08:32 **[ТС]**

Windoman, insite2012, Да,спасибо, поможет

@Cat2 · 12.08.2014, 18:53

Сообщение от insite2012

nunnt, BackgroundWorker вам может помочь.

Сейчас есть более мощное оружие - Task

Добавлено через 8 минут

Сообщение от nunnt

но у меня вычисление статистики полученных записей на стороне клиента

Тем более это надо считать на сервере, а пользователю показывать только итоги.
Если база MS SQL, то 99% таких задач могут быть решены на T-SQL, а для оставшегося 1% есть хранимые процедуры CLR

http://technet.microsoft.com/r... 31094.aspx

@Петррр · 12.08.2014, 19:32

nunnt, загружать все данные в приложение не имеет смысла, пользователь не может видеть все 400 тысяч строк, да и ни к чему ему их видеть. Среди уже готовых решений есть DevExpress Server mode, либо можно попробовать набросать что-то вроде этого, но значительно проще.

@nunnt · 12.08.2014, 19:52 **[ТС]**

Петррр, может, но да, я понял что ни к чему, когда увидел сколько ест памяти приложение. А можно вопрос на этот счет? Я сейчас в программе генерирую sql-строку (на основании позиций, которые выбирает пользователь в интерфейсе) и эту строку использую при подключении в

C#
1
2
3
OleDbDataAdapter dataReader = new OleDbDataAdapter(commandTextForDataGrid, connectionString);
ds = new DataSet();
dataReader.Fill(ds, "моятаблица");

далее анализирую dataset - набираю статистику, а можно например набирать статистику через .ExecuteScalar(), так же генерируя строки sql-запросов к базе, но в последнем случае мне не нравится, что как я понимаю для поиска количества значений А и количества значений Б в столбце, надо два sql запроса, соответственно будет два прохода по столбцам (или как там sql запросы работают), что тоже время, в dataset я бы прошелся только один раз подсчитав А и Б, что здесь лучше поизучать и через что реализовать? Ling to Sql?
Да, извиняюсь, если глупый вопрос.

@Петррр · 12.08.2014, 20:44

nunnt, вообще, Вы ушли от первоначального вопроса. Но я всё же отвечу. К примеру у вас есть таблица:

Code
1
2
3
4
5
6
7
8
+----+--------+----------+
| id | name   | city     |
+----+--------+----------+
|  1 | John   | New York |
|  2 | Ruslan | Astana   |
|  3 | Misha  | Urupinsk |
|  4 | Denis  | New York |
+----+--------+----------+

Предположим, что Ваше А = 'New York', B = 'Astana', тогда для вычисления количества А и B нужно написать такой запрос:

SQL
1
2
3
4
SELECT city, COUNT(*)
FROM cust
WHERE city IN ('New York', 'Astana')
GROUP BY city;

А результат будет таким:

Code
1
2
3
4
5
6
+----------+----------+
| city     | COUNT(*) |
+----------+----------+
| Astana   |        1 |
| New York |        2 |
+----------+----------+

@nunnt · 12.08.2014, 20:57 **[ТС]**

Петррр, ок, спасибо, предыдущий пост с сылкой тоже очень помог

@Cat2 · 12.08.2014, 21:56

Сообщение от Петррр

Среди уже готовых решений есть DevExpress Server mode, либо можно попробовать набросать что-то вроде этого, но значительно проще.

О, Господи! Эта-то технология заполнения грида тут причем?

@Петррр · 12.08.2014, 22:10

Cat2, рискнул предположить, что все данные отображаются в гриде, поэтому привел пример.

@Learx · 13.08.2014, 12:09

nunnt, сервер работает значительно быстрее приложения. просто совершенно разный подход к данным.
следует просто лучше изучить sql он очень гибок. если будут сложности с определенным запросом - спросите на форуме, вам помогут.

Новые блоги и статьи Все статьи Все блоги /
Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .	Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	1С: Контроль уникальности заводского номера Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git
1С: Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .	Как я обхитрил таблицу Word Alexander-7 21.03.2026 Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .	Krabik - рыболовный бот для WoW 3.3.5a AmbA 21.03.2026 без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .	1С: Программный отбор элементов справочника по значению перечисления Maks 21.03.2026 Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .

@Cat2 403 / 86 / 8 Регистрация: 16.02.2013 Сообщений: 356
	10.08.2014, 19:56
	400 000 записей в DataSet - это зло. Не тяните на клиента все, что есть. Если окончания запроса надо дождаться обязательно - выводите какую-нибудь анимацию "ждите". Если не надо - запустите заполнение в отдельном потоке. ============= Стандартного решений по слежению за ходом выполнения запроса не существует, хотя я видел частные решения. Все они увеличивали время выполнения запроса 0

@nunnt 0 / 0 / 0 Регистрация: 31.07.2014 Сообщений: 21
	10.08.2014, 20:29 [ТС]
	Cat2, Так в том-то и дело, что я хочу, но не могу вывести анимацию "ждите" - виснет вся программа, мне совсем необязательно слежение за уровнем заполнения. "Если не надо - запустите заполнение в отдельном потоке." можно подробности что это такое и что даст? Я понимаю, что такое количество записей - зло, но у меня вычисление статистики полученных записей на стороне клиента - нужны все, может быть конечно ручками потом переписать через ExecuteReader, если это ускорит процесс 0

@insite2012 5548 / 4311 / 1218 Регистрация: 12.10.2013 Сообщений: 12,371 Записей в блоге: 2
	10.08.2014, 20:40
	nunnt, BackgroundWorker вам может помочь. 1

@Windoman Заблокирован
	11.08.2014, 00:29
	В таких случаях нужно использовать многопоточность. Вот несколько примеров, разбирайте. Изменение ProgressBar через отдельный поток Изменение размера объекта из другого потока Отображение процесса поключения к SQL Server 0

@nunnt 0 / 0 / 0 Регистрация: 31.07.2014 Сообщений: 21
	11.08.2014, 08:32 [ТС]
	Windoman, insite2012, Да,спасибо, поможет 0

@Петррр 6721 / 3570 / 900 Регистрация: 28.10.2010 Сообщений: 5,937
	12.08.2014, 19:32
	nunnt, загружать все данные в приложение не имеет смысла, пользователь не может видеть все 400 тысяч строк, да и ни к чему ему их видеть. Среди уже готовых решений есть DevExpress Server mode, либо можно попробовать набросать что-то вроде этого, но значительно проще. 1

@nunnt 0 / 0 / 0 Регистрация: 31.07.2014 Сообщений: 21
	12.08.2014, 20:57 [ТС]
	Петррр, ок, спасибо, предыдущий пост с сылкой тоже очень помог 0

@Петррр 6721 / 3570 / 900 Регистрация: 28.10.2010 Сообщений: 5,937
	12.08.2014, 22:10
	Cat2, рискнул предположить, что все данные отображаются в гриде, поэтому привел пример. 0

@Learx 1057 / 864 / 195 Регистрация: 31.03.2010 Сообщений: 2,521
	13.08.2014, 12:09
	nunnt, сервер работает значительно быстрее приложения. просто совершенно разный подход к данным. следует просто лучше изучить sql он очень гибок. если будут сложности с определенным запросом - спросите на форуме, вам помогут. 1