Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.71/7: Рейтинг темы: голосов - 7, средняя оценка - 4.71
0 / 0 / 2
Регистрация: 16.11.2012
Сообщений: 24

Скорость обработки данных

11.09.2016, 17:24. Показов 1472. Ответов 6
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день, всем.

Прошу оказать помощь в вопросе оптимальной обработки данных в циклах. Ситуация следующая:

Программа должна получить данные из трех таблиц и создать четвертую. Вот такой код (сократил):


C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
 list_ZNR_new = list_ZNR.Distinct().ToList(); // список идентификаторов примерно 7000 по количеству (из первой таблицы)
 
  
            foreach (Int32 c in list_ZNR_new)  // по каждому из идентефикаторов берем данные из двух других таблиц
            {
                
                /////////////////////// ПЕРВЫЙ ЦИКЛ
               
                for (int i = 0; i < temp_FOT_analise_count; i++ ) // вторая таблица - примерно тоже 7000 строк
                { 
 
                    if (c == temp_FOT_analise[i].Remont_num)
                    {
 
                             _Summa_mat = (Double)temp_FOT_analise[i].Summa_mat; // запись нужного значения из второй таблицы во временную переменную
                                               
                        break;
                    }
                  
                }
 
                ///////////////////////////////////////
                
                
                /////////////////////// ВТОРОЙ ЦИКЛ
                
                
                for (int j = 0; j < All; j++) // третья таблица - примерно 40000 строк
                {
                    
                    if (list_ZNR[j].Equals(c) && (list_Role[j].Contains("Продавец труд") || list_Role[j].Contains("Контракт труд")))
                    {
                        _FOT_prod_trud = _FOT_prod_trud + list_Bonus[j]; // запись нужного значения из третей таблицы во временную переменную
                        _davnost = list_Davnost[j];
                    }
                   
                  // ...... в цикле в разы больше операций чем во второй таблице
                   
                }
 
                //////////////////////////////////
                
                //// ФОРМИРОВАНИЕ КОНЕЧНОЙ ТАБЛИЦЫ ПО ПОЛУЧЕННЫМ ВЫШЕ ДАННЫМ
                
                FOT_analise Temp = new FOT_analise
                {
                    ID = key++,
 
                    // заполнение таблицы данными
                    
                };
 
                db.FOT_analise.InsertOnSubmit(Temp);
 
              
            }
 
         
          db.SubmitChanges();
 
         
        }
Имеем время выполнения порядка 15 минут.

Если закоментировать первый или второй цикл внутри foreach время обработки составит 10-15 секунд. Причем что первый, что второй отрабатывают по отдельности примерно одинаково по времени, хотя второй по количеству операций и числу строк в разы превышает первый.

Т.е. последовательно

foreach
цикл 1
запись в БД

foreach
цикл 2
запись в БД

время обработки данных составит секунд 25-30. Не могу понять, в чем в данном случае разница от реализации

foreach
{
цикл 1
цикл 2
}
запись в БД

Ведь по сути количество операций не меняется. Помогите разобраться.

P.S. Последовательный вариант не подходит, т.к. получается строки идентификатор+данные цикла1, а потом еще раз идентификатор+данные цикла2, а должно быть идентификатор+данные цикла1+данные цикла2.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
11.09.2016, 17:24
Ответы с готовыми решениями:

Скорость обработки данных
Подскажите пожалуйста что можно использовать для высокой скорости обработки данных, акцесс меня честно говоря не очень устроил, он начал...

Скорость обработки строк
Дано: .Net Framework a, b - переменные типа String a.Length=50 b = большой лог-файл Вопросы: 1. Какая функция выполнится...

Скорость обработки данных
Привет всем у меня вопрос по скорости загрузки из бд. Я заношу данные о адресе из yandex карт. В любом случае есть область, но я ее заменил...

6
116 / 115 / 64
Регистрация: 03.06.2013
Сообщений: 582
11.09.2016, 22:35
rvkstudent, используйте SQL. По хорошему максимум два запроса тут.
1. Выбирает нужные вам данные из трезх таблиц, на выходе получаете таблицу*.
2. Записываете данные в другую таблу.
0
0 / 0 / 2
Регистрация: 16.11.2012
Сообщений: 24
11.09.2016, 23:16  [ТС]
Так хочется понять.

Замеряю время в цикле 1 (там всего 3 строчки присваивания)

C#
1
2
3
4
5
_Summa_rashod = temp_FOT_analise[i].Summa_rashod.Value; 
 
     _Truck = temp_FOT_analise[i].Truck_model;
 
    _klient = temp_FOT_analise[i].Klient;
Первая Double, две вторые String. Так вот суммарное время выполнения 2 минуты 19 сек. Если закоментировать первую строку - время сокращается до 22 сек. Откуда такая разница????
0
71 / 66 / 29
Регистрация: 28.10.2013
Сообщений: 248
12.09.2016, 16:35
Цитата Сообщение от rvkstudent Посмотреть сообщение
Откуда такая разница?
Не обернуто ли все это в try catch? Вижу ".Value" - это свойство/поле вашего класса или тип Nullable? Не валятся ли там тысячами исключения, которые перехватываются выше?

Используйте SQL.
0
0 / 0 / 2
Регистрация: 16.11.2012
Сообщений: 24
12.09.2016, 18:17  [ТС]
Не, в try catch не обернуто. С Value, без Value - одинаково. Пробовал по-разному присваивать это Double - результат один - существенное увеличение времени обработки. Даже просто делал _Summa_rashod = 22.0; т.е. фикс. значение.

Делал консольное приложение - аналогичные циклы с присвоением значений, время выполнения одинаковое, что строки присваивать, что даблы и составляет несколько секунд...Не могу разобраться, почему именно в моем коде так происходит.
0
.NET C#,ASP.NET MVC
Эксперт .NET
 Аватар для lvlkoo
594 / 507 / 224
Регистрация: 16.10.2010
Сообщений: 1,902
12.09.2016, 19:01
+1 Используйте SQL. Пусть даже SQLite. Зачем вы городить такие костыли
0
0 / 0 / 2
Регистрация: 16.11.2012
Сообщений: 24
12.09.2016, 22:07  [ТС]
Все понятно. SQL так SQL. Все спасибо )
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
12.09.2016, 22:07
Помогаю со студенческими работами здесь

Необходимо увеличить скорость обработки данных в Visual Studio 2010
Я работаю с большими массивами и хочу (если возможно) увеличить скорость обработки выполняемых операций. Не знаю как это сделать, видимо,...

Скорость обработки
Добрый вечер. Столкнулся с такой проблемой, работаю с большим двумерным массивом байтового типа, то есть загружаю его в программу и...

скорость обработки
Господа програмисты делаю программу и встал такой вопрос-допустим у нас есть такой код int a; a=0; for ( ; ; ) { a++ ; } ...

Скорость обработки циклов
Подскажите пожалуйста какой способ организации проверки работает быстрее if ((x&gt;0) and (y&gt;0) and ....) then .... или if ...

Увеличить скорость обработки
Здравствуйте, по работе возникла необходимость создания и ведения базы данных довольно большого объёма. Есть небольшие познания в теории,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&amp;d=1772460536 Одним из. . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru