|
13 / 13 / 2
Регистрация: 22.04.2010
Сообщений: 658
|
|
Скорость обработки данных22.08.2015, 16:24. Показов 2868. Ответов 23
Метки нет (Все метки)
Подскажите пожалуйста что можно использовать для высокой скорости обработки данных, акцесс меня честно говоря не очень устроил, он начал серьезно залипать на 10тыс записях в таблице, а мне нужно практически мгновенно получать ответ на запрос...
Необходимые мне действия которые должны выполняться максимально быстро 1) проверка наличия записи в таблице 2) извлечение конкретных ячеек 3) ну и наконец добавление новых записей(хоть и не критично).
0
|
|
| 22.08.2015, 16:24 | |
|
Ответы с готовыми решениями:
23
Скорость обработки данных Скорость обработки строк Скорость обработки данных |
|
Фрилансер
735 / 352 / 96
Регистрация: 05.05.2014
Сообщений: 2,621
|
|
| 22.08.2015, 16:51 | |
|
Используйте MSSQL СУБД.
0
|
|
|
Фрилансер
735 / 352 / 96
Регистрация: 05.05.2014
Сообщений: 2,621
|
|
| 22.08.2015, 17:30 | |
|
Storm23, А когда произойдет выход из программы?
0
|
|
|
Фрилансер
735 / 352 / 96
Регистрация: 05.05.2014
Сообщений: 2,621
|
|
| 22.08.2015, 17:34 | |
|
Storm23, т.е. хранить в БД это нет и это принципиально?
0
|
|
|
|
||
| 22.08.2015, 17:40 | ||
|
1) MS SQL по вашему какой-то волшебный и не хранит таблицы в памяти? В нем нет что то типа List<T>? Он не делает загрузку/выгрузку в файлы? Конечно все это есть. По-любому он это делает, просто это от вас скрыто. 2) Если требуется максимальное быстродействие - гораздо быстрее загрузить все в память и обращаться к RAM (тем более что объем невелик - 10 тыс записей это копейки), чем гонять текстовые запросы по TCP к серверу SQL, который все равно будет делать все то же самое - загружать из файла в память, сериализовать/десериализовать и т.д.
0
|
||
|
Фрилансер
735 / 352 / 96
Регистрация: 05.05.2014
Сообщений: 2,621
|
|
| 22.08.2015, 17:56 | |
|
Storm23, В БД можно хранить записи и индексировать по составным ключам, что увеличит производительность. К тому же Не обязательно MSSQL можно SQLite.
0
|
|
|
|
||
| 22.08.2015, 18:16 | ||
|
А вот для "1) проверка наличия записи в таблице" например идеален Hashset<T>. В общем, меньше думайте штампами, не в обиду.
0
|
||
|
Фрилансер
735 / 352 / 96
Регистрация: 05.05.2014
Сообщений: 2,621
|
||
| 22.08.2015, 18:23 | ||
|
Storm23, Я о составных ключах писал, по ним строится дерево, и по дереву уже производится поиск, а в List<T> программе придется пройтись последовательно по каждому элементу, что гораздо снизит производительность.
0
|
||
|
|
||||||
| 22.08.2015, 20:26 | ||||||
|
Добавлено через 6 минут pro_100_gram, Еще раз объясню свою точку зрения: ТС спрашивает про "что можно использовать для высокой скорости обработки данных". Ответ очевиден - максимальную скорость обработки данных даст обработка данных непосредственно в памяти, без посредников типа БД. Тут не с чем спорить. И не нужно говорить про какие-то волшебные индексы СУБД. Все эти индексы вы можете реализовать и без БД. Если бы ТС формулировал вопрос типа "как увеличить быстродействие без особого гемора/без потерь памяти/быстро/с минимальным изменением кода/с сохранением текущей струкутры данных и т.д.", то можно было бы говорить о СУБД. Но я лишь отвечаю на четкий вопрос "как сделать высокую скоорсть обработки". И я вовсе не призываю всегда и везде использовать хештаблицы вместо СУБД.
1
|
||||||
|
Фрилансер
735 / 352 / 96
Регистрация: 05.05.2014
Сообщений: 2,621
|
||||
| 22.08.2015, 20:40 | ||||
|
Я никогда не стану даже для 1000 записей юзать что-то кроме БД, чтобы хранить данные. Просто потому что есть такое как БД, оно именно для этого создано. Добавлено через 4 минуты
0
|
||||
|
13 / 13 / 2
Регистрация: 22.04.2010
Сообщений: 658
|
|||||||||
| 22.08.2015, 21:05 [ТС] | |||||||||
|
В общем из вышенаписанного я так понял лучше держать данные в каком-то списке, но только чтобы после завершения приложения данные не терялись(опять же успешного или нет) Может поможете с примером подобного? В моем конкретном случае данные имеют следующий формат:
Пример данных 11 22 Igor 22 33 Sveta При вводе данных разумеется не стоит создавать в списке место для одних и тех же значений. К примеру при добавлять 11 22 Igor второй раз нет смысла. Сколько примерно памяти съест прога в памяти которой будет 10-15 тыс записей?
0
|
|||||||||
|
|
||||||
| 22.08.2015, 22:07 | ||||||
Сообщение было отмечено koc94ok как решение
Решение
koc94ok,
Размер файла - ок 113кб (сжатие gzip). Занимаемая память - ок 8мб.
2
|
||||||
|
198 / 170 / 19
Регистрация: 05.05.2013
Сообщений: 1,236
|
|
| 23.08.2015, 11:08 | |
|
а SQLite не подойдет?
Добавлено через 2 минуты или firebird короче то, что не будет требовать рабочего сервера
1
|
|
|
13 / 13 / 2
Регистрация: 22.04.2010
Сообщений: 658
|
|
| 24.08.2015, 17:57 [ТС] | |
|
VLK, я пока остановился на варианте Storm23, работает в 2-3 раза быстрее
Возможно переберусь на БД в перспективе, пока такая необходимость отпала.
0
|
|
|
13 / 13 / 2
Регистрация: 22.04.2010
Сообщений: 658
|
||||||
| 13.09.2015, 17:19 [ТС] | ||||||
|
Storm23,
у меня при добавлении данных помимо тех что в примере как-то некорректно сохраняется файл и при новом открытии его не видит старых данных... Добавляю сюда
0
|
||||||
|
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,575
|
|
| 13.09.2015, 17:25 | |
|
Вы файл DataItems.bin новый создаете после того как добавляете новые поля в класс?
0
|
|
|
13 / 13 / 2
Регистрация: 22.04.2010
Сообщений: 658
|
||
| 13.09.2015, 19:08 [ТС] | ||
|
Спустя первых элементов 500 сохраняю-загружаю все хорошо, но чуть дальше и перестает грузить. Причем ошибок никаких нет, просто 0 элементов. И дело скорее всего не в количестве, со старыми полями закачивал и 100 тыс элементов, все работало идеально.
0
|
||
|
13 / 13 / 2
Регистрация: 22.04.2010
Сообщений: 658
|
|
| 13.09.2015, 19:26 [ТС] | |
|
Сейчас попытаюсь загрузить картинки...
0
|
|
| 13.09.2015, 19:26 | |
|
Помогаю со студенческими работами здесь
20
Необходимо увеличить скорость обработки данных в Visual Studio 2010 Скорость обработки скорость обработки Скорость обработки циклов QCamera скорость обработки Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
1С: Контроль уникальности заводского номера
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .
|
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения
anaschu 22.03.2026
e7EYtONaj8Y
Z4Tv2zpXVVo
https:/ / github. com/ shumilovas/ med2. git
|
1С: Программный отбор элементов справочника по группе
Maks 22.03.2026
Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа.
В качестве фильтра для отбора справочника служит группа номенклатуры.
Отбор по наименованию группы. . .
|
Как я обхитрил таблицу Word
Alexander-7 21.03.2026
Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
|
|
Krabik - рыболовный бот для WoW 3.3.5a
AmbA 21.03.2026
без регистрации и смс.
Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
|
1С: Программный отбор элементов справочника по значению перечисления
Maks 21.03.2026
Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа.
В качестве фильтра для отбора служит значение перечислений.
/ / Событие "НачалоВыбора" реквизита на форме. . .
|
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
|
Оттенки серого
Argus19 18.03.2026
Оттенки серого
Нашёл в интернете 3 прекрасных модуля:
Модуль класса открытия диалога открытия/ сохранения файла на Win32 API;
Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
|