1 / 1 / 1
Регистрация: 23.12.2018
Сообщений: 25
1

Работа с большими массивами данных

27.03.2020, 04:16. Показов 535. Ответов 2
Метки нет (Все метки)

Здравствуйте!
Я работаю над курсовым проектом, в нём используется папка с данными. Они хранятся в куче файлов расширения таблицы Excel (XlsX).
Для реализации построчного поиска пока что единственное, что придумал - буквально брать все файлы из папки данных и в цикле переберать значения(Файлов около 50, во всех по 50000 +- строк.)
Я думаю над оптимизацией решения: Возможно, при загрузке приложения создавать файл access базы данных?
Конвертировать в любую СУБД на постоянной основе не вижу смысла, т.к. файлы постоянно добавляются
Подскажите, пожалуйста, в каком направлении думать: как оптимизировать это решение?
__________________
Помощь в написании контрольных, курсовых и дипломных работ, диссертаций здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
27.03.2020, 04:16
Ответы с готовыми решениями:

Как оптимизировать работу с большими массивами изображений
Добрый вечер. Хотел бы получить небольшую консультацию. В процессе работы приложения, необходимо...

Работа с большими массивами данных в текстовом файле
Доброго времени суток. Уважаемые формучане на работе вознила следующая задача которую надо решить в...

Работа с большими массивами
Есть задача: получение санитарной зоны вокруг антенн, связи с особенностью решения задачи иного...

Работа с большими массивами
Бодрого дня. Есть ли какие секреты работы с большими массивами? Есть файл с 1.500.000 строк 1)...

2
113 / 89 / 26
Регистрация: 11.12.2018
Сообщений: 331
27.03.2020, 04:58 2
Посмотрите в сторону OleDB, можно к excel подключаться, как к базе данных, примеры есть тут
1
1 / 1 / 1
Регистрация: 23.12.2018
Сообщений: 25
27.03.2020, 12:37  [ТС] 3
Спасибо, использовал OleDB на 3 курсе для работы с базами данных Access. На 4 курсе пересел на MySQL.
Не знал, что OleDB поддерживает Excel.
Пойду пробовать, отпишу что по времени загрузки)
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
27.03.2020, 12:37
Помогаю со студенческими работами здесь

Операции с большими массивами данных
Доброе время суток! Мне нужно оперировать большими объемами данных - массивы до 4 Гб....

Работа с большими объемами данных
С вебсервиса скачиваеться JSON с 16ю МБ данными. Далее ее в StringBuilder, но программа валиться...

Работа с большими объёмами данных
Имеется жд состав текстовых файлов, с которыми нужно сделать некоторые действия. В конечном итоге...

Работа с большими базами данных, миллионы строк
Про шу помощи, есть вот такая таблица: SELECT , , , , , ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru