Советы по оптимизации роботы с большими массивами.

@aland · Регистрация: 26.06.2008

Студворк — интернет-сервис помощи студентам

Интересуют методы оптимизации работы с большими массивами
Обрабатываются большие (несколько мегабайт) текстовые файлы.
Они считываются в память (целиком),
затем разбиваются на 2-мерный массив типа variant (например:
arr(75000, 7)), который потом обрабатывается.
Интересует следующее:
- что лучше: один 2-мерный длинющий массив variant
или 8 одномерных длинющих, но разбитых уже по нужным типам данных
(data, long, string)
- что быстрее сработает:
Pr1BeginTime As Date, Pr1EndTime As Date
это
CDbl(DateDiff('s', Pr1BeginTime, Pr1EndTime)/60)
или это
CDbl((Pr1EndTime - Pr1BeginTime) * 24 * 60)

- и вообще, дайте какие-нибудь рекомендации по оптимизации скорости обработки больших массивов данных

спасибо.

@DjinnWalker · 14.06.2011, 15:14

Открывай файл для бинарного доступа, так отрабатывает гораздо быстрее, чем как текст.
Open FileName For Binary Access Read
И потом в цикле обрабатывай. Или необходимо создавать массивы?
Еще лучше заюзать MSXML DOM если файлы XML.

14.06.2011, 23:40

Не точно в тему:
Если задача достаточно серьёзна, то: оформи работу с огромными текстовыми файлами в виде DLL, написанной или на Сях, или крайняк на PowerBasic (синтаксис очень похож на VB, изучить в деталях можно за неделю). Гораздо быстрее VB6 будет!!!

@Akula-II · 15.06.2011, 00:38

Как Вы думаете, если вместа массивов, работать с записями в Binary файлах, будет быстрее??

15.06.2011, 02:45

Мы думаем, что если работать в MMF, то будет быстрее и удобнее, чем с файлами. И не критично к памяти, в отличие от массивов...

Новые блоги и статьи Все статьи Все блоги /
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Нашел на реддите интересную статью под названием «Кто-нибудь знает, где получить бесплатный компьютер или. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .

@aland 0 / 0 / 0 Регистрация: 26.06.2008 Сообщений: 16

	Советы по оптимизации роботы с большими массивами. 08.06.2011, 14:49. Показов 1113. Ответов 4 Метки нет (Все метки) Интересуют методы оптимизации работы с большими массивами Обрабатываются большие (несколько мегабайт) текстовые файлы. Они считываются в память (целиком), затем разбиваются на 2-мерный массив типа variant (например: arr(75000, 7)), который потом обрабатывается. Интересует следующее: - что лучше: один 2-мерный длинющий массив variant или 8 одномерных длинющих, но разбитых уже по нужным типам данных (data, long, string) - что быстрее сработает: Pr1BeginTime As Date, Pr1EndTime As Date это CDbl(DateDiff('s', Pr1BeginTime, Pr1EndTime)/60) или это CDbl((Pr1EndTime - Pr1BeginTime) * 24 * 60) - и вообще, дайте какие-нибудь рекомендации по оптимизации скорости обработки больших массивов данных спасибо. 0

@DjinnWalker 1 / 1 / 0 Регистрация: 25.05.2008 Сообщений: 232
	14.06.2011, 15:14
	Открывай файл для бинарного доступа, так отрабатывает гораздо быстрее, чем как текст. Open FileName For Binary Access Read И потом в цикле обрабатывай. Или необходимо создавать массивы? Еще лучше заюзать MSXML DOM если файлы XML. 0

Comanche
	14.06.2011, 23:40
	Не точно в тему: Если задача достаточно серьёзна, то: оформи работу с огромными текстовыми файлами в виде DLL, написанной или на Сях, или крайняк на PowerBasic (синтаксис очень похож на VB, изучить в деталях можно за неделю). Гораздо быстрее VB6 будет!!!

@Akula-II 3 / 3 / 0 Регистрация: 02.01.2011 Сообщений: 149
	15.06.2011, 00:38
	Как Вы думаете, если вместа массивов, работать с записями в Binary файлах, будет быстрее?? 0

Messir
	15.06.2011, 02:45
	Мы думаем, что если работать в MMF, то будет быстрее и удобнее, чем с файлами. И не критично к памяти, в отличие от массивов...