Советы по оптимизации роботы с большими массивами.

@aland · Регистрация: 26.06.2008

Студворк — интернет-сервис помощи студентам

Интересуют методы оптимизации работы с большими массивами
Обрабатываются большие (несколько мегабайт) текстовые файлы.
Они считываются в память (целиком),
затем разбиваются на 2-мерный массив типа variant (например:
arr(75000, 7)), который потом обрабатывается.
Интересует следующее:
- что лучше: один 2-мерный длинющий массив variant
или 8 одномерных длинющих, но разбитых уже по нужным типам данных
(data, long, string)
- что быстрее сработает:
Pr1BeginTime As Date, Pr1EndTime As Date
это
CDbl(DateDiff('s', Pr1BeginTime, Pr1EndTime)/60)
или это
CDbl((Pr1EndTime - Pr1BeginTime) * 24 * 60)

- и вообще, дайте какие-нибудь рекомендации по оптимизации скорости обработки больших массивов данных

спасибо.

@DjinnWalker · 14.06.2011, 15:14

Открывай файл для бинарного доступа, так отрабатывает гораздо быстрее, чем как текст.
Open FileName For Binary Access Read
И потом в цикле обрабатывай. Или необходимо создавать массивы?
Еще лучше заюзать MSXML DOM если файлы XML.

14.06.2011, 23:40

Не точно в тему:
Если задача достаточно серьёзна, то: оформи работу с огромными текстовыми файлами в виде DLL, написанной или на Сях, или крайняк на PowerBasic (синтаксис очень похож на VB, изучить в деталях можно за неделю). Гораздо быстрее VB6 будет!!!

@Akula-II · 15.06.2011, 00:38

Как Вы думаете, если вместа массивов, работать с записями в Binary файлах, будет быстрее??

15.06.2011, 02:45

Мы думаем, что если работать в MMF, то будет быстрее и удобнее, чем с файлами. И не критично к памяти, в отличие от массивов...

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@aland 0 / 0 / 0 Регистрация: 26.06.2008 Сообщений: 16

	Советы по оптимизации роботы с большими массивами. 08.06.2011, 14:49. Показов 1139. Ответов 4 Метки нет (Все метки) Интересуют методы оптимизации работы с большими массивами Обрабатываются большие (несколько мегабайт) текстовые файлы. Они считываются в память (целиком), затем разбиваются на 2-мерный массив типа variant (например: arr(75000, 7)), который потом обрабатывается. Интересует следующее: - что лучше: один 2-мерный длинющий массив variant или 8 одномерных длинющих, но разбитых уже по нужным типам данных (data, long, string) - что быстрее сработает: Pr1BeginTime As Date, Pr1EndTime As Date это CDbl(DateDiff('s', Pr1BeginTime, Pr1EndTime)/60) или это CDbl((Pr1EndTime - Pr1BeginTime) * 24 * 60) - и вообще, дайте какие-нибудь рекомендации по оптимизации скорости обработки больших массивов данных спасибо. 0

@DjinnWalker 1 / 1 / 0 Регистрация: 25.05.2008 Сообщений: 232
	14.06.2011, 15:14
	Открывай файл для бинарного доступа, так отрабатывает гораздо быстрее, чем как текст. Open FileName For Binary Access Read И потом в цикле обрабатывай. Или необходимо создавать массивы? Еще лучше заюзать MSXML DOM если файлы XML. 0

Comanche
	14.06.2011, 23:40
	Не точно в тему: Если задача достаточно серьёзна, то: оформи работу с огромными текстовыми файлами в виде DLL, написанной или на Сях, или крайняк на PowerBasic (синтаксис очень похож на VB, изучить в деталях можно за неделю). Гораздо быстрее VB6 будет!!!

@Akula-II 3 / 3 / 0 Регистрация: 02.01.2011 Сообщений: 149
	15.06.2011, 00:38
	Как Вы думаете, если вместа массивов, работать с записями в Binary файлах, будет быстрее?? 0

Messir
	15.06.2011, 02:45
	Мы думаем, что если работать в MMF, то будет быстрее и удобнее, чем с файлами. И не критично к памяти, в отличие от массивов...