|
3 / 3 / 2
Регистрация: 10.03.2010
Сообщений: 51
|
|||||||||||
.NET 4.x Чтение запись файлов *.csv больших размеров24.01.2012, 11:59. Показов 5507. Ответов 4
Метки нет (Все метки)
Доброго времени суток, форумчане!
Нужно сделать: • прочитать данные таймсерий из файла (прилагается test.csv) • подсчитаете SMA(20) таймсерий и сохраните его в другой выходной файл. Примечание: исходный файл содержит данные о ценах в нескольких компаниях. Идентификатор компании хранится(находится) в первом столбце файла. Программа должна вычислить SMA таймсерии индивидуально для каждой компании. Исходный файл может быть большим (несколько гигабайт, и может не поместиться в оперативной памяти). Исходный файл выглядит так: symbol,date/time,Price IBM,08/30/2010 06:50:00.0,124.7300 MSFT,08/30/2010 07:07:00.0,23.9300 CAT,08/30/2010 08:01:00.0,66.1200 MSFT,08/30/2010 08:21:00.0,23.9400 IBM,08/30/2010 08:49:00.0,124.8300 ... (размер м. б. такой, что не поместится в ОЗУ) Вот код, работает, но не предусматривает проверку и работу с большими файлами:
Во-вторых, можно ли сделать, чтобы на уровне приложения double тип был с плавующей точкой (.), а не запятой, имел формат с 4 цифрами после точки, как в исходном файле? Жду Ваших предложений и советов, извиняюсь за свой страшный код
0
|
|||||||||||
| 24.01.2012, 11:59 | |
|
Ответы с готовыми решениями:
4
Чтение и обработка больших файлов Многопоточное чтение больших файлов Чтение больших файлов (несколько гигабайт) |
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
|||
| 24.01.2012, 14:48 | |||
|
Что такое SMA(20)? Подозреваю, что что-то из финансов, но искать самому не хочется. Если не сложно, в двух словах. P.S. Так вот зачем вам ParseExact нужен был...
0
|
|||
|
3 / 3 / 2
Регистрация: 10.03.2010
Сообщений: 51
|
||
| 24.01.2012, 18:42 [ТС] | ||
Да и ещё, неужели, считыванием построчно можно добиться работы с большими файлами, ведь все данные из файла актуальны на все протяжении вычисления SMA(20)? SMA (20) - простое скользящее среднее, используется на Forex и не только, а 20 - период
0
|
||
|
17823 / 12973 / 3382
Регистрация: 17.09.2011
Сообщений: 21,261
|
||||||||
| 24.01.2012, 19:06 | ||||||||
Вот вы считали весь файл в память, потом разбили его на строки - это еще столько же памяти. Потом каждую строку разбиваете на фрагменты, которые уже используются в объектах - это еще столько же памяти занялось. То есть в вашем алгоритме для обработки файла требуется в три раза больше памяти, чем занимает сам файл. А так - строчку прочитали, разбили, создали объект. Прочитали, разбили, создали... Если количество символов такое, что в памяти не помещается, то придется либо кэшировать на диске (долго), либо хранить где-нибудь в базе.
0
|
||||||||
|
512 / 298 / 37
Регистрация: 22.06.2011
Сообщений: 929
|
|
| 24.01.2012, 20:20 | |
|
0
|
|
| 24.01.2012, 20:20 | |
|
Помогаю со студенческими работами здесь
5
Чтение в richtextbox больших файлов сопровождается большим потреблением памяти приложением Чтение/запись файлов в сборке Получение из БД MSSQL файлов больших размеров Чтение файлов больших размеров >1Гб Копирование файлов больших размеров Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes.
А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения
развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам
Кирхгофа, решает её и находит:
токи, напряжения и их 1 и 2 производные при t = 0;. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
|
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11
— это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
|
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11
Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
|